[go: up one dir, main page]

JP7539685B2 - Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof - Google Patents

Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof Download PDF

Info

Publication number
JP7539685B2
JP7539685B2 JP2020065530A JP2020065530A JP7539685B2 JP 7539685 B2 JP7539685 B2 JP 7539685B2 JP 2020065530 A JP2020065530 A JP 2020065530A JP 2020065530 A JP2020065530 A JP 2020065530A JP 7539685 B2 JP7539685 B2 JP 7539685B2
Authority
JP
Japan
Prior art keywords
time
series data
story
objects
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020065530A
Other languages
Japanese (ja)
Other versions
JP2021163292A (en
Inventor
陽子 西原
良典 山西
毅弘 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Priority to JP2020065530A priority Critical patent/JP7539685B2/en
Publication of JP2021163292A publication Critical patent/JP2021163292A/en
Application granted granted Critical
Publication of JP7539685B2 publication Critical patent/JP7539685B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Description

特許法第30条第2項適用 令和2年3月27日、https://sig-cc.org/?p=164(第3回コミック工学研究会予稿集にWEB掲載)Article 30, paragraph 2 of the Patent Act applies March 27, 2020, https://sig-cc.org/? p=164 (Published online in the 3rd Comic Engineering Research Society Proceedings)

本開示は、ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、そのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、そのコンピュータプログラムに関する。 The present disclosure relates to a method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof.

特許文献1は、文字、イメージ、図形及び音声といった各種メディアの出現時間関係情報の時間的変化を用い、複数のメディアを空間的且つ時間的に組み合わせてなる複数のシーンの中から条件に合ったシーンを検索することを開示している。 Patent document 1 discloses a method for searching for scenes that meet certain conditions from among multiple scenes that combine multiple media in space and time, using temporal changes in information on the appearance time relationship of various media such as text, images, figures, and audio.

特開平8-137900号公報Japanese Patent Application Publication No. 8-137900

漫画、小説、映画などのコンテンツのストーリー展開の把握・解析が望まれる場合がある。ストーリー展開の把握には、ストーリー自体の概略を文章で記述した説明、すなわち「あらすじ」が用いられることがある。 There are times when it is desirable to understand and analyze the story development of content such as manga, novels, and movies. To understand the story development, a written description that outlines the story itself, i.e. a "plot," is sometimes used.

しかし、ストーリー自体の概略を文章で記述した説明は、ストーリー展開の客観的な把握に欠けることがある。しかも、ストーリーを説明する文章の安易な提示は、未読者又は未視聴者への、いわゆるネタバレにつながるおそれがある。 However, a written explanation that outlines the story itself can sometimes lack an objective grasp of the story's development. Furthermore, carelessly presenting a text that explains the story can lead to spoilers for those who have not read or watched the film.

したがって、ストーリー自体を説明した文章に依拠しなくても、ストーリー展開を把握又は解析できることが望まれる。 Therefore, it is desirable to be able to understand or analyze the development of a story without relying on text that explains the story itself.

本発明者らは、ストーリーに登場するオブジェクト(登場人物など)の登場度の時間的変化が、ストーリー展開に関する基礎的な因子である、という着想を得た。したがって、オブジェクトの登場度の時間的変化を用いると、ストーリー自体を説明した文章に依拠しなくてもストーリー展開の把握又は解析が可能になる。本開示は、かかる着想に基づくものである。 The inventors came up with the idea that the change over time in the frequency of appearance of objects (such as characters) that appear in a story is a fundamental factor in the development of the story. Therefore, by using the change over time in the frequency of appearance of objects, it becomes possible to understand or analyze the development of a story without relying on text that explains the story itself. The present disclosure is based on this idea.

本開示のある側面は、ストーリーの展開をユーザに提示する方法である。開示の方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。 One aspect of the present disclosure is a method for presenting the development of a story to a user. The disclosed method is a method for presenting the development of a story in which a plurality of objects appear to a user, comprising: a processor reading time series data from a database in which the time series data indicating a change over time in the appearance of each of the plurality of objects is stored; the processor generating a graphical image indicating a change over time in the appearance of one or more objects included in the plurality of objects based on the read time series data; and the processor presenting the graphical image to the user as the development of the story.

本開示の他の側面は、ストーリー展開提示装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the present disclosure is a story development presentation device. The disclosed device includes a database storing time-series data indicating the change over time in the appearance of each of a plurality of objects appearing in a story, and a processor configured to execute a process of generating a graphical image indicating the change over time in the appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical image to a user as the development of the story.

本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 Another aspect of the present disclosure is a computer program. The disclosed computer program causes a computer to execute a process of generating a graphical image showing a change over time in the appearance frequency of one or more objects included in a plurality of objects that appear in a story, based on time-series data showing a change over time in the appearance frequency of each of the plurality of objects that appear in the story read from a database storing the time-series data, and presenting the graphical image to a user as the story progresses.

本開示の他の側面は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。開示の方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。 Another aspect of the present disclosure is a method for analyzing the development of a story in which multiple objects appear. The disclosed method includes a processor reading time series data from a database in which the time series data indicates a change in the appearance frequency of each of the multiple objects over time and is non-negative matrix data, and the processor applying a non-negative matrix factorization algorithm to the time series data to analyze the story.

本開示の他の側面は、ストーリー展開解析装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the present disclosure is a story development analysis device. The disclosed device includes a database that stores time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and is non-negative matrix data, and a processor configured to execute a process of applying a non-negative matrix factorization algorithm to the time-series data read from the database.

本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 Another aspect of the present disclosure is a computer program. The disclosed computer program causes a computer to execute a process of applying a non-negative matrix factorization algorithm to time-series data read from a database storing time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and that is non-negative matrix data.

更なる詳細は、後述の実施形態として説明される。 Further details are described in the embodiments below.

図1は、第1実施形態に係るストーリー展開提示装置を含むシステムの概略構成図である。FIG. 1 is a schematic diagram of a system including a story development presentation device according to the first embodiment. 図2は、複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データのデータ構造図である。FIG. 2 is a data structure diagram of time-series data showing the change over time in the appearance rate of each of a plurality of objects. 図3は、ストーリー展開提示処理のフローチャートである。FIG. 3 is a flowchart of the story development presentation process. 図4は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 4 is a schematic diagram showing an example of a screen displayed on a user terminal. 図5は、ユーザ端末において表示される画面の他の例を示す概略図である。FIG. 5 is a schematic diagram showing another example of a screen displayed on the user terminal. 図6は、ユーザ端末において表示される画面のさらに他の例を示す概略図である。FIG. 6 is a schematic diagram showing yet another example of a screen displayed on a user terminal. 図7は、第2実施形態に係る時系列データのデータ構造図である。FIG. 7 is a data structure diagram of time-series data according to the second embodiment. 図8は、第1非負値行列データ(基底行列)のデータ構造図である。FIG. 8 is a data structure diagram of the first non-negative matrix data (basis matrix). 図9は、第2非負値行列データ(アクティベーション行列)のデータ構造図である。FIG. 9 is a data structure diagram of the second non-negative matrix data (activation matrix). 図10は、第3実施形態に係るストーリー展開解析装置を含むシステムの概略構成図である。FIG. 10 is a schematic diagram of a system including a story development analysis device according to the third embodiment. 図11は、第3実施形態に係るストーリー展開解析処理のフローチャートである。FIG. 11 is a flowchart of the story development analysis process according to the third embodiment. 図12は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 12 is a schematic diagram showing an example of a screen displayed on a user terminal. 図13は、ユーザ端末において表示される画面の一例を示す概略図である。FIG. 13 is a schematic diagram showing an example of a screen displayed on a user terminal.

<1.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの概要> <1. Overview of a method for presenting a story development to a user, a story development presentation device, a computer program for presenting a story development, a method for analyzing a story development, a story development analysis device, and a computer program for analyzing a story development>

(1)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出すことを備える。複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データは、ストーリー展開を示す。前記方法は、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。オブジェクトの登場度がグラフィカルイメージによってユーザに提示されることで、ユーザは容易にストーリー展開を把握できる。 (1) A method according to an embodiment is a method for presenting to a user the development of a story in which multiple objects appear. The method includes a processor reading out time series data from a database in which the time series data indicating the change over time in the appearance of each of the multiple objects is stored. The time series data indicating the change over time in the appearance of each of the multiple objects indicates a story development. The method includes the processor generating a graphical image indicating the change over time in the appearance of one or more objects included in the multiple objects based on the read time series data, and presenting the graphical image to the user as the development of the story. The appearance of objects is presented to the user by a graphical image, allowing the user to easily grasp the development of the story.

(2)前記グラフィカルイメージは、前記ストーリーを説明する文章が付属することなく、前記ユーザに提示されるのが好ましい。ストーリーを説明する文章が付属することなく、オブジェクトの登場度の時間的変化が示されることで、ストーリー展開を示しつつもネタバレを防止することができる。 (2) It is preferable that the graphical images are presented to the user without accompanying text explaining the story. By showing the change in the frequency of appearance of objects over time without accompanying text explaining the story, it is possible to prevent spoilers while indicating the development of the story.

(3)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備えるのが好ましい。この場合、時系列データに含まれるオブジェクトの数が膨大であっても、選択されたオブジェクトの登場度の時間的変化だけがグラフィカルイメージとして提示される。したがって、オブジェクトの数が膨大であっても、視認性の低下を防止できる。 (3) Preferably, the method according to the embodiment further comprises the processor selecting the one or more objects from the plurality of objects. In this case, even if the number of objects included in the time-series data is huge, only the temporal change in the appearance frequency of the selected object is presented as a graphical image. Therefore, even if the number of objects is huge, a decrease in visibility can be prevented.

(4)前記1つ以上のオブジェクトは、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意にオブジェクトを選択できる。 (4) The one or more objects may be selected based on data input by the user. In this case, the user can select the objects at will.

(5)前記1つ以上のオブジェクトは、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、オブジェクトが選択される。 (5) The one or more objects may be selected based on the results of analyzing the time series data. In this case, the objects are selected according to the content of the time series data.

(6)前記1つ以上のオブジェクトは、前記時系列データが示す前記登場度に基づいて選択されてもよい。この場合、時系列データが示す登場度に応じて、オブジェクトが選択される。 (6) The one or more objects may be selected based on the appearance frequency indicated by the time series data. In this case, the object is selected according to the appearance frequency indicated by the time series data.

(7)前記時系列データは、非負値行列データであってもよい。前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、オブジェクトは、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (7) The time series data may be non-negative matrix data. It is preferable that the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. In this case, the objects are selected based on the analysis results by the non-negative matrix factorization algorithm.

(8)実施形態に係る前記方法は、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備えるのが好ましい。前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成されてもよい。この場合、長いストーリーであっても、選択された一部の時間範囲における部分時系列データのグラフィカルイメージがユーザに示されるため、視認性の低下を防止できる。 (8) Preferably, the method according to the embodiment further comprises the processor selecting a partial time range of the entire time range of the time series data. The graphical image may be generated based on partial time series data in the partial time range of the time series data. In this case, even for a long story, a graphical image of the partial time series data in the selected partial time range is shown to the user, thereby preventing a decrease in visibility.

(9)前記一部の時間範囲は、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意に一部の時間範囲を選択できる。 (9) The partial time range may be selected based on data input by the user. In this case, the user can arbitrarily select the partial time range.

(10)前記一部の時間範囲は、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、一部の時間範囲が選択される。 (10) The partial time range may be selected based on the results of analyzing the time series data. In this case, the partial time range is selected according to the content of the time series data.

(11)前記時系列データは、非負値行列データであってもよい。前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、一部の時間範囲は、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (11) The time series data may be non-negative matrix data. It is preferable that the partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. In this case, the partial time range is selected based on the analysis results by the non-negative matrix factorization algorithm.

(12)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択すること、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択すること、を更に備えることができる。前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成されるのが好ましい。 (12) The method according to the embodiment may further include the processor selecting the one or more objects from the plurality of objects, and the processor selecting a partial time range of a total time range of the time series data. The graphical image is preferably generated to indicate a temporal change in the appearance of the one or more objects in the partial time range.

(13)実施形態に係るストーリー展開提示装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 (13) A story development presentation device according to an embodiment includes a database storing time-series data indicating a change over time in the appearance of each of a plurality of objects appearing in a story, and a processor configured to execute a process of generating a graphical image indicating a change over time in the appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical image to a user as the development of the story.

(14)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 (14) A computer program according to an embodiment causes a computer to execute a process of generating a graphical image showing a change over time in the appearance of one or more objects included in a plurality of objects based on time series data showing a change over time in the appearance of each of the plurality of objects appearing in a story read from a database storing the time series data, and presenting the graphical image to a user as the story progresses.

(15)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。この場合、ストーリー展開の解析手法としては、新規な手法、すなわち、非負値行列因子分解アルゴリズムを用いた解析手法が得られる。後述のように、本発明者らは、非負値行列因子分解アルゴリズムを用いた解析手法が、ストーリー展開の解析に有用であることを見出した。 (15) A method according to an embodiment is a method for analyzing the development of a story in which multiple objects appear. The method includes a processor reading time-series data from a database in which time-series data indicating a temporal change in the appearance frequency of each of the multiple objects and being non-negative matrix data is stored, and the processor applying a non-negative matrix factorization algorithm to the time-series data in order to analyze the story. In this case, a novel method for analyzing the story development is obtained, that is, an analysis method using a non-negative matrix factorization algorithm. As described below, the present inventors have found that an analysis method using a non-negative matrix factorization algorithm is useful for analyzing the story development.

(16)実施形態に係るストーリー展開解析装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 (16) A story development analysis device according to an embodiment includes a database storing time-series data that indicates a change over time in the appearance frequency of each of a number of objects that appear in a story and that is non-negative matrix data, and a processor configured to execute a process of applying a non-negative matrix factorization algorithm to the time-series data read from the database.

(17)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 (17) A computer program according to an embodiment causes a computer to execute a process of applying a non-negative matrix factorization algorithm to time-series data read from a database storing time-series data that indicates a change over time in the appearance frequency of each of a number of objects that appear in a story and that is non-negative matrix data.

<2.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの例> <2. Examples of a method for presenting a story development to a user, a story development presentation device, a computer program for presenting a story development, a method for analyzing a story development, a story development analysis device, and a computer program for analyzing a story development>

<2.1 第1実施形態> <2.1 First embodiment>

図1は、第1実施形態に係るシステム10を示している。第1実施形態に係るシステム10は、ストーリー展開提示装置100を備える。ストーリー展開提示装置100は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示する。コンテンツは、例えば、漫画、小説、映画、テレビ番組などである。コンテンツは、漫画等に限られず、ストーリー性のあるコンテンツであれば足りる。ストーリー性のあるコンテンツの他の例は、チャットアプリにおける会話データである。チャットアプリにおける会話の流れは、漫画又は小説中の会話と同様に、ストーリー性を持つ。 FIG. 1 shows a system 10 according to the first embodiment. The system 10 according to the first embodiment includes a story development presentation device 100. The story development presentation device 100 presents data showing the story development of content to a user via a network 400. The content is, for example, a manga, a novel, a movie, a television program, etc. The content is not limited to manga, etc., and any content with a story will suffice. Another example of content with a story is conversation data in a chat app. The flow of conversation in a chat app has a story, similar to conversations in a manga or novel.

第1実施形態において、ユーザは、例えば、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者である。ユーザは、ユーザ端末300を用いて、ストーリー展開提示装置100にアクセスすることができる。ユーザ端末300は、例えば、スマートフォン、タブレット、デスクトップコンピュータ、又はラップトップコンピュータである。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。 In the first embodiment, the user is, for example, a reader of manga or novels, or a viewer of movies or television programs. The user can access the story development presentation device 100 using a user terminal 300. The user terminal 300 is, for example, a smartphone, a tablet, a desktop computer, or a laptop computer. The user terminal 300 includes a processor 310, a storage device 320, and an input/output device 330.

システム10は、ストーリー展開提示装置100に対してネットワーク400を介して接続されるユーザ端末300を備える。ネットワーク400は、例えば、インターネットである。ストーリー展開提示装置100は、例えば、インターネット上に設置されたサーバである。 The system 10 includes a user terminal 300 connected to the story development presentation device 100 via a network 400. The network 400 is, for example, the Internet. The story development presentation device 100 is, for example, a server installed on the Internet.

ストーリー展開提示装置100は、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。プロセッサ110は、例えば、CPUである。記憶装置120は、例えば、一次記憶装置及び二次記憶装置を有する。一次記憶装置は、例えば、RAMである。二次記憶装置は、例えば、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SDD)である。 The story development presentation device 100 is configured by a computer having a processor 110 and a storage device 120. The processor 110 is, for example, a CPU. The storage device 120 has, for example, a primary storage device and a secondary storage device. The primary storage device is, for example, a RAM. The secondary storage device is, for example, a hard disk drive (HDD) or a solid state drive (SDD).

記憶装置120には、コンピュータをストーリー展開提示装置100として動作させるためのコンピュータプログラム121が格納されている。コンピュータプログラム121は、ストーリー展開提示処理111をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開提示処理111は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示することを含む処理である。ストーリー展開提示処理111については、後述する。 The storage device 120 stores a computer program 121 for operating a computer as the story development presentation device 100. The computer program 121 comprises program code for causing the processor 110 to execute a story development presentation process 111. The story development presentation process 111 is a process that includes presenting data indicating the story development of the content to the user via the network 400. The story development presentation process 111 will be described later.

ストーリー展開提示装置100は、データベース200を備える。データベース200は、記憶装置120内に格納されていてもよいし、プロセッサ110及び記憶装置120を備えるコンピュータに接続された他のコンピュータ(例えば、インターネット上のデータベースサーバ)に格納されていてもよい。 The story development presentation device 100 includes a database 200. The database 200 may be stored in the storage device 120, or may be stored in another computer (e.g., a database server on the Internet) connected to the computer including the processor 110 and the storage device 120.

データベース200は、複数のコンテンツデータ201,202,203を備える。コンテンツが漫画であれば、コンテンツデータは、漫画のイメージデータ、及び、作品名などの作品情報を含む。コンテンツが、小説であれば、コンテンツデータは、小説のテキストデータ、及び作品名などの作品情報を含む。コンテンツが映画又テレビ番組であれば、コンテンツデータは、映像・音声データ、及び、作品名などの作品情報を含む。実施形態において、コンテンツは、デジタルコンテンツでもよいし、紙又はその他の媒体のコンテンツであってもよい。 The database 200 includes multiple content data 201, 202, and 203. If the content is a manga, the content data includes image data of the manga and work information such as the title of the work. If the content is a novel, the content data includes text data of the novel and work information such as the title of the work. If the content is a movie or television program, the content data includes video and audio data and work information such as the title of the work. In an embodiment, the content may be digital content, or may be content on paper or other media.

図1においては、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。 In FIG. 1, first content data 201 of the first content (title: xxx), second content data 202 of the second content (title: yyy), and third content data 203 of the third content (title: zzz) are shown.

実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。例えば、第1コンテンツデータ201は、第1コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第1時系列データ201Mを含む。第2コンテンツデータ202は、第2コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第2時系列データ202Mを含む。第3コンテンツデータ203は、第3コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第3時系列データ203Mを含む。 The content data 201, 202, and 203 according to the embodiment further include time series data 201M, 202M, and 203M, respectively. Each of the time series data 201M, 202M, and 203M indicates the change over time in the appearance frequency of each of the multiple objects appearing in the content. For example, the first content data 201 includes first time series data 201M indicating the change over time in the appearance frequency of each of the multiple objects appearing in the first content. The second content data 202 includes second time series data 202M indicating the change over time in the appearance frequency of each of the multiple objects appearing in the second content. The third content data 203 includes third time series data 203M indicating the change over time in the appearance frequency of each of the multiple objects appearing in the third content.

オブジェクトは、例えば、コンテンツに登場する人(キャラクター)、動物、その他の物体、概念、決め言葉、その他の言葉、音、風景、背景である。オブジェクトは、図として表される物体又は映像中の物体であってもよいし、文章中の言葉、又は会話によって表される物体又は概念等であってもよい。 An object is, for example, a person (character), an animal, another object, a concept, a catchphrase, another word, a sound, a landscape, or a background that appears in the content. An object may be an object represented as a diagram or an object in a video, or a word in a sentence, or an object or concept represented by a conversation, etc.

登場度は、コンテンツにおいて、オブジェクトが登場する度合いを示す。登場度は、オブジェクトの登場回数であってもよいし、オブジェクトの登場割合であってもよい。登場度は、単に、登場の有無を示してもよい。 The appearance frequency indicates the degree to which an object appears in the content. The appearance frequency may be the number of times an object appears, or the percentage of appearance of an object. The appearance frequency may simply indicate whether or not an object appears.

コンテンツにおける「時間」は、コンテンツのストーリーの進行度を示す指標であれば足り、物理的な時間である必要はない。例えば、コンテンツが漫画又は小説であれば、ページ番号、話数、及び巻番号は、それぞれ、ストーリーの進行度を示す指標であり、コンテンツにおける「時間」として扱うことができる。コンテンツが映画又はテレビ番組であれば、そのコンテンツの開始からの経過時間を、コンテンツにおける「時間」として扱うことができる。また、コンテンツのストーリーが特定の日付と時間を示しつつ展開される場合、その日付等を、コンテンツにおける「時間」として扱ってもよい。 "Time" in content need only be an indicator of the progress of the content's story, and does not have to be physical time. For example, if the content is a manga or novel, the page number, chapter number, and volume number are each indicators of the progress of the story, and can be treated as "time" in the content. If the content is a movie or television program, the elapsed time from the start of the content can be treated as "time" in the content. Also, if the story of the content unfolds while indicating a specific date and time, that date, etc. can be treated as "time" in the content.

登場度は、例えば、コンテンツのストーリーの流れにおける単位期間あたりの登場回数、登場割合、又は登場の有無である。単位期間は、例えば、1ページ、1話、1巻など、コンテンツが掲載された媒体の形態に基づく単位長さであってもよいし、1分、10分、1時間などの単位時間長さであってもよい。 The frequency of appearance is, for example, the number of times an item appears, the percentage of appearance, or whether or not it appears per unit period in the story flow of the content. The unit period may be, for example, one page, one episode, one volume, or a unit length based on the form of the medium in which the content is published, or it may be a unit time length such as one minute, ten minutes, or one hour.

単位期間における登場回数は、単位期間内において特定のオブジェクトが何回登場したかを示す。単位期間における登場頻度は、単位期間内において登場した全オブジェクトの登場総回数のうち、単位期間内における特定のオブジェクトの登場回数が占める割合である。単位期間における登場の有無は、単位期間内において特定のオブジェクトが登場したか否かを示す。 The number of appearances in a unit period indicates how many times a particular object appeared in the unit period. The frequency of appearance in a unit period is the ratio of the number of times a particular object appeared in the unit period to the total number of times all objects appeared in the unit period. The presence or absence of appearance in a unit period indicates whether or not a particular object appeared in the unit period.

図2は、第1コンテンツの第1時系列データ201Mのデータ構造の例を示している。他の時系列データ202M,203Mについては、図示を省略するが、同様のデータ構造を有している。ここで、第1コンテンツは、漫画とする。 Figure 2 shows an example of the data structure of the first time series data 201M of the first content. The other time series data 202M, 203M have a similar data structure, although they are not shown. Here, the first content is a manga.

第1時系列データ201Mは、時間情報Tと、オブジェクト情報Sと、を備える。時間情報Tは、第1コンテンツのストーリーの進行度(進行位置)を示す指標であり、ページ番号、話数、巻番号の組み合わせによって表される。すなわち、時間情報Tは、第1時間情報であるページ番号T1と、第2時間情報である話数T2と、第3時間情報である巻番号T3と、を備える。ここでは、登場度のための単位期間は、時間情報Tにおける最小時間単位である1ページである。図2では、t1からtxへと時間が進行する。 The first time series data 201M comprises time information T and object information S. The time information T is an index showing the progress (progress position) of the story of the first content, and is represented by a combination of a page number, an episode number, and a volume number. That is, the time information T comprises a page number T1, which is the first time information, an episode number T2, which is the second time information, and a volume number T3, which is the third time information. Here, the unit period for appearance is one page, which is the smallest time unit in the time information T. In FIG. 2, time progresses from t1 to tx.

オブジェクト情報Sは、複数のオブジェクトそれぞれの登場度を示す。オブジェクト情報Sには、第1コンテンツに登場する全オブジェクトについての登場度が含まれる。図2では、オブジェクトとして、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが示されている。 The object information S indicates the appearance of each of the multiple objects. The object information S includes the appearance of all objects that appear in the first content. In FIG. 2, the objects shown are character A, character B, character C, character D, building E, building F, tool G, and tool H.

登場度は、各単位期間(各ページ)に対応付けられている。例えば、図2の第1行P1は、第1コンテンツの第1巻・第1話・第1ページという単位期間における各オブジェクトの登場度(登場回数)を示している。具体的には、図2の第1行p1においては、第1巻・第1話・第1ページにおいて、キャラクターAが2回、キャラクターBが1回、キャラクターCが1回、キャラクターDが0回、建物Eが0回、建物Fが0回、道具Gが0回、道具Hが1回登場したことを示している。このように、図2の第1行P1では、第1コンテンツの第1巻・第1話・第1ページという単位期間に対して、その単位期間内における各オブジェクトの登場度が対応付けられている。同様に、他の単位期間にも、その単位期間内における各オブジェクトの登場度が対応付けられている。 The appearance degree is associated with each unit period (each page). For example, the first line P1 in FIG. 2 shows the appearance degree (number of appearances) of each object in the unit period of Volume 1, Chapter 1, and Page 1 of the first content. Specifically, the first line p1 in FIG. 2 shows that in Volume 1, Chapter 1, and Page 1, Character A appeared twice, Character B once, Character C once, Character D zero times, Building E zero times, Building F zero times, Tool G zero times, and Tool H one time. In this way, in the first line P1 in FIG. 2, the appearance degree of each object in the unit period is associated with the unit period of Volume 1, Chapter 1, and Page 1 of the first content. Similarly, the appearance degree of each object in the other unit periods is associated with each other.

第1時系列データ201Mは、上記のように構成されているため、第1コンテンツに登場する複数のオブジェクトA,B,C,D,E,F,G,Hそれぞれの登場度の時間的変化を示す。このような時系列データ201M,202M,203Mは、オブジェクトの登場度の時間的変化を示すとともに、ストーリー展開の定量的に表したものになっている。したがって、時系列データ201M,202M,203Mは、ストーリー展開の把握・解析に有用である。 Since the first time series data 201M is configured as described above, it indicates the change over time in the appearance frequency of each of multiple objects A, B, C, D, E, F, G, and H that appear in the first content. Such time series data 201M, 202M, and 203M not only indicate the change over time in the appearance frequency of the objects, but also quantitatively represent the development of the story. Therefore, the time series data 201M, 202M, and 203M are useful for understanding and analyzing the development of the story.

図3は、時系列データを用いたストーリー展開提示処理111の例を示している。ストーリー展開提示処理111は、ストーリー展開提示装置100のプロセッサ110によって実行される。実施形態に係るストーリー展開提示装置100は、ユーザから入力されるクエリに応じて読み出された時系列データから、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開提示装置100は、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。 Figure 3 shows an example of a story development presentation process 111 using time series data. The story development presentation process 111 is executed by the processor 110 of the story development presentation device 100. The story development presentation device 100 according to the embodiment generates a graphical image indicating a story development from time series data read in response to a query input by a user. The story development presentation device 100 presents the graphical image to the user as information indicating the story development of the content.

時系列データがグラフィカルイメージとしてユーザに提示されることで、ユーザは、オブジェクトの登場度の時間的変化によって示されるストーリー展開を、グラフィカルイメージを介して、容易に認識することができる。グラフィカルイメージによるストーリー展開の提示は、文章又は数値によるストーリー展開の提示に比べて、視覚的、かつ、直感的な理解が可能である。 By presenting the time series data to the user as graphical images, the user can easily recognize the story development, which is indicated by the temporal change in the appearance frequency of objects, through the graphical images. The presentation of the story development through graphical images allows for a more visual and intuitive understanding than the presentation of the story development through text or numerical values.

第1実施形態に係るストーリー展開提示処理111においては、まず、ストーリー展開提示装置100のプロセッサ110が、検索処理を実行する(ステップS111)。検索処理は、ユーザが探しているコンテンツを検索する処理である。検索処理においては、ストーリー展開提示装置100が、ユーザ端末300からのコンテンツ検索要求を受け付け、データベース200において検索を実行する。以下では、検索されたコンテンツを、対象コンテンツということがある。 In the story development presentation process 111 according to the first embodiment, first, the processor 110 of the story development presentation device 100 executes a search process (step S111). The search process is a process for searching for content that the user is looking for. In the search process, the story development presentation device 100 accepts a content search request from the user terminal 300 and executes a search in the database 200. Hereinafter, the searched content may be referred to as the target content.

コンテンツ検索要求は、例えば、検索のためのクエリを含む。クエリは、コンテンツの検索のために用いられる検索データを含む。検索データは、コンテンツを識別するためのデータであり、例えば、作品名を示すデータである。クエリは、自然言語からなる文書であってもよい。 The content search request includes, for example, a query for the search. The query includes search data used to search for the content. The search data is data for identifying the content, for example, data indicating the title of the work. The query may be a document written in a natural language.

プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツデータを取得する。すなわち、プロセッサ110は、対象コンテンツのコンテンツデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS112)。 The processor 110 obtains specific content data that matches the search data as a search result in the database 200. That is, the processor 110 reads out the content data of the target content from the database 200. The read out content data includes the time series data described above. The content data including the time series data is stored in the storage device 120 (step S112).

プロセッサ110は、保存された時系列データから、時系列データをグラフィカルに表すイメージデータ(グラフィカルイメージ)を生成する(ステップS115)。実施形態において、グラフィカルイメージは、登場度の時間的変化を示すグラフのイメージデータである(図4参照)。 The processor 110 generates image data (graphical image) that graphically represents the time series data from the stored time series data (step S115). In the embodiment, the graphical image is image data of a graph that shows the change in appearance over time (see FIG. 4).

データベース200に格納された時系列データは、対応するコンテンツの全オブジェクトの登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、対象コンテンツにおける全てのオブジェクトの登場度の時間的変化を示すよりも、少ない数のオブジェクトの登場度の時間的変化を示した方がよい場合がある。 The time series data stored in database 200 includes data showing the change over time in the appearance of all objects in the corresponding content. However, from the standpoint of user visibility or ease of understanding of the story development, it may be better to show the change over time in the appearance of a smaller number of objects rather than showing the change over time in the appearance of all objects in the target content.

そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示されるオブジェクトを絞り込むため、グラフィカルイメージの生成に用いられるオブジェクトを選択する(ステップS113)。ステップS113において選択されたオブジェクトを対象オブジェクトという。実施形態において、グラフィカルイメージは、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象オブジェクトとして、全てのオブジェクトが選択されてもよい。 The processor 110 according to the embodiment selects objects to be used in generating the graphical image in order to narrow down the objects shown in the graphical image (step S113). The objects selected in step S113 are called target objects. In the embodiment, the graphical image is generated as image data of a graph showing the change over time in the appearance frequency of the target object. Note that all objects may be selected as target objects.

対象オブジェクトの選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象オブジェクトの自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。 The selection of the target object may be automatic selection in which the processor 110 executes a predetermined selection algorithm, or manual selection in which the target object is selected by user input from the terminal 300. Automatic selection reduces the burden on the user, while manual selection allows the user to make a free selection according to their interests. The result of the search process in step S111 or the search data may be used for the automatic selection of the target object.

対象オブジェクトの自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象オブジェクトを選択することができる。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。 The automatic selection of the target object can be based on the results of analyzing the time series data of the target content. The analysis of the time series data is, for example, an analysis of the appearance frequency of each object. The processor 110 can analyze the appearance frequency of each object and select the target object based on the magnitude of the appearance frequency of the object or the degree of change in the appearance frequency. The analysis of the time series data may be performed by non-negative matrix factorization, as described in the second embodiment below.

対象オブジェクトの選択基準は、例えば、オブジェクトの登場度が閾値よりも大きいこと、又はオブジェクトの登場度の大きさが上位所定数内(例えば、登場度の大きさが上位3位以内)にあること、である。登場度が高いオブジェクトは、対象コンテンツにおける主要なオブジェクトといえる。主要なオブジェクトの登場度の時間的変化を示すことで、主要なオブジェクトを軸にしたストーリー展開を示すことができる。 The selection criteria for the target object are, for example, that the appearance frequency of the object is greater than a threshold value, or that the object's appearance frequency is within a predetermined top number (for example, within the top three). An object with a high appearance frequency can be said to be a main object in the target content. By showing the change over time in the appearance frequency of the main object, it is possible to show the development of a story centered around the main object.

対象オブジェクトの他の選択基準は、オブジェクトの登場度が閾値よりも小さいこと、又はオブジェクトの登場度の大きさが下位所定数内(例えば、登場度の大きさが下位3位以内)にあること、である。登場度が低いオブジェクトが、ストーリー展開における重要な地位を占めるキーオブジェクトであることもあるため、登場度が低いオブジェクトの登場度の時間的変化を示すことも有用である。 Other selection criteria for target objects are that the appearance rate of the object is less than a threshold value, or that the magnitude of the appearance rate of the object is within a certain lower number (for example, within the bottom three). Since an object with a low appearance rate may be a key object that occupies an important position in the development of the story, it is also useful to show the change in the appearance rate of an object with a low appearance rate over time.

また、データベース200に格納された時系列データは、対応するコンテンツの全時間範囲(コンテンツの開始から終了まで)における登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、全時間範囲における登場度の時間的変化を示すよりも、より短い時間範囲(全時間範囲における一部の時間範囲)における登場度の時間的変化を示した方がよい場合がある。 The time series data stored in database 200 also includes data showing the change over time in appearance over the entire time range of the corresponding content (from the start to the end of the content). However, from the perspective of user visibility or ease of understanding of the story development, it may be better to show the change over time in appearance over a shorter time range (a part of the entire time range) rather than showing the change over time in appearance over the entire time range.

そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示される時間範囲を一部の時間範囲に絞り込むため、グラフィカルイメージ生成に用いられる時間範囲を選択する(ステップS114)。ステップS114において選択された時間範囲を対象時間範囲という。時系列データにおいて対象時間範囲における登場度の時間的変化を示すデータを、部分時系列データという。実施形態において、グラフィカルイメージは、部分時系列データから、対象時間範囲における、オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象時間範囲として、対象コンテンツの全時間範囲が選択されてもよい。全時間範囲は、例えば、コンテンツの全巻、全話、及び全ページを示す。対象時間範囲となる一部の時間範囲は、例えば、特定の1又は複数の巻番号、特定の巻中の1又は複数の話数、特定の1又は複数のページ番号である。 The processor 110 according to the embodiment selects a time range to be used in generating the graphical image in order to narrow down the time range shown in the graphical image to a partial time range (step S114). The time range selected in step S114 is called the target time range. Data showing the temporal change in appearance in the target time range in the time series data is called partial time series data. In the embodiment, the graphical image is generated from the partial time series data as image data of a graph showing the temporal change in appearance of the object in the target time range. Note that the entire time range of the target content may be selected as the target time range. The entire time range indicates, for example, all volumes, all chapters, and all pages of the content. The partial time range that is the target time range is, for example, one or more specific volume numbers, one or more chapter numbers in a specific volume, or one or more specific page numbers.

対象時間範囲の選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象時間範囲の自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。 The selection of the target time range may be automatic selection in which the processor 110 executes a predetermined selection algorithm, or may be manual selection in which the user inputs from the terminal 300. Automatic selection reduces the burden on the user, while manual selection allows the user to freely select according to their interests. The results of the search process in step S111 or the search data may be used for the automatic selection of the target time range.

対象時間範囲の自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象時間範囲を選択することができる。解析対象となるオブジェクトは、対象オブジェクトであってもよいし、対象オブジェクト以外のオブジェクトを含んでもよい。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。 The automatic selection of the target time range can be based on the results of analyzing the time series data of the target content. The analysis of the time series data is, for example, an analysis of the appearance degree of each object. The processor 110 can analyze the appearance degree of each object and select the target time range based on the magnitude of the appearance degree of the object or the degree of change in the appearance degree. The object to be analyzed may be the target object, or may include objects other than the target object. The analysis of the time series data may be performed by non-negative matrix factorization, as described in the second embodiment described later.

対象時間範囲は、例えば、対象オブジェクトが閾値よりも多く登場する時間を含む時間範囲として選択される。また、対象時間範囲は、対象オブジェクトの登場度の変化度合いが閾値よりも大きくなった時間を含む時間範囲として選択される。対象オブジェクトが多く登場する時間範囲を選択することで、適切なストーリー展開提示となる。また、対象オブジェクトの登場度が変化(増加又は減少)したタイミングは、ストーリー展開の重要なタイミングであることがあるため、対象オブジェクトの登場度の変化度合いが大きい時間範囲を選択することで、適切なストーリー展開提示となる。 The target time range is selected, for example, as a time range including a time when the target object appears more frequently than a threshold value. Also, the target time range is selected as a time range including a time when the degree of change in the appearance rate of the target object becomes greater than a threshold value. By selecting a time range in which the target object appears more frequently, an appropriate story development is presented. Also, since the timing when the appearance rate of the target object changes (increases or decreases) can be an important timing in the story development, selecting a time range in which the degree of change in the appearance rate of the target object is large can result in an appropriate story development presentation.

なお、図3では、ステップS112において時系列データを読み出した後に、対象オブジェクトの選択(ステップS113)及び対象時間範囲(ステップS114)の選択を行ったが、逆でもよい。すなわち、対象オブジェクトの選択及び対象時間範囲の選択を行った後、データベース200に格納されている時系列データのうち、対象時間範囲における対象オブジェクトの登場度の時間的変化を示すデータだけを読み出してもよい。 In FIG. 3, after the time series data is read in step S112, the target object is selected (step S113) and the target time range is selected (step S114), but the reverse may be done. In other words, after the target object and the target time range are selected, only data indicating the temporal change in the appearance frequency of the target object in the target time range may be read out from the time series data stored in database 200.

ステップS115において、プロセッサ110は、対象時間範囲における、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータ(グラフィカルイメージ)を生成する。 In step S115, the processor 110 generates image data (graphical image) of a graph showing the temporal change in the appearance frequency of the target object in the target time range.

ステップS116において、プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置330)に表示する(ステップS131)。 In step S116, the processor 110 transmits image data constituting the graphical image together with other necessary data to the user terminal 300. The user terminal 300 receives data including the image data for the graphical image. The user terminal 300 displays the graphical image, etc. on a display (input/output device 330) provided in the user terminal 300 as data showing the story development of the content to be presented (step S131).

その後、プロセッサ110は、ユーザ端末300におけるユーザ操作を受け付けて、ユーザ端末300に表示されるグラフィカルイメージ等を随時更新することができる(ステップS117)。 Then, the processor 110 can accept user operations on the user terminal 300 and update the graphical images, etc. displayed on the user terminal 300 at any time (step S117).

図4は、ユーザ端末300のディスプレイに表示される画面500の例を示している。画面500は、グラフィカルユーザインタフェース(GUI)画面である。画面500においては、時系列データのグラフィカルイメージ512等の表示と、ユーザ操作の受付と、が行われる。 Figure 4 shows an example of a screen 500 displayed on the display of the user terminal 300. The screen 500 is a graphical user interface (GUI) screen. On the screen 500, a graphical image 512 of time series data and the like are displayed, and user operations are accepted.

画面500は、ストーリー展開提示装置100から受信したデータの表示領域501を備えている。表示領域501は、時系列データのグラフィカルイメージ512を有する。グラフィカルイメージ512は、対象コンテンツにおけるオブジェクトの登場度の変化からみたストーリー展開を示している。 The screen 500 has a display area 501 for data received from the story development presentation device 100. The display area 501 has a graphical image 512 of the time series data. The graphical image 512 shows the story development in terms of changes in the appearance frequency of objects in the target content.

表示領域501は、グラフィカルイメージ512以外に、作品名表示部510と、対象オブジェクトの名称表示部511と、シークバー516と、を有する。 In addition to the graphical image 512, the display area 501 has a work name display section 510, a target object name display section 511, and a seek bar 516.

作品名表示部510は、対象コンテンツの作品名を表示するための領域である。名称表示部511は、対象コンテンツにおける対象オブジェクトの名称を表示するための領域である。対象オブジェクトの名称は、例えば、キャラクター名である。図4は、対象オブジェクトとして、キャラクターA、キャラクターB、及びキャラクターCの3つのオブジェクトが選択された場合を示している。図4に示す表示領域501において、キャラクターAには、「O-1」の参照記号が付され、キャラクターBには、「O-2」の参照記号が付され、キャラクターCには、「O-3」の参照記号が付されている。 The work name display section 510 is an area for displaying the work name of the target content. The name display section 511 is an area for displaying the name of the target object in the target content. The name of the target object is, for example, the character name. FIG. 4 shows a case where three objects, character A, character B, and character C, have been selected as target objects. In the display area 501 shown in FIG. 4, character A is given the reference symbol "O-1", character B is given the reference symbol "O-2", and character C is given the reference symbol "O-3".

図4に示すグラフィカルイメージ512は、対象時間範囲における対象オブジェクトの登場度の時間的変動を示すグラフとして構成されている。グラフィカルイメージ512であるグラフの横軸は、時間を示し、縦軸は、各対象オブジェクトの登場度(登場割合)を示す。ここでは、複数(3個)の対象オブジェクトが選択されており、対象時間範囲は、第1話から第20話である。 The graphical image 512 shown in FIG. 4 is configured as a graph showing the temporal variation of the appearance frequency of the target object in the target time range. The horizontal axis of the graph, which is the graphical image 512, shows time, and the vertical axis shows the appearance frequency (appearance ratio) of each target object. Here, multiple (three) target objects have been selected, and the target time range is from episode 1 to episode 20.

図4に示すグラフィカルイメージ512は、各時間範囲(1話分の範囲)における、選択された全対象オブジェクトの登場総数に対して、各対象オブジェクトの登場回数が占める割合として示されている。つまり、各時間範囲(1話分の範囲)における3つの対象オブジェクトの登場総数を100とした場合に、各対象オブジェクトがどの程度の割合で登場したかを示す。例えば、第9話においては、3つのキャラクターA,B,Cのうち、キャラクターA(O-1)の登場割合は53.77%であり、キャラクターB(O-2)の登場割合は46.23%であり、キャラクターC(O-3)の登場割合は0%であったことが示される。 The graphical image 512 shown in FIG. 4 shows the percentage of appearances of each target object relative to the total number of appearances of all selected target objects in each time range (range of one episode). In other words, it shows the percentage of appearances of each target object when the total number of appearances of the three target objects in each time range (range of one episode) is 100. For example, in episode 9, out of the three characters A, B, and C, the appearance percentage of character A (O-1) was 53.77%, the appearance percentage of character B (O-2) was 46.23%, and the appearance percentage of character C (O-3) was 0%.

図4に示すグラフィカルイメージ512では、各対象オブジェクトの登場割合の大きさの時間的変化が、グラフにおいて各対象オブジェクトが占める面積の大きさの時間的変化によって示される。したがって、登場割合の時間的変化の視覚的かつ直感的な理解が容易である。しかも、図4に示すグラフィカルイメージ512では、選択された複数の対象オブジェクトだけに限って、登場割合の時間的変化が示されているため、選択された複数の対象オブジェクトによるストーリー展開の変化を、視覚的かつ直感的に把握することができる。 In the graphical image 512 shown in FIG. 4, the change over time in the appearance ratio of each target object is shown by the change over time in the area each target object occupies on the graph. This makes it easy to visually and intuitively understand the change over time in the appearance ratio. Moreover, in the graphical image 512 shown in FIG. 4, the change over time in the appearance ratio is shown only for the multiple selected target objects, so that the change in the story development due to the multiple selected target objects can be visually and intuitively grasped.

実施形態に係るストーリー展開提示装置100によれば、ユーザは、ストーリー展開の変化を、視覚的かつ直感的に把握できるため、コンテンツを直接見ることなく、ストーリー中の特定の箇所(特定のシーン)を探すことが可能となる。例えば、ユーザが、キャラクターAとキャラクターBとが共演する特定のシーンの箇所がどこにあるか思い出せない場合であっても、グラフィカルイメージ512を参照することで、キャラクターA及びキャラクターBの登場度が共に高い箇所から、そのようなシーンを見つけることができる。 The story development presentation device 100 according to the embodiment allows the user to visually and intuitively grasp changes in the story development, making it possible to search for a specific point (a specific scene) in the story without looking at the content directly. For example, even if the user cannot remember where a specific scene is in which Character A and Character B appear together, the user can refer to the graphical image 512 to find such a scene from a point where both Character A and Character B make a high appearance.

図4に示す画面500は、対象コンテンツのストーリーを説明する文章(例えば、あらすじ)が付属することなく、登場度のグラフィカルイメージ512がユーザに提示される。したがって、ユーザへのネタバレを防止しつつ、ユーザへストーリー展開を提示することができる。 The screen 500 shown in FIG. 4 presents the user with a graphical image 512 of the appearance rate without accompanying text (e.g., a synopsis) explaining the story of the target content. Therefore, it is possible to present the user with the development of the story while preventing spoilers from being revealed to the user.

例えば、ユーザが、ユーザ端末300を用いて、オンラインで閲覧されるコンテンツ(例えば、オンラインで読める漫画)の第18話を読み、誤って第19話を読み飛ばして第20話を読もうとすることがある。そのような誤りの可能性が、コンテンツを提供するサーバによって検出された場合、ストーリー展開提示装置100が、誤りである可能性の警告として、第19話における各オブジェクトの登場度の時間的変化を示すグラフィカルイメージ512をユーザ端末300に示すことができる。 For example, a user may use the user terminal 300 to read chapter 18 of content viewed online (e.g., a manga that can be read online), and mistakenly skip chapter 19 and try to read chapter 20. If the server providing the content detects the possibility of such an error, the story development presentation device 100 can display on the user terminal 300 a graphical image 512 showing the change over time in the frequency of appearance of each object in chapter 19 as a warning of the possibility of an error.

グラフィカルイメージ512を見たユーザは、もし第19話を既読していれば、グラフィカルイメージ512が示す情報(各オブジェクトの登場割合、及びその時間的変化)をヒントにして、第19話のストーリーを容易に思い出すことができる。反対に、ユーザが第19話を既読していなければ、グラフィカルイメージ512が示す情報を見たとしても、第19話のストーリーを思い出すことはない。このように、グラフィカルイメージ512を用いることで、ユーザは、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。 If a user who sees graphical image 512 has already read episode 19, the user can easily recall the story of episode 19 by using the information indicated by graphical image 512 (the proportion of each object that appears, and its change over time) as a hint. Conversely, if the user has not read episode 19, even if the user sees the information indicated by graphical image 512, he or she will not recall the story of episode 19. In this way, by using graphical image 512, the user can confirm whether a specific part of the content has already been read or viewed.

仮に、第19話が既読かどうかの確認のために、第19話のあらすじを確認する方法を採用した場合、ユーザは、既読ではない第19話のあらすじを事前に知ってしまう、いわゆるネタバレが生じる。しかし、本実施形態によれば、ネタバレを防止しつつ、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。 If a method of checking the synopsis of episode 19 were adopted to check whether episode 19 has already been read, the user would find out the synopsis of episode 19 in advance even though the user has not read it, resulting in so-called spoilers. However, according to this embodiment, it is possible to check whether a specific part of the content has been read or viewed while preventing spoilers.

なお、上記のような場合、コンテンツを提供するサーバ自体が、ストーリー展開提示装置100としての機能を備えていても良いし、コンテンツを提供するサーバとストーリー展開提示装置100とがネットワークを介して接続されていてもよい。ストーリー展開提示装置100は、既読又は既視聴であるかの確認の必要性が検出されると、確認が必要な箇所のグラフィカルイメージ512をユーザ端末300へ送信する。 In the above case, the server providing the content may itself have the function of the story development presentation device 100, or the server providing the content and the story development presentation device 100 may be connected via a network. When the story development presentation device 100 detects the need to check whether the content has been read or viewed, it transmits a graphical image 512 of the part requiring confirmation to the user terminal 300.

また、実施形態においては、グラフの横軸の各時点における登場割合を、より正確に把握できるようにするため、画面500は、各対象オブジェクトの登場割合を数値で表示することができる。登場割合の数値表示のため、画面500は、シークバー516及び選択線Rを備える。シークバー516は、グラフの横軸方向に沿って移動可能なスライダ516Aを備える。 In addition, in an embodiment, in order to allow a more accurate understanding of the appearance ratio at each point in time on the horizontal axis of the graph, the screen 500 can display the appearance ratio of each target object as a numerical value. To display the appearance ratio numerically, the screen 500 includes a seek bar 516 and a selection line R. The seek bar 516 includes a slider 516A that can be moved along the horizontal axis direction of the graph.

ユーザは、GUI機能によって、スライダ516Aを移動させる操作を行うことで、グラフの横軸の各時点(話数)を選択することができる。図4では、第9話が選択されている。選択線Rは、スライダ516Aと連動して移動する。ユーザは、GUI機能によって、選択線を移動させることもできる。シークバー516は、グラフ外に配置されているのに対して、選択線Rは、グラフ上に配置されており、どの話数が選択されているのかをより明確に示すことができる。 The user can use the GUI function to move slider 516A to select each point in time (episode number) on the horizontal axis of the graph. In FIG. 4, episode 9 is selected. Selection line R moves in conjunction with slider 516A. The user can also move the selection line using the GUI function. While seek bar 516 is located outside the graph, selection line R is located on the graph, making it possible to more clearly indicate which episode number is selected.

画面500は、選択された時点(話数)における登場度(登場割合)を示す表示部513,514,515を表示することができる。表示部513,514,515は、例えば、吹き出しの形状を持つことができる。図4では、選択された第9話における登場割合を示す第1表示部513、第2表示部514、及び第3表示部515が示されている。第1表示部513は、キャラクターA(O-1)の登場割合を数値(53.77%)で示す。第2表示部514は、キャラクターB(O-2)の登場割合を数値(46.23%)で示す。第3表示部515は、キャラクターC(O-3)の登場割合を数値(0%)で示す。これにより、対象コンテンツにおける第9巻において、キャラクターAとキャラクターBの登場頻度が高く、キャラクターCは登場していないことがわかる。 Screen 500 can display display sections 513, 514, and 515 that indicate the appearance frequency (appearance ratio) at the time (episode number) selected. Display sections 513, 514, and 515 can have the shape of a speech bubble, for example. FIG. 4 shows a first display section 513, a second display section 514, and a third display section 515 that indicate the appearance ratio in the selected 9th episode. First display section 513 shows the appearance ratio of character A (O-1) as a number (53.77%). Second display section 514 shows the appearance ratio of character B (O-2) as a number (46.23%). Third display section 515 shows the appearance ratio of character C (O-3) as a number (0%). This shows that in volume 9 of the target content, characters A and B appear frequently, and character C does not appear.

図5は、スライダ516Aを第13話の位置に移動させるユーザ操作が行われた後の画面500の表示領域501を示している。第13話においては、第1表示部513によって示されるキャラクターAの登場割合は58.77%であり、第2表示部514によって示されるキャラクターBの登場割合は23.16%であり、第3表示部515によって示されるキャラクターCの登場割合は、21.35%である。第13話においては、キャラクターAとキャラクターBに加え、キャラクターCが登場していることがわかる。また、図5に示すグラフィカルイメージ512によれば、第12話まではキャラクターCが登場していなかったが、第13話から登場していたことがわかる。 Figure 5 shows the display area 501 of the screen 500 after a user operation has been performed to move the slider 516A to the position for episode 13. In episode 13, the appearance rate of character A shown by the first display unit 513 is 58.77%, the appearance rate of character B shown by the second display unit 514 is 23.16%, and the appearance rate of character C shown by the third display unit 515 is 21.35%. It can be seen that in episode 13, in addition to characters A and B, character C appears. Also, according to the graphical image 512 shown in Figure 5, character C did not appear until episode 12, but began to appear from episode 13.

このように、登場度の時間的変化をイメージデータでユーザに提示することで、ストーリー自体を示さなくても、対象オブジェクトの登場話数(登場時点)をユーザに提示できる。また、時系列データに含まれるオブジェクトが膨大であっても、選択された対象オブジェクトの登場度の時間的変化だけがイメージデータとして提示されるため、視認性が向上する。 In this way, by presenting the user with image data showing the change in appearance over time, it is possible to present the user with the episode number (time of appearance) in which the target object appears, without showing the story itself. Also, even if the time-series data contains a huge number of objects, only the change in appearance over time of the selected target object is presented as image data, improving visibility.

図6は、画面500における表示領域501の他の例を示している。図6は、対象オブジェクトとして、キャラクター以外の物も選択されている場合を示している。図6は、対象オブジェクトとして、キャラクターD、建物E、及び道具Gの3つのオブジェクトが選択された場合を示している。図6に示す表示領域501において、キャラクターDには、「O-1」の参照記号が付され、建物Eには、「O-2」の参照記号が付され、道具Gには、「O-3」の参照記号が付されている。 Figure 6 shows another example of the display area 501 on the screen 500. Figure 6 shows a case where an object other than a character has been selected as the target object. Figure 6 shows a case where three objects, a character D, a building E, and a tool G, have been selected as the target objects. In the display area 501 shown in Figure 6, the character D is given the reference symbol "O-1", the building E is given the reference symbol "O-2", and the tool G is given the reference symbol "O-3".

このように、実施形態によれば、自動的選択された、又はユーザが任意に選択した対象オブジェクトの登場度の時系列データをグラフィカルイメージ512として表示できるため、任意のオブジェクトからみたストーリー展開を容易に提示することができる。 In this way, according to the embodiment, the time series data of the appearance frequency of a target object that is automatically selected or arbitrarily selected by the user can be displayed as a graphical image 512, making it easy to present the development of a story from the perspective of an arbitrary object.

<2.2 第2実施形態> <2.2 Second embodiment>

第2実施形態においては、対象オブジェクトの選択(図3のステップS113)及び対象時間範囲の選択(図3のステップS114)の少なくともいずれか一方の選択が、対象コンテンツの時系列データ201Mに対して非負値行列因子分解(NMF)アルゴリズムを適用した結果に基づいて行われる。つまり、第2実施形態は、第1実施形態における時系列データ201Mの解析を、NMFによって行ったものである。なお、第2実施形態において特に説明しない点については、第1実施形態と同様である。 In the second embodiment, at least one of the selection of the target object (step S113 in FIG. 3) and the selection of the target time range (step S114 in FIG. 3) is performed based on the result of applying the non-negative matrix factorization (NMF) algorithm to the time-series data 201M of the target content. In other words, in the second embodiment, the analysis of the time-series data 201M in the first embodiment is performed by NMF. Note that the points not specifically described in the second embodiment are the same as those in the first embodiment.

図7は、第2実施形態に係るストーリー展開提示処理111において用いられる時系列データ201Mのデータ構造を示している。第2実施形態において、時系列データ201Mは、行列データとして扱われる。 Figure 7 shows the data structure of time-series data 201M used in the story development presentation process 111 according to the second embodiment. In the second embodiment, the time-series data 201M is treated as matrix data.

図7に示す時系列データ201Mにおいては、複数の行それぞれが、各オブジェクトの登場度の時間的変化を示しており、複数の列それぞれが、コンテンツにおける「時間」を示している。図7では、オブジェクトとして、第1実施形態と同様に、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが含まれている。時間は、簡略化のため、1以上の整数で示されているが、第1実施形態における時間情報Tと同様に、ページ番号、話数、巻番号の組み合わせによって表されてもよい。以下では、時間を示す数値は、話数を表しているものとする。 In the time series data 201M shown in FIG. 7, each of the multiple rows indicates the change in the appearance frequency of each object over time, and each of the multiple columns indicates "time" in the content. In FIG. 7, the objects include character A, character B, character C, character D, building E, building F, tool G, and tool H, as in the first embodiment. For simplicity, time is shown as an integer of 1 or more, but as with the time information T in the first embodiment, it may be represented by a combination of page number, episode number, and volume number. In the following, the numbers indicating time represent the episode number.

例えば、キャラクターAについては、第1話における登場度がmA1で表され、第2話における登場度がmA2で表され、第3話における登場度がmA3で表され、第4話における登場度がmA4で表され、第5話における登場度がmA5で表され、第tx話における登場度がmAxで表される。これにより、キャラクターAの登場度の時間的変化が表されている。キャラクターAの登場度の時間的変化は、x次元のベクトルとして表されている。同様に、他のオブジェクトについても登場度の時間的変化が表されている。 For example, for character A, the appearance degree in episode 1 is represented by m A1 , the appearance degree in episode 2 is represented by m A2 , the appearance degree in episode 3 is represented by m A3 , the appearance degree in episode 4 is represented by m A4 , the appearance degree in episode 5 is represented by m A5 , and the appearance degree in episode tx is represented by m Ax . This represents the change in the appearance degree of character A over time. The change in the appearance degree of character A over time is represented as an x-dimensional vector. Similarly, the change in the appearance degree of other objects over time is represented.

第2実施形態においては、時系列データ201Mは、オブジェクトの数×時間数(1からtx)の大きさを持つ行列データとして扱われる。行列データにおける行列要素は、前述のmA1等の登場度を示す。 In the second embodiment, the time series data 201M is treated as matrix data having a size of the number of objects x the number of times (1 to tx). The matrix elements in the matrix data indicate the appearance frequency of the above-mentioned m A1 and the like.

行列データとして扱われる時系列データ201Mは、その全ての行列要素(登場度mA1等)が非負値である非負値行列データとして作成される。時系列データ201Mが非負値行列データであることで、非負値行列因子分解(NMF)アルゴリズムの適用が可能になる。 The time series data 201M treated as matrix data is created as non-negative matrix data in which all matrix elements (such as appearance frequency m A1 ) are non-negative. The time series data 201M being non-negative matrix data makes it possible to apply the non-negative matrix factorization (NMF) algorithm.

NMFアルゴリズムでは、与えられた非負値行列Xから、第1非負値行列W及び第2非負値行列Hという2つの非負値行列を得ることができる。つまり、NMFアルゴリズムは、与えられた非負値行列Xを、第1非負値行列W及び第2非負値行列Hという2つの非負値行列の積で近似するためのアルゴリズムである。 The NMF algorithm can obtain two nonnegative matrices, a first nonnegative matrix W and a second nonnegative matrix H, from a given nonnegative matrix X. In other words, the NMF algorithm is an algorithm for approximating a given nonnegative matrix X by the product of two nonnegative matrices, the first nonnegative matrix W and the second nonnegative matrix H.

与えられた非負値行列Xが、N×M行列である場合、第1非負値行列Wは、N×r行列となり、第2非負値行列Hは、r×M行列となる。rは、事前に与えられる値であり、好ましくは、2以上の整数である。第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。 When a given non-negative matrix X is an N×M matrix, the first non-negative matrix W is an N×r matrix, and the second non-negative matrix H is an r×M matrix. r is a value given in advance and is preferably an integer equal to or greater than 2. The first non-negative matrix W is a basis matrix having r basis vectors. The second non-negative matrix H is an activation matrix indicating the weight of each basis vector.

図8は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第1非負値行列データW(基底行列)の例を示している。ここでは、r=3である。したがって、図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。ここでは、複数の基底ベクトルF1,F3,F3を、トピックと呼ぶ。 Figure 8 shows an example of first non-negative matrix data W (basis matrix) obtained by applying the NMF algorithm to time series data 201M, which is non-negative matrix data. Here, r = 3. Therefore, the first non-negative matrix data W shown in Figure 8 has three basis vectors F1, F2, and F3. Here, the multiple basis vectors F1, F3, and F3 are called topics.

本発明者らは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データに対して、NMFを適用することで、ストーリー展開において重要な複数のトピックF1,F2,F3を分解して抽出できることを見出した。抽出されたトピックF1,F2,F3は、コンテンツのストーリー展開を基底する重要な因子である。時系列データ201Mに対してNMFを適用することで、人間がコンテンツを直接読んだり視聴したりしても容易には得られないストーリー展開解析結果を、容易に得ることができる。 The inventors have discovered that by applying NMF to time-series data that indicates the temporal change in the appearance frequency of each of multiple objects that appear in a story, it is possible to decompose and extract multiple topics F1, F2, and F3 that are important in the development of a story. The extracted topics F1, F2, and F3 are important factors that form the basis of the development of the story of the content. By applying NMF to the time-series data 201M, it is possible to easily obtain story development analysis results that are not easily obtained by humans directly reading or watching the content.

複数のトピックF1,F2,F3は、ストーリーを構成するメインストーリー及びサブストーリーとして解釈することもできる。これは、一つのコンテンツであっても、複数のストーリーが混在している場合に当てはまる。例えば、漫画であれば、1話又は数話ごとに、単発的なストーリーは完結するものの、コンテンツ全体を通じた基軸的なストーリーが設定されていることがある。このような場合、一つのコンテンツの中で、単発的なストーリーと基軸的なストーリーとが混在してストーリーが進行することになる。NMFを利用することで、一つのコンテンツの中に混在する複数のストーリーを、トピックF1,F2,F3として抽出することができる。 The multiple topics F1, F2, and F3 can also be interpreted as the main story and sub-stories that make up a story. This applies when multiple stories are mixed together within a single piece of content. For example, in a manga, one or more episodes may contain complete one-off stories, but a central storyline that runs through the entire content may be set. In such cases, the story progresses with a mixture of one-off stories and central stories within a single piece of content. By using NMF, multiple stories mixed together within a single piece of content can be extracted as topics F1, F2, and F3.

図8に示す第1トピックF1(基底ベクトル)は、第1トピックF1における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターBの登場度が最も大きい。したがって、第1トピックF1は、キャラクターBを主とするトピックであることがわかる。 The first topic F1 (basis vector) shown in Figure 8 indicates the appearance frequency of each object in the first topic F1, with character B having the highest appearance frequency among all objects. Therefore, it can be seen that the first topic F1 is a topic that mainly focuses on character B.

第2トピックF2(基底ベクトル)は、第2トピックF2における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターAの登場度が最も大きい。したがって、第2トピックF2は、キャラクターAを主とするトピックであることがわかる。 The second topic F2 (basis vector) indicates the appearance frequency of each object in the second topic F2, with character A having the highest appearance frequency among all objects. Therefore, it can be seen that the second topic F2 is a topic that mainly focuses on character A.

第3トピックF3(基底ベクトル)は、第3トピックF3における各オブジェクトの登場度を示しており、全オブジェクトの中で、キャラクターCの登場度が最も大きく、キャラクターBもある程度登場している。したがって、第3トピックは、キャラクターB及びキャラクターCを主とし、キャラクターCのほうが、キャラクターBよりも重要度が高いことがわかる。 The third topic F3 (basis vector) indicates the appearance frequency of each object in the third topic F3, with character C appearing the most among all objects, and character B also appearing to some extent. Therefore, it can be seen that the third topic is centered on characters B and C, with character C being more important than character B.

図9は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第2非負値行列データH(アクティベーション行列)の例を示している。ここでは、r=3であるため、第2非負値行列データHは、各時間における3個のトピックF1,F2,F3それぞれの重み(活性化度)を示している。つまり、第2非負値行列データH(アクティベーション行列)は、各時間(話数)において、各トピックF1,F2,F3がどの程度の重みを持つかの時間的変化、換言すると、どの程度活性化しているかの時間的変化、を示す。 Figure 9 shows an example of second non-negative matrix data H (activation matrix) obtained by applying the NMF algorithm to time-series data 201M, which is non-negative matrix data. Here, since r = 3, the second non-negative matrix data H indicates the weights (activation levels) of the three topics F1, F2, and F3 at each time. In other words, the second non-negative matrix data H (activation matrix) indicates the change over time in the degree of weight each of topics F1, F2, and F3 has at each time (number of episodes), in other words, the change over time in the degree of activation.

第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第1非負値行列Wを用いて、対象オブジェクトを選択する(図3のステップS113)。例えば、プロセッサ110は、複数のトピックF1,F2,F3の中から、いずれかのトピックを自動選択する。 In the story development presentation process 111 of the second embodiment, the processor 110 selects a target object using the first non-negative matrix W (step S113 in FIG. 3). For example, the processor 110 automatically selects one of the multiple topics F1, F2, and F3.

なお、トピックF1,F2,F3の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。この場合、ユーザによる選択に先立って、NMFの結果が、ユーザ端末300に表示される(後述の第3実施形態参照)。 The selection of topics F1, F2, and F3 may be manual selection by the user with reference to the NMF results displayed on the user terminal 300. In this case, the NMF results are displayed on the user terminal 300 prior to the user's selection (see the third embodiment described below).

そして、プロセッサ110は、第1非負値行列Wにおいて、選択されたトピックにおいて登場度の高い1又は複数のオブジェクトを選択する。なお、登場度の低い1又は複数のオブジェクトが選択されてもよい。以上の処理により、選択されたトピックに関連するオブジェクトが自動的に、対象オブジェクトとして選択される。 Then, the processor 110 selects, from the first non-negative matrix W, one or more objects that have a high appearance frequency in the selected topic. Note that one or more objects that have a low appearance frequency may also be selected. Through the above process, objects related to the selected topic are automatically selected as target objects.

また、第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第2非負値行列Hを用いて、対象時間範囲を選択する(図3のステップS114)。例えば、プロセッサ110は、第2非負値行列Hを参照し、前述のようにして選択されたトピックの重み(活性化度)が閾値よりも大きい時間を含む時間範囲を、対象時間範囲として選択する。対象時間範囲の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。 In addition, in the story development presentation process 111 of the second embodiment, the processor 110 selects the target time range using the second non-negative matrix H (step S114 in FIG. 3). For example, the processor 110 refers to the second non-negative matrix H and selects, as the target time range, a time range that includes a time during which the weight (activation level) of the topic selected as described above is greater than a threshold value. The selection of the target time range may be manual selection by a user operation that refers to the NMF results displayed on the user terminal 300.

第2実施形態において生成されるグラフィカルイメージ512は、NMFの結果を用いて選択された対象時間範囲において、NMFの結果を用いて選択された対象オブジェクトの登場度の時間的変化を示すことができる。つまり、第2実施形態では、選択された特定のトピックにおけるストーリー展開が提示されることになる。 The graphical image 512 generated in the second embodiment can show the change over time in the appearance of the target object selected using the NMF results in the target time range selected using the NMF results. In other words, in the second embodiment, the story development in the selected specific topic is presented.

<2.3 第3実施形態> <2.3 Third embodiment>

図10は、第3実施形態に係るシステム10を示している。第3実施形態において、特に説明しない点については、第1実施形態及び第2実施形態と同様である。 Figure 10 shows a system 10 according to the third embodiment. In the third embodiment, the points that are not specifically described are the same as those in the first and second embodiments.

第3実施形態に係るシステム10は、ストーリー展開解析装置100Aを備える。ストーリー展開解析装置100Aは、コンテンツのストーリー展開を解析し、解析結果としてストーリー展開を示すデータを生成する。第3実施形態に係るストーリー展開解析装置100Aは、一例として、非負値行列因子分解(NMF)を用いて、コンテンツのストーリー展開を解析する。ストーリー展開解析装置100Aは、解析結果として得られたストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示するストーリー展開提示装置としても動作する。 The system 10 according to the third embodiment includes a story development analysis device 100A. The story development analysis device 100A analyzes the story development of the content and generates data indicating the story development as the analysis result. The story development analysis device 100A according to the third embodiment analyzes the story development of the content using non-negative matrix factorization (NMF) as an example. The story development analysis device 100A also operates as a story development presentation device that presents the data indicating the story development obtained as the analysis result to the user via the network 400.

第2実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、対象オブジェクト又は対象時間範囲の選択に用いられていたが、第3実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、ストーリー展開を示すデータとして用いられる。ストーリー展開解析装置100Aは、NMFにより得られた解析結果から、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開解析装置100Aは、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。 In the second embodiment, the analysis results obtained by applying NMF to time series data were used to select a target object or a target time range, but in the third embodiment, the analysis results obtained by applying NMF to time series data are used as data indicating the story development. Story development analysis device 100A generates a graphical image indicating the story development from the analysis results obtained by NMF. Story development analysis device 100A presents the graphical image to the user as information indicating the story development of the content.

第3実施形態において、ユーザは、例えば、コンテンツの作者及び編集者など、コンテンツの制作にかかわる者である。ユーザは、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者であってもよい。ストーリー展開解析装置100Aは、ユーザに対して、ストーリー展開の解析結果を提示することで、ストーリー展開の発案又は変更を行うユーザを支援する。 In the third embodiment, the user is a person involved in the production of the content, such as a content author or editor. The user may also be a reader of manga or novels, or a viewer of movies or television programs. The story development analysis device 100A presents the results of the story development analysis to the user, thereby supporting the user in coming up with ideas for or changing the story development.

システム10は、ストーリー展開解析装置100Aに対してネットワーク400を介して接続されるユーザ端末300を備える。ユーザは、ユーザ端末300を用いて、ストーリー展開解析装置100Aにアクセスすることができる。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。 The system 10 includes a user terminal 300 connected to the story development analysis device 100A via a network 400. A user can access the story development analysis device 100A using the user terminal 300. The user terminal 300 includes a processor 310, a storage device 320, and an input/output device 330.

ストーリー展開解析装置100Aは、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。記憶装置120には、コンピュータをストーリー展開解析装置100A(ストーリー展開提示装置)として動作させるためのコンピュータプログラム121Aが格納されている。コンピュータプログラム121Aは、ストーリー展開解析処理111A(ストーリー展開提示処理)をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開解析処理111Aは、コンテンツのストーリー展開を解析することを含む処理である。ストーリー展開解析処理111Aについては、後述する。 The story development analysis device 100A is configured by a computer including a processor 110 and a storage device 120. The storage device 120 stores a computer program 121A for operating the computer as the story development analysis device 100A (story development presentation device). The computer program 121A includes program code for causing the processor 110 to execute a story development analysis process 111A (story development presentation process). The story development analysis process 111A is a process that includes analyzing the story development of the content. The story development analysis process 111A will be described later.

ストーリー展開解析装置100Aは、データベース200を備える。データベース200は、複数のコンテンツデータ201,202,203を備える。図10においては、図1と同様に、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。 The story development analysis device 100A includes a database 200. The database 200 includes multiple content data 201, 202, and 203. As in FIG. 1, FIG. 10 shows first content data 201 of a first content (work name: xxx), second content data 202 of a second content (work name: yyy), and third content data 203 of a third content (work name: zzz). The content data 201, 202, and 203 according to the embodiment further include time series data 201M, 202M, and 203M, respectively. Each of the time series data 201M, 202M, and 203M indicates the change over time in the appearance frequency of each of multiple objects that appear in the content.

第3実施形態に係る各時系列データ201M,202M,203Mのデータ構造は、第2実施形態における時系列データ201Mのデータ構造(図7参照)と同様である。第3実施形態に係る各時系列データ201M,202M,203Mは、第2実施形態と同様に、非負値行列データである。 The data structure of each of the time series data 201M, 202M, and 203M according to the third embodiment is similar to the data structure of the time series data 201M according to the second embodiment (see FIG. 7). Each of the time series data 201M, 202M, and 203M according to the third embodiment is non-negative matrix data, similar to the second embodiment.

図11は、時系列データを用いたストーリー展開解析処理111Aの例を示している。ストーリー展開解析処理111Aは、ストーリー展開解析装置100Aのプロセッサ110によって実行させる。実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の解析のため、非負値行列データである時系列データ201M,202M,203Mに対して、NMFアルゴリズムを適用する。 Figure 11 shows an example of story development analysis processing 111A using time series data. Story development analysis processing 111A is executed by processor 110 of story development analysis device 100A. Story development analysis device 100A according to the embodiment applies the NMF algorithm to time series data 201M, 202M, and 203M, which are non-negative matrix data, in order to analyze the story development.

第3実施形態に係るストーリー展開解析処理111Aにおいては、まず、プロセッサ110が、検索処理を実行する(ステップS311)。検索処理は、第1実施形態と同様に、検索処理は、データベース200から、ユーザが探しているコンテンツ(対象コンテンツ)を検索する処理である。 In the story development analysis process 111A according to the third embodiment, the processor 110 first executes a search process (step S311). As in the first embodiment, the search process is a process of searching the database 200 for the content (target content) that the user is looking for.

プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツのデータを取得する。すなわち、プロセッサ110は、対象コンテンツのデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS312)。 The processor 110 obtains data of specific content that matches the search data as a search result in the database 200. That is, the processor 110 reads data of the target content from the database 200. The read content data includes the time series data described above. The content data including the time series data is stored in the storage device 120 (step S312).

プロセッサ110は、保存された時系列データ(図7参照)に対して、NMFアルゴリズムを適用する(ステップS313)。プロセッサ110は、NMFによる解析結果として、図8に示す第1非負値行列データWと、図9に示す第2非負値行列データHと、を得る。前述のように、第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。 The processor 110 applies the NMF algorithm to the stored time series data (see FIG. 7) (step S313). As a result of the analysis using NMF, the processor 110 obtains the first non-negative matrix data W shown in FIG. 8 and the second non-negative matrix data H shown in FIG. 9. As described above, the first non-negative matrix W is a basis matrix having r basis vectors. The second non-negative matrix H is an activation matrix indicating the weight of each basis vector.

プロセッサ110は、第1非負値行列データW及び第2非負値行列データHから、対象コンテンツのストーリー展開を示すイメージデータ(グラフィカルイメージ)を生成する(ステップS314)。プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。 The processor 110 generates image data (graphical image) indicating the story development of the target content from the first non-negative matrix data W and the second non-negative matrix data H (step S314). The processor 110 transmits the image data constituting the graphical image to the user terminal 300 together with other necessary data.

ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開の解析結果を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置300)に表示する。 The user terminal 300 receives data including image data for a graphical image. The user terminal 300 displays the graphical image, etc., on a display (input/output device 300) provided in the user terminal 300 as data showing the analysis results of the story development of the content to be presented.

図12は、ユーザ端末300のディスプレイに表示される画面500Aの例を示している。画面500Aは、グラフィカルユーザインタフェース(GUI)画面である。画面500Aにおいては、解析結果の表示と、ユーザ操作の受付とが行われる。 Figure 12 shows an example of a screen 500A displayed on the display of the user terminal 300. Screen 500A is a graphical user interface (GUI) screen. Screen 500A displays the analysis results and accepts user operations.

画面500Aは、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を有する。 Screen 500A has a work title display section 510, a topic display section 601, and a story development display section 602.

トピック表示部601は、対象コンテンツに含まれる1又は複数のトピックを表示する。トピック表示部601は、ストーリー展開表示部602において表示されるグラフの凡例表示にもなっている。 The topic display section 601 displays one or more topics included in the target content. The topic display section 601 also displays the legend for the graph displayed in the story development display section 602.

トピック表示部601において表示されるトピックは、第1非負値行列データWから生成される。図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。したがって、トピック表示部601には、3つのトピックF1,F2,F3が、表示される。 The topics displayed in the topic display section 601 are generated from the first non-negative matrix data W. The first non-negative matrix data W shown in FIG. 8 has three basis vectors F1, F2, and F3. Therefore, the three topics F1, F2, and F3 are displayed in the topic display section 601.

トピック表示部601は、各トピックF1,F2,F3におけるオブジェクトを示す。図12に示すトピック表示部601では、第1トピックF1における主要なオブジェクトはキャラクターBであり、第2トピックF2における主要なオブジェクトはキャラクターAであり、第3トピックF3における主要なオブジェクトはキャラクターB及びキャラクターCであることが示されている。トピック表示部601に各トピックF1,F2,F3における主要なオブジェクトが表示されていることで、ユーザは、各トピックF1,F2,F3に寄与する主要なオブジェクトを把握できる。 The topic display unit 601 shows objects in each of the topics F1, F2, and F3. The topic display unit 601 shown in FIG. 12 shows that the main object in the first topic F1 is character B, the main object in the second topic F2 is character A, and the main objects in the third topic F3 are character B and character C. As the main objects in each of the topics F1, F2, and F3 are displayed in the topic display unit 601, the user can understand the main objects contributing to each of the topics F1, F2, and F3.

プロセッサ110は、トピック表示部601に表示される主要なオブジェクトを、第1非負値行列Wに基づいて決定する。主要なオブジェクトは、第1非負値行列Wの行列要素の値に基づいて、決定される。第1非負値行列Wの行列要素の値は、各トピックにおけるオブジェクトの寄与度を示している。したがって、プロセッサ110は、各基底ベクトル(トピック)において、例えば、寄与度が最も大きいオブジェクト、又は、寄与度が閾値よりも大きいオブジェクトを、そのトピックにおける主要なオブジェクトとして決定できる。 The processor 110 determines the main object to be displayed in the topic display unit 601 based on the first non-negative matrix W. The main object is determined based on the values of the matrix elements of the first non-negative matrix W. The values of the matrix elements of the first non-negative matrix W indicate the contribution of the object to each topic. Therefore, the processor 110 can determine, for each basis vector (topic), for example, the object with the highest contribution, or the object with a contribution greater than a threshold, as the main object in that topic.

ストーリー展開表示部602は、各トピックF1,F2,F3の活性化度(以下、「アクティベーション値」ともいう)の時間的変化をグラフィカルイメージであるグラフによって示す。図10のストーリー展開表示部602において、横軸は、時間の一例として話数を示し、縦軸は、活性化度を示す。図10のストーリー展開表示部602では、3つのトピックF1,F2,F3それぞれの活性化度の時間的変化を可視化した折れ線グラフのイメージデータとして示されている。 The story development display section 602 shows the change over time in the activation level (hereinafter also referred to as "activation value") of each of the topics F1, F2, and F3 in the form of a graph, which is a graphical image. In the story development display section 602 of FIG. 10, the horizontal axis shows the number of episodes as an example of time, and the vertical axis shows the activation level. In the story development display section 602 of FIG. 10, the change over time in the activation level of each of the three topics F1, F2, and F3 is shown as image data of a line graph that visualizes the change.

図12のストーリー展開表示部602において、キャラクターBが主要なオブジェクトである第1トピックF1とキャラクターAが主要なオブジェクトである第2トピックF2については、時間的に安定した活性化度を示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターA及びキャラクターBが、対象コンテンツにおいて常に登場する主要なオブジェクト(いわゆる主人公)であることを把握できる。また、対象コンテンツにおいて、キャラクターA,Bに関するトピックF1,F2は、時間的に安定した活性化度を示していることから、対象コンテンツにおいては、主人公であるキャラクターA,Bは、ストーリー展開の起伏にかかわらず、安定的に登場していることがわかる。 In the story development display section 602 of FIG. 12, the first topic F1, in which character B is the main object, and the second topic F2, in which character A is the main object, show a stable activation level over time. Therefore, a user observing the story development display section 602 can understand that character A and character B are the main objects (so-called protagonists) who always appear in the target content. Furthermore, since topics F1 and F2 related to characters A and B in the target content show a stable activation level over time, it can be seen that characters A and B, who are the protagonists, appear stably in the target content regardless of the ups and downs of the story development.

また、ストーリー展開表示部602において、第3トピックF3は、時間的に大きく変動して起伏が生じていることを示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターC(メイン)及びキャラクターB(サブ)の絡みによってストーリー展開の起伏が作られていることを把握できる。 Furthermore, in the story development display section 602, the third topic F3 shows that it fluctuates greatly over time, resulting in ups and downs. Therefore, a user observing the story development display section 602 can understand that the ups and downs in the story development are created by the interaction between character C (main) and character B (sub-character).

つまり、ユーザは、キャラクターA,Bが主人公である一方、ストーリー展開の肝は、キャラクターC(メイン)及びキャラクターB(サブ)の絡みにあることを客観的に把握できる。このように、ユーザは、対象コンテンツのストーリー展開のパターンを容易に把握することができる。このようなストーリー展開のパターンは、人間がコンテンツを直接読んだり視聴したりしても容易には得られないおそれがあるが、NMFアルゴリズムを用いた解析により、ストーリー展開のパターンを容易に得ることができる。 In other words, the user can objectively understand that while characters A and B are the main characters, the key to the story development lies in the intertwining of characters C (main) and B (sub-character). In this way, the user can easily grasp the story development pattern of the target content. Such a story development pattern may not be easily obtained by a human reading or watching the content directly, but the story development pattern can be easily obtained by analysis using the NMF algorithm.

しかも、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであるため、異なるコンテンツ間のストーリー展開の類似性の検討に有用である。例えば、制作しようとするコンテンツを、他のコンテンツのストーリーに似せたい場合、又は、他のコンテンツのストーリーに似せたくない場合、ユーザである制作者は、ストーリー展開解析装置100Aにより得られた他のコンテンツのストーリー展開を参考に、制約しようとするコンテンツのストーリー展開を考えることができる。 Moreover, because the analysis results of the story development obtained by the NMF algorithm are numerical data, they are useful for examining the similarity of story development between different contents. For example, if the creator wants the content to be produced to resemble the story of another piece of content, or if the creator does not want the content to resemble the story of another piece of content, the creator user can consider the story development of the content to be restricted by referring to the story development of the other piece of content obtained by the story development analysis device 100A.

また、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであって、コンテンツのストーリー展開を定量的に表したものである。したがって、コンテンツの解析結果間の同一性又は類似性を用いて、あるコンテンツに似た他のコンテンツを検索することもできる。 The story development analysis results obtained by the NMF algorithm are numerical data that quantitatively represent the story development of the content. Therefore, it is possible to search for other content that is similar to a certain piece of content by using the identity or similarity between the analysis results of the content.

なお、画面500Aは、図8に示す第1非負値行列データW及び図9に示す第2非負値行列Hを数値データとして示す表示を含んでもよい。この場合、ユーザは、解析結果の詳細を確認することができる。 The screen 500A may include a display showing the first non-negative matrix data W shown in FIG. 8 and the second non-negative matrix H shown in FIG. 9 as numerical data. In this case, the user can check the details of the analysis results.

さらに、第3実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の見直し又は修正のために、対象コンテンツにおけるオブジェクト(キャラクター)の登場度をどのように調整すればよいかという値を表示する機能も有する。かかる機能によって、制作者等であるユーザは、ストーリー展開を変更した際のシミュレーションをすることができる。また、ユーザは、ストーリー展開の提案のヒントを得ることができる。 Furthermore, the story development analysis device 100A according to the third embodiment also has a function of displaying a value indicating how to adjust the appearance rate of objects (characters) in the target content in order to review or modify the story development. This function allows a user, such as a creator, to simulate what would happen if the story development were changed. In addition, the user can obtain hints for suggesting story developments.

オブジェクトの登場度の調整を支援するため、第3実施形態に係るプロセッサ110は、ストーリー展開解析処理111Aにおいて、ステップS315以降の処理を実行可能である。ここでは、NMFにより得られた各トピックのアクティベーション値(活性化度)を変更することで、調整後のオブジェクト登場度を得る。 To assist in adjusting the appearance of objects, the processor 110 according to the third embodiment can execute the processes from step S315 onwards in the story development analysis process 111A. Here, the adjusted appearance of objects is obtained by changing the activation value (activation level) of each topic obtained by NMF.

図13は、オブジェクトの登場度の調整を支援する機能を含む画面500Aを示している。この画面500Aは、図12と同様に、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を備える。更に、図13に示す画面500Aは、オブジェクト寄与度表示部701と、ストーリー展開調整部702と、調整結果表示部703と、を備える。 Figure 13 shows a screen 500A that includes a function to assist in adjusting the appearance degree of an object. Similar to Figure 12, this screen 500A includes a work name display section 510, a topic display section 601, and a story development display section 602. Furthermore, the screen 500A shown in Figure 13 includes an object contribution degree display section 701, a story development adjustment section 702, and an adjustment result display section 703.

オブジェクト寄与度表示部701は、第1非負値行列Wを示す数値データを表示する領域である。ユーザは、ストーリー展開表示部602に加えて、オブジェクト寄与度表示部701を参照することで、NMFアルゴリズムによる解析結果をより詳細に把握できる。 The object contribution display section 701 is an area that displays numerical data indicating the first non-negative matrix W. By referring to the object contribution display section 701 in addition to the story development display section 602, the user can grasp the analysis results by the NMF algorithm in more detail.

ストーリー展開調整部702は、調整の対象トピックの選択部702Aと、調整の対象話数(対象時間範囲)の選択部702Bと、アクティベーション値の入力部702Cと、を備える。トピックの選択部702Aでは、NMFにより得られた複数のトピックF1,F2,F3のうち、アクティベーション値(活性化度)が調整されるトピックが選択される。トピックの選択部702Aでは、抽出されたトピックF1,F2,F3がラジオボタン等を用いて選択可能に示されている。 The story development adjustment unit 702 includes a selection unit 702A for selecting a topic to be adjusted, a selection unit 702B for selecting the number of episodes to be adjusted (target time range), and an input unit 702C for inputting an activation value. The topic selection unit 702A selects a topic whose activation value (activation level) is to be adjusted from among multiple topics F1, F2, and F3 obtained by NMF. The topic selection unit 702A displays the extracted topics F1, F2, and F3 selectable using radio buttons or the like.

ストーリー展開解析装置100Aのプロセッサ110は、ユーザ端末300から、選択された対象トピックF3に示すデータを受け付ける。プロセッサ110は、ユーザ端末300から受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される対象トピックとして、例えば、第3トピックF3を選択する(ステップS315)。 The processor 110 of the story development analysis device 100A receives data indicating the selected target topic F3 from the user terminal 300. Based on the data received from the user terminal 300, the processor 110 selects, for example, the third topic F3 as the target topic for which the activation value is to be changed in the second non-negative matrix H (step S315).

話数の選択部702Bでは、対象コンテンツにおいてオブジェクトの登場度が調整される対象話数が、例えば数値で、ユーザによって入力される。プロセッサ110は、ユーザ端末300から、選択された対象話数(対象時間範囲)を示すデータを受け付ける。プロセッサ110は、ユーザ端末300あら受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される話数(時間範囲)として、例えば、第3話を選択する(ステップS316)。 In the episode number selection unit 702B, the target episode number for which the appearance rate of the object in the target content is to be adjusted is input by the user, for example as a numerical value. The processor 110 accepts data indicating the selected target episode number (target time range) from the user terminal 300. Based on the data accepted from the user terminal 300, the processor 110 selects, for example, the third episode as the episode number (time range) for which the activation value is to be changed in the second non-negative matrix H (step S316).

アクティベーション値の入力部702Cでは、変更後のアクティベーション値が、例えば数値で、ユーザによって入力される。変更後のアクティベーション値は、ユーザにより、任意の値が入力される。変更後のアクティベーション値としては、例えば、NMFにより得られた対象トピックのアクティベーション値(例えば、0)とは異なる値(例えば、0.7)に設定される。 In the activation value input section 702C, the user inputs the changed activation value, for example as a numerical value. The user inputs an arbitrary value as the changed activation value. The changed activation value is set, for example, to a value (for example, 0.7) different from the activation value (for example, 0) of the target topic obtained by NMF.

プロセッサ110は、ユーザ端末300から、変更後のアクティベーション値を受け付ける。プロセッサ110は、第2非負値行列Hにおいて、対象トピックF3の対象話数(第3話)のアクティベーション値だけを、変更前の0(図9参照)から変更後の値(0.7)に変更した、変更後の第2非負値行列Hを生成する。プロセッサ110は、図8に示す第1非負値行列Wに変更後の第2非負値行列を乗じる行列演算を実行する。この行列演算によって、図7に示す時系列データ201M(非負値行列データ)のうち、対象話数である第3話における各オブジェクトの登場度が更新される(ステップS317)。なお、更新後の時系列データ201Mにおいて、対象話数以外の各オブジェクトの登場度に変化はないため、行列演算において、対象話数以外の登場度を更新する演算は省略してもよい。 The processor 110 receives the changed activation value from the user terminal 300. The processor 110 generates a changed second non-negative matrix H by changing only the activation value of the target episode (episode 3) of the target topic F3 in the second non-negative matrix H from 0 (see FIG. 9) before the change to a changed value (0.7). The processor 110 executes a matrix operation to multiply the first non-negative matrix W shown in FIG. 8 by the changed second non-negative matrix. This matrix operation updates the appearance rate of each object in the target episode, episode 3, in the time series data 201M (non-negative matrix data) shown in FIG. 7 (step S317). Note that in the updated time series data 201M, there is no change in the appearance rate of each object other than the target episode, so the operation to update the appearance rate of objects other than the target episode may be omitted in the matrix operation.

プロセッサ110は、対象話数である第3話における各オブジェクトの更新後の登場度を調整結果として、ユーザ端末300へ送信する(ステップS318)。ユーザ端末300は、調整結果を受信し、その調整結果を、画面500Aの調整結果表示部703に表示させる。調整結果表示部703では、対象話数である第3話における第3トピックF3のアクティベーション値を0.7にするための各オブジェクトの登場度(登場回数)が表示される。ユーザは、調整結果表示部703を参照することで、調整後のオブジェクトの登場度を把握することができる。 The processor 110 transmits the updated appearance frequency of each object in the target episode, episode 3, to the user terminal 300 as the adjustment result (step S318). The user terminal 300 receives the adjustment result and displays the adjustment result in the adjustment result display section 703 of the screen 500A. The adjustment result display section 703 displays the appearance frequency (number of appearances) of each object for setting the activation value of the third topic F3 in the target episode, episode 3, to 0.7. The user can understand the appearance frequency of the objects after adjustment by referring to the adjustment result display section 703.

<3.付記> <3. Notes>

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。 The present invention is not limited to the above embodiment, and various modifications are possible.

10 :システム
100 :ストーリー展開提示装置
100A :ストーリー展開解析装置
110 :プロセッサ
111 :ストーリー展開提示処理
111A :ストーリー展開解析処理
120 :記憶装置
121 :コンピュータプログラム
121A :コンピュータプログラム
200 :データベース
201 :第1コンテンツデータ
201M :第1時系列データ
202 :第2コンテンツデータ
202M :第2時系列データ
203 :第3コンテンツデータ
203M :第3時系列データ
300 :ユーザ端末
310 :プロセッサ
320 :記憶装置
330 :入出力装置
400 :ネットワーク
500 :画面
500A :画面
501 :表示領域
510 :作品名表示部
511 :名称表示部
512 :グラフィカルイメージ
513 :第1表示部
514 :第2表示部
515 :第3表示部
516 :シークバー
516A :スライダ
601 :トピック表示部
602 :ストーリー展開表示部
701 :オブジェクト寄与度表示部
702 :ストーリー展開調整部
702A :選択部
702B :選択部
702C :入力部
703 :調整結果表示部
A :キャラクター
B :キャラクター
C :キャラクター
D :キャラクター
E :建物
F :建物
G :道具
H :道具
F1 :第1トピック
F2 :第2トピック
F3 :第3トピック
R :選択線
S :オブジェクト情報
T :時間情報
10: System 100: Story development presentation device 100A: Story development analysis device 110: Processor 111: Story development presentation processing 111A: Story development analysis processing 120: Storage device 121: Computer program 121A: Computer program 200: Database 201: First contents data 201M: First time series data 202: Second contents data 202M: Second time series data 203: Third contents data 203M: Third time series data 300: User terminal 310: Processor 320: Storage device 330: Input/output device 400: Network 500: Screen 500A: Screen 501: Display area 510: Work name display section 511: Name display section 512: Graphical image 513: First display section 514: Second display section 515: Third display section 516 : Seek bar 516A : Slider 601 : Topic display section 602 : Story development display section 701 : Object contribution display section 702 : Story development adjustment section 702A : Selection section 702B : Selection section 702C : Input section 703 : Adjustment result display section A : Character B : Character C : Character D : Character E : Building F : Building G : Tool H : Tool F1 : First topic F2 : Second topic F3 : Third topic R : Selection line S : Object information T : Time information

Claims (14)

複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、
前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示する
ことを備え、
前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備え、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
ストーリーの展開をユーザに提示する方法。
1. A method for presenting a user with a story development in which a plurality of objects appear, comprising:
a processor reading out time series data from a database storing time series data indicating a change over time in the appearance frequency of each of the plurality of objects;
the processor generates a graphical image showing a change over time in appearance of one or more objects included in the plurality of objects based on the read time-series data;
the processor presents the graphical images to the user as the story unfolds ;
the processor further comprising selecting the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
How the story unfolds is presented to the user.
前記グラフィカルイメージは、前記ストーリーを説明する文章が付属することなく、前記ユーザに提示される
請求項1に記載のストーリーの展開をユーザに提示する方法。
2. The method of claim 1, wherein the graphical images are presented to the user without accompanying text explaining the story.
前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備え、
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成される
請求項1又は請求項2に記載のストーリーの展開をユーザに提示する方法。
The processor further comprises selecting a partial time range of an entire time range of the time series data;
The method for presenting the development of a story to a user according to claim 1 or 2 , wherein the graphical image is generated based on partial time-series data in the partial time range of the time-series data.
前記一部の時間範囲は、前記ユーザから入力されたデータに基づいて選択される
請求項に記載のストーリーの展開をユーザに提示する方法。
The method of claim 3 , wherein the portion of the time range is selected based on data input by the user.
前記一部の時間範囲は、前記時系列データを解析した結果に基づいて選択される
請求項に記載のストーリーの展開をユーザに提示する方法。
The method for presenting a story development to a user according to claim 3 , wherein the partial time range is selected based on a result of analyzing the time series data.
複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、
前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示する
ことを備え、
前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備え、
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、
前記時系列データは、非負値行列データであり、
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される
トーリーの展開をユーザに提示する方法。
1. A method for presenting a user with a story development in which a plurality of objects appear, comprising:
a processor reading out time series data from a database storing time series data indicating a change over time in the appearance frequency of each of the plurality of objects;
the processor generates a graphical image showing a change over time in appearance of one or more objects included in the plurality of objects based on the read time-series data;
The processor presents the graphical images to the user as the story unfolds.
Prepare for this.
The processor further comprises selecting a partial time range of an entire time range of the time series data;
the graphical image is generated based on partial time series data in the partial time range of the time series data;
the time series data is non-negative matrix data,
The partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
How the story unfolds is presented to the user.
記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択すること、
を更に備え、
前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成される
請求項1又は請求項2に記載のストーリー展開をユーザに提示する方法。
the processor selecting a partial time range of the entire time range of the time series data;
Further comprising:
3. A method for presenting a storyline to a user according to claim 1 or claim 2, wherein the graphical images are generated to indicate a temporal change in the appearance of the one or more objects within the portion of time.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、
前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、
を備え、
前記プロセッサは、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択するよう構成され、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
ストーリー展開提示装置。
A database storing time-series data showing changes in the appearance frequency of each of a plurality of objects appearing in a story over time;
a processor configured to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical images to a user as the story progresses;
Equipped with
the processor is configured to select the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
A device that presents story development.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、A database storing time-series data showing changes in the appearance frequency of each of a plurality of objects appearing in a story over time;
前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、a processor configured to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical images to a user as the story progresses;
を備え、Equipped with
前記プロセッサは、前記時系列データの全時間範囲のうちの一部の時間範囲を選択するよう構成され、The processor is configured to select a portion of a time range of an entire time range of the time series data;
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、the graphical image is generated based on partial time series data in the partial time range of the time series data,
前記時系列データは、非負値行列データであり、the time series data is non-negative matrix data,
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるThe partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
ストーリー展開提示装置。A device that presents story development.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させるためのコンピュータプログラムであって、
前記処理は、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを含み、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
コンピュータプログラム。
A computer program for causing a computer to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in a plurality of objects, based on time-series data showing a change over time in appearance of each of the plurality of objects appearing in a story read from a database storing the time-series data, and presenting the graphical images to a user as the story progresses ,
the processing includes selecting the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
Computer program.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させるためのコンピュータプログラムであって、A computer program for causing a computer to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in a plurality of objects, based on time-series data showing a change over time in appearance of each of the plurality of objects appearing in a story read from a database storing the time-series data, and presenting the graphical images to a user as the story progresses,
前記処理は、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを含み、The process includes selecting a partial time range from an entire time range of the time series data;
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、the graphical image is generated based on partial time series data in the partial time range of the time series data;
前記時系列データは、非負値行列データであり、the time series data is non-negative matrix data,
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、The partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
コンピュータプログラム。Computer program.
複数のオブジェクトが登場するストーリーの展開を解析する方法であって、
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することで求めた2つの非負値行列を、前記ストーリーの展開の解析結果として得る
ことを備える、ストーリーの展開を解析する方法。
1. A method for analyzing a story development involving multiple objects, comprising:
a processor reads out time-series data from a database storing time-series data indicating a change over time in the appearance frequency of each of the plurality of objects and being non-negative matrix data;
The processor obtains two non-negative matrices as an analysis result of the development of the story by applying a non-negative matrix factorization algorithm to the time series data.
A method for analyzing the development of a story.
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、
前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用することで求めた2つの非負値行列を、前記ストーリーの展開の解析結果として得る処理を実行するよう構成されたプロセッサと、
を備えるストーリー展開解析装置。
A database storing time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and is non-negative matrix data;
a processor configured to execute a process of obtaining two non-negative matrices as an analysis result of the development of the story by applying a non-negative matrix factorization algorithm to the time-series data read from the database;
A story development analysis device comprising:
ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用することで求めた2つの非負値行列を、前記ストーリーの展開の解析結果として得る処理を、コンピュータに実行させるためのコンピュータプログラム。 A computer program for causing a computer to execute a process of obtaining two non-negative matrices as an analysis result of the development of a story by applying a non-negative matrix factorization algorithm to time series data read from a database in which the time series data indicates a temporal change in the appearance frequency of each of a number of objects that appear in a story and is non-negative matrix data.
JP2020065530A 2020-04-01 2020-04-01 Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof Active JP7539685B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020065530A JP7539685B2 (en) 2020-04-01 2020-04-01 Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020065530A JP7539685B2 (en) 2020-04-01 2020-04-01 Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof

Publications (2)

Publication Number Publication Date
JP2021163292A JP2021163292A (en) 2021-10-11
JP7539685B2 true JP7539685B2 (en) 2024-08-26

Family

ID=78003497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020065530A Active JP7539685B2 (en) 2020-04-01 2020-04-01 Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof

Country Status (1)

Country Link
JP (1) JP7539685B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7288207B2 (en) 2021-10-04 2023-06-07 ダイキン工業株式会社 Low-molecular-weight compound search method, program, device, and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281680A (en) 2006-04-04 2007-10-25 Sony Corp Image processor and image display method
JP2014068290A (en) 2012-09-27 2014-04-17 Sony Corp Image processing apparatus, image processing method, and program
JP2014139734A (en) 2013-01-21 2014-07-31 Sony Corp Information processing device and method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281680A (en) 2006-04-04 2007-10-25 Sony Corp Image processor and image display method
JP2014068290A (en) 2012-09-27 2014-04-17 Sony Corp Image processing apparatus, image processing method, and program
JP2014139734A (en) 2013-01-21 2014-07-31 Sony Corp Information processing device and method, and program

Also Published As

Publication number Publication date
JP2021163292A (en) 2021-10-11

Similar Documents

Publication Publication Date Title
CN1674007B (en) Wave lens systems and methods for search results
US20150378544A1 (en) Automated Content Detection, Analysis, Visual Synthesis and Repurposing
JP2004080769A (en) Method, system, user interface, and program for executing and filtering a joint index of multimedia or video stream annotations
KR102786461B1 (en) Video timed anchors
US9965150B2 (en) Personal user highlight from popular highlights
JP2008123239A (en) Keyword extraction search method and mobile terminal
EP4528539A1 (en) Information presentation method and apparatus, and electronic device and storage medium
CN110545475B (en) Video playing method and device and electronic equipment
US20150278187A1 (en) Summary-so-far feature for electronic books
KR20060095572A (en) Screen of Search Results-Expressions
JP7539685B2 (en) Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof
US20230052033A1 (en) Systems and methods for recommending content using progress bars
JP4568144B2 (en) Information presentation device and information presentation program
JP5805134B2 (en) Terminal device and device program
JP2008262506A (en) Information extraction system, information extraction method, and information extraction program
Richardson et al. The Effect of display size on reading and manipulating electronic text
US12155898B2 (en) Methods and systems facilitating adjustment of multiple variables via a content guidance application
JP2006350477A (en) File management device, its control method, computer program, and computer readable storage medium
KR101142231B1 (en) Vocabulary learning apparatus and method thereof
JP5152857B2 (en) Electronic device, display control method, and program
JP6638281B2 (en) Information processing device and program
CN111104026A (en) Method and device for recommending service
JP6979738B1 (en) Servers and animation recommendation systems, animation recommendation methods, programs
US20240095226A1 (en) Methods and related devices for storing and accessing data using multi-level fractal grids
KR20140098322A (en) Method and apparatus for providing personalized contents

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240806

R150 Certificate of patent or registration of utility model

Ref document number: 7539685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150