JP7539685B2 - Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof - Google Patents
Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof Download PDFInfo
- Publication number
- JP7539685B2 JP7539685B2 JP2020065530A JP2020065530A JP7539685B2 JP 7539685 B2 JP7539685 B2 JP 7539685B2 JP 2020065530 A JP2020065530 A JP 2020065530A JP 2020065530 A JP2020065530 A JP 2020065530A JP 7539685 B2 JP7539685 B2 JP 7539685B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- series data
- story
- objects
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011161 development Methods 0.000 title claims description 188
- 238000000034 method Methods 0.000 title claims description 80
- 238000004458 analytical method Methods 0.000 title claims description 65
- 238000004590 computer program Methods 0.000 title claims description 25
- 239000011159 matrix material Substances 0.000 claims description 115
- 230000008859 change Effects 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 45
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 5
- 230000018109 developmental process Effects 0.000 description 172
- 230000004913 activation Effects 0.000 description 29
- 241000556720 Manga Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
Description
特許法第30条第2項適用 令和2年3月27日、https://sig-cc.org/?p=164(第3回コミック工学研究会予稿集にWEB掲載)Article 30,
本開示は、ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、そのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、そのコンピュータプログラムに関する。 The present disclosure relates to a method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof.
特許文献1は、文字、イメージ、図形及び音声といった各種メディアの出現時間関係情報の時間的変化を用い、複数のメディアを空間的且つ時間的に組み合わせてなる複数のシーンの中から条件に合ったシーンを検索することを開示している。
漫画、小説、映画などのコンテンツのストーリー展開の把握・解析が望まれる場合がある。ストーリー展開の把握には、ストーリー自体の概略を文章で記述した説明、すなわち「あらすじ」が用いられることがある。 There are times when it is desirable to understand and analyze the story development of content such as manga, novels, and movies. To understand the story development, a written description that outlines the story itself, i.e. a "plot," is sometimes used.
しかし、ストーリー自体の概略を文章で記述した説明は、ストーリー展開の客観的な把握に欠けることがある。しかも、ストーリーを説明する文章の安易な提示は、未読者又は未視聴者への、いわゆるネタバレにつながるおそれがある。 However, a written explanation that outlines the story itself can sometimes lack an objective grasp of the story's development. Furthermore, carelessly presenting a text that explains the story can lead to spoilers for those who have not read or watched the film.
したがって、ストーリー自体を説明した文章に依拠しなくても、ストーリー展開を把握又は解析できることが望まれる。 Therefore, it is desirable to be able to understand or analyze the development of a story without relying on text that explains the story itself.
本発明者らは、ストーリーに登場するオブジェクト(登場人物など)の登場度の時間的変化が、ストーリー展開に関する基礎的な因子である、という着想を得た。したがって、オブジェクトの登場度の時間的変化を用いると、ストーリー自体を説明した文章に依拠しなくてもストーリー展開の把握又は解析が可能になる。本開示は、かかる着想に基づくものである。 The inventors came up with the idea that the change over time in the frequency of appearance of objects (such as characters) that appear in a story is a fundamental factor in the development of the story. Therefore, by using the change over time in the frequency of appearance of objects, it becomes possible to understand or analyze the development of a story without relying on text that explains the story itself. The present disclosure is based on this idea.
本開示のある側面は、ストーリーの展開をユーザに提示する方法である。開示の方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法であって、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。 One aspect of the present disclosure is a method for presenting the development of a story to a user. The disclosed method is a method for presenting the development of a story in which a plurality of objects appear to a user, comprising: a processor reading time series data from a database in which the time series data indicating a change over time in the appearance of each of the plurality of objects is stored; the processor generating a graphical image indicating a change over time in the appearance of one or more objects included in the plurality of objects based on the read time series data; and the processor presenting the graphical image to the user as the development of the story.
本開示の他の側面は、ストーリー展開提示装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the present disclosure is a story development presentation device. The disclosed device includes a database storing time-series data indicating the change over time in the appearance of each of a plurality of objects appearing in a story, and a processor configured to execute a process of generating a graphical image indicating the change over time in the appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical image to a user as the development of the story.
本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 Another aspect of the present disclosure is a computer program. The disclosed computer program causes a computer to execute a process of generating a graphical image showing a change over time in the appearance frequency of one or more objects included in a plurality of objects that appear in a story, based on time-series data showing a change over time in the appearance frequency of each of the plurality of objects that appear in the story read from a database storing the time-series data, and presenting the graphical image to a user as the story progresses.
本開示の他の側面は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。開示の方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。 Another aspect of the present disclosure is a method for analyzing the development of a story in which multiple objects appear. The disclosed method includes a processor reading time series data from a database in which the time series data indicates a change in the appearance frequency of each of the multiple objects over time and is non-negative matrix data, and the processor applying a non-negative matrix factorization algorithm to the time series data to analyze the story.
本開示の他の側面は、ストーリー展開解析装置である。開示の装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 Another aspect of the present disclosure is a story development analysis device. The disclosed device includes a database that stores time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and is non-negative matrix data, and a processor configured to execute a process of applying a non-negative matrix factorization algorithm to the time-series data read from the database.
本開示の他の側面は、コンピュータプログラムである。開示のコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 Another aspect of the present disclosure is a computer program. The disclosed computer program causes a computer to execute a process of applying a non-negative matrix factorization algorithm to time-series data read from a database storing time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and that is non-negative matrix data.
更なる詳細は、後述の実施形態として説明される。 Further details are described in the embodiments below.
<1.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの概要> <1. Overview of a method for presenting a story development to a user, a story development presentation device, a computer program for presenting a story development, a method for analyzing a story development, a story development analysis device, and a computer program for analyzing a story development>
(1)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開をユーザに提示する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出すことを備える。複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データは、ストーリー展開を示す。前記方法は、前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示することを備える。オブジェクトの登場度がグラフィカルイメージによってユーザに提示されることで、ユーザは容易にストーリー展開を把握できる。 (1) A method according to an embodiment is a method for presenting to a user the development of a story in which multiple objects appear. The method includes a processor reading out time series data from a database in which the time series data indicating the change over time in the appearance of each of the multiple objects is stored. The time series data indicating the change over time in the appearance of each of the multiple objects indicates a story development. The method includes the processor generating a graphical image indicating the change over time in the appearance of one or more objects included in the multiple objects based on the read time series data, and presenting the graphical image to the user as the development of the story. The appearance of objects is presented to the user by a graphical image, allowing the user to easily grasp the development of the story.
(2)前記グラフィカルイメージは、前記ストーリーを説明する文章が付属することなく、前記ユーザに提示されるのが好ましい。ストーリーを説明する文章が付属することなく、オブジェクトの登場度の時間的変化が示されることで、ストーリー展開を示しつつもネタバレを防止することができる。 (2) It is preferable that the graphical images are presented to the user without accompanying text explaining the story. By showing the change in the frequency of appearance of objects over time without accompanying text explaining the story, it is possible to prevent spoilers while indicating the development of the story.
(3)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備えるのが好ましい。この場合、時系列データに含まれるオブジェクトの数が膨大であっても、選択されたオブジェクトの登場度の時間的変化だけがグラフィカルイメージとして提示される。したがって、オブジェクトの数が膨大であっても、視認性の低下を防止できる。 (3) Preferably, the method according to the embodiment further comprises the processor selecting the one or more objects from the plurality of objects. In this case, even if the number of objects included in the time-series data is huge, only the temporal change in the appearance frequency of the selected object is presented as a graphical image. Therefore, even if the number of objects is huge, a decrease in visibility can be prevented.
(4)前記1つ以上のオブジェクトは、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意にオブジェクトを選択できる。 (4) The one or more objects may be selected based on data input by the user. In this case, the user can select the objects at will.
(5)前記1つ以上のオブジェクトは、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、オブジェクトが選択される。 (5) The one or more objects may be selected based on the results of analyzing the time series data. In this case, the objects are selected according to the content of the time series data.
(6)前記1つ以上のオブジェクトは、前記時系列データが示す前記登場度に基づいて選択されてもよい。この場合、時系列データが示す登場度に応じて、オブジェクトが選択される。 (6) The one or more objects may be selected based on the appearance frequency indicated by the time series data. In this case, the object is selected according to the appearance frequency indicated by the time series data.
(7)前記時系列データは、非負値行列データであってもよい。前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、オブジェクトは、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (7) The time series data may be non-negative matrix data. It is preferable that the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. In this case, the objects are selected based on the analysis results by the non-negative matrix factorization algorithm.
(8)実施形態に係る前記方法は、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備えるのが好ましい。前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成されてもよい。この場合、長いストーリーであっても、選択された一部の時間範囲における部分時系列データのグラフィカルイメージがユーザに示されるため、視認性の低下を防止できる。 (8) Preferably, the method according to the embodiment further comprises the processor selecting a partial time range of the entire time range of the time series data. The graphical image may be generated based on partial time series data in the partial time range of the time series data. In this case, even for a long story, a graphical image of the partial time series data in the selected partial time range is shown to the user, thereby preventing a decrease in visibility.
(9)前記一部の時間範囲は、前記ユーザから入力されたデータに基づいて選択されてもよい。この場合、ユーザが任意に一部の時間範囲を選択できる。 (9) The partial time range may be selected based on data input by the user. In this case, the user can arbitrarily select the partial time range.
(10)前記一部の時間範囲は、前記時系列データを解析した結果に基づいて選択されてもよい。この場合、時系列データの内容に応じて、一部の時間範囲が選択される。 (10) The partial time range may be selected based on the results of analyzing the time series data. In this case, the partial time range is selected according to the content of the time series data.
(11)前記時系列データは、非負値行列データであってもよい。前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるのが好ましい。この場合、一部の時間範囲は、非負値行列因子分解アルゴリズムによる解析結果に基づいて選択される。 (11) The time series data may be non-negative matrix data. It is preferable that the partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm. In this case, the partial time range is selected based on the analysis results by the non-negative matrix factorization algorithm.
(12)実施形態に係る前記方法は、前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択すること、前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択すること、を更に備えることができる。前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成されるのが好ましい。 (12) The method according to the embodiment may further include the processor selecting the one or more objects from the plurality of objects, and the processor selecting a partial time range of a total time range of the time series data. The graphical image is preferably generated to indicate a temporal change in the appearance of the one or more objects in the partial time range.
(13)実施形態に係るストーリー展開提示装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、を備える。 (13) A story development presentation device according to an embodiment includes a database storing time-series data indicating a change over time in the appearance of each of a plurality of objects appearing in a story, and a processor configured to execute a process of generating a graphical image indicating a change over time in the appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical image to a user as the development of the story.
(14)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を、コンピュータに実行させる。 (14) A computer program according to an embodiment causes a computer to execute a process of generating a graphical image showing a change over time in the appearance of one or more objects included in a plurality of objects based on time series data showing a change over time in the appearance of each of the plurality of objects appearing in a story read from a database storing the time series data, and presenting the graphical image to a user as the story progresses.
(15)実施形態に係る方法は、複数のオブジェクトが登場するストーリーの展開を解析する方法である。前記方法は、プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、前記プロセッサが、前記ストーリーを解析するために、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することを備える。この場合、ストーリー展開の解析手法としては、新規な手法、すなわち、非負値行列因子分解アルゴリズムを用いた解析手法が得られる。後述のように、本発明者らは、非負値行列因子分解アルゴリズムを用いた解析手法が、ストーリー展開の解析に有用であることを見出した。 (15) A method according to an embodiment is a method for analyzing the development of a story in which multiple objects appear. The method includes a processor reading time-series data from a database in which time-series data indicating a temporal change in the appearance frequency of each of the multiple objects and being non-negative matrix data is stored, and the processor applying a non-negative matrix factorization algorithm to the time-series data in order to analyze the story. In this case, a novel method for analyzing the story development is obtained, that is, an analysis method using a non-negative matrix factorization algorithm. As described below, the present inventors have found that an analysis method using a non-negative matrix factorization algorithm is useful for analyzing the story development.
(16)実施形態に係るストーリー展開解析装置は、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースと、前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用する処理を実行するよう構成されたプロセッサと、を備える。 (16) A story development analysis device according to an embodiment includes a database storing time-series data that indicates a change over time in the appearance frequency of each of a number of objects that appear in a story and that is non-negative matrix data, and a processor configured to execute a process of applying a non-negative matrix factorization algorithm to the time-series data read from the database.
(17)実施形態に係るコンピュータプログラムは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから読み出した前記時系列データに対して、非負値行列因子分解アルゴリズムを適用する処理を、コンピュータに実行させる。 (17) A computer program according to an embodiment causes a computer to execute a process of applying a non-negative matrix factorization algorithm to time-series data read from a database storing time-series data that indicates a change over time in the appearance frequency of each of a number of objects that appear in a story and that is non-negative matrix data.
<2.ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、ストーリー展開提示のためのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、ストーリー展開解析のためのコンピュータプログラムの例> <2. Examples of a method for presenting a story development to a user, a story development presentation device, a computer program for presenting a story development, a method for analyzing a story development, a story development analysis device, and a computer program for analyzing a story development>
<2.1 第1実施形態> <2.1 First embodiment>
図1は、第1実施形態に係るシステム10を示している。第1実施形態に係るシステム10は、ストーリー展開提示装置100を備える。ストーリー展開提示装置100は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示する。コンテンツは、例えば、漫画、小説、映画、テレビ番組などである。コンテンツは、漫画等に限られず、ストーリー性のあるコンテンツであれば足りる。ストーリー性のあるコンテンツの他の例は、チャットアプリにおける会話データである。チャットアプリにおける会話の流れは、漫画又は小説中の会話と同様に、ストーリー性を持つ。
FIG. 1 shows a
第1実施形態において、ユーザは、例えば、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者である。ユーザは、ユーザ端末300を用いて、ストーリー展開提示装置100にアクセスすることができる。ユーザ端末300は、例えば、スマートフォン、タブレット、デスクトップコンピュータ、又はラップトップコンピュータである。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。
In the first embodiment, the user is, for example, a reader of manga or novels, or a viewer of movies or television programs. The user can access the story
システム10は、ストーリー展開提示装置100に対してネットワーク400を介して接続されるユーザ端末300を備える。ネットワーク400は、例えば、インターネットである。ストーリー展開提示装置100は、例えば、インターネット上に設置されたサーバである。
The
ストーリー展開提示装置100は、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。プロセッサ110は、例えば、CPUである。記憶装置120は、例えば、一次記憶装置及び二次記憶装置を有する。一次記憶装置は、例えば、RAMである。二次記憶装置は、例えば、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SDD)である。
The story
記憶装置120には、コンピュータをストーリー展開提示装置100として動作させるためのコンピュータプログラム121が格納されている。コンピュータプログラム121は、ストーリー展開提示処理111をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開提示処理111は、コンテンツのストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示することを含む処理である。ストーリー展開提示処理111については、後述する。
The
ストーリー展開提示装置100は、データベース200を備える。データベース200は、記憶装置120内に格納されていてもよいし、プロセッサ110及び記憶装置120を備えるコンピュータに接続された他のコンピュータ(例えば、インターネット上のデータベースサーバ)に格納されていてもよい。
The story
データベース200は、複数のコンテンツデータ201,202,203を備える。コンテンツが漫画であれば、コンテンツデータは、漫画のイメージデータ、及び、作品名などの作品情報を含む。コンテンツが、小説であれば、コンテンツデータは、小説のテキストデータ、及び作品名などの作品情報を含む。コンテンツが映画又テレビ番組であれば、コンテンツデータは、映像・音声データ、及び、作品名などの作品情報を含む。実施形態において、コンテンツは、デジタルコンテンツでもよいし、紙又はその他の媒体のコンテンツであってもよい。
The
図1においては、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。
In FIG. 1,
実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。例えば、第1コンテンツデータ201は、第1コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第1時系列データ201Mを含む。第2コンテンツデータ202は、第2コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第2時系列データ202Mを含む。第3コンテンツデータ203は、第3コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す第3時系列データ203Mを含む。
The
オブジェクトは、例えば、コンテンツに登場する人(キャラクター)、動物、その他の物体、概念、決め言葉、その他の言葉、音、風景、背景である。オブジェクトは、図として表される物体又は映像中の物体であってもよいし、文章中の言葉、又は会話によって表される物体又は概念等であってもよい。 An object is, for example, a person (character), an animal, another object, a concept, a catchphrase, another word, a sound, a landscape, or a background that appears in the content. An object may be an object represented as a diagram or an object in a video, or a word in a sentence, or an object or concept represented by a conversation, etc.
登場度は、コンテンツにおいて、オブジェクトが登場する度合いを示す。登場度は、オブジェクトの登場回数であってもよいし、オブジェクトの登場割合であってもよい。登場度は、単に、登場の有無を示してもよい。 The appearance frequency indicates the degree to which an object appears in the content. The appearance frequency may be the number of times an object appears, or the percentage of appearance of an object. The appearance frequency may simply indicate whether or not an object appears.
コンテンツにおける「時間」は、コンテンツのストーリーの進行度を示す指標であれば足り、物理的な時間である必要はない。例えば、コンテンツが漫画又は小説であれば、ページ番号、話数、及び巻番号は、それぞれ、ストーリーの進行度を示す指標であり、コンテンツにおける「時間」として扱うことができる。コンテンツが映画又はテレビ番組であれば、そのコンテンツの開始からの経過時間を、コンテンツにおける「時間」として扱うことができる。また、コンテンツのストーリーが特定の日付と時間を示しつつ展開される場合、その日付等を、コンテンツにおける「時間」として扱ってもよい。 "Time" in content need only be an indicator of the progress of the content's story, and does not have to be physical time. For example, if the content is a manga or novel, the page number, chapter number, and volume number are each indicators of the progress of the story, and can be treated as "time" in the content. If the content is a movie or television program, the elapsed time from the start of the content can be treated as "time" in the content. Also, if the story of the content unfolds while indicating a specific date and time, that date, etc. can be treated as "time" in the content.
登場度は、例えば、コンテンツのストーリーの流れにおける単位期間あたりの登場回数、登場割合、又は登場の有無である。単位期間は、例えば、1ページ、1話、1巻など、コンテンツが掲載された媒体の形態に基づく単位長さであってもよいし、1分、10分、1時間などの単位時間長さであってもよい。 The frequency of appearance is, for example, the number of times an item appears, the percentage of appearance, or whether or not it appears per unit period in the story flow of the content. The unit period may be, for example, one page, one episode, one volume, or a unit length based on the form of the medium in which the content is published, or it may be a unit time length such as one minute, ten minutes, or one hour.
単位期間における登場回数は、単位期間内において特定のオブジェクトが何回登場したかを示す。単位期間における登場頻度は、単位期間内において登場した全オブジェクトの登場総回数のうち、単位期間内における特定のオブジェクトの登場回数が占める割合である。単位期間における登場の有無は、単位期間内において特定のオブジェクトが登場したか否かを示す。 The number of appearances in a unit period indicates how many times a particular object appeared in the unit period. The frequency of appearance in a unit period is the ratio of the number of times a particular object appeared in the unit period to the total number of times all objects appeared in the unit period. The presence or absence of appearance in a unit period indicates whether or not a particular object appeared in the unit period.
図2は、第1コンテンツの第1時系列データ201Mのデータ構造の例を示している。他の時系列データ202M,203Mについては、図示を省略するが、同様のデータ構造を有している。ここで、第1コンテンツは、漫画とする。
Figure 2 shows an example of the data structure of the first
第1時系列データ201Mは、時間情報Tと、オブジェクト情報Sと、を備える。時間情報Tは、第1コンテンツのストーリーの進行度(進行位置)を示す指標であり、ページ番号、話数、巻番号の組み合わせによって表される。すなわち、時間情報Tは、第1時間情報であるページ番号T1と、第2時間情報である話数T2と、第3時間情報である巻番号T3と、を備える。ここでは、登場度のための単位期間は、時間情報Tにおける最小時間単位である1ページである。図2では、t1からtxへと時間が進行する。
The first
オブジェクト情報Sは、複数のオブジェクトそれぞれの登場度を示す。オブジェクト情報Sには、第1コンテンツに登場する全オブジェクトについての登場度が含まれる。図2では、オブジェクトとして、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが示されている。 The object information S indicates the appearance of each of the multiple objects. The object information S includes the appearance of all objects that appear in the first content. In FIG. 2, the objects shown are character A, character B, character C, character D, building E, building F, tool G, and tool H.
登場度は、各単位期間(各ページ)に対応付けられている。例えば、図2の第1行P1は、第1コンテンツの第1巻・第1話・第1ページという単位期間における各オブジェクトの登場度(登場回数)を示している。具体的には、図2の第1行p1においては、第1巻・第1話・第1ページにおいて、キャラクターAが2回、キャラクターBが1回、キャラクターCが1回、キャラクターDが0回、建物Eが0回、建物Fが0回、道具Gが0回、道具Hが1回登場したことを示している。このように、図2の第1行P1では、第1コンテンツの第1巻・第1話・第1ページという単位期間に対して、その単位期間内における各オブジェクトの登場度が対応付けられている。同様に、他の単位期間にも、その単位期間内における各オブジェクトの登場度が対応付けられている。
The appearance degree is associated with each unit period (each page). For example, the first line P1 in FIG. 2 shows the appearance degree (number of appearances) of each object in the unit period of
第1時系列データ201Mは、上記のように構成されているため、第1コンテンツに登場する複数のオブジェクトA,B,C,D,E,F,G,Hそれぞれの登場度の時間的変化を示す。このような時系列データ201M,202M,203Mは、オブジェクトの登場度の時間的変化を示すとともに、ストーリー展開の定量的に表したものになっている。したがって、時系列データ201M,202M,203Mは、ストーリー展開の把握・解析に有用である。
Since the first
図3は、時系列データを用いたストーリー展開提示処理111の例を示している。ストーリー展開提示処理111は、ストーリー展開提示装置100のプロセッサ110によって実行される。実施形態に係るストーリー展開提示装置100は、ユーザから入力されるクエリに応じて読み出された時系列データから、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開提示装置100は、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。
Figure 3 shows an example of a story
時系列データがグラフィカルイメージとしてユーザに提示されることで、ユーザは、オブジェクトの登場度の時間的変化によって示されるストーリー展開を、グラフィカルイメージを介して、容易に認識することができる。グラフィカルイメージによるストーリー展開の提示は、文章又は数値によるストーリー展開の提示に比べて、視覚的、かつ、直感的な理解が可能である。 By presenting the time series data to the user as graphical images, the user can easily recognize the story development, which is indicated by the temporal change in the appearance frequency of objects, through the graphical images. The presentation of the story development through graphical images allows for a more visual and intuitive understanding than the presentation of the story development through text or numerical values.
第1実施形態に係るストーリー展開提示処理111においては、まず、ストーリー展開提示装置100のプロセッサ110が、検索処理を実行する(ステップS111)。検索処理は、ユーザが探しているコンテンツを検索する処理である。検索処理においては、ストーリー展開提示装置100が、ユーザ端末300からのコンテンツ検索要求を受け付け、データベース200において検索を実行する。以下では、検索されたコンテンツを、対象コンテンツということがある。
In the story
コンテンツ検索要求は、例えば、検索のためのクエリを含む。クエリは、コンテンツの検索のために用いられる検索データを含む。検索データは、コンテンツを識別するためのデータであり、例えば、作品名を示すデータである。クエリは、自然言語からなる文書であってもよい。 The content search request includes, for example, a query for the search. The query includes search data used to search for the content. The search data is data for identifying the content, for example, data indicating the title of the work. The query may be a document written in a natural language.
プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツデータを取得する。すなわち、プロセッサ110は、対象コンテンツのコンテンツデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS112)。
The
プロセッサ110は、保存された時系列データから、時系列データをグラフィカルに表すイメージデータ(グラフィカルイメージ)を生成する(ステップS115)。実施形態において、グラフィカルイメージは、登場度の時間的変化を示すグラフのイメージデータである(図4参照)。
The
データベース200に格納された時系列データは、対応するコンテンツの全オブジェクトの登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、対象コンテンツにおける全てのオブジェクトの登場度の時間的変化を示すよりも、少ない数のオブジェクトの登場度の時間的変化を示した方がよい場合がある。
The time series data stored in
そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示されるオブジェクトを絞り込むため、グラフィカルイメージの生成に用いられるオブジェクトを選択する(ステップS113)。ステップS113において選択されたオブジェクトを対象オブジェクトという。実施形態において、グラフィカルイメージは、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象オブジェクトとして、全てのオブジェクトが選択されてもよい。
The
対象オブジェクトの選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象オブジェクトの自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。
The selection of the target object may be automatic selection in which the
対象オブジェクトの自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象オブジェクトを選択することができる。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。
The automatic selection of the target object can be based on the results of analyzing the time series data of the target content. The analysis of the time series data is, for example, an analysis of the appearance frequency of each object. The
対象オブジェクトの選択基準は、例えば、オブジェクトの登場度が閾値よりも大きいこと、又はオブジェクトの登場度の大きさが上位所定数内(例えば、登場度の大きさが上位3位以内)にあること、である。登場度が高いオブジェクトは、対象コンテンツにおける主要なオブジェクトといえる。主要なオブジェクトの登場度の時間的変化を示すことで、主要なオブジェクトを軸にしたストーリー展開を示すことができる。 The selection criteria for the target object are, for example, that the appearance frequency of the object is greater than a threshold value, or that the object's appearance frequency is within a predetermined top number (for example, within the top three). An object with a high appearance frequency can be said to be a main object in the target content. By showing the change over time in the appearance frequency of the main object, it is possible to show the development of a story centered around the main object.
対象オブジェクトの他の選択基準は、オブジェクトの登場度が閾値よりも小さいこと、又はオブジェクトの登場度の大きさが下位所定数内(例えば、登場度の大きさが下位3位以内)にあること、である。登場度が低いオブジェクトが、ストーリー展開における重要な地位を占めるキーオブジェクトであることもあるため、登場度が低いオブジェクトの登場度の時間的変化を示すことも有用である。 Other selection criteria for target objects are that the appearance rate of the object is less than a threshold value, or that the magnitude of the appearance rate of the object is within a certain lower number (for example, within the bottom three). Since an object with a low appearance rate may be a key object that occupies an important position in the development of the story, it is also useful to show the change in the appearance rate of an object with a low appearance rate over time.
また、データベース200に格納された時系列データは、対応するコンテンツの全時間範囲(コンテンツの開始から終了まで)における登場度の時間的変化を示すデータを含んでいる。しかし、ユーザの視認性又はストーリー展開の把握容易性の観点からは、全時間範囲における登場度の時間的変化を示すよりも、より短い時間範囲(全時間範囲における一部の時間範囲)における登場度の時間的変化を示した方がよい場合がある。
The time series data stored in
そこで、実施形態に係るプロセッサ110は、グラフィカルイメージにおいて示される時間範囲を一部の時間範囲に絞り込むため、グラフィカルイメージ生成に用いられる時間範囲を選択する(ステップS114)。ステップS114において選択された時間範囲を対象時間範囲という。時系列データにおいて対象時間範囲における登場度の時間的変化を示すデータを、部分時系列データという。実施形態において、グラフィカルイメージは、部分時系列データから、対象時間範囲における、オブジェクトの登場度の時間的変化を示すグラフのイメージデータとして生成される。なお、対象時間範囲として、対象コンテンツの全時間範囲が選択されてもよい。全時間範囲は、例えば、コンテンツの全巻、全話、及び全ページを示す。対象時間範囲となる一部の時間範囲は、例えば、特定の1又は複数の巻番号、特定の巻中の1又は複数の話数、特定の1又は複数のページ番号である。
The
対象時間範囲の選択は、所定の選択アルゴリズムをプロセッサ110が実行することよって選択される自動選択であってもよいし、端末300からのユーザ入力によって選択される手動選択であってもよい。自動選択であれば、ユーザ負担が軽減され、手動選択であれば、ユーザの関心に応じた自由な選択が可能になる。対象時間範囲の自動選択には、ステップS111の検索処理の結果又は検索データが用いられてもよい。
The selection of the target time range may be automatic selection in which the
対象時間範囲の自動選択は、対象コンテンツの時系列データを解析した結果に基づくことができる。時系列データの解析は、例えば、オブジェクト毎の登場度の解析である。プロセッサ110は、オブジェクト毎の登場度を解析し、オブジェクトの登場度の大きさ又は登場度の変化度合いに基づいて、対象時間範囲を選択することができる。解析対象となるオブジェクトは、対象オブジェクトであってもよいし、対象オブジェクト以外のオブジェクトを含んでもよい。なお、時系列データの解析は、後述の第2実施形態において説明されるように、非負値行列因子分解によって行われてもよい。
The automatic selection of the target time range can be based on the results of analyzing the time series data of the target content. The analysis of the time series data is, for example, an analysis of the appearance degree of each object. The
対象時間範囲は、例えば、対象オブジェクトが閾値よりも多く登場する時間を含む時間範囲として選択される。また、対象時間範囲は、対象オブジェクトの登場度の変化度合いが閾値よりも大きくなった時間を含む時間範囲として選択される。対象オブジェクトが多く登場する時間範囲を選択することで、適切なストーリー展開提示となる。また、対象オブジェクトの登場度が変化(増加又は減少)したタイミングは、ストーリー展開の重要なタイミングであることがあるため、対象オブジェクトの登場度の変化度合いが大きい時間範囲を選択することで、適切なストーリー展開提示となる。 The target time range is selected, for example, as a time range including a time when the target object appears more frequently than a threshold value. Also, the target time range is selected as a time range including a time when the degree of change in the appearance rate of the target object becomes greater than a threshold value. By selecting a time range in which the target object appears more frequently, an appropriate story development is presented. Also, since the timing when the appearance rate of the target object changes (increases or decreases) can be an important timing in the story development, selecting a time range in which the degree of change in the appearance rate of the target object is large can result in an appropriate story development presentation.
なお、図3では、ステップS112において時系列データを読み出した後に、対象オブジェクトの選択(ステップS113)及び対象時間範囲(ステップS114)の選択を行ったが、逆でもよい。すなわち、対象オブジェクトの選択及び対象時間範囲の選択を行った後、データベース200に格納されている時系列データのうち、対象時間範囲における対象オブジェクトの登場度の時間的変化を示すデータだけを読み出してもよい。
In FIG. 3, after the time series data is read in step S112, the target object is selected (step S113) and the target time range is selected (step S114), but the reverse may be done. In other words, after the target object and the target time range are selected, only data indicating the temporal change in the appearance frequency of the target object in the target time range may be read out from the time series data stored in
ステップS115において、プロセッサ110は、対象時間範囲における、対象オブジェクトの登場度の時間的変化を示すグラフのイメージデータ(グラフィカルイメージ)を生成する。
In step S115, the
ステップS116において、プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置330)に表示する(ステップS131)。
In step S116, the
その後、プロセッサ110は、ユーザ端末300におけるユーザ操作を受け付けて、ユーザ端末300に表示されるグラフィカルイメージ等を随時更新することができる(ステップS117)。
Then, the
図4は、ユーザ端末300のディスプレイに表示される画面500の例を示している。画面500は、グラフィカルユーザインタフェース(GUI)画面である。画面500においては、時系列データのグラフィカルイメージ512等の表示と、ユーザ操作の受付と、が行われる。
Figure 4 shows an example of a
画面500は、ストーリー展開提示装置100から受信したデータの表示領域501を備えている。表示領域501は、時系列データのグラフィカルイメージ512を有する。グラフィカルイメージ512は、対象コンテンツにおけるオブジェクトの登場度の変化からみたストーリー展開を示している。
The
表示領域501は、グラフィカルイメージ512以外に、作品名表示部510と、対象オブジェクトの名称表示部511と、シークバー516と、を有する。
In addition to the
作品名表示部510は、対象コンテンツの作品名を表示するための領域である。名称表示部511は、対象コンテンツにおける対象オブジェクトの名称を表示するための領域である。対象オブジェクトの名称は、例えば、キャラクター名である。図4は、対象オブジェクトとして、キャラクターA、キャラクターB、及びキャラクターCの3つのオブジェクトが選択された場合を示している。図4に示す表示領域501において、キャラクターAには、「O-1」の参照記号が付され、キャラクターBには、「O-2」の参照記号が付され、キャラクターCには、「O-3」の参照記号が付されている。
The work
図4に示すグラフィカルイメージ512は、対象時間範囲における対象オブジェクトの登場度の時間的変動を示すグラフとして構成されている。グラフィカルイメージ512であるグラフの横軸は、時間を示し、縦軸は、各対象オブジェクトの登場度(登場割合)を示す。ここでは、複数(3個)の対象オブジェクトが選択されており、対象時間範囲は、第1話から第20話である。
The
図4に示すグラフィカルイメージ512は、各時間範囲(1話分の範囲)における、選択された全対象オブジェクトの登場総数に対して、各対象オブジェクトの登場回数が占める割合として示されている。つまり、各時間範囲(1話分の範囲)における3つの対象オブジェクトの登場総数を100とした場合に、各対象オブジェクトがどの程度の割合で登場したかを示す。例えば、第9話においては、3つのキャラクターA,B,Cのうち、キャラクターA(O-1)の登場割合は53.77%であり、キャラクターB(O-2)の登場割合は46.23%であり、キャラクターC(O-3)の登場割合は0%であったことが示される。
The
図4に示すグラフィカルイメージ512では、各対象オブジェクトの登場割合の大きさの時間的変化が、グラフにおいて各対象オブジェクトが占める面積の大きさの時間的変化によって示される。したがって、登場割合の時間的変化の視覚的かつ直感的な理解が容易である。しかも、図4に示すグラフィカルイメージ512では、選択された複数の対象オブジェクトだけに限って、登場割合の時間的変化が示されているため、選択された複数の対象オブジェクトによるストーリー展開の変化を、視覚的かつ直感的に把握することができる。
In the
実施形態に係るストーリー展開提示装置100によれば、ユーザは、ストーリー展開の変化を、視覚的かつ直感的に把握できるため、コンテンツを直接見ることなく、ストーリー中の特定の箇所(特定のシーン)を探すことが可能となる。例えば、ユーザが、キャラクターAとキャラクターBとが共演する特定のシーンの箇所がどこにあるか思い出せない場合であっても、グラフィカルイメージ512を参照することで、キャラクターA及びキャラクターBの登場度が共に高い箇所から、そのようなシーンを見つけることができる。
The story
図4に示す画面500は、対象コンテンツのストーリーを説明する文章(例えば、あらすじ)が付属することなく、登場度のグラフィカルイメージ512がユーザに提示される。したがって、ユーザへのネタバレを防止しつつ、ユーザへストーリー展開を提示することができる。
The
例えば、ユーザが、ユーザ端末300を用いて、オンラインで閲覧されるコンテンツ(例えば、オンラインで読める漫画)の第18話を読み、誤って第19話を読み飛ばして第20話を読もうとすることがある。そのような誤りの可能性が、コンテンツを提供するサーバによって検出された場合、ストーリー展開提示装置100が、誤りである可能性の警告として、第19話における各オブジェクトの登場度の時間的変化を示すグラフィカルイメージ512をユーザ端末300に示すことができる。
For example, a user may use the
グラフィカルイメージ512を見たユーザは、もし第19話を既読していれば、グラフィカルイメージ512が示す情報(各オブジェクトの登場割合、及びその時間的変化)をヒントにして、第19話のストーリーを容易に思い出すことができる。反対に、ユーザが第19話を既読していなければ、グラフィカルイメージ512が示す情報を見たとしても、第19話のストーリーを思い出すことはない。このように、グラフィカルイメージ512を用いることで、ユーザは、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。
If a user who sees
仮に、第19話が既読かどうかの確認のために、第19話のあらすじを確認する方法を採用した場合、ユーザは、既読ではない第19話のあらすじを事前に知ってしまう、いわゆるネタバレが生じる。しかし、本実施形態によれば、ネタバレを防止しつつ、コンテンツの特定の箇所が既読又は既視聴であるかを確認することができる。
If a method of checking the synopsis of
なお、上記のような場合、コンテンツを提供するサーバ自体が、ストーリー展開提示装置100としての機能を備えていても良いし、コンテンツを提供するサーバとストーリー展開提示装置100とがネットワークを介して接続されていてもよい。ストーリー展開提示装置100は、既読又は既視聴であるかの確認の必要性が検出されると、確認が必要な箇所のグラフィカルイメージ512をユーザ端末300へ送信する。
In the above case, the server providing the content may itself have the function of the story
また、実施形態においては、グラフの横軸の各時点における登場割合を、より正確に把握できるようにするため、画面500は、各対象オブジェクトの登場割合を数値で表示することができる。登場割合の数値表示のため、画面500は、シークバー516及び選択線Rを備える。シークバー516は、グラフの横軸方向に沿って移動可能なスライダ516Aを備える。
In addition, in an embodiment, in order to allow a more accurate understanding of the appearance ratio at each point in time on the horizontal axis of the graph, the
ユーザは、GUI機能によって、スライダ516Aを移動させる操作を行うことで、グラフの横軸の各時点(話数)を選択することができる。図4では、第9話が選択されている。選択線Rは、スライダ516Aと連動して移動する。ユーザは、GUI機能によって、選択線を移動させることもできる。シークバー516は、グラフ外に配置されているのに対して、選択線Rは、グラフ上に配置されており、どの話数が選択されているのかをより明確に示すことができる。
The user can use the GUI function to move
画面500は、選択された時点(話数)における登場度(登場割合)を示す表示部513,514,515を表示することができる。表示部513,514,515は、例えば、吹き出しの形状を持つことができる。図4では、選択された第9話における登場割合を示す第1表示部513、第2表示部514、及び第3表示部515が示されている。第1表示部513は、キャラクターA(O-1)の登場割合を数値(53.77%)で示す。第2表示部514は、キャラクターB(O-2)の登場割合を数値(46.23%)で示す。第3表示部515は、キャラクターC(O-3)の登場割合を数値(0%)で示す。これにより、対象コンテンツにおける第9巻において、キャラクターAとキャラクターBの登場頻度が高く、キャラクターCは登場していないことがわかる。
図5は、スライダ516Aを第13話の位置に移動させるユーザ操作が行われた後の画面500の表示領域501を示している。第13話においては、第1表示部513によって示されるキャラクターAの登場割合は58.77%であり、第2表示部514によって示されるキャラクターBの登場割合は23.16%であり、第3表示部515によって示されるキャラクターCの登場割合は、21.35%である。第13話においては、キャラクターAとキャラクターBに加え、キャラクターCが登場していることがわかる。また、図5に示すグラフィカルイメージ512によれば、第12話まではキャラクターCが登場していなかったが、第13話から登場していたことがわかる。
Figure 5 shows the
このように、登場度の時間的変化をイメージデータでユーザに提示することで、ストーリー自体を示さなくても、対象オブジェクトの登場話数(登場時点)をユーザに提示できる。また、時系列データに含まれるオブジェクトが膨大であっても、選択された対象オブジェクトの登場度の時間的変化だけがイメージデータとして提示されるため、視認性が向上する。 In this way, by presenting the user with image data showing the change in appearance over time, it is possible to present the user with the episode number (time of appearance) in which the target object appears, without showing the story itself. Also, even if the time-series data contains a huge number of objects, only the change in appearance over time of the selected target object is presented as image data, improving visibility.
図6は、画面500における表示領域501の他の例を示している。図6は、対象オブジェクトとして、キャラクター以外の物も選択されている場合を示している。図6は、対象オブジェクトとして、キャラクターD、建物E、及び道具Gの3つのオブジェクトが選択された場合を示している。図6に示す表示領域501において、キャラクターDには、「O-1」の参照記号が付され、建物Eには、「O-2」の参照記号が付され、道具Gには、「O-3」の参照記号が付されている。
Figure 6 shows another example of the
このように、実施形態によれば、自動的選択された、又はユーザが任意に選択した対象オブジェクトの登場度の時系列データをグラフィカルイメージ512として表示できるため、任意のオブジェクトからみたストーリー展開を容易に提示することができる。
In this way, according to the embodiment, the time series data of the appearance frequency of a target object that is automatically selected or arbitrarily selected by the user can be displayed as a
<2.2 第2実施形態> <2.2 Second embodiment>
第2実施形態においては、対象オブジェクトの選択(図3のステップS113)及び対象時間範囲の選択(図3のステップS114)の少なくともいずれか一方の選択が、対象コンテンツの時系列データ201Mに対して非負値行列因子分解(NMF)アルゴリズムを適用した結果に基づいて行われる。つまり、第2実施形態は、第1実施形態における時系列データ201Mの解析を、NMFによって行ったものである。なお、第2実施形態において特に説明しない点については、第1実施形態と同様である。
In the second embodiment, at least one of the selection of the target object (step S113 in FIG. 3) and the selection of the target time range (step S114 in FIG. 3) is performed based on the result of applying the non-negative matrix factorization (NMF) algorithm to the time-
図7は、第2実施形態に係るストーリー展開提示処理111において用いられる時系列データ201Mのデータ構造を示している。第2実施形態において、時系列データ201Mは、行列データとして扱われる。
Figure 7 shows the data structure of time-
図7に示す時系列データ201Mにおいては、複数の行それぞれが、各オブジェクトの登場度の時間的変化を示しており、複数の列それぞれが、コンテンツにおける「時間」を示している。図7では、オブジェクトとして、第1実施形態と同様に、キャラクターA、キャラクターB、キャラクターC、キャラクターD、建物E、建物F、道具G、及び道具Hが含まれている。時間は、簡略化のため、1以上の整数で示されているが、第1実施形態における時間情報Tと同様に、ページ番号、話数、巻番号の組み合わせによって表されてもよい。以下では、時間を示す数値は、話数を表しているものとする。
In the
例えば、キャラクターAについては、第1話における登場度がmA1で表され、第2話における登場度がmA2で表され、第3話における登場度がmA3で表され、第4話における登場度がmA4で表され、第5話における登場度がmA5で表され、第tx話における登場度がmAxで表される。これにより、キャラクターAの登場度の時間的変化が表されている。キャラクターAの登場度の時間的変化は、x次元のベクトルとして表されている。同様に、他のオブジェクトについても登場度の時間的変化が表されている。
For example, for character A, the appearance degree in
第2実施形態においては、時系列データ201Mは、オブジェクトの数×時間数(1からtx)の大きさを持つ行列データとして扱われる。行列データにおける行列要素は、前述のmA1等の登場度を示す。
In the second embodiment, the
行列データとして扱われる時系列データ201Mは、その全ての行列要素(登場度mA1等)が非負値である非負値行列データとして作成される。時系列データ201Mが非負値行列データであることで、非負値行列因子分解(NMF)アルゴリズムの適用が可能になる。
The
NMFアルゴリズムでは、与えられた非負値行列Xから、第1非負値行列W及び第2非負値行列Hという2つの非負値行列を得ることができる。つまり、NMFアルゴリズムは、与えられた非負値行列Xを、第1非負値行列W及び第2非負値行列Hという2つの非負値行列の積で近似するためのアルゴリズムである。 The NMF algorithm can obtain two nonnegative matrices, a first nonnegative matrix W and a second nonnegative matrix H, from a given nonnegative matrix X. In other words, the NMF algorithm is an algorithm for approximating a given nonnegative matrix X by the product of two nonnegative matrices, the first nonnegative matrix W and the second nonnegative matrix H.
与えられた非負値行列Xが、N×M行列である場合、第1非負値行列Wは、N×r行列となり、第2非負値行列Hは、r×M行列となる。rは、事前に与えられる値であり、好ましくは、2以上の整数である。第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。 When a given non-negative matrix X is an N×M matrix, the first non-negative matrix W is an N×r matrix, and the second non-negative matrix H is an r×M matrix. r is a value given in advance and is preferably an integer equal to or greater than 2. The first non-negative matrix W is a basis matrix having r basis vectors. The second non-negative matrix H is an activation matrix indicating the weight of each basis vector.
図8は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第1非負値行列データW(基底行列)の例を示している。ここでは、r=3である。したがって、図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。ここでは、複数の基底ベクトルF1,F3,F3を、トピックと呼ぶ。
Figure 8 shows an example of first non-negative matrix data W (basis matrix) obtained by applying the NMF algorithm to
本発明者らは、ストーリーに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データに対して、NMFを適用することで、ストーリー展開において重要な複数のトピックF1,F2,F3を分解して抽出できることを見出した。抽出されたトピックF1,F2,F3は、コンテンツのストーリー展開を基底する重要な因子である。時系列データ201Mに対してNMFを適用することで、人間がコンテンツを直接読んだり視聴したりしても容易には得られないストーリー展開解析結果を、容易に得ることができる。
The inventors have discovered that by applying NMF to time-series data that indicates the temporal change in the appearance frequency of each of multiple objects that appear in a story, it is possible to decompose and extract multiple topics F1, F2, and F3 that are important in the development of a story. The extracted topics F1, F2, and F3 are important factors that form the basis of the development of the story of the content. By applying NMF to the time-
複数のトピックF1,F2,F3は、ストーリーを構成するメインストーリー及びサブストーリーとして解釈することもできる。これは、一つのコンテンツであっても、複数のストーリーが混在している場合に当てはまる。例えば、漫画であれば、1話又は数話ごとに、単発的なストーリーは完結するものの、コンテンツ全体を通じた基軸的なストーリーが設定されていることがある。このような場合、一つのコンテンツの中で、単発的なストーリーと基軸的なストーリーとが混在してストーリーが進行することになる。NMFを利用することで、一つのコンテンツの中に混在する複数のストーリーを、トピックF1,F2,F3として抽出することができる。 The multiple topics F1, F2, and F3 can also be interpreted as the main story and sub-stories that make up a story. This applies when multiple stories are mixed together within a single piece of content. For example, in a manga, one or more episodes may contain complete one-off stories, but a central storyline that runs through the entire content may be set. In such cases, the story progresses with a mixture of one-off stories and central stories within a single piece of content. By using NMF, multiple stories mixed together within a single piece of content can be extracted as topics F1, F2, and F3.
図8に示す第1トピックF1(基底ベクトル)は、第1トピックF1における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターBの登場度が最も大きい。したがって、第1トピックF1は、キャラクターBを主とするトピックであることがわかる。 The first topic F1 (basis vector) shown in Figure 8 indicates the appearance frequency of each object in the first topic F1, with character B having the highest appearance frequency among all objects. Therefore, it can be seen that the first topic F1 is a topic that mainly focuses on character B.
第2トピックF2(基底ベクトル)は、第2トピックF2における各オブジェクトの登場度を示しており、全オブジェクトの中でキャラクターAの登場度が最も大きい。したがって、第2トピックF2は、キャラクターAを主とするトピックであることがわかる。 The second topic F2 (basis vector) indicates the appearance frequency of each object in the second topic F2, with character A having the highest appearance frequency among all objects. Therefore, it can be seen that the second topic F2 is a topic that mainly focuses on character A.
第3トピックF3(基底ベクトル)は、第3トピックF3における各オブジェクトの登場度を示しており、全オブジェクトの中で、キャラクターCの登場度が最も大きく、キャラクターBもある程度登場している。したがって、第3トピックは、キャラクターB及びキャラクターCを主とし、キャラクターCのほうが、キャラクターBよりも重要度が高いことがわかる。 The third topic F3 (basis vector) indicates the appearance frequency of each object in the third topic F3, with character C appearing the most among all objects, and character B also appearing to some extent. Therefore, it can be seen that the third topic is centered on characters B and C, with character C being more important than character B.
図9は、非負値行列データである時系列データ201Mに対して、NMFアルゴリズムを適用して得られた第2非負値行列データH(アクティベーション行列)の例を示している。ここでは、r=3であるため、第2非負値行列データHは、各時間における3個のトピックF1,F2,F3それぞれの重み(活性化度)を示している。つまり、第2非負値行列データH(アクティベーション行列)は、各時間(話数)において、各トピックF1,F2,F3がどの程度の重みを持つかの時間的変化、換言すると、どの程度活性化しているかの時間的変化、を示す。
Figure 9 shows an example of second non-negative matrix data H (activation matrix) obtained by applying the NMF algorithm to time-
第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第1非負値行列Wを用いて、対象オブジェクトを選択する(図3のステップS113)。例えば、プロセッサ110は、複数のトピックF1,F2,F3の中から、いずれかのトピックを自動選択する。
In the story
なお、トピックF1,F2,F3の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。この場合、ユーザによる選択に先立って、NMFの結果が、ユーザ端末300に表示される(後述の第3実施形態参照)。
The selection of topics F1, F2, and F3 may be manual selection by the user with reference to the NMF results displayed on the
そして、プロセッサ110は、第1非負値行列Wにおいて、選択されたトピックにおいて登場度の高い1又は複数のオブジェクトを選択する。なお、登場度の低い1又は複数のオブジェクトが選択されてもよい。以上の処理により、選択されたトピックに関連するオブジェクトが自動的に、対象オブジェクトとして選択される。
Then, the
また、第2実施形態のストーリー展開提示処理111においては、プロセッサ110は、第2非負値行列Hを用いて、対象時間範囲を選択する(図3のステップS114)。例えば、プロセッサ110は、第2非負値行列Hを参照し、前述のようにして選択されたトピックの重み(活性化度)が閾値よりも大きい時間を含む時間範囲を、対象時間範囲として選択する。対象時間範囲の選択は、ユーザ端末300に表示されたNMFの結果を参照したユーザの操作による手動選択でもよい。
In addition, in the story
第2実施形態において生成されるグラフィカルイメージ512は、NMFの結果を用いて選択された対象時間範囲において、NMFの結果を用いて選択された対象オブジェクトの登場度の時間的変化を示すことができる。つまり、第2実施形態では、選択された特定のトピックにおけるストーリー展開が提示されることになる。
The
<2.3 第3実施形態> <2.3 Third embodiment>
図10は、第3実施形態に係るシステム10を示している。第3実施形態において、特に説明しない点については、第1実施形態及び第2実施形態と同様である。
Figure 10 shows a
第3実施形態に係るシステム10は、ストーリー展開解析装置100Aを備える。ストーリー展開解析装置100Aは、コンテンツのストーリー展開を解析し、解析結果としてストーリー展開を示すデータを生成する。第3実施形態に係るストーリー展開解析装置100Aは、一例として、非負値行列因子分解(NMF)を用いて、コンテンツのストーリー展開を解析する。ストーリー展開解析装置100Aは、解析結果として得られたストーリー展開を示すデータを、ネットワーク400を介して、ユーザに提示するストーリー展開提示装置としても動作する。
The
第2実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、対象オブジェクト又は対象時間範囲の選択に用いられていたが、第3実施形態においては、時系列データにNMFを適用することにより得られる解析結果が、ストーリー展開を示すデータとして用いられる。ストーリー展開解析装置100Aは、NMFにより得られた解析結果から、ストーリー展開を示すグラフィカルイメージを生成する。ストーリー展開解析装置100Aは、グラフィカルイメージを、コンテンツのストーリー展開を示す情報として、ユーザに提示する。
In the second embodiment, the analysis results obtained by applying NMF to time series data were used to select a target object or a target time range, but in the third embodiment, the analysis results obtained by applying NMF to time series data are used as data indicating the story development. Story
第3実施形態において、ユーザは、例えば、コンテンツの作者及び編集者など、コンテンツの制作にかかわる者である。ユーザは、漫画若しくは小説の読者、又は、映画若しくはテレビ番組の視聴者であってもよい。ストーリー展開解析装置100Aは、ユーザに対して、ストーリー展開の解析結果を提示することで、ストーリー展開の発案又は変更を行うユーザを支援する。
In the third embodiment, the user is a person involved in the production of the content, such as a content author or editor. The user may also be a reader of manga or novels, or a viewer of movies or television programs. The story
システム10は、ストーリー展開解析装置100Aに対してネットワーク400を介して接続されるユーザ端末300を備える。ユーザは、ユーザ端末300を用いて、ストーリー展開解析装置100Aにアクセスすることができる。ユーザ端末300は、プロセッサ310と、記憶装置320と、入出力装置330と、を備えている。
The
ストーリー展開解析装置100Aは、プロセッサ110及び記憶装置120を備えるコンピュータによって構成されている。記憶装置120には、コンピュータをストーリー展開解析装置100A(ストーリー展開提示装置)として動作させるためのコンピュータプログラム121Aが格納されている。コンピュータプログラム121Aは、ストーリー展開解析処理111A(ストーリー展開提示処理)をプロセッサ110に実行させるためのプログラムコードを備える。ストーリー展開解析処理111Aは、コンテンツのストーリー展開を解析することを含む処理である。ストーリー展開解析処理111Aについては、後述する。
The story
ストーリー展開解析装置100Aは、データベース200を備える。データベース200は、複数のコンテンツデータ201,202,203を備える。図10においては、図1と同様に、第1コンテンツ(作品名:xxx)の第1コンテンツデータ201と、第2コンテンツ(作品名:yyy)の第2コンテンツデータ202と、第3コンテンツ(作品名:zzz)の第3コンテンツデータ203と、が示されている。実施形態に係るコンテンツデータ201,202,203は、それぞれ、時系列データ201M,202M,203Mを更に含む。各時系列データ201M,202M,203Mは、コンテンツに登場する複数のオブジェクトそれぞれの登場度の時間的変化を示す。
The story
第3実施形態に係る各時系列データ201M,202M,203Mのデータ構造は、第2実施形態における時系列データ201Mのデータ構造(図7参照)と同様である。第3実施形態に係る各時系列データ201M,202M,203Mは、第2実施形態と同様に、非負値行列データである。
The data structure of each of the
図11は、時系列データを用いたストーリー展開解析処理111Aの例を示している。ストーリー展開解析処理111Aは、ストーリー展開解析装置100Aのプロセッサ110によって実行させる。実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の解析のため、非負値行列データである時系列データ201M,202M,203Mに対して、NMFアルゴリズムを適用する。
Figure 11 shows an example of story
第3実施形態に係るストーリー展開解析処理111Aにおいては、まず、プロセッサ110が、検索処理を実行する(ステップS311)。検索処理は、第1実施形態と同様に、検索処理は、データベース200から、ユーザが探しているコンテンツ(対象コンテンツ)を検索する処理である。
In the story
プロセッサ110は、データベース200における検索結果として、検索データに合致する特定のコンテンツのデータを取得する。すなわち、プロセッサ110は、対象コンテンツのデータをデータベース200から読み出す。読み出したコンテンツデータには、前述の時系列データが含まれる。時系列データを含むコンテンツデータは、記憶装置120に保存される(ステップS312)。
The
プロセッサ110は、保存された時系列データ(図7参照)に対して、NMFアルゴリズムを適用する(ステップS313)。プロセッサ110は、NMFによる解析結果として、図8に示す第1非負値行列データWと、図9に示す第2非負値行列データHと、を得る。前述のように、第1非負値行列Wは、r個の基底ベクトルを有する基底行列である。第2非負値行列Hは、各基底ベクトルの重みを示すアクティベーション行列である。
The
プロセッサ110は、第1非負値行列データW及び第2非負値行列データHから、対象コンテンツのストーリー展開を示すイメージデータ(グラフィカルイメージ)を生成する(ステップS314)。プロセッサ110は、グラフィカルイメージを構成するイメージデータを、その他の必要なデータとともに、ユーザ端末300へ送信する。
The
ユーザ端末300は、グラフィカルイメージのためのイメージデータを含むデータを受信する。ユーザ端末300において、グラフィカルイメージ等を、提示対象のコンテンツのストーリー展開の解析結果を示すデータとして、ユーザ端末300が備えるディスプレイ(入出力装置300)に表示する。
The
図12は、ユーザ端末300のディスプレイに表示される画面500Aの例を示している。画面500Aは、グラフィカルユーザインタフェース(GUI)画面である。画面500Aにおいては、解析結果の表示と、ユーザ操作の受付とが行われる。
Figure 12 shows an example of a
画面500Aは、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を有する。
トピック表示部601は、対象コンテンツに含まれる1又は複数のトピックを表示する。トピック表示部601は、ストーリー展開表示部602において表示されるグラフの凡例表示にもなっている。
The
トピック表示部601において表示されるトピックは、第1非負値行列データWから生成される。図8に示す第1非負値行列データWは、3個の基底ベクトルF1,F2,F3を有している。したがって、トピック表示部601には、3つのトピックF1,F2,F3が、表示される。
The topics displayed in the
トピック表示部601は、各トピックF1,F2,F3におけるオブジェクトを示す。図12に示すトピック表示部601では、第1トピックF1における主要なオブジェクトはキャラクターBであり、第2トピックF2における主要なオブジェクトはキャラクターAであり、第3トピックF3における主要なオブジェクトはキャラクターB及びキャラクターCであることが示されている。トピック表示部601に各トピックF1,F2,F3における主要なオブジェクトが表示されていることで、ユーザは、各トピックF1,F2,F3に寄与する主要なオブジェクトを把握できる。
The
プロセッサ110は、トピック表示部601に表示される主要なオブジェクトを、第1非負値行列Wに基づいて決定する。主要なオブジェクトは、第1非負値行列Wの行列要素の値に基づいて、決定される。第1非負値行列Wの行列要素の値は、各トピックにおけるオブジェクトの寄与度を示している。したがって、プロセッサ110は、各基底ベクトル(トピック)において、例えば、寄与度が最も大きいオブジェクト、又は、寄与度が閾値よりも大きいオブジェクトを、そのトピックにおける主要なオブジェクトとして決定できる。
The
ストーリー展開表示部602は、各トピックF1,F2,F3の活性化度(以下、「アクティベーション値」ともいう)の時間的変化をグラフィカルイメージであるグラフによって示す。図10のストーリー展開表示部602において、横軸は、時間の一例として話数を示し、縦軸は、活性化度を示す。図10のストーリー展開表示部602では、3つのトピックF1,F2,F3それぞれの活性化度の時間的変化を可視化した折れ線グラフのイメージデータとして示されている。
The story
図12のストーリー展開表示部602において、キャラクターBが主要なオブジェクトである第1トピックF1とキャラクターAが主要なオブジェクトである第2トピックF2については、時間的に安定した活性化度を示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターA及びキャラクターBが、対象コンテンツにおいて常に登場する主要なオブジェクト(いわゆる主人公)であることを把握できる。また、対象コンテンツにおいて、キャラクターA,Bに関するトピックF1,F2は、時間的に安定した活性化度を示していることから、対象コンテンツにおいては、主人公であるキャラクターA,Bは、ストーリー展開の起伏にかかわらず、安定的に登場していることがわかる。
In the story
また、ストーリー展開表示部602において、第3トピックF3は、時間的に大きく変動して起伏が生じていることを示している。したがって、ストーリー展開表示部602を観察したユーザは、キャラクターC(メイン)及びキャラクターB(サブ)の絡みによってストーリー展開の起伏が作られていることを把握できる。
Furthermore, in the story
つまり、ユーザは、キャラクターA,Bが主人公である一方、ストーリー展開の肝は、キャラクターC(メイン)及びキャラクターB(サブ)の絡みにあることを客観的に把握できる。このように、ユーザは、対象コンテンツのストーリー展開のパターンを容易に把握することができる。このようなストーリー展開のパターンは、人間がコンテンツを直接読んだり視聴したりしても容易には得られないおそれがあるが、NMFアルゴリズムを用いた解析により、ストーリー展開のパターンを容易に得ることができる。 In other words, the user can objectively understand that while characters A and B are the main characters, the key to the story development lies in the intertwining of characters C (main) and B (sub-character). In this way, the user can easily grasp the story development pattern of the target content. Such a story development pattern may not be easily obtained by a human reading or watching the content directly, but the story development pattern can be easily obtained by analysis using the NMF algorithm.
しかも、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであるため、異なるコンテンツ間のストーリー展開の類似性の検討に有用である。例えば、制作しようとするコンテンツを、他のコンテンツのストーリーに似せたい場合、又は、他のコンテンツのストーリーに似せたくない場合、ユーザである制作者は、ストーリー展開解析装置100Aにより得られた他のコンテンツのストーリー展開を参考に、制約しようとするコンテンツのストーリー展開を考えることができる。
Moreover, because the analysis results of the story development obtained by the NMF algorithm are numerical data, they are useful for examining the similarity of story development between different contents. For example, if the creator wants the content to be produced to resemble the story of another piece of content, or if the creator does not want the content to resemble the story of another piece of content, the creator user can consider the story development of the content to be restricted by referring to the story development of the other piece of content obtained by the story
また、NMFアルゴリズムにより得られたストーリー展開の解析結果は、数値データであって、コンテンツのストーリー展開を定量的に表したものである。したがって、コンテンツの解析結果間の同一性又は類似性を用いて、あるコンテンツに似た他のコンテンツを検索することもできる。 The story development analysis results obtained by the NMF algorithm are numerical data that quantitatively represent the story development of the content. Therefore, it is possible to search for other content that is similar to a certain piece of content by using the identity or similarity between the analysis results of the content.
なお、画面500Aは、図8に示す第1非負値行列データW及び図9に示す第2非負値行列Hを数値データとして示す表示を含んでもよい。この場合、ユーザは、解析結果の詳細を確認することができる。
The
さらに、第3実施形態に係るストーリー展開解析装置100Aは、ストーリー展開の見直し又は修正のために、対象コンテンツにおけるオブジェクト(キャラクター)の登場度をどのように調整すればよいかという値を表示する機能も有する。かかる機能によって、制作者等であるユーザは、ストーリー展開を変更した際のシミュレーションをすることができる。また、ユーザは、ストーリー展開の提案のヒントを得ることができる。
Furthermore, the story
オブジェクトの登場度の調整を支援するため、第3実施形態に係るプロセッサ110は、ストーリー展開解析処理111Aにおいて、ステップS315以降の処理を実行可能である。ここでは、NMFにより得られた各トピックのアクティベーション値(活性化度)を変更することで、調整後のオブジェクト登場度を得る。
To assist in adjusting the appearance of objects, the
図13は、オブジェクトの登場度の調整を支援する機能を含む画面500Aを示している。この画面500Aは、図12と同様に、作品名表示部510と、トピック表示部601と、ストーリー展開表示部602と、を備える。更に、図13に示す画面500Aは、オブジェクト寄与度表示部701と、ストーリー展開調整部702と、調整結果表示部703と、を備える。
Figure 13 shows a
オブジェクト寄与度表示部701は、第1非負値行列Wを示す数値データを表示する領域である。ユーザは、ストーリー展開表示部602に加えて、オブジェクト寄与度表示部701を参照することで、NMFアルゴリズムによる解析結果をより詳細に把握できる。
The object
ストーリー展開調整部702は、調整の対象トピックの選択部702Aと、調整の対象話数(対象時間範囲)の選択部702Bと、アクティベーション値の入力部702Cと、を備える。トピックの選択部702Aでは、NMFにより得られた複数のトピックF1,F2,F3のうち、アクティベーション値(活性化度)が調整されるトピックが選択される。トピックの選択部702Aでは、抽出されたトピックF1,F2,F3がラジオボタン等を用いて選択可能に示されている。
The story
ストーリー展開解析装置100Aのプロセッサ110は、ユーザ端末300から、選択された対象トピックF3に示すデータを受け付ける。プロセッサ110は、ユーザ端末300から受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される対象トピックとして、例えば、第3トピックF3を選択する(ステップS315)。
The
話数の選択部702Bでは、対象コンテンツにおいてオブジェクトの登場度が調整される対象話数が、例えば数値で、ユーザによって入力される。プロセッサ110は、ユーザ端末300から、選択された対象話数(対象時間範囲)を示すデータを受け付ける。プロセッサ110は、ユーザ端末300あら受け付けたデータに基づいて、第2非負値行列Hにおいてアクティベーション値が変更される話数(時間範囲)として、例えば、第3話を選択する(ステップS316)。
In the episode
アクティベーション値の入力部702Cでは、変更後のアクティベーション値が、例えば数値で、ユーザによって入力される。変更後のアクティベーション値は、ユーザにより、任意の値が入力される。変更後のアクティベーション値としては、例えば、NMFにより得られた対象トピックのアクティベーション値(例えば、0)とは異なる値(例えば、0.7)に設定される。
In the activation
プロセッサ110は、ユーザ端末300から、変更後のアクティベーション値を受け付ける。プロセッサ110は、第2非負値行列Hにおいて、対象トピックF3の対象話数(第3話)のアクティベーション値だけを、変更前の0(図9参照)から変更後の値(0.7)に変更した、変更後の第2非負値行列Hを生成する。プロセッサ110は、図8に示す第1非負値行列Wに変更後の第2非負値行列を乗じる行列演算を実行する。この行列演算によって、図7に示す時系列データ201M(非負値行列データ)のうち、対象話数である第3話における各オブジェクトの登場度が更新される(ステップS317)。なお、更新後の時系列データ201Mにおいて、対象話数以外の各オブジェクトの登場度に変化はないため、行列演算において、対象話数以外の登場度を更新する演算は省略してもよい。
The
プロセッサ110は、対象話数である第3話における各オブジェクトの更新後の登場度を調整結果として、ユーザ端末300へ送信する(ステップS318)。ユーザ端末300は、調整結果を受信し、その調整結果を、画面500Aの調整結果表示部703に表示させる。調整結果表示部703では、対象話数である第3話における第3トピックF3のアクティベーション値を0.7にするための各オブジェクトの登場度(登場回数)が表示される。ユーザは、調整結果表示部703を参照することで、調整後のオブジェクトの登場度を把握することができる。
The
<3.付記> <3. Notes>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。 The present invention is not limited to the above embodiment, and various modifications are possible.
10 :システム
100 :ストーリー展開提示装置
100A :ストーリー展開解析装置
110 :プロセッサ
111 :ストーリー展開提示処理
111A :ストーリー展開解析処理
120 :記憶装置
121 :コンピュータプログラム
121A :コンピュータプログラム
200 :データベース
201 :第1コンテンツデータ
201M :第1時系列データ
202 :第2コンテンツデータ
202M :第2時系列データ
203 :第3コンテンツデータ
203M :第3時系列データ
300 :ユーザ端末
310 :プロセッサ
320 :記憶装置
330 :入出力装置
400 :ネットワーク
500 :画面
500A :画面
501 :表示領域
510 :作品名表示部
511 :名称表示部
512 :グラフィカルイメージ
513 :第1表示部
514 :第2表示部
515 :第3表示部
516 :シークバー
516A :スライダ
601 :トピック表示部
602 :ストーリー展開表示部
701 :オブジェクト寄与度表示部
702 :ストーリー展開調整部
702A :選択部
702B :選択部
702C :入力部
703 :調整結果表示部
A :キャラクター
B :キャラクター
C :キャラクター
D :キャラクター
E :建物
F :建物
G :道具
H :道具
F1 :第1トピック
F2 :第2トピック
F3 :第3トピック
R :選択線
S :オブジェクト情報
T :時間情報
10: System 100: Story
Claims (14)
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、
前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示する
ことを備え、
前記プロセッサが、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを更に備え、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
ストーリーの展開をユーザに提示する方法。 1. A method for presenting a user with a story development in which a plurality of objects appear, comprising:
a processor reading out time series data from a database storing time series data indicating a change over time in the appearance frequency of each of the plurality of objects;
the processor generates a graphical image showing a change over time in appearance of one or more objects included in the plurality of objects based on the read time-series data;
the processor presents the graphical images to the user as the story unfolds ;
the processor further comprising selecting the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
How the story unfolds is presented to the user.
請求項1に記載のストーリーの展開をユーザに提示する方法。 2. The method of claim 1, wherein the graphical images are presented to the user without accompanying text explaining the story.
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成される
請求項1又は請求項2に記載のストーリーの展開をユーザに提示する方法。 The processor further comprises selecting a partial time range of an entire time range of the time series data;
The method for presenting the development of a story to a user according to claim 1 or 2 , wherein the graphical image is generated based on partial time-series data in the partial time range of the time-series data.
請求項3に記載のストーリーの展開をユーザに提示する方法。 The method of claim 3 , wherein the portion of the time range is selected based on data input by the user.
請求項3に記載のストーリーの展開をユーザに提示する方法。 The method for presenting a story development to a user according to claim 3 , wherein the partial time range is selected based on a result of analyzing the time series data.
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示す時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、
前記プロセッサが、前記グラフィカルイメージを、前記ストーリーの前記展開として、前記ユーザに提示する
ことを備え、
前記プロセッサが、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを更に備え、
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、
前記時系列データは、非負値行列データであり、
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される
ストーリーの展開をユーザに提示する方法。 1. A method for presenting a user with a story development in which a plurality of objects appear, comprising:
a processor reading out time series data from a database storing time series data indicating a change over time in the appearance frequency of each of the plurality of objects;
the processor generates a graphical image showing a change over time in appearance of one or more objects included in the plurality of objects based on the read time-series data;
The processor presents the graphical images to the user as the story unfolds.
Prepare for this.
The processor further comprises selecting a partial time range of an entire time range of the time series data;
the graphical image is generated based on partial time series data in the partial time range of the time series data;
the time series data is non-negative matrix data,
The partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
How the story unfolds is presented to the user.
を更に備え、
前記グラフィカルイメージは、前記一部の時間範囲における前記1つ以上のオブジェクトの登場度の時間的変化を示すよう生成される
請求項1又は請求項2に記載のストーリー展開をユーザに提示する方法。 the processor selecting a partial time range of the entire time range of the time series data;
Further comprising:
3. A method for presenting a storyline to a user according to claim 1 or claim 2, wherein the graphical images are generated to indicate a temporal change in the appearance of the one or more objects within the portion of time.
前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、
を備え、
前記プロセッサは、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択するよう構成され、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
ストーリー展開提示装置。 A database storing time-series data showing changes in the appearance frequency of each of a plurality of objects appearing in a story over time;
a processor configured to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical images to a user as the story progresses;
Equipped with
the processor is configured to select the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
A device that presents story development.
前記データベースから読み出した前記時系列データに基づいて、前記複数のオブジェクトに含まれる1つ以上のオブジェクトの登場度の時間的変化を示すグラフィカルイメージを生成し、前記グラフィカルイメージを、前記ストーリーの展開として、ユーザに提示する処理を実行するよう構成されたプロセッサと、a processor configured to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in the plurality of objects based on the time-series data read from the database, and presenting the graphical images to a user as the story progresses;
を備え、Equipped with
前記プロセッサは、前記時系列データの全時間範囲のうちの一部の時間範囲を選択するよう構成され、The processor is configured to select a portion of a time range of an entire time range of the time series data;
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、the graphical image is generated based on partial time series data in the partial time range of the time series data,
前記時系列データは、非負値行列データであり、the time series data is non-negative matrix data,
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択されるThe partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
ストーリー展開提示装置。A device that presents story development.
前記処理は、前記1つ以上のオブジェクトを、前記複数のオブジェクトの中から選択することを含み、
前記時系列データは、非負値行列データであり、
前記1つ以上のオブジェクトは、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、
コンピュータプログラム。 A computer program for causing a computer to execute a process of generating graphical images showing a change over time in appearance of one or more objects included in a plurality of objects, based on time-series data showing a change over time in appearance of each of the plurality of objects appearing in a story read from a database storing the time-series data, and presenting the graphical images to a user as the story progresses ,
the processing includes selecting the one or more objects from among the plurality of objects;
the time series data is non-negative matrix data,
the one or more objects are selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm;
Computer program.
前記処理は、前記時系列データの全時間範囲のうちの一部の時間範囲を選択することを含み、The process includes selecting a partial time range from an entire time range of the time series data;
前記グラフィカルイメージは、前記時系列データのうち、前記一部の時間範囲における部分時系列データに基づいて生成され、the graphical image is generated based on partial time series data in the partial time range of the time series data;
前記時系列データは、非負値行列データであり、the time series data is non-negative matrix data,
前記一部の時間範囲は、非負値行列因子分解アルゴリズムによって前記時系列データから得られる2つの非負値行列の少なくともいずれか一方に基づいて選択される、The partial time range is selected based on at least one of two non-negative matrices obtained from the time series data by a non-negative matrix factorization algorithm.
コンピュータプログラム。Computer program.
プロセッサが、前記複数のオブジェクトそれぞれの登場度の時間的変化を示すとともに非負値行列データである時系列データが格納されたデータベースから、前記時系列データを読み出し、
前記プロセッサが、前記時系列データに対して非負値行列因子分解アルゴリズムを適用することで求めた2つの非負値行列を、前記ストーリーの展開の解析結果として得る
ことを備える、ストーリーの展開を解析する方法。 1. A method for analyzing a story development involving multiple objects, comprising:
a processor reads out time-series data from a database storing time-series data indicating a change over time in the appearance frequency of each of the plurality of objects and being non-negative matrix data;
The processor obtains two non-negative matrices as an analysis result of the development of the story by applying a non-negative matrix factorization algorithm to the time series data.
A method for analyzing the development of a story.
前記データベースから読み出した前記時系列データに対して非負値行列因子分解アルゴリズムを適用することで求めた2つの非負値行列を、前記ストーリーの展開の解析結果として得る処理を実行するよう構成されたプロセッサと、
を備えるストーリー展開解析装置。 A database storing time-series data that indicates a change over time in the appearance frequency of each of a plurality of objects that appear in a story and is non-negative matrix data;
a processor configured to execute a process of obtaining two non-negative matrices as an analysis result of the development of the story by applying a non-negative matrix factorization algorithm to the time-series data read from the database;
A story development analysis device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020065530A JP7539685B2 (en) | 2020-04-01 | 2020-04-01 | Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020065530A JP7539685B2 (en) | 2020-04-01 | 2020-04-01 | Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163292A JP2021163292A (en) | 2021-10-11 |
JP7539685B2 true JP7539685B2 (en) | 2024-08-26 |
Family
ID=78003497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020065530A Active JP7539685B2 (en) | 2020-04-01 | 2020-04-01 | Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7539685B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7288207B2 (en) | 2021-10-04 | 2023-06-07 | ダイキン工業株式会社 | Low-molecular-weight compound search method, program, device, and system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281680A (en) | 2006-04-04 | 2007-10-25 | Sony Corp | Image processor and image display method |
JP2014068290A (en) | 2012-09-27 | 2014-04-17 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2014139734A (en) | 2013-01-21 | 2014-07-31 | Sony Corp | Information processing device and method, and program |
-
2020
- 2020-04-01 JP JP2020065530A patent/JP7539685B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281680A (en) | 2006-04-04 | 2007-10-25 | Sony Corp | Image processor and image display method |
JP2014068290A (en) | 2012-09-27 | 2014-04-17 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2014139734A (en) | 2013-01-21 | 2014-07-31 | Sony Corp | Information processing device and method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021163292A (en) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1674007B (en) | Wave lens systems and methods for search results | |
US20150378544A1 (en) | Automated Content Detection, Analysis, Visual Synthesis and Repurposing | |
JP2004080769A (en) | Method, system, user interface, and program for executing and filtering a joint index of multimedia or video stream annotations | |
KR102786461B1 (en) | Video timed anchors | |
US9965150B2 (en) | Personal user highlight from popular highlights | |
JP2008123239A (en) | Keyword extraction search method and mobile terminal | |
EP4528539A1 (en) | Information presentation method and apparatus, and electronic device and storage medium | |
CN110545475B (en) | Video playing method and device and electronic equipment | |
US20150278187A1 (en) | Summary-so-far feature for electronic books | |
KR20060095572A (en) | Screen of Search Results-Expressions | |
JP7539685B2 (en) | Method for presenting a story development to a user, a story development presentation device, a computer program thereof, a method for analyzing a story development, a story development analysis device, and a computer program thereof | |
US20230052033A1 (en) | Systems and methods for recommending content using progress bars | |
JP4568144B2 (en) | Information presentation device and information presentation program | |
JP5805134B2 (en) | Terminal device and device program | |
JP2008262506A (en) | Information extraction system, information extraction method, and information extraction program | |
Richardson et al. | The Effect of display size on reading and manipulating electronic text | |
US12155898B2 (en) | Methods and systems facilitating adjustment of multiple variables via a content guidance application | |
JP2006350477A (en) | File management device, its control method, computer program, and computer readable storage medium | |
KR101142231B1 (en) | Vocabulary learning apparatus and method thereof | |
JP5152857B2 (en) | Electronic device, display control method, and program | |
JP6638281B2 (en) | Information processing device and program | |
CN111104026A (en) | Method and device for recommending service | |
JP6979738B1 (en) | Servers and animation recommendation systems, animation recommendation methods, programs | |
US20240095226A1 (en) | Methods and related devices for storing and accessing data using multi-level fractal grids | |
KR20140098322A (en) | Method and apparatus for providing personalized contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7539685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |