JP2014160463A - タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法及び装置 - Google Patents
タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法及び装置 Download PDFInfo
- Publication number
- JP2014160463A JP2014160463A JP2014024576A JP2014024576A JP2014160463A JP 2014160463 A JP2014160463 A JP 2014160463A JP 2014024576 A JP2014024576 A JP 2014024576A JP 2014024576 A JP2014024576 A JP 2014024576A JP 2014160463 A JP2014160463 A JP 2014160463A
- Authority
- JP
- Japan
- Prior art keywords
- text
- text document
- timeline
- multimedia content
- temporal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003058 natural language processing Methods 0.000 claims abstract description 17
- 230000002123 temporal effect Effects 0.000 claims abstract description 17
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 3
- 238000013515 script Methods 0.000 description 23
- 241000447437 Gerreidae Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007182 Ochroma pyramidale Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
- G06F16/447—Temporal browsing, e.g. timeline
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】タイムライン及び経時的テキスト記述を備えるマルチメディアコンテンツを改善する方法を提供する。
【解決手段】自然言語処理を用いて、ネットワークから検索されたテキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するステップE3と、前記テキスト文書の前記決定された部分と、前記テキスト文書の前記決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列するステップE4と、を備える前記テキスト文書の少なくとも前記一部分がメディアコンテンツのタイムラインに自動的に同期され、前記経時的テキスト記述はそれ自体が前記タイムラインと同期される。
【選択図】図2
【解決手段】自然言語処理を用いて、ネットワークから検索されたテキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するステップE3と、前記テキスト文書の前記決定された部分と、前記テキスト文書の前記決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列するステップE4と、を備える前記テキスト文書の少なくとも前記一部分がメディアコンテンツのタイムラインに自動的に同期され、前記経時的テキスト記述はそれ自体が前記タイムラインと同期される。
【選択図】図2
Description
本発明は、一般的に、マルチメディアコンテンツに対するメタデータのアソシエーションに関し、より詳細には、例えば、ソーシャルネットワーク上のウェブユーザによって投稿されたコメント又はウェブフォーラムなどの他のユーザ生成コンテンツを用いた、タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法及び装置に関する。
この章は、以下に記述又は特許請求された本発明の様々な態様に関連付けられることができる、従来技術の様々な態様に読み手を導入することを意図している。この議論は、本発明の様々な態様のより良い理解を促進するための背景情報を読み手に提供する際の助けとなると考えられる。従って、これらの意見は、この観点から読まれるべきであり、従来技術の自白として読むべきではないことを理解すべきである。
(TVユーザのような)プロフェッショナルではない著者によって書かれたマルチメディアコンテンツ(例えば映画)上のコメントのテキスト分析は、TWITTER、YOUTUBE(登録商標)、及び他のウェブフォーラムなどのソーシャルネットワーク及びプラットフォームの発展に伴って近年強い興味を得ている。
特に、いくつかの調査は、ユーザコメントとビデオコンテンツ、とりわけビデオコンテンツのタイムラインとの同期にフォーカスを当てている。
次に、ライブイベント中の(TWITTERプラットフォームによるつぶやきのような)ソーシャルネットワークを通して生成されたテキストマイクロポストを使用することによって音響映像コンテンツを向上することは周知であり、同期はマイクロポストのタイムスタンプを使用することによって直接なされる。
加えて、ユーザが、ビデオコンテンツを見ることを可能にし、及びビデオ内の時間に自動的及び自然に関連付けられたコメントを同時に投稿することを可能にするシステムもまた周知である。
両方のケースでは、達成される場合、タイムスタンピングによりコメントが既にタイムコードを有するため、コメントと音響映像コンテンツのタイムラインとの同期は容易である。
言い換えると、各コメントが一時的な情報(例えば、テキストマイクロポストがその対応するソーシャルネットワーク上に送信された時間)に関連付けられ、マルチメディアコンテンツが同時に再生されるばかりに、これらの従来技術はコメントをマルチメディアコンテンツのライムラインと同期することを可能にする。
"Aspect-based sentiment analysis of movie reviews on discussion bards", (Thet & al., 2010), the Journal of information Science, 36(6), 823-848
Jaccard, Paul, "Etude comparative de la distribution florale dans une portion des Alpes et des Jura", (1901), the Bulletin de la Societe Vaudoise des Sciences Naturelles 37:547-579(「アクサン・テギュ(accent aigu)」は省略する)
http://en.wikipedia.org/wiki/Cosine_similarity
それにも関わらず、これらの従来技術の1つの欠点は、各コメントの放出の時間とマルチメディアコンテンツの特定の時点とを一致するために、それらがマルチメディアコンテンツの再生中にコメントを書き込むことを要求するという事実に頼ることである。加えて、コメントを書き込む時間がかかるため、そのコメントはマルチメディアコンテンツの以前のシーンに関連する場合があり、コメントが最終的に関連付けられるシーンと関連しない場合がある。言い換えると、同期は不正確であるように見える。
本発明は、以前に言及された不都合な点の少なくともいくつかを改善しようと試み、特に、如何なるタイムコードも用いずに、その対応するタイムライン内の特定の時点でのマルチメディアコンテンツに対するテキスト形式のメタデータを整列しようと試みる。
本発明は、タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法に関する。
この目的のため、その方法は、
− 自然言語処理を用いて、テキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するステップと、
− 前記テキスト文書の決定された部分と、テキスト文書の決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列するステップと、
を備え、
その結果、テキスト文書の少なくとも一部分がメディアコンテンツのタイムラインに自動的に同期される。
− 自然言語処理を用いて、テキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するステップと、
− 前記テキスト文書の決定された部分と、テキスト文書の決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列するステップと、
を備え、
その結果、テキスト文書の少なくとも一部分がメディアコンテンツのタイムラインに自動的に同期される。
本明細書において、以下の点を理解すべきである。
− テキスト文書は、プロフェッショナル又はプロフェッショナルではないユーザ、−特に、排他的ではないが、ウェブ及び/又はTVユーザによって書き込まれた、コメント、ブログ若しくはフォーラムの投稿、エンサイクロペディアの記事、ニュースの記事などの、任意の種類のテキストを意味する。明らかに、テキスト文書は、英数字で構成することができる。
− 著者は、テキスト文書などを書き込んだ人(例えば、ウェブユーザ、TVユーザ等)である。
− マルチメディアコンテンツは、音響映像文書(例えば、映画、スポーツイベント、ラジオプログラム等)に対応することができる。
− 経時的テキスト記述は、マルチメディアコンテンツを経時的に記述する任意の種類のテキスト文書に対応する。限定されない例として、そのような経時的テキスト記述は、映画のスクリプト、サッカーの試合の概要、映画のサブタイトル、映画の音声記述スクリプト等とすることができる。
− 特徴は、特定のシーン、イベント若しくはアクション、映画の特定の状況(名付けられたエンティティ、役者、編集者、照明等)、又は特定のシーンの特定の状況など、テキスト文書において言及、記述、又は評価されたマルチメディアの特定の要素である。
− テキスト文書は、プロフェッショナル又はプロフェッショナルではないユーザ、−特に、排他的ではないが、ウェブ及び/又はTVユーザによって書き込まれた、コメント、ブログ若しくはフォーラムの投稿、エンサイクロペディアの記事、ニュースの記事などの、任意の種類のテキストを意味する。明らかに、テキスト文書は、英数字で構成することができる。
− 著者は、テキスト文書などを書き込んだ人(例えば、ウェブユーザ、TVユーザ等)である。
− マルチメディアコンテンツは、音響映像文書(例えば、映画、スポーツイベント、ラジオプログラム等)に対応することができる。
− 経時的テキスト記述は、マルチメディアコンテンツを経時的に記述する任意の種類のテキスト文書に対応する。限定されない例として、そのような経時的テキスト記述は、映画のスクリプト、サッカーの試合の概要、映画のサブタイトル、映画の音声記述スクリプト等とすることができる。
− 特徴は、特定のシーン、イベント若しくはアクション、映画の特定の状況(名付けられたエンティティ、役者、編集者、照明等)、又は特定のシーンの特定の状況など、テキスト文書において言及、記述、又は評価されたマルチメディアの特定の要素である。
加えて、以下の明細書において、マルチメディアコンテンツ及びその経時的テキスト記述はすでに周知技術によって一緒に整列されていると仮定され、その結果、経時的テキスト記述は直接的に及びすでにマルチメディアコンテンツのタイムラインと同期されている。変形例において、そのような整列は本発明の実装後に実行することができる。
このように、本発明により、テキストとテキストとの整列を、タイムコード又は時間情報を必ずしも用いずに、テキスト文書とマルチメディアコンテンツの経時的テキスト記述との間で実行することができる。そのような方法は、参照している1又はいくつかの時点又はタイムラインの間隔を経時的テキスト記述内に関連付けるように、テキスト文書の少なくとも1つをマルチメディアコンテンツの経時的テキスト記述の1又はいくつかの対応する部分と整列することができる。
本発明の方法は、テキスト文書、又はその一部分を、対応する経時的テキスト記述を通してのみ、マルチメディアコンテンツと直接的に一致させることを意図している。
さらに、単一のテキスト文書において参照される特徴は、経時的テキスト記述におけるいくつかの異なる時点又は間隔を参照することができることを理解すべきである。
加えて、自然言語処理(Natural Language Processing)は、コンピュータと人間(自然)言語との間の相互作用で関連付けられたコンピュータサイエンス、人工知能、及び言語学の分野である。したがって、NLPは、ヒューマン−コンピュータ・インタラクションに関連する。
本発明の態様において、テキスト文書は、マルチメディアコンテンツに関連するものとして、テキスト文書の集合から、識別されることができる。
加えて、テキスト文書の集合は、インターネットネットワークから検索することができる。
本発明の他の態様において、整列するステップ中に、照応解析技術は、有利には、テキスト文書の決定された部分と経時的テキスト記述との間のセマンティックな対応関係を実行するように実装することができる。
加えて、識別するステップ及び整列するステップは、複数のテキスト文書に適用されてテキスト文書とマルチメディアコンテンツのタイムラインとを自動的に同期することができる。
本発明の好ましい実施形態によると、特徴は、少なくとも、
− 単語の組み合わせ;
− セマンティックエンティティ;
− 単語のリスト;
− イベント、
を備える特徴のグループに属する。
− 単語の組み合わせ;
− セマンティックエンティティ;
− 単語のリスト;
− イベント、
を備える特徴のグループに属する。
好ましくは、自然言語処理は、エンティティ認識処理に対応するか、又は特徴ベースのセンチメント分析に対応する。
本発明の実現の一例において、マルチメディアコンテンツは音響映像コンテンツであり、前記テキスト文書はウェブユーザによって書き込まれたコメント(いわゆる投稿)である。
本発明の他の態様において、マルチメディアコンテンツはタイムラインの対応する時間間隔が関連付けられるシーンにセグメント化され、関連付けられた経時的テキスト記述に対するその同期の結果として、テキスト文書は関連付けられるシーンの時間間隔に同期される。
さらに、本発明は、タイムライン及び経時的テキスト記述を備えるマルチメディアコンテンツを改善するシステムにも関連する。本発明によると、システムは、
− テキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するように構成された自然言語処理モジュールと、
− テキスト文書の決定された部分と、テキスト文書の決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列する整列モジュールと、
を備え、
その結果、テキスト文書の少なくとも一部分がメディアコンテンツのタイムラインに自動的に同期される。
− テキスト文書の少なくとも一部分における少なくとも1つの特徴を識別するように構成された自然言語処理モジュールと、
− テキスト文書の決定された部分と、テキスト文書の決定された部分にセマンティックに対応する経時的テキスト記述の少なくとも一部分とを自動的に整列する整列モジュールと、
を備え、
その結果、テキスト文書の少なくとも一部分がメディアコンテンツのタイムラインに自動的に同期される。
開示された実施形態の範囲において同等のある態様は、以下に説明される。これらの態様は、本発明がとることができるある形式の概要を読み手に提供するために単に提示され、及びこれらの対応は、本発明の範囲を限定することを意図しないことを理解すべきである。実際、本発明は、以下に説明することができない様々な態様を包含することができる。
本発明は、添付の図面を参照して、決して限定的ではない、以下の実施形態及び実行例によって、より良く理解され、例示されるであろう。
本発明の好ましい実施形態によるマルチメディアコンテンツを改善するためのシステムのブロック図である。
好ましい実施形態によるマルチメディアコンテンツを改善するための方法によって実装されるステップを例示するフローチャートである。
好ましい実施形態による映画を改善するためのステップを示す全体的な図である。
映画専用ウェブサイトからの、以前の第2のユーザの投稿に対する返答として第1のユーザによって書き込まれた投稿のスクリーンショットを示す図である。
できる限り、同じ参照番号は同じ又は類似の部分を参照して図面を通して用いられる。
好ましい実施形態の例によると、本発明は、タイムライン及びスクリプトが関連付けられた映画に関して描かれる。スクリプトは、映画の経時的なテキスト記述の特定の例であることに留意しなければならない。
明らかに、本発明は、この例に限定されず、タイムライン及び少なくとも1つの経時的なテキスト記述(スクリプトなど)によって定められた如何なるマルチメディアコンテンツにも適用することができる。
図1は、この例によると、テキスト文書(例えば、プロフェッショナルおよび/又はプロフェッショナルではないウェブ/TVウェブユーザによって書き込まれた投稿)を用いて映画を改善するためのシステムSが描かれている。映画は、経時的なシーンの連続で作られている。
特に、システムSは、直接的又はゲートウェイ(図1には不図示)を通して、ネットワークN(例えばインターネットネットワーク)に接続される。明らかに、変形において、システムSは如何なるネットワークにも接続されない場合がある。
映画に関連する投稿Piの集合(i∈[1;N]、Nは整数)は、ネットワークNに接続された、(例えば、IMDbなどの映画専用ウェブサイトのような)リモートサーバRS上に格納される。上記の映画に関連する投稿Piの集合は、インターネットネットワークNを用いて、システムSによりサーバRSから検索することができ、システムSの適合メモリMに格納することができる。
さらに、例示において、映画及びその対応するスクリプトは、インターネットNを通して、ビデオサーバVSからダウンロードすることができ、上記のメモリMに格納することができる。当然ながら、変形において、映画は任意の他の適合化された方法から(例えば、USBキー又はDVDから)検索することができる。明らかに、変形において、リモートサーバRS及びビデオサーバVSは、同一のサーバとすることができる。
システムSはまた、投稿Piの集合から抽出される1又はいくつかの異なる特徴を入力するために、オペレータによって使用されることを意図された、(例えばタッチスクリーンなどの)マン−マシンインターフェースMMIを備える。当然ながら、その特徴は、自動的に定める及び/又は選択することができる。一旦システムSに入力すると、その特徴をメモリMに格納することができる。
各特徴は、特定のシーン、イベント若しくはアクション、映画の特定の状況(名付けられたエンティティ、役者、編集者、照明等)又は特定のシーンにおける特定の状況などの、投稿Piにおいて言及、説明、又は評価されることができる映画の特定の要素である。
特に、特徴は、
− 単語の組み合わせ;
− セマンティックエンティティ;
− 単語のリスト;
− イベント;
− その他、
とすることができる。
− 単語の組み合わせ;
− セマンティックエンティティ;
− 単語のリスト;
− イベント;
− その他、
とすることができる。
図1に示されるように、システムSはまた、システムSに入力される上記の特徴の少なくとも1を、メモリMに格納された各投稿Piに関して、自動的に識別するための自然言語処理モジュールNLP(例えばプロセッサ)を備える。特に、モジュールNLPは、投稿Piが、所定の特徴と、投稿Piが特徴に対する参照を含む場合には上記の特徴に対応する特定の投稿の1又は複数の部分とに関連付けられているか否かを決定することができる。
特に、自然言語処理が、例えば非特許文献1に定められるような、エンティティ認識処理及び/又は特徴ベースのセンチメント分析に対応することができる。
一旦少なくともいくつかの定められた特徴が識別されると、対応テーブルを規定して、各所定の特徴をモジュールNLPによって識別された投稿Piの対応する一部分又は複数部分に関連付けることができる。この対応テーブルは、メモリMに格納することができる。
さらに、図1に示されるように、システムSは、投稿Piの当該決定された一部分又は複数の部分と、投稿Piの決定部分にセマンティックに対応する映画のスクリプトの対応する一部分又は複数の部分とを自動的に整列するための整列モジュールA(例えばプロセッサ)を追加的に備える。
特に、セマンティックな対応は、例えば、(非特許文献2に定められるような)ジャカール係数(Jaccard coefficient)若しくは(非特許文献3に示されるような)コサイン測度(cosine measure)を用いて、抽出した特徴と経時的なテキスト記述との間のテキスト類似性測度を計算することにより、又は共通の単語の数を簡単に計算することにより、得ることができる。
代替として、セマンティックな対応は、それ自体自然言語処理を用いて導くことができる。
加えて、整列モジュールAは、照応解析(anaphora resolution)技術を実装して投稿Piの決定部分と映画のスクリプトとの間のセマンティックな対応を実行することができる。
このように、投稿Piの各識別された特徴は、シーン(所定の時間間隔により識別される各シーン)又はタイムラインのより正確な時間情報(例えば分)である場合がある、スクリプトにおける特定の点と整列される。その結果、投稿Piは、場合によっては複数の時点でスクリプトと整列される。
本発明により、投稿Pi又はそれらの1若しくは複数の部分が直接的及び自動的に映画のスクリプトと同期される。投稿とスクリプトとのテキスト同士の同期はこのように実装される。映画のタイムラインを参照することにより定められる時間情報は、それから暗に各投稿Pi又はそれの1若しくは複数の部分に添えられる。
スクリプトが既に時間的に映画と整列されている場合、投稿Pi又はそれらの1若しくは複数の部分は、スクリプトを通して、同様に、暗に時間的に映画と整列される。
本発明は次に、経時的情報もタイムスタンプも使用せずに、マルチメディアコンテンツの経時的記述に対するテキスト文書の整列を実行することができる。
図2のフローチャートは、本発明の好ましい実施形態に従って、タイムラインによって及びスクリプトによって定められた映画を改善するための方法の様々なステップを示す。
第1の準備ステップE0において、リモートサーバRS上に格納された投稿Piは、検討される映画に関連するものとして準備的に識別される。
更なるステップE1において、識別された投稿Piは、システムSのメモリMに格納されるように、リモートサーバRSから検索される。
更なるステップE2において、投稿Piから識別及び抽出されることを意図された特徴は、マン−マシンインターフェースMMI(又は、変形において、ソフトウェアプログラミングを通して)を介して、システムSに定められ、入力される。
更なるステップE3において、モジュールNLPは、各投稿Piにおいて、1又はいくつかの定められた特徴を自動的に識別し、対応テーブルを規定して、各所定の特徴に対して、対応する投稿Pi又はそれらの1若しくは複数の部分が関連付けられる。
更なるステップE4において、整列モジュールAは、投稿Pi又はそれらの1若しくは複数の部分とスクリプトのセマンティックに対応する1又は複数の部分とを自動的に整列する。そのような整列は、投稿Pi(又はそれらの1若しくは複数の部分)に映画の時間に関する時間情報を提供する。
当然ながら、前述のステップは、異なる順序で実装される場合もある。
次に、一旦整列が所定の映画に関して実行されると、整列された投稿Piがスクリプトと共に格納され、その結果、映画の再生中、対応する時点で、整列された投稿Pi又はそれらの1若しくは複数の部分がメイン表示デバイス(例えばTV)及び/又はセカンドスクリーン(例えばタブレット)上にポップアップすることができる。
図3は、書き込まれた投稿Piを有する映画を改善するための方法のステップE1からE4を例示する。2つの定められた特徴F1及びF2が例示されている。各特徴F1、F2は、単語の組み合わせ、すなわち場所、キャラクター及び日時を備える。
特に、図3において、スクリプトと映画の整列が表される。この追加及び周知のステップは、任意のステップE1からE4の前又は後に実行することができる。
加えて、第1の例示であるが限定的ではない例として、図4は、以前のユーザの投稿に対する返答として第1のユーザによって書き込まれた投稿のスクリーンショットを示す。この投稿は、映画専用ウェブサイト(公序良俗違反につき、不掲載)から検索され、以下のコンテンツを有する。
「あなたが言いたいことは分かるし、ロメールはまさにそのことを上手く伝えた。それは見かけ程軽くなく且つ表面的ではなく、まさにそう見えるように作られていて、事実、本音を言えばずっと気がめいる。全体のロケーションの選択は、この種類の話に関して驚くほどまさに的確であると私は考えた。我々は、人々が映画からのエキストラのように歩いている、おしゃれな「Nouvelle Ville」(これらの人工の都市は存在しない)にいる。それはすべて白く、きれいで、歴史がなく、人間的なふれあいがないが、他のどこかの建築学的パターンの複製がある。全てのもののデザインは、歴史的な景観又は視点の奥行きなしで、そこに住むヤッピーの必要性及びレジャーにただ合わせたようである。キャラクターが幻想の中にいるかのように、「古い」風景が遠ざけられている(おそらく、2300年未来への旅(Logan’s Run)風に!)。小さい若枝、未だ茂っていない芝生などの植物でさえもがちょうど茂りだしている。ブランシュとファビアンが荒野で迷子になったときに初めて、完全に彼女の要素である彼女の空っぽの白いアパートの外にいるかのように、自然の力により一見圧倒されたように(我々が緑の光線(le Rayon Vert)でもみることができるパターンである)、彼女は泣くのである。キャラクターたちは、互いに遊んでいるようで、そのため彼らはそれのすべてのすぐ下に巨大な無があることを忘れることができる。とても実存的!そして実際、ある種気がめいる。しかし、偉大な映画はすべて同じである。ロメールのみが監督の重要な特性である、そのようなあいまいさのレベルに達することができる。」
投稿のテキストは、非常に豊かであり、特定の場所及び/又はシーン、例えば、
− 場所:「彼女の空っぽの白いアパート」;
− シーン:「ブランシュとファビアンが荒野で迷子になったとき[・・・]彼女は泣く」
と同様に、「友だちの恋人(Boyfriends and Girlfriends)」と題名が付けられた映画の多くの状況について言及している。
投稿のテキストは、非常に豊かであり、特定の場所及び/又はシーン、例えば、
− 場所:「彼女の空っぽの白いアパート」;
− シーン:「ブランシュとファビアンが荒野で迷子になったとき[・・・]彼女は泣く」
と同様に、「友だちの恋人(Boyfriends and Girlfriends)」と題名が付けられた映画の多くの状況について言及している。
システムSによって実行される識別のステップE3の後、対応の以下のテーブルを規定することができる。
映画のスクリプトがシーンの以下の情報を提供すると仮定される。
システムSの整列モジュールAは、ステップE4において、抽出された複数の投稿又はそれらの1若しくは複数の部分を用いて、スクリプトのタイムラインのマッピングを実現する。
特に、第1の特徴は位置を示す。スクリプトに従って、シーン3及び13の両方は、アパートで行われる。投稿のこの部分は、これらのシーンを参照することができる。これは、以前に言及したように、(「彼女の空っぽの白いアパート」における)単語「彼女の」をブランシュにリンク付けることになる、照応解析技術を用いてチェック又は改善することができた。
第2の特徴は、「荒野で」行われるブランシュとファビアンのシーンを記述する。キャラクターは、両シーン7及び13で一致している。しかしながら、「荒野」は、「アパート」よりも「森」にセマンティックにより近い。これは、ワードネット(WordNet)などの外部の単語オントロジー(ontology)を用いて見出すことができた。シーン13はこのため、破棄される。
その結果、この投稿がシーン3、7及び13を参照していることを知ることができ、どの部分がどのシーンに対応しているかをテキストにおいて指摘することが可能である。
第2の例示的であるが限定的ではない例において、マルチメディアコンテンツは、サッカーゲームビデオ(チェルシー対バルセロナ)である。投稿は、スポーツ専用ウェブサイト上でクロールすることができる、このサッカーゲームを参照するフォーラムコメントである。スクリプトは、サッカーゲームのテキストの概要である。例えば、
− プレゼンターによって作られる音声概要のトランスクリプト;
− (経時的な順序で書き込まれた)試合の新聞報道;
− ゲーム内のキーとなる瞬間を伝えるサッカーティッカー;
− その他;
とすることができる。
− プレゼンターによって作られる音声概要のトランスクリプト;
− (経時的な順序で書き込まれた)試合の新聞報道;
− ゲーム内のキーとなる瞬間を伝えるサッカーティッカー;
− その他;
とすることができる。
以下は、サッカーゲームの章の間の主な瞬間を示すティッカーを表す:
FT:チェルシー 1 バルセロナ 0
最終更新:2012年4月18日
事もあろうにメッシからのミスはラミレスがブレークすることを可能にし、彼は、ストライカーがすばらしいフィニッシュによりホームをドライブすることを可能にする猛烈な走りの後のピンポイントクロスでドログバを際立たせる。
ゴール!ドログバが先制点を挙げ、チェルシーが1−0になる。
45+2 彼が無様に滑ったようにそれがメッシの倒れるようなターンであるが、彼は数秒後に足を戻す。バルサは、時間が過ぎるにつれてボールを保持する。
45+1 ドログバは、2分のロスタイムがこのハーフに追加されたときにぐったりと倒れ込むが、何も与えられなかった。
45 メッシがチェルシーのボックスでサンチェスを見分けようとしたが、彼のパスが彼のチームメイトの頭上を超え、ホームの熱狂的ファンを「お前は誰だ?」と絶叫させる。
44 心臓が止まる瞬間がチェルシーにあり、コールから決定的な最後のあがきの隙間があった。メッシが数秒後にシュートを打とうとしたが、外れた。
FT:チェルシー 1 バルセロナ 0
最終更新:2012年4月18日
事もあろうにメッシからのミスはラミレスがブレークすることを可能にし、彼は、ストライカーがすばらしいフィニッシュによりホームをドライブすることを可能にする猛烈な走りの後のピンポイントクロスでドログバを際立たせる。
ゴール!ドログバが先制点を挙げ、チェルシーが1−0になる。
45+2 彼が無様に滑ったようにそれがメッシの倒れるようなターンであるが、彼は数秒後に足を戻す。バルサは、時間が過ぎるにつれてボールを保持する。
45+1 ドログバは、2分のロスタイムがこのハーフに追加されたときにぐったりと倒れ込むが、何も与えられなかった。
45 メッシがチェルシーのボックスでサンチェスを見分けようとしたが、彼のパスが彼のチームメイトの頭上を超え、ホームの熱狂的ファンを「お前は誰だ?」と絶叫させる。
44 心臓が止まる瞬間がチェルシーにあり、コールから決定的な最後のあがきの隙間があった。メッシが数秒後にシュートを打とうとしたが、外れた。
各スポーツがその特定の用語集(例えば、ゴール、バスケット、ファウル、ラインアウト、等)を有するため、この用語集のいくつかの用語は、スクリプトと検索された投稿との間の整列を実行するために使用することができる。
次に、ゲーム内に含まれるプレイヤーの名前、ゴールなどのいくつかの特定の用語、経時的情報等を引き出すことが可能である。
図1において、システムSの代表されるブロックは、純粋に、必ずしも物理的に分離されたエンティティに対応する必要のない、機能的なエンティティである。すなわち、それらはソフトウェア、ハードウェアの形式で開発することができ、1又はいくつかの集積回路において実装することができる。
発明の詳細な説明、特許請求の範囲、及び図面において開示された参考文献は、独立又は任意の適切な組み合わせにおいて提供することができる。特徴は、適切な場合、ハードウェア、ソフトウェア、またはその2つの組み合わせにおいて実装することができる。
本発明を、その好ましい実施形態において説明してきたが、当業者の能力内及び発明的な能力の実行なしで、多数の変形及び実施形態が許容されることは明らかである。従って、本発明の範囲は、以下の特許請求の範囲によって定められる。
本明細書に記載された全ての例及び条件付き言語は、本発明の原理及び更なる従来技術に対する発明者によって寄与される概念を理解する際の読解の一助となるような教育的な目的を意図し、そのような特定の記載された例及び条件に限定されずに解釈されるべきである。
さらに、原理、態様、本原理の実施形態、及びそれらの特定の例を記載する本明細書における全ての意見は、それらの構造的及び機能的な等価物の両方を包含することを意図されている。加えて、そのような均等物が現在周知の等価物とともに将来に開発される均等物、すなわち、構造に関わらず、同様の機能を実行するように開発された任意の要素の両方を含むことを意図されている。
Claims (10)
- タイムライン及び経時的テキスト記述を備えるマルチメディアコンテンツを改善する方法であって、
自然言語処理を用いて、ネットワーク(N)から検索されたテキスト文書(Pi)の少なくとも一部分における少なくとも1つの特徴(F1、F2)を識別するステップ(E3)と、
前記テキスト文書(Pi)の前記決定された部分と、前記テキスト文書(Pi)の前記決定された部分にセマンティックに対応する前記経時的テキスト記述の少なくとも一部分とを自動的に整列するステップ(E4)と、
を備え、
その結果、前記テキスト文書(Pi)の少なくとも前記一部分が前記メディアコンテンツの前記タイムラインに自動的に同期される、前記方法。 - 前記テキスト文書(Pi)は、前記マルチメディアコンテンツに関連するものとして、テキスト文書(Pi)の集合から、識別される(E1)、請求項1に記載の方法。
- 前記テキスト文書の集合は、前記インターネットネットワーク(N)から検索される(E2)、請求項2に記載の方法。
- 前記整列するステップ中に(E4)、照応解析技術が前記テキスト文書(Pi)の前記決定された部分と前記経時的テキスト記述との間のセマンティックな対応関係を実行するように実装される、請求項1乃至3のいずれかに記載の方法。
- 前記識別するステップ(E3)及び前記整列するステップ(E4)は、複数のテキスト文書に適用されて前記テキスト文書(Pi)と前記マルチメディアコンテンツの前記タイムラインとを自動的に同期する、請求項1乃至4のいずれかに記載の方法。
- 前記特徴(F1、F2)は、少なくとも、
− 単語の組み合わせ;
− セマンティックエンティティ;
− 単語のリスト;
− イベント、
を備える特徴のグループに属する、請求項1乃至5のいずれかに記載の方法。 - 前記自然言語処理は、エンティティ認識処理に対応するか、又は特徴ベースのセンチメント分析に対応する、請求項1乃至6のいずれかに記載の方法。
- 前記マルチメディアコンテンツは音響映像コンテンツであり、前記テキスト文書はウェブユーザによって書き込まれたコメント(Pi)である、請求項1乃至7のいずれかに記載の方法。
- 前記マルチメディアコンテンツは前記タイムラインの対応する時間間隔が関連付けられるシーンにセグメント化され、前記テキスト文書(Pi)は関連付けられる前記シーンの前記時間間隔に同期される、請求項1乃至8のいずれかに記載の方法。
- タイムライン及び経時的テキスト記述を備えるマルチメディアコンテンツを改善するシステムであって、
− ネットワーク(N)から検索されたテキスト文書(Pi)の少なくとも一部分における少なくとも1つの特徴(F1、F2)を識別するように構成された自然言語処理モジュール(NLP)と、
− 前記テキスト文書(Pi)の前記決定された部分と、前記テキスト文書(Pi)の前記決定された部分にセマンティックに対応する前記経時的テキスト記述の少なくとも一部分とを自動的に整列する整列モジュール(A)と、
を備え、
その結果、前記テキスト文書(Pi)の少なくとも前記一部分が前記メディアコンテンツの前記タイムラインに自動的に同期される、前記システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13305163.1 | 2013-02-11 | ||
EP20130305163 EP2765783A1 (en) | 2013-02-11 | 2013-02-11 | Method and device for enriching a multimedia content defined by a timeline and a chronological text description |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014160463A true JP2014160463A (ja) | 2014-09-04 |
Family
ID=47877954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014024576A Pending JP2014160463A (ja) | 2013-02-11 | 2014-02-12 | タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140229472A1 (ja) |
EP (2) | EP2765783A1 (ja) |
JP (1) | JP2014160463A (ja) |
KR (1) | KR20140101674A (ja) |
CN (1) | CN103984693A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020517195A (ja) * | 2017-04-17 | 2020-06-11 | ソニー・インタラクティブエンタテインメント エルエルシー | ユーザが製作したコンテンツの第三者コンテンツストリーム中へのリアルタイム取り込み |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9583149B2 (en) * | 2014-04-23 | 2017-02-28 | Daniel Stieglitz | Automated video logging methods and systems |
CN108415902B (zh) * | 2018-02-10 | 2021-10-26 | 合肥工业大学 | 一种基于搜索引擎的命名实体链接方法 |
CN112073753B (zh) * | 2020-09-18 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 一种多媒体数据的发布方法、装置、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020010574A1 (en) * | 2000-04-20 | 2002-01-24 | Valery Tsourikov | Natural language processing and query driven information retrieval |
US7421729B2 (en) * | 2000-08-25 | 2008-09-02 | Intellocity Usa Inc. | Generation and insertion of indicators using an address signal applied to a database |
US20060206526A1 (en) * | 2005-03-10 | 2006-09-14 | Portalvideo, Inc. | Video editing method and apparatus |
US8458595B1 (en) * | 2006-05-31 | 2013-06-04 | Adobe Systems Incorporated | Video editing including simultaneously displaying timelines and storyboards |
US8645125B2 (en) * | 2010-03-30 | 2014-02-04 | Evri, Inc. | NLP-based systems and methods for providing quotations |
TW201233169A (en) * | 2011-01-25 | 2012-08-01 | Hon Hai Prec Ind Co Ltd | Apparatus and method for searching subtitle of television program |
US9113128B1 (en) * | 2012-08-31 | 2015-08-18 | Amazon Technologies, Inc. | Timeline interface for video content |
CN102905170B (zh) * | 2012-10-08 | 2015-05-13 | 北京导视互动网络技术有限公司 | 视频的弹幕方法及系统 |
-
2013
- 2013-02-11 EP EP20130305163 patent/EP2765783A1/en not_active Withdrawn
-
2014
- 2014-01-06 EP EP20140150202 patent/EP2765784A1/en not_active Withdrawn
- 2014-02-06 KR KR20140013619A patent/KR20140101674A/ko not_active Withdrawn
- 2014-02-10 US US14/176,482 patent/US20140229472A1/en not_active Abandoned
- 2014-02-11 CN CN201410047322.1A patent/CN103984693A/zh active Pending
- 2014-02-12 JP JP2014024576A patent/JP2014160463A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020517195A (ja) * | 2017-04-17 | 2020-06-11 | ソニー・インタラクティブエンタテインメント エルエルシー | ユーザが製作したコンテンツの第三者コンテンツストリーム中へのリアルタイム取り込み |
JP7025446B2 (ja) | 2017-04-17 | 2022-02-24 | ソニー・インタラクティブエンタテインメント エルエルシー | ユーザが製作したコンテンツの第三者コンテンツストリーム中へのリアルタイム取り込み |
Also Published As
Publication number | Publication date |
---|---|
US20140229472A1 (en) | 2014-08-14 |
EP2765783A1 (en) | 2014-08-13 |
KR20140101674A (ko) | 2014-08-20 |
CN103984693A (zh) | 2014-08-13 |
EP2765784A1 (en) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11741110B2 (en) | Aiding discovery of program content by providing deeplinks into most interesting moments via social media | |
KR102091414B1 (ko) | 방송되는 미디어 관련 전자 메시징 향상 | |
Wu et al. | Crowdsourced time-sync video tagging using temporal and personalized topic modeling | |
KR101816113B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
KR102033585B1 (ko) | 다수의 컨텐츠 소스로부터 토픽과 연관된 컨텐츠 아이템의 피드 생성 | |
US9008489B2 (en) | Keyword-tagging of scenes of interest within video content | |
JP2021525031A (ja) | 埋め込まれた情報カード位置特定およびコンテンツ抽出のためのビデオ処理 | |
JP5144838B1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20130110885A1 (en) | Story-based data structures | |
US9426411B2 (en) | Method and apparatus for generating summarized information, and server for the same | |
Tran et al. | Exploiting character networks for movie summarization | |
US10341744B2 (en) | System and method for controlling related video content based on domain specific language models | |
Deklerck et al. | Queer online media and the building of China’s LGBT community | |
JP2014160463A (ja) | タイムライン及び経時的なテキスト記述によって定められたメディアコンテンツを改善するための方法及び装置 | |
US20130151969A1 (en) | Content Identification and Linking | |
US10372742B2 (en) | Apparatus and method for tagging topic to content | |
Yu et al. | Interactive broadcast services for live soccer video based on instant semantics acquisition | |
Loisa et al. | Convergent Media, Content of Diversity and Contemporary Consumers | |
Verstockt et al. | Data-driven summarization and synchronized second-screen enrichment of cycling races | |
Pinheiro et al. | The Performance of Public Television in Streaming Platforms: A Cartography of TV Brasil and TV Cultura on YouTube | |
Beare | The New Audience for Old TV: Considering the Resurgent Popularity of The Sopranos | |
Barkl | Digital Evolution: The changing face of video game journalism | |
Gokturk et al. | Metadata extraction from text in soccer domain | |
EP2908546A1 (en) | Method for enriching a description of an audiovisual document and corresponding device and terminal | |
Tsoneva | Automated summarization of movies and TV series on a semantic level |