JP5010292B2 - 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 - Google Patents

Description

本発明は、映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法に関する。

近年、放送の多チャンネル化等の情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方、録画装置の側においては、ハードディスク・レコーダやチューナー搭載のパーソナルコンピュータの普及により映像コンテンツをデジタルデータとして保存することが出来るようになっており、様々な視聴方法が可能となっている。

録画装置を用いた視聴方法の１つとしては、長時間の映像を短時間に要約して視聴する映像要約技術がある。例えば、特許文献１には、スポーツ中継番組の要約手法として、メタデータが付与された映像からユーザの好みに基づいてシーンを抽出し、ダイジェストを作成する手法が記載されている。ここで、上述したメタデータは、試合中の個々のプレイなどをイベントとして時刻情報と共に記述したものであり、映像を見ながら人手で入力されるものである。

また、特許文献２には、メタデータを入力するための補助となる手法が記載されている。具体的には、野球中継におけるイニングや得点などの情報の表示される画像領域（スコア情報領域）を指定してキー画像として登録しておき、イニングが変わったなどのイベントが発生した際にキー画像に対する変化率が一定の基準以上になったと判定した場合に、その時点の画像を表示するものである。

特開２００５−１０９５６６号公報 特開２０００−１３２５６３号公報

しかしながら、特許文献１に記載されている手法によれば、ダイジェスト生成に必要となるメタデータを用いることで高精度な要約を生成できる半面、メタデータをすべて人手で入力することは入力の手間やコストが負担であるという課題がある。

そこで、特許文献２に記載されている手法を用いるようにすれば、野球中継におけるメタデータの入力について、ある程度の負担の軽減は望めるようになると考えられる。

ところが、特許文献２の手法によれば、イニングや得点などの情報が表示される画像領域の指定やイベントとして検出された画像の読み取りは人手によるため、番組ごとに画像領域を指定する手間や読み取ったイニングや得点の入力の手間やコストなどの課題は依然として解決されない。

本発明は、上記に鑑みてなされたものであって、映像コンテンツに関するメタデータを容易に生成することができる映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の映像属性情報出力装置は、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割手段と、前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出手段と、前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する典型シーン抽出手段と、前記典型シーン抽出手段により抽出された前記典型シーンについて、前記属性情報領域抽出手段により抽出された前記属性情報領域が有るか否かを判定する領域判定手段と、前記領域判定手段により前記典型シーンに有ると判定された前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出手段と、前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け手段と、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力手段と、を備える。

また、本発明の映像要約装置は、請求項１ないし８の何れか一記載の映像属性情報出力装置と、前記映像属性情報出力装置から出力された前記映像属性情報に含まれるイベントごとにその重要度を算出する重要度算出部と、算出された重要度に従って、要約映像に含める映像コンテンツの映像区間を選択する映像区間選択部と、前記イベント列から要約映像に用いる説明文の生成に用いる説明文用イベントを選択する説明文用イベント選択部と、選択された前記説明文用イベントから説明文を生成する説明文作成部と、選択された前記映像区間と前記説明文とを統合し、両方の情報を含んだ要約映像情報を生成する統合部と、を備える。

また、本発明のプログラムは、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割機能と、前記シーン分割機能で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出機能と、前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する典型シーン抽出機能と、前記典型シーン抽出機能により抽出された前記典型シーンについて、前記属性情報領域抽出機能により抽出された前記属性情報領域が有るか否かを判定する領域判定機能と、前記領域判定機能により前記典型シーンに有ると判定された前記属性情報領域抽出機能により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出機能と、前記文字領域抽出機能で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け機能と、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力機能と、をコンピュータに実行させる。

また、本発明の映像属性情報出力方法は、映像属性情報出力装置で実行される映像属性情報出力方法であって、前記映像属性情報出力装置は、制御部と記憶部を備え、前記制御部において実行される、シーン分割手段が、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割する工程と、属性情報領域抽出手段が、前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する工程と、典型シーン抽出手段が、前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する工程と、領域判定手段が、前記典型シーン抽出手段により抽出された前記典型シーンについて、前記属性情報領域抽出手段により抽出された前記属性情報領域が有るか否かを判定する工程と、文字領域抽出手段が、前記領域判定手段により前記典型シーンに有ると判定された前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する工程と、文字領域意味付け手段が、前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う工程と、映像属性情報出力手段が、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する工程と、を含む。

本発明によれば、例えば野球中継の場合における得点やボールカウントなどの映像コンテンツに関するメタデータである映像属性情報が表示される画像領域の指定などの人手を介した作業を省略し、映像コンテンツから映像属性情報を自動的に認識して取得することができるので、映像コンテンツに関するメタデータを容易に生成することができる、という効果を奏する。
更に、対象となる映像コンテンツにおいて、野球の投球のように試合中の繰り返しの単位となる典型的なシーンを自動的に検出し、典型シーンの間での画面の変化によって映像属性情報を検出・認識することで、得点やボールカウントなどのメタデータを自動生成することにより、映像コンテンツに関するメタデータの生成を更に容易にすることができる。

以下に添付図面を参照して、この発明にかかる映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１６に基づいて説明する。本実施の形態は映像要約装置としてパーソナルコンピュータを適用した例である。

図１は、本発明の第１の実施の形態にかかる映像要約装置１の構成を示すブロック図である。映像要約装置１は、情報処理を行うＣＰＵ（Central Processing Unit）１０１、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）１０２、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）１０３、各種データベースとして機能するとともに各種のプログラムを格納するＨＤＤ（Hard Disk Drive）１０４、記憶媒体１１０を用いて情報を保管したり外部に情報を配布したり外部から情報を入手するためのＤＶＤドライブ等の媒体駆動装置１０５、ネットワーク２を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置１０６、処理経過や結果等を操作者に表示するＬＣＤ（Liquid Crystal Display）等の表示部１０７、並びに操作者がＣＰＵ１０１に命令や情報等を入力するためのキーボードやマウス等の入力部１０８等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１０９が調停して動作する。

このような映像要約装置１では、ユーザが電源を投入するとＣＰＵ１０１がＲＯＭ１０２内のローダーというプログラムを起動させ、ＨＤＤ１０４よりＯＳ（Operating System）というコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１０３に読み込み、このＯＳを起動させる。このようなＯＳは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。ＯＳのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）等が知られている。これらのＯＳ上で走る動作プログラムをアプリケーションプログラムと呼んでいる。なお、アプリケーションプログラムは、所定のＯＳ上で動作するものに限らず、後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

ここで、映像要約装置１は、アプリケーションプログラムとして、映像処理プログラムをＨＤＤ１０４に記憶している。この意味で、ＨＤＤ１０４は、映像処理プログラムを記憶する記憶媒体として機能する。

また、一般的には、映像要約装置１のＨＤＤ１０４にインストールされるアプリケーションプログラムは、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等の各種方式のメディア等の記憶媒体１１０に記録され、この記憶媒体１１０に記録された動作プログラムがＨＤＤ１０４にインストールされる。このため、ＤＶＤ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体１１０も、アプリケーションプログラムを記憶する記憶媒体となり得る。さらには、アプリケーションプログラムは、例えば通信制御装置１０６を介して外部のネットワーク２から取り込まれ、ＨＤＤ１０４にインストールされても良い。

映像要約装置１は、ＯＳ上で動作する映像処理プログラムが起動すると、この映像処理プログラムに従い、ＣＰＵ１０１が各種の演算処理を実行して各部を集中的に制御する。映像要約装置１のＣＰＵ１０１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

図２は、映像要約装置１の概略構成を示すブロック図である。図２に示すように、映像要約装置１は、映像処理プログラムに従うことにより、映像属性情報出力装置である映像属性情報作成部１５、重要度算出部１６、映像区間選択部１７、説明文用イベント選択部１８、説明文作成部１９、統合部２０を備える。また、１０は元映像情報、１１は映像属性情報、１２は要約作成情報、１３は説明文作成情報、１４は要約映像情報である。

元映像情報１０は、例えばテレビの番組やユーザが撮影した映像など、様々な映像コンテンツがこれに該当する。本実施の形態では、元映像情報１０は、デジタルデータとする。デジタルデータの形式は、どのような形式でもよい（例えば、ＭＰＥＧ−１やＭＰＥＧ−２などの圧縮データ形式を用いるのが一般的である）。もちろん、ソース映像がアナログデータでもよいが、この場合には、予め外部でデジタルデータに変換するか、または、映像要約装置１がアナログ・デジタル変換を備えるものとする。また、映像コンテンツは、１つでも複数でもかまわなく、タイトルやＩＤなど映像コンテンツを一意に特定できる情報と、再生を開始する時間またはフレーム番号とを与えれば、任意の映像コンテンツを任意の位置から再生可能である。

映像属性情報１１は、映像コンテンツに関する様々な属性情報（メタデータ）である。映像属性情報１１には、映像コンテンツ内で起きた事象をイベントとして列挙したイベント列が含まれる。イベントは、人物や物体の名称や動き（例えば、野球の場合、「○○選手のホームラン」など）や、時間的な区切り（「試合開始」、「試合終了」など）などの情報がその発生時間と共に記述される。発生時刻の記述は、シーン情報のように区間の始点・終点を記述する形式でもよいし、イベントが発生した瞬間の時刻を記述する形式でもよい。その他、属性情報には、スポーツの種目、対戦チーム名、日時、場所、出場選手、試合結果など、映像コンテンツ中の特定の時間に関連しない情報も含んでよい。また、ここでは具体例としてスポーツを挙げたが、属性情報はコンテンツに応じて適宜記述することができる。例えば、ドラマや情報番組についても登場人物やトピックのタイトルを用いることで、同様に記述することができる。

要約作成情報１２は、要約を作成するときのユーザの嗜好や、要約映像の時間、要約アルゴリズムのパラメータなどを含む情報である。ユーザの嗜好とは、ユーザが優先的に視聴したい部分を求めるためのキーワードなどの情報である。スポーツの試合であれば、好みのチームや好みの選手などの情報がこれに該当する。キーワードは、見たい対象だけ記述してもよいし、見たい対象だけではなく、見たくない対象についての記述をも可能にしてもよい。これらの情報は、直接入力してもよいし、毎回同じような条件を入力する手間を省くために予め内部あるいは外部の記憶装置上に保持しておいてもよい。

説明文作成情報１３は、映像属性情報１１に含まれるイベントから、説明文を作成するときに用いるテンプレート（雛形）を含む情報である。ここで用いるテンプレートとは、例えば、「（時間）、（チーム）のチャンス。（選手）の（プレイ）！」のように、固定された文字列と可変の文字列の組み合わせによって与えられる文字列である。この例では、「（時間）」など（）によって示された文字列が可変の文字列を表している。

要約映像情報１４は、映像要約装置１によって生成される要約映像である。要約映像情報１４は、元映像コンテンツの一部と、生成された文字等の可視的情報や音声等の可聴的情報による説明文（例えばテロップやナレーションなど）を含む。また、元映像コンテンツとは別に用意されたコンテンツ（例えば、タイトル画面など）を含めてもかまわない。また、要約映像情報１４の形態は、元映像とは別の映像コンテンツとして、それ単体で再生できる情報であってもよいし、元映像コンテンツを参照して再生しながら、文字や音声による説明文を表示・再生するものであってもよい。後者には、ＳＭＩＬなど複数のメディアを同期して表示することのできる記述言語を用いることができる。音声の再生には、例えば、音声合成を用いることができる。

以下において、映像要約装置１の各部について説明する。

映像属性情報作成部１５は、元映像情報１０に基づいて映像属性情報１１を自動的に作成する。なお、映像属性情報作成部１５における映像属性情報１１の自動作成処理の詳細は後述する。

重要度算出部１６は、入力された映像属性情報１１および要約作成情報１２に基づいて、映像属性情報１１に含まれるイベントごとにその重要度を算出する。イベントの重要度の算出方法は、当該イベントに含まれる文字列と要約作成情報１２に含まれるキーワードとの一致の具合の評価値を求めることによって行う。例えば、重要度をｗとし、キーワードの総数をＮとして、次に例示する式により重要度ｗを求めることができる。ただし、次式においてａ_kは、要約作成情報１２に含まれるｋ番目のキーワードの重み値を示すパラメータである。
ｗ＝Σａ_kＭ（ｘ）
ここで、Σはｋ＝１〜Ｎの範囲を総和の対象とする。また、ｘ番目のキーワードが一致する場合には、Ｍ（ｘ）＝１とし、ｘ番目のキーワードが一致しない場合には、Ｍ（ｘ）＝０とする。

なお、キーワードとして見たくない対象についての記述をも可能にする構成においては、Ｍ（ｘ）について、ｘ番目のキーワードが一致し、ｘ番目のキーワードが見たい映像に係るキーワードである場合には、Ｍ（ｘ）＝１とし、ｘ番目のキーワードが一致し、ｘ番目のキーワードが見たくない映像に係るキーワードである場合には、Ｍ（ｘ）＝−１とし、ｘ番目のキーワードが一致しない場合には、Ｍ（ｘ）＝０とする。

映像区間選択部１７は、算出された重要度に従って、要約映像に含める元映像コンテンツの区間を選択する。

説明文用イベント選択部１８は、要約映像に用いる文字や音声による説明文（テロップやナレーションなど）の生成に用いるイベントを、イベント列から選択する。選択は予め決められたイベントを自動的に選択してもよいし、ユーザが明示的に選択してもよい。例えば、野球中継の場合には、ヒットなどの安打のイベントを選択する。基本的には、要約映像の全部に対してのみ説明文を生成する処理と、要約映像の一部に対してのみ説明文を生成する処理と、要約映像の全部又は一部及び要約映像以外の所定の部分に対して説明文を生成する処理と、要約映像以外の所定の部分に対してのみ説明文を生成する処理が考えられる。これらのイベント選択処理は、映像区間選択部１７とは独立して処理してもよいし、映像区間選択部１７のデータを利用してもよい。

説明文作成部１９は、説明文用イベント選択部１８で選択された説明文用イベントと説明文作成情報１３とから、（文字等の可視的情報や音声等の可聴的情報による）説明文を生成する。前述したように、説明文作成情報１３は、説明文を生成するためのテンプレートを含む情報である。テンプレートとは、例えば、「（時間）、（チーム）のチャンス。（選手）の（プレイ）！」のように、固定された文字列と可変の文字列の組み合わせによって、与えられる文字列である。この例では、「（時間）」など（）によって示された文字列が可変の文字列を表している。可変の文字列には、映像属性情報１１や要約作成情報１２から、直接的あるいは間接的に得ることができる文字列が入る。このようなテンプレートがイベントの種類などによって複数用意される。

統合部２０は、映像区間情報と文字テロップや音声ナレーションによる説明文とを統合し、両方の情報を含んだ要約映像情報１４を生成する。文字の表示や音声の発話のタイミングは、イベントの発生時刻や映像区間に合わせて行う。発生時刻に合わせる場合、発生時刻の前に適当な間隔をおいて表示、発話したり、発話区間の特定の位置（例えば中間点）がイベントの発生時刻となるように表示、発話したりするようにタイミングを調整すればよい。また、映像区間に合わせる場合は、その区間の開始点や終了点から適当な間隔をとって表示、発話すればよい。もちろん、これらの複数の手法を組み合わせて、例えば、文字テロップは映像区間に合わせ、音声ナレーションはイベントの発生時刻に合わせて用いるなどしてもよい。

統合時には、テロップのオーバーレイ表示や、音声合成による音声ナレーションを作成して、要約映像に含めてもよいし、テキストの状態で要約映像情報１４として記述して、再生装置側で、オーバーレイ表示音声合成を行ってもよい。

なお、上記では、統合部２０は、選択された映像区間情報と生成された説明文情報とを単純に重ね合わせて、１つの要約映像情報１４として出力する例を示したが、映像区間や音量の調整を含むようにしてもよい。

以上のように本実施の形態の映像要約装置１によれば、映像情報の中から、ユーザの入力したキーワードや時間などの条件やユーザの好みに基づいて、ユーザの興味のある映像区間のみを選択し、それにテロップや音声ナレーションを付加した要約映像を作成することができる。また、省略されてしまった重要なシーンを説明文で補うことで、より内容を理解しやすい要約映像を作成することができる。

したがって、本実施の形態の映像要約装置１によれば、ユーザは１つの番組をまるごと再生することなく、自分の興味のある部分だけを含む要約を作成して、再生することが可能である。その際に、テロップや音声ナレーションによる説明を映像に現れない部分を含めて、ユーザの嗜好に合った文章や口調で受けることができる。

次に、映像属性情報作成部１５における映像属性情報１１の自動作成処理について詳述する。ここで、図３は映像属性情報作成部１５の概略構成を示すブロック図、図４は映像属性情報の自動作成処理の流れを概略的に示すフローチャートである。

図３に示すように、映像属性情報作成部１５は、元映像情報１０を入力とし、映像属性情報１１を出力する。このような映像属性情報作成部１５は、元映像情報１０をシーンに分割するシーン分割手段として機能するシーン分割部１５１と、同じ構図で撮影した画像（典型シーン）を抽出する典型シーン抽出手段として機能する典型シーン抽出部１５２と、属性情報領域を抽出する属性情報領域抽出手段として機能する属性情報領域抽出部１５３と、典型シーンに属性情報領域が含まれるか否かを判定する領域判定手段として機能する属性情報領域有無判定部１５４と、属性情報領域が含まれる文字領域を抽出する文字領域抽出手段として機能する文字領域抽出部１５５と、文字領域の意味付けを行う文字領域意味付け手段として機能する文字領域意味付け部１５６と、文字領域から映像属性情報を読み取って出力する映像属性情報出力手段として機能する文字領域読み取り部１５７と、を備えている。

映像属性情報の自動作成処理の流れを概略的に説明する。各ステップの詳細については、後述する。図４に示すように、まず、元映像情報１０のフレームごとの特徴量を算出し、特徴量が類似する連続フレームの集合である複数のシーンに元映像情報１０を分割する（ステップＳ１：シーン分割部１５１）。すなわち、元映像情報１０のフレーム間の類似性が低くなるシーンチェンジを検出して、元映像情報１０を複数のシーンに分割する。

次いで、各シーンの中から典型シーンを抽出し（ステップＳ２：典型シーン抽出部１５２）、画面の中から属性情報が表示される属性情報領域を抽出し（ステップＳ３：属性情報領域抽出部１５３）、ステップＳ２で抽出された各典型シーンについて、属性情報が表示されているか否かを判定する（ステップＳ４：属性情報領域有無判定部１５４）。

その後、属性情報が表示された典型シーンから文字領域を抽出し（ステップＳ５：文字領域抽出部１５５）、抽出された文字領域とルール情報を照合して文字領域の意味付けを行う（ステップＳ６：文字領域意味付け部１５６）。

最後に、文字領域の読み取りを行って映像属性情報を生成し（ステップＳ７：文字領域読み取り部１５７）、処理を終了する。

ここで、上述の各用語について図面を参照しつつ説明する。

図５は、野球中継番組の画面例を示す模式図である。図５に示すように、２０１に示す領域には“回”、“得点”、“ボールカウント”、“出塁状況”などが表示されている。これらのスコア情報を属性情報、２０１の領域を属性情報領域と呼ぶ。さらに、属性情報領域内の個々の文字が存在する領域（例えば、２０２に示すボールカウントが存在するスコア領域）を文字領域と呼ぶ。

図６は、典型シーンとなる同じ構図で撮影した画像について示す説明図である。３０１は元映像情報１０を示し、紙面を右に向かって時間が流れているとする。斜線部（例えば、３０２）は投球シーンを示す。投球シーンは、図５に示したようにピッチャーの後方からバッター方向を撮影したシーンである。野球中継では、図５に示すような画面に投球の度に切り替わることが多く、カメラの位置や向きは毎回、ほぼ同じである。そのため、３０３に示すように、野球中継番組では投球シーンが繰り返し出現する。このように、映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像を典型シーンと定義する。

次に、各ステップにおける処理の詳細について説明する。

まず、シーン分割部１５１によるシーン分割（ステップＳ１）について説明する。シーン分割部１５１によるシーン分割は、元映像情報１０の映像フレームの特徴量を比較することで行う。ここで、図７は入力映像からの特徴量抽出方法について模式的に示す説明図である。図７に示す４０１は、元映像情報１０の映像フレームを順次並べたものである。これらの映像フレームから特徴量を直接抽出することもできるが、本実施の形態においては、時間的・空間的にサンプリングを行うことで処理量を削減しつつ、特徴量を抽出する方法について述べる。

時間的なサンプリングは、図７に示すように、映像フレーム群４０１から映像の一部のフレーム４０２を抜き出して処理する。抜き出す方法としては、一定間隔で抜き出したり、ＭＰＥＧのＩピクチャだけ抜き出す方法などがある。４０３は抜き出した１フレームである。次いで、抜き出したフレーム４０３を縮小してサムネール画像４０４を作成し、空間的にサンプリングする。サムネール画像４０４の作成方法としては、複数の画素の平均値を求めて縮小する方法やＭＰＥＧのＩピクチャのＤＣＴ係数のＤＣ成分だけを復号して算出する方法などがある。そして、サムネール画像４０４をブロックに分割し、ブロックごとに色のヒストグラム分布４０５を求める。この色ヒストグラム分布をこのフレームの特徴量とする。

そして、隣接するフレーム４０３の間の特徴量の距離を求め、特徴量の距離が一定の基準を上回るフレーム４０３の間、すなわち類似度が低下するフレーム４０３の間でシーンを分割する。特徴量の距離には、例えばユークリッド距離を用いることができる。フレームｉのａ番目ブロックのヒストグラムにおけるｂ番目の頻度をｈ_i（ａ，ｂ）とすると、フレームｉとフレームｉ＋１間のユークリッド距離ｄは、下記式のようになる。

次に、典型シーン抽出部１５２による典型シーンの抽出（ステップＳ２）について説明する。ここで、図８は典型シーンの抽出処理の流れを示すフローチャートである。図８に示すように、まず初めに、シーン分割部１５１で分割したシーン毎の特徴量に基づいて類似するシーンをグループに分類する（ステップＳ１１：分類手段）。すなわち、１つのグループには、類似するシーンのみが含まれることになる。シーンの特徴量としては、例えば、各シーンの先頭のフレームの特徴量を用いることができる。

続くステップＳ１２では、グループｉ（ｉ＝１，２，３，・・・Ｎ（初期値ｉ＝１））に分類されたシーンの中に基準以上の「反復があるシーン」が含まれるか否かを判定する。Ｎは、グループの総数である。「反復があるシーン」は、映像の時系列中に何度も反復して出現する同じ構図で撮影した画像である。判定の基準としては、例えば、グループに含まれる「反復があるシーン」の総数が定められた閾値を超えているか否かであったり、グループに含まれる「反復があるシーン」の総時間が元映像の時間に対して一定以上の割合を占めるか否かである。

基準以上の「反復があるシーン」が含まれる、すなわち基準を満たすと判定された場合は（ステップＳ１２のＹｅｓ）、ステップＳ１３へ進み、グループiに分類された全シーンを典型シーンとする。ここに、判定手段の機能が実行される。その後、ステップＳ１４へ進む。

一方、基準以上の「反復があるシーン」が含まれない場合は（ステップＳ１２のＮｏ）、そのままステップＳ１４に進む。

ステップＳ１４では全グループについての処理が終了したか否か、すなわちｉ＝Ｎか否かを判定する。全グループについての処理が終了していなければ（ステップＳ１４のＮｏ）、iを更新し（ステップＳ１５）、ステップＳ１２へ戻る。全グループについての処理が終了していれば（ステップＳ１４のＹｅｓ）、選択した典型シーンを時間順に並び替え（ステップＳ１６）、処理を終了する。

次に、属性情報領域抽出部１５３による属性情報領域の抽出（ステップＳ３）について説明する。ここで、図９は属性情報領域の抽出処理の流れを示すフローチャートである。図９に示すように、まず初めに、シーン分割部１５１で分割した各シーンの境界について、境界の前と境界の後のフレームを選択し、フレーム間の重複部分を抽出する（ステップＳ２１）。なお、選択するフレームはシーン境界の直前、直後である必要はなく、数フレームあるいは数秒離れた位置のフレームを選択してもよい。また、映像中で処理対象とするシーン境界は映像中の全てのシーン境界としてもよいが、典型シーンとその直前のシーンの境界だけを対象としてもよい。これは、典型シーン（例えば、ピッチングシーン）は１つのプレイの開始であるため、属性情報（スコア情報）が表示されることが多く、属性情報領域の検出に適しているからである。

図１０は、典型シーンを用いてフレーム間の重複部分を抽出する処理について模式的に示す説明図である。図１０中、５０１は典型シーンの中の１シーンの先頭付近のフレーム、５０２はその直前のシーンの終端付近のフレームを示す。すなわち、ステップＳ２１においては、典型シーンの中の１シーンの先頭付近のフレーム５０１と、その直前のシーンの終端付近のフレーム５０２との重複部分、すなわち変化がない領域が抽出される。図１０においては、斜線で示す重複部分５０３が、変化がない領域として抽出される。

次いで、抽出された重複部分中において閾値を下回る画素を２値化によって求める（ステップＳ２２）。

そして、抽出した全てのシーン境界の重複部分を合算し（ステップＳ２３）、合算した重複部分中（図１０中の５０４）において閾値を下回る画素を２値化によって求める（ステップＳ２４）。

最後に、これらの画素の分布密度が高い部分を属性情報領域として抽出する（ステップＳ２５）。ここで、図１１は属性情報領域の抽出方法を模式的に示す説明図である。図１１に示すように、画面６０１の中での属性情報領域の候補を６０２とし、この領域６０２の位置を求める。画面６０１をｘ軸方向，ｙ軸方向に射影すると、６０３，６０４のような分布をもつヒストグラムが生成される。これらのヒストグラム６０３，６０４において閾値以上の頻度を持つ区間６０５，６０６を求め、その領域６０２を属性情報領域２０１の位置とする。

次に、属性情報領域有無判定部１５４による属性情報領域の有無の判定（ステップＳ４）について説明する。ステップＳ２で抽出された各典型シーンに属性情報（スコア情報）が表示されているか否かの判定は、ステップＳ３で合算された重複部分５０４と、各典型シーンとその直前のシーンとの重複部分（例えば、５０３）を比較することにより行なう。すなわち、重複部分５０４と、各典型シーンとその直前のシーンとの重複部分（例えば、５０３）を比較し、基準以上の画素が一致する場合に、その典型シーンには属性情報（スコア情報）が表示されていると判定する。

次に、文字領域抽出部１５５による文字領域抽出（ステップＳ５）について説明する。ここで、図１２は文字領域の抽出処理の流れを示すフローチャート、図１３は文字領域を抽出する処理について模式的に示す説明図である。図１２に示すように、まず初めに、隣接する２つの典型シーン間の属性情報領域２０１における差分を抽出する（ステップＳ３１）。例えば、図１３においては、典型シーン７０１と典型シーン７０２の属性情報領域２０１における差分７０３を求める。

次に、閾値に基づいて差分を２値化する（ステップＳ３２）。このようにすることで、２つの典型シーンの属性情報領域２０１間で、変化のあった箇所だけが抽出される。野球の投球では１プレイごとに典型シーンが繰り返されるため、１球ごとの変化が抽出される。この差分を他の隣接典型シーンの組み合わせについても求める。例えば、図１３においては、典型シーン７０２の属性情報領域２０１と典型シーン７０４の属性情報領域２０１の差分７０５を求める。

続いて、これらの属性情報領域２０１内の差分を領域に分割する（ステップＳ３３）。差分は２値化されているので、隣接画素が同じ値であれば１つの領域とする領域成長法によって領域に分割することができる。これらの領域が文字領域となる。

最後に、全ての典型シーンについて求めた文字領域から、映像中で変化のあった領域の一覧７０６を作成する（ステップＳ３４）。なお、一覧には重複する領域は一度だけ含まれるようにする。

ここで、図１４は重複する領域の処理例を模式的に示す説明図である。図１４は、重複する領域の処理についてストライクカウントを例に説明したものである。なお、図１４に示す破線部は説明のためのもので、実際には何もない。図１４に示す８０１は、打者が交代することにより、２ストライクからノーストライクに変化したときの差分を示す領域である。図１４に示す８０２は、ノーストライクから１ストライクに変化したときの差分を示す領域である。同様に、図１４に示す８０３は、１ストライクから２ストライクに変化したときの差分を示す領域である。このとき、８０１の領域は８０２の領域と８０３の領域を合わせたものとなり、それぞれと重複する。この場合、８０１の領域は領域一覧には含めず、重複しない８０２と８０３の領域を含める。また、映像中に８０２や８０３と同等の領域は何度も出現するが、１回だけ採用する。

次に、文字領域意味付け部１５６による文字領域の意味付け（ステップＳ６）について説明する。文字領域意味付け部１５６は、ステップＳ５で抽出された文字領域一覧の個々の領域の意味付けを行う。

例えば、野球の場合、ボールカウント（ストライク，ボール，アウト）や得点を表すスコア文字領域（文字領域）に意味を割り当てる。意味付けにはルール情報を用い、スコア文字領域（文字領域）の特徴と照合して適合する内容を割り当てる。ルール情報は、スコア文字領域（文字領域）のグループ、他のスコア文字領域（文字領域）との相対的な位置関係やスコア文字領域（文字領域）内での大まかな位置に関する内容を含む。グループとは複数のスコア文字領域で１つの意味合いを持つものを指し、グループを構成するスコア文字領域（文字領域）の数、配色、位置関係をルール情報とする。例えば、ストライクカウントは２つのスコア文字領域（文字領域）によって構成されるので、これらの２つの領域を１グループとして扱う。そのため、意味付け処理の手順は初めに位置や色で領域をグルーピングし、次に、他のグループとの相対的な関係を比較するという２段階の処理で行う。

図１５は、ルール情報の一例を示す模式図である。図１５に示すように、ルール情報は、それぞれの内容９０１と、対応するグループとしてのルール９０２と、位置関係のルール９０３とにより構成される。例えば、「ストライク」カウントに対応して、「水平方向に隣接する２つの同サイズ同色の領域である」というグループのルール９０２が定義されている。そこで、各領域を位置、色によってグルーピングする。なお、隣接と近接の違いは、領域間の距離の閾値の違いであり、隣接の方がより近い位置にある。次に、「ストライク」カウントに対応して、「ボールおよびアウトカウントと領域の左端のｘ座標が同じ（縦並びの場合）あるいはｙ座標が同じ（横並びの場合）」という他の要素との相対的な位置関係についてのルール９０３が定義されている。そこで、このような位置関係のルール９０３を用いて照合を行い、ルール９０２に基づいてグルーピングした領域からルール９０３を満たすものを選択し、意味付けを完了する。

例えば野球中継においては、このように抽象度の高いルールを用いることで、放送局ごとのデザインの違いに影響を受けづらくなるので、汎用性が高まる。なお、ルール情報は１つである必要はなく複数のパターンを用意しておいてもよい。例えば、ボールカウントが数字で表示されるパターンを用意する。ルールで数字と定義されているものは属性情報領域２０１が表示された典型シーンを１つ以上選択し、数字として読み取ってみて、読み取ることができれば数字とする。スポーツ中継に用いられるスコア情報はスポーツごとにある程度決まった形があり、放送局が変わっても大きくは変わらないため、スポーツごとに数パターンを作成しておけば十分である。もちろん、汎用性が必要がない場合はこのような抽象的なルール情報ではなく、特定の番組のスコア情報の配置をテンプレート（雛形）とし、スコア文字領域（文字領域）の位置や大きさを細かく指定しても構わない。

次に、文字領域読み取り部１５７による映像属性情報の生成（ステップＳ７）について説明する。文字領域読み取り部１５７は、ステップＳ６で意味づけられた各文字領域から映像コンテンツに関するメタデータである映像属性情報１１を読み取って出力する。ここで、図１６は野球のスコア情報の一例を示す模式図である。図１６に示す野球のスコア情報の例では、回、得点、ボールカウント、出塁状況を含んでいるが、一部の情報（例えば、ボールカウントだけを含む情報）を生成してもよい。その場合、当然、ステップＳ６における処理も該当する情報だけを意味づけることができればよい。

なお、スコア文字領域（文字領域）からの映像属性情報１１の読み取りは、図形なのか文字なのかで処理が異なる。例えば、図形は、丸の数で表現されるボールカウントや出塁状況に用いられる。この場合は、各スコア文字情報が表示状態なのか、非表示状態なのかを判定する。一般的に表示状態は輝度や彩度が高い図形で表示されるので、閾値処理によって判定することができる。あるいは複数の典型シーンのスコア文字領域（文字領域）を２つのクラス（グループ）に分類し、輝度や彩度が高い方を選択する。一方、文字の読み取りの場合、野球中継で用いられる文字は数字と「表，裏」の文字であり、種類が限られている。そこで、これらの文字のテンプレートを予め作成しておき、比較することで読み取ることができる。もちろん、一般のＯＣＲを用いたより汎用性が高い文字認識技術を用いても構わない。スコア文字領域（文字領域）から読み取ったスコア文字情報（映像属性情報１１）はスポーツのルールと照らし合わせて矛盾がないように訂正される。例えば、回などに変化がないにも係わらず得点の数字が減少したときは誤認識である可能性が高いので、増加あるいは変化しない数字で読み取りの信頼性が高いものがあればそちらの数字を採用する。また、図形の読み取りに関しても、ボールカウントの１つ目が点灯せずに２つめ以降が点灯するなどの通常ありえない認識結果の場合には、前後の読み取り結果を考慮して訂正する。

このように本実施の形態によれば、映像コンテンツを分割した隣接する各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出し、属性情報領域内の個々の文字が存在する領域である文字領域を抽出するとともに当該文字領域の意味付けを行い、意味付けされた文字領域から映像コンテンツに関するメタデータである映像属性情報を読み取って出力する。これにより、例えば野球中継の場合における得点やボールカウントなどの映像コンテンツに関するメタデータである映像属性情報が表示される画像領域の指定などの人手を介した作業を省略し、映像コンテンツから映像属性情報を自動的に認識して取得することができるので、映像コンテンツに関するメタデータを容易に生成することができる。

また、野球を初めとするスポーツ中継番組では投球時に投手の背後から打者方向を撮影したシーンのように、同じ構図で撮影した画像（典型的なシーン）が繰り返し現れる。このように番組に典型的なシーンはスポーツの１つのプレイごとに繰り返されることが多く、その度に得点やボールカウントなどのスコア情報に変化が生じる。そこで、本実施の形態では、対象となる映像コンテンツにおいて、野球の投球のように試合中の繰り返しの単位となる典型的なシーンを自動的に検出し、典型シーンの間での画面の変化によって映像属性情報を検出・認識することで、得点やボールカウントなどのメタデータを自動生成することにより、映像コンテンツに関するメタデータの生成を更に容易にすることができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図１７および図１８に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

図１７は、本発明の第２の実施の形態の映像属性情報作成部１５の概略構成を示すブロック図である。図１７に示すように、本実施の形態の映像属性情報作成部１５は、第１の実施の形態の映像属性情報作成部１５の構成にイベント検出部１６０を追加し、イベント検出部１６０で検出したイベント情報３０を説明文用イベント選択部１８（図２参照）に出力するようにしたものである。

イベントとは試合の中で発生した何らかの事象である。例えば、野球ではヒット、ホームラン、打者の交代などが挙げられる。これらのイベントが発生すると、スコア情報（映像属性情報１１）に特定の変化が起こる。そこで、イベント検出部１６０は、スコア情報（映像属性情報１１）の変化パターンを予め用意されたイベントルール情報と照合し、特定のパターンが現れたときにイベント情報３０として検出する。イベントルール情報としては、例えば、「ヒットの場合、ストライク、ボールのカウントが０に戻る」「アウトで打者が交代するときは、ストライク、ボールのカウントが０に戻り、アウトのカウントが１つ増える」「ホームランの場合は、出塁なしの状態になり、得点が増える」などが考えられる。このようなイベントルール情報を検出したいイベントの種類ごとに用意しておき、映像属性情報１１と照合してイベント情報３０を出力する。

ここで、図１６に示したスコア情報（映像属性情報１１）を例に説明する。図１６に示す１００１から１００２のスコア情報に変化したときに、ストライク、ボールのカウントがクリアされ、アウトカウントには変化がないため、１００１の投球の結果がヒットであったことが分かる。また、１００３から１００４への変化では、ストライク、ボールのカウント、出塁がクリアされ、得点が増えているので、ホームランと判断できる。

したがって、統合部２０は、説明文用イベント選択部１８で選択されたイベント情報３０が含まれる典型シーンを順次再生することが可能になる。より詳細には、統合部２０は、典型シーン抽出部１５２で得られた典型シーンの時刻を受け取り、スキップの指示があったときに典型シーンの単位で再生中の映像をスキップする。なお、次のイベントを含む典型シーンへスキップするタイミングは、前の典型シーンの再生後に自動的にスキップしてもよいし、外部からの指示があったときにスキップしてもよい。スキップした後、再生を再開するときに、説明文作成部１９はその典型シーンに対応したスコア情報（映像属性情報１１）に基づいて説明文を生成する。前述したように、説明文の生成はスコア情報を文章のテンプレート（説明文作成情報１３）に当てはめることで行う。テンプレートは、スコア情報（映像属性情報１１）の部分を除いた文章が決まっており、空白の部分にスコア情報（映像属性情報１１）を当てはめる。テンプレートは１種類である必要はなく、スコア情報（映像属性情報１１）の内容や前後の説明文、試合展開、ユーザの好みなどに応じて切り替えてもよい。例えば、図１４の１００５のスコア情報を「（回）回の（表裏）、（得点）の場面で、カウントは（ストライク）ストライク、（ボール）ボール」というテンプレートに当てはめると、「５回の裏，２対３の場面で、カウントは１ストライク、１ボール」となる。このようにして生成された説明文を音声合成を用いて音声等の可聴的情報に変換し、再生される映像に同期して再生する。このような構成とすることで、ユーザは安打のシーンや打者に対する最終投球だけを飛ばして視聴することができるので、短時間で視聴することができる。また、視聴を再開した場面での試合状況を音声で教えてくれるため、試合の流れも理解しやすくなる。

また、上述したようなスキップの際に、スコア文字領域（文字領域）の変化部分を分かり易くするように、強調表示を行うようにしても良い。図１８に示すように、１４０１のスコア文字領域（文字領域）を含む典型シーンから１４０２のスコア文字領域（文字領域）を含む典型シーンにスキップで変化した際に、統合部２０は、変化したスコア文字領域（文字領域）が分かり易くなるように１４０３のように変化部分を囲むなどして強調表示を行う。文字領域抽出部１５５で隣接する２つの典型シーン間の属性情報領域２０１における差分が得られているので、その部分の領域を強調表示する。強調表示方法は何でもよく、１４０３のように囲むほか、例えば色を変化させたり、点滅させたりする。このような表示とすることで、画面を切り替えたときにどの部分に動きがあったのかがすぐに把握できる。なお、ここではスキップで変化した際に強調表示を行うようにしたが、継続的な再生時にも強調表示を行うようにしても良い。

このように本実施の形態によれば、映像属性情報から詳細なメタデータであるイベント情報を生成することが可能であり、また、このようなイベント情報が発生したシーンだけを視聴することで短時間での視聴が可能となる。

本発明の第１の実施の形態にかかる映像要約装置の構成を示すブロック図である。 映像要約装置の概略構成を示すブロック図である。 映像属性情報作成部の概略構成を示すブロック図である。 映像属性情報の自動作成処理の流れを概略的に示すフローチャートである。 野球中継番組の画面例を示す模式図である。 典型シーンについて示す説明図である。 入力映像からの特徴量抽出方法について模式的に示す説明図である。 典型シーンの抽出処理の流れを示すフローチャートである。 属性情報領域の抽出処理の流れを示すフローチャートである。 典型シーンを用いてフレーム間の重複部分を抽出する処理について模式的に示す説明図である。 属性情報領域の抽出方法を模式的に示す説明図である。 文字領域の抽出処理の流れを示すフローチャートである。 文字領域を抽出する処理について模式的に示す説明図である。 重複する領域の処理例を模式的に示す説明図である。 ルール情報の一例を示す模式図である。 野球のスコア情報の一例を示す模式図である。 本発明の第２の実施の形態の映像属性情報作成部の概略構成を示すブロック図である。 強調表示の一例を模式的に示す説明図である。

符号の説明

１ 映像要約装置
１０ 映像コンテンツ
１１ 映像属性情報
１５ 映像属性情報出力装置
１６ 重要度算出部
１７ 映像区間選択部
１８ 説明文用イベント選択部
１９ 説明文作成部
２０ 統合部
１５１ シーン分割手段
１５２ 典型シーン抽出手段
１５３ 属性情報領域抽出手段
１５４ 領域判定手段
１５５ 文字領域抽出手段
１５６ 文字領域意味付け手段
１５７ 映像属性情報出力手段

Claims (13)

1. 映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割手段と、
   前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出手段と、
   前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する典型シーン抽出手段と、
   前記典型シーン抽出手段により抽出された前記典型シーンについて、前記属性情報領域抽出手段により抽出された前記属性情報領域が有るか否かを判定する領域判定手段と、
   前記領域判定手段により前記典型シーンに有ると判定された前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出手段と、
   前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け手段と、
   意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力手段と、
   を備えることを特徴とする映像属性情報出力装置。
2. 前記属性情報領域抽出手段は、前記典型シーンとその直前のシーンの境界で前記属性情報領域を抽出する、
   ことを特徴とする請求項１記載の映像属性情報出力装置。
3. 前記典型シーン抽出手段は、
   前記シーン分割手段で分割したシーン毎の特徴量に基づいて類似するシーンをグループに分類する分類手段と、
   同じ構図で撮影した画像が前記グループに分類されたシーンの中に所定基準以上出現する場合に、当該グループに分類された全シーンを前記典型シーンとする判定手段と、
   を備えることを特徴とする請求項１記載の映像属性情報出力装置。
4. 前記判定手段の判定基準は、前記グループに含まれる同じ構図で撮影した画像の総数が定められた閾値を超えているか否かである、
   ことを特徴とする請求項３記載の映像属性情報出力装置。
5. 前記判定手段の判定基準は、前記グループに含まれる同じ構図で撮影した画像の総時間が前記映像コンテンツの時間に対して一定以上の割合を占めるか否かである、
   ことを特徴とする請求項３記載の映像属性情報出力装置。
6. 前記ルール情報は、意味付けの内容と、前記意味付けの内容に対応付けられており前記各文字領域を相対的な位置関係と配色の関係との少なくとも何れか一方によりグルーピングする第１のルールと、前記各文字領域の位置関係の第２のルールとを含み、
   前記文字領域意味付け手段は、前記第１のルールグルーピングした前記文字領域から前記第２のルールを満たす前記意味付けの内容を選択し、前記文字領域の意味付けを行う、
   ことを特徴とする請求項１記載の映像属性情報出力装置。
7. 前記映像属性情報出力手段は、意味付けがなされた前記文字領域から読み取った前記映像属性情報に矛盾が生じた場合に認識結果を訂正する、
   ことを特徴とする請求項１記載の映像属性情報出力装置。
8. 前記映像属性情報出力手段から出力される前記映像属性情報について、前記映像属性情報の変化パターンとイベントの内容との対応関係を含むイベントルール情報と照合し、特定のパターンが現れたときにイベント情報として検出するイベント検出手段を更に備える、
   ことを特徴とする請求項１ないし７の何れか一記載の映像属性情報出力装置。
9. 請求項１ないし８の何れか一記載の映像属性情報出力装置と、
   前記映像属性情報出力装置から出力された前記映像属性情報に含まれるイベントごとにその重要度を算出する重要度算出部と、
   算出された重要度に従って、要約映像に含める映像コンテンツの映像区間を選択する映像区間選択部と、
   前記イベント列から要約映像に用いる説明文の生成に用いる説明文用イベントを選択する説明文用イベント選択部と、
   選択された前記説明文用イベントから説明文を生成する説明文作成部と、
   選択された前記映像区間と前記説明文とを統合し、両方の情報を含んだ要約映像情報を生成する統合部と、
   を備えることを特徴とする映像要約装置。
10. 前記統合部は、前記説明文用イベント選択部で選択された前記説明文用イベントを含む前記要約映像情報を順次出力してスキップ再生する、
    ことを特徴とする請求項９記載の映像要約装置。
11. 前記統合部は、スキップ再生で変化する文字領域に対して強調表示を行う、
    ことを特徴とする請求項９記載の映像要約装置。
12. 映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割するシーン分割機能と、
    前記シーン分割機能で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する属性情報領域抽出機能と、
    前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する典型シーン抽出機能と、
    前記典型シーン抽出機能により抽出された前記典型シーンについて、前記属性情報領域抽出機能により抽出された前記属性情報領域が有るか否かを判定する領域判定機能と、
    前記領域判定機能により前記典型シーンに有ると判定された前記属性情報領域抽出機能により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する文字領域抽出機能と、
    前記文字領域抽出機能で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う文字領域意味付け機能と、
    意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する映像属性情報出力機能と、
    をコンピュータに実行させることを特徴とするプログラム。
13. 映像属性情報出力装置で実行される映像属性情報出力方法であって、
    前記映像属性情報出力装置は、制御部と記憶部を備え、
    前記制御部において実行される、
    シーン分割手段が、映像コンテンツのフレーム間の類似性が低くなるシーンチェンジを検出して、前記映像コンテンツを複数のシーンに分割する工程と、
    属性情報領域抽出手段が、前記シーン分割手段で分割した隣接する前記各シーンにおける所定のフレーム間で、変化がない領域であって属性情報が表示される領域である属性情報領域を抽出する工程と、
    典型シーン抽出手段が、前記シーン分割手段で分割した隣接する前記各シーンの中から前記映像コンテンツ中に何度も反復して出現する同じ構図で撮影した画像である典型シーンを抽出する工程と、
    領域判定手段が、前記典型シーン抽出手段により抽出された前記典型シーンについて、前記属性情報領域抽出手段により抽出された前記属性情報領域が有るか否かを判定する工程と、
    文字領域抽出手段が、前記領域判定手段により前記典型シーンに有ると判定された前記属性情報領域抽出手段により抽出された前記属性情報領域内の個々の文字が存在する領域である文字領域を抽出する工程と、
    文字領域意味付け手段が、前記文字領域抽出手段で抽出した前記文字領域について意味付けを記したルール情報を照合することにより当該文字領域の意味付けを行う工程と、
    映像属性情報出力手段が、意味付けされた前記文字領域から前記映像コンテンツに関するメタデータである映像属性情報を読み取って出力する工程と、
    を含むことを特徴とする映像属性情報出力方法。

Images