JP5471749B2 - コンテンツ検索装置および方法、並びにプログラム - Google Patents

Description

本発明は、コンテンツ検索装置および方法、並びにプログラムに関し、特に、複数の画像のそれぞれについての検索結果を表示させて動画のコンテンツの内容をより簡単に把握することができるようにするコンテンツ検索装置および方法、並びにプログラムに関する。

近年、映像（動画）コンテンツに対する解析、検索の技術が提案されている。このような解析結果や検索結果を表示する際には、数値や画像などをそのまま表示するだけでなく、例えば、コンテンツをタイムライン表示するなど、視覚的に分かりやすい表示方式が工夫されている。

すなわち、動画のコンテンツの内容を全て確認するためには、コンテンツを再生する必要があるので、所定の再生時間が必要となる。このような時間をかけずに、コンテンツの内容を容易に把握できるようにすることが好ましい。

従来技術では、タイムラインの表示として音声信号や画素の輝度値の変化などの波形の画像を表示する例が知られている。

また、コンテンツを構成する各シーンの最初のフレームの画像、最後のフレームの画像などを表示する方式や、画像のダイジェストシーンをマルチ画面で見ることができるようにする技術も提案されている（例えば、特許文献１参照）。

さらに、通常の画像の記録と同時に、通常の動画の駒落とししたインデックス用動画を記録し、ユーザがインデックス表示された画像のいずれかを選択すると、例えば、選択された動画についてインデックス用動画の再生が行われるようにすることも提案されている（例えば、特許文献２参照）。

特開平７−６７０７３号公報 特開２００１−２３８１５４号公報

しかしながら、従来の技術では、ユーザが所望の画像が含まれているシーンを簡単に見つけたり、ユーザが所望の特徴的なシーンを容易に探したりすることができないという問題があった。

例えば、個々の画像を検索すべき画像としてコンテンツを検索することはできても、複数の画像が順次表示される部分や、コンテンツの中で所望の画像が表示される時間的割合を他の画像が表示される時間的割合と比較することなどはできなかった。

また、例えば、各シーンの先頭フレームの画像などを表示する方式では、時間的に長いコンテンツの場合に表示が煩雑となり、このような表示によってユーザがコンテンツの内容を容易に理解できるようになるとは考えにくい。

さらに、インデックス画像をマルチ画面に表示する方式やインデックス動画を再生させる方式などの場合、映像コンテンツのどの部分（時間的な位置）にどのような画像が存在しているかを把握することは困難である。

本発明はこのような状況に鑑みてなされたものであり、複数の画像のそれぞれについての検索結果を表示させて動画のコンテンツの内容をより簡単に把握することができるようにするものである。

本発明の一側面は、静止画である検索画像の入力を複数受け付ける検索画像入力手段と、予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出する画像特徴量抽出手段と、動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出する類似度算出手段と、前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定する特定手段と、前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するタイムライン表示手段とを備えるコンテンツ検索装置である。

前記タイムライン表示手段は、前記複数の検索画像の一覧を表示する検索画像表示部と、前記コンテンツをタイムライン表示するタイムライン表示部とを有する画面を表示させるための表示データを生成し、前記検索画像表示部において、前記複数の検索画像のそれぞれが異なる色の表示枠に囲まれて表示され、前記タイムライン表示部において、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報が、それぞれ前記表示枠の色と同じ色のカラーバーとして表示されるようにすることができる。

前記タイムライン表示手段は、複数のコンテンツのそれぞれを同一画面上の前記タイムライン表示部に前記タイムライン表示させ、前記複数のコンテンツのそれぞれにおいて、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報が、それぞれ前記表示枠の色と同じ色のカラーバーとして表示されるようにすることができる。

前記タイムライン表示手段は、前記タイムライン表示されたコンテンツの再生が指令された場合、前記コンテンツを再生して得られる動画を表示する動画表示部をさらに有する画面を表示させるための表示データを生成するようにすることができる。

前記タイムライン表示手段は、前記メタデータに含まれる前記コンテンツのシーンチェンジ点の情報に基づいて、前記コンテンツを構成するシーンを特定し、前記シーンの時間的長さに対応させて前記シーンのそれぞれを表示する図形を、画面の水平または垂直方向を時間軸として表示することで前記コンテンツをタイムライン表示させるようにすることができる。

前記タイムライン表示手段は、前記シーンを表示する図形を、予め定められた方式により特定された前記シーンの代表色で表示して前記コンテンツをタイムライン表示させるようにすることができる。

本発明の一側面は、検索画像入力手段が、静止画である検索画像の入力を複数受け付け、画像特徴量抽出手段が、予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出し、類似度算出手段が、動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出し、特定手段が、前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定し、タイムライン表示手段が、前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するステップを含むコンテンツ検索方法である。

本発明の一側面は、コンピュータを、静止画である検索画像の入力を複数受け付ける検索画像入力手段と、予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出する画像特徴量抽出手段と、動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出する類似度算出手段と、前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定する特定手段と、前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するタイムライン表示手段とを備えるコンテンツ検索装置として機能させるプログラムである。

本発明の一側面においては、静止画である検索画像の入力が複数受け付けられ、予め定められた方式で前記複数の検索画像の画像特徴量がそれぞれ抽出され、動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度が算出され、前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームが特定され、前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データが生成される。

本発明によれば、動画のコンテンツの内容をより簡単に把握することができる。

本発明の一実施の形態に係るコンテンツ処理装置の構成例を示すブロック図である。 図１の出力部から出力される表示データに基づいて表示される画面の例を示す図である。 図２に示される画面においてコンテンツが再生されたときの画面の例を示す図である。 図３に示される状態からさらに時間が経過したときの画面の例を示す図である。 コンテンツ表示処理の例を説明するフローチャートである。 図２乃至図４の画面において、検索が行われる場合の例を示す図である。 図６に示される画面において検索結果が表示された画面の例を示す図である。 複数のコンテンツを検索する場合の画面の例を示す図である。 図８に示される画面において検索結果が表示された画面の例を示す図である。 図９に示される画面においてコンテンツが再生されたときの画面の例を示す図である。 検索結果表示処理を説明するフローチャートである。 検索結果が表示された画面の別の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係るコンテンツ処理装置の構成例を示すブロック図である。

このコンテンツ処理装置１０は、入力された動画のコンテンツをタイムライン表示するとともに、必要に応じてそのコンテンツの中から所定の画像を検索して検索結果をタイムライン表示するものとされる。

同図に示されるように、コンテンツ処理装置１０には、コンテンツ入力部２１、メタデータ抽出部２２、画像特徴量抽出部２３、メタデータデータベース２４、および画像特徴量データベース２５が設けられている。また、コンテンツ処理装置１０には、検索画像入力部２６、検索部２７、および出力部２８が設けられている。

コンテンツ入力部２１は、コンテンツのデータの入力を受け付ける。上述したように、コンテンツは、動画のコンテンツであり、必要に応じて音声やキャプションなども含まれている。これらのコンテンツは、例えば、放送される番組の一部として編集されたコンテンツなどとされる。

メタデータ抽出部２２は、コンテンツ入力部２１から供給されたコンテンツのデータを解析し、コンテンツからメタデータを抽出するようになされている。ここで、メタデータは、例えば、コンテンツのシーンチェンジ点に関する情報、後述するタイムライン表示する際に必要となる時刻に関する情報、そのコンテンツの代表画像などの情報とされる。

メタデータに含まれるコンテンツの代表画像は、コンテンツを構成する各シーンの中で最も音声信号のレベルが大きくなった場面に対応するフレームの画像（静止画）などとされ、予め定められた方式で代表画像が抽出されているものとする。代表画像のデータ、および代表画像に対応するフレームのフレーム番号などの情報もメタデータ抽出部により抽出される。

メタデータ抽出部により抽出されたメタデータは、例えば、コンテンツの識別情報と対応付けられてメタデータデータベース２４に蓄積されるようになされている。

画像特徴量抽出部２３は、コンテンツ入力部２１から供給されたコンテンツのデータを解析し、コンテンツから画像特徴量を抽出するようになされている。ここで、画像特徴量は、後述する検索部２７の処理において検索画像との類似度を得るために用いられる情報とされる。画像特徴量は、例えば、コンテンツを構成する１フレーム分の静止画のそれぞれを予め定められた複数の領域に分割し、それぞれの領域の代表色を記述した情報などとされる。また、画像特徴量は、１フレーム分の静止画像の画素値のヒストグラムの情報などとされるようにしてもよい。

画像特徴量抽出部２３が抽出した画像特徴量は、例えば、コンテンツの識別情報およびフレーム番号と対応付けられて画像特徴量データベース２５に蓄積されるようになされている。

また、画像特徴量抽出部２３は、検索画像入力部２６から入力された検索画像からも、同様にして画像特徴量を抽出するようになされている。

検索画像入力部２６は、静止画である検索画像の入力を受け付けるようになされている。検索画像は、例えば、ユーザが任意に選択した画像とされ、コンテンツ入力部２１から入力されたコンテンツの中から当該検索画像と類似した画像を検索するために入力される。

検索部２７は、画像特徴量抽出部２３により抽出された検索画像の画像特徴量と、画像特徴量データベース２５に記憶されている画像特徴量とを所定の方式で比較する。これにより、検索画像の画像特徴量と、画像特徴量データベース２５に記憶されているコンテンツを構成する１フレーム分の静止画のそれぞれの画像特徴量との類似度が数値として算出されるようになされている。

検索部２７は、例えば、検索画像の画像特徴量との類似度が所定の閾値以上の値となった画像特徴量を有する静止画を特定し、それらの静止画のフレーム番号などを出力部２８に供給する。

出力部２８は、メタデータデータベース２４からコンテンツのメタデータを読み出し、そのコンテンツについてタイムライン表示するために必要となる表示データを生成するようになされている。

また、出力部２８は、メタデータデータベース２４からコンテンツのメタデータを読み出し、検索部２７から供給された静止画のフレーム番号と、読み出されたメタデータに基づいて、検索結果をタイムライン表示するための表示データを生成する。

なお、出力部２８から出力される表示データは、図示せぬディスプレイなどに供給され、後述するような画像として表示される。

次に、コンテンツ処理装置１０によるコンテンツのタイムライン表示の例について説明する。

図２は、出力部２８から出力される表示データに基づいて図示せぬディスプレイなどに表示される画面の例を示す図である。

図２に示される画面は、動画表示部５１を有している。コンテンツ入力部２１から入力されたコンテンツの画像は、動画表示部５１において動画として表示されるようになされている。

また、図２に示される画面は、代表画像表示部５２を有している。代表画像表示部５２には、メタデータデータベース２４から読み出されたメタデータに含まれる代表画像が静止画として表示される。この例では、９（＝３×３）枚の代表画像が示されている。

さらに、図２に示される画面は、タイムライン表示部５３を有している。タイムライン表示部５３においては、図中水平方向がコンテンツの時間軸に対応するように、コンテンツがタイムライン表示される。すなわち、タイムライン表示部５３の左端がコンテンツの開始時刻に対応し、タイムライン表示部５３の右端がコンテンツの終了時刻に対応するように、コンテンツが時間軸に対応して表示される。

ここでは、所定のコンテンツを、コンテンツの時間的長さ、コンテンツの内部のシーン、フレームなどの時間的位置を、ユーザが視覚的に認識できるように表示させることをコンテンツのタイムライン表示と称している。なお、コンテンツのタイムライン表示は、何らかの方式でそのコンテンツを表示させるものであるが、例えば、コンテンツが再生されて動画として表示されることなどを意味するものではない。タイムライン表示におけるコンテンツの表示は、例えば、そのコンテンツまたはそのコンテンツの構成部分を象徴する図形、波形、記号などを時間軸に対応させて表示させることを意味している。

タイムライン表示部５３には、シーン表示領域７１が含まれる。シーン表示領域７１には、コンテンツの各シーンが、それぞれのシーンの時間的長さに対応する幅（長さ）の矩形として表示されている。すなわち、シーン表示領域７１には、８つの矩形が表示されており、このコンテンツが８つのシーンによって構成されていることが分かる。なお、各シーンの開始点および終了点は、メタデータデータベース２４から読み出されたメタデータに含まれるシーンチェンジ点の情報に基づいて特定され、シーン表示領域７１の矩形が表示されるようになされている。

シーン表示領域７１に示される各矩形は、図中では便宜上全て白色の矩形として表示されているが、例えば、それぞれのシーンの代表色で表示されるものとする。シーンの代表色は、例えば、シーン内に存在する全フレームの画素値の中で最も多い画素値に対応する色などとして特定されるようになされている。なお、それ以外の方式でシーンの代表色が特定されるようにしてもよい。要は、そのシーンの印象に適した色が代表色とされるようにすればよい。

シーン表示領域７１の図中上側には、代表画像がそれぞれ表示される。すなわち、代表画像表示部５２に表示されている９枚の代表画像が、それぞれコンテンツ内のフレーム番号に対応する位置に表示される。

すなわち、代表画像表示部５２の１行１列目に表示されている代表画像は、コンテンツの第１番目のシーンに含まれるフレームの画像であり、シーン表示領域７１の上部において、サムネイル７２−１として表示されている。なお、サムネイル７２−１には、そのフレームの位置を示す点線が、シーン表示領域７１の図中最も左側の矩形に向かって付されている。

ここでは、サムネイル７２−１の図中左端部と右端部からシーン表示領域７１の図中最も左側の矩形の上部中央やや左の１点に向かって点線が引かれることにより、サムネイル７２−１のフレームの時間的位置が示されている。すなわち、代表画像表示部５２の１行１列目に表示されている代表画像は、時間軸上でシーン表示領域７１の図中最も左側の矩形の中央やや左の１点に対応する位置のフレームの画像であることが示されているのである。このようにすることで、ユーザは、代表画像のコンテンツの中での時間的位置を簡単に把握することができる。

なお、各サムネイルの代表画像のフレームの位置を示すことができれば、別の方式で表示されるようにして構わない。要は、コンテンツの中での代表画像の時間的位置を把握できるように、タイムライン表示されたコンテンツにサムネイルを関連付けて表示するようにできればよい。

また、各サムネイルは、代表画像のフレームのデータに基づいて生成させるようにしてもよいし、予め生成されてメタデータに含まれているようにしてもよい。

サムネイル７２−２は、代表画像表示部５２の２行３列目に表示されている代表画像を表すものであり、コンテンツの第２番目のシーンに含まれるフレームの画像であることが分かる。

サムネイル７２−３は、代表画像表示部５２の３行３列目に表示されている代表画像を表すものであり、コンテンツの第３番目のシーンに含まれるフレームの画像であることが分かる。

同様に、サムネイル７２−４乃至サムネイル７２−９が表示されており、シーン表示領域７１の上部には、代表画像表示部５２に表示されて９枚の代表画像のそれぞれを表すサムネイルが表示されることになる。

なお、サムネイルのそれぞれは、例えば、交互に重ねられて表示されている。例えば、サムネイル７２−１は、サムネイル７２−２と重ねられて表示されており、画像の一部が隠れている。なお、サムネイルが重ねて表示される場合、例えば、上に重ねて表示されるサムネイルが透明度５０％で表示され、下に重ねて表示されるサムネイルが透けて見えるように表示される。

また、図２に示されるボタン８１乃至ボタン８３は、例えば、ＧＵＩの部品として構成される。例えば、ボタン８３が操作されることにより、シーン表示領域７１の上部にサムネイル７２−１乃至サムネイル７２−９がそれぞれ表示されるようになされている。すなわち、最初は、サムネイル７２−１乃至サムネイル７２−９が表示されていない状態で、図２に示される画面が表示され、ボタン８３が操作された場合、シーン表示領域７１の上部にサムネイル７２−１乃至サムネイル７２−９がそれぞれ表示される。

ボタン８１は、コンテンツを再生して動画表示部５１に動画を表示させるためのボタンとされる。ボタン８２は、コンテンツの再生を停止するためのボタンとされる。

ボタン８１によりコンテンツを再生した場合、タイムライン表示部５３において、スライダ９１により現時点で再生されているフレームの位置が示されるようになされている。

図３は、図２に示される画面において、ボタン８１が操作されてコンテンツが再生され、所定の時間が経過したときの画面の例を示す図である。

スライダ９１は、例えば、シーン表示領域７１に重畳して表示される赤色の四角形の枠とされ、時間の経過に伴って、図中水平方向の長さが増大するように表示される。スライダ９１の右端部が現在のコンテンツの再生位置を表すことになる。図３に示されるように、コンテンツが再生されてから所定の時間が経過したことにより、スライダ９１の右端部がシーン表示領域７１上で右側に移動している。

図４は、図３に示される状態からさらに時間が経過したときの画面の例を示す図である。同図に示されるように、時間の経過に伴って、スライダ９１の右端部がシーン表示領域７１上でさらに右側に移動しており、サムネイル７２−４に対応する代表画像のフレームの位置と一致している。サムネイル７２−４は、代表画像表示部５２の２行１列目に表示されている代表画像を表すものであり、図４において動画表示部５１に表示されている画像が代表画像表示部５２の２行１列目に表示されている代表画像と一致している。

このとき、サムネイル７２−４は、他のサムネイルと比較して表示面積が大きくなるように拡大されて表示されるようになされている。また、このとき、サムネイル７２−４は、サムネイル７２−３およびサムネイル７２−５に対して上に重ねて表示され、透明度０％となるようになされている。すなわち、サムネイル７２−３およびサムネイル７２−５が透けて見えないように表示されることになる。

このように、再生位置（スライダ９１の右端部）が代表画像のフレームの位置と一致したとき、その代表画像を表すサムネイルが強調されて表示されるようになされている。なお、ここでは、サムネイルの表示面積が拡大され、透明度０％で上に重ねて表示されることで、そのサムネイルが強調されて表示される例について説明したが、他の方式によりサムネイルの表示の態様が変更されるようにしてもよい。

このように、本発明によれば、コンテンツの内容を分かりやすくタイムライン表示することができる。タイムライン表示部５３において、コンテンツの各シーンと、代表画像を表すサムネイルとが時間軸に沿って表示されるようにしたので、ユーザは、当該コンテンツを再生した場合、いつごろどんなシーンが見られるのかを予め把握することが可能となる。

さらに、コンテンツを再生した場合、スライダ９１の右端部の位置が移動する際に、タイムライン表示部５３の中で各サムネイルが順次強調表示されるようにしたので、例えば、ユーザは、代表画像に着目して当該コンテンツの編集の優劣を評価することができる。

次に、図５のフローチャートを参照して図１のコンテンツ処理装置１０によるコンテンツ表示処理の例について説明する。

ステップＳ２１において、コンテンツ入力部２１は、コンテンツのデータの入力を受け付ける。

ステップＳ２２において、メタデータ抽出部２２は、コンテンツ入力部２１から供給されたコンテンツのデータを解析し、コンテンツからメタデータを抽出する。このとき、例えば、コンテンツのシーンチェンジ点に関する情報、タイムライン表示する際に必要となる時刻に関する情報、そのコンテンツの代表画像などの情報がメタデータとして抽出される。

なお、メタデータに含まれるコンテンツの代表画像は、予め定められた方式で代表画像が抽出されているものとする。代表画像のデータ、および代表画像に対応するフレームのフレーム番号などの情報もメタデータ抽出部により抽出される。

ステップＳ２３において、メタデータデータベース２４は、ステップＳ２２の処理で抽出されたメタデータを記憶する。

ステップＳ２４において、出力部２８は、メタデータデータベース２４からコンテンツのメタデータを読み出し、そのコンテンツについてタイムライン表示するために必要となる表示データを生成する。これにより、図２を参照して上述したような画面が表示される。なお、上述したように、最初は、サムネイル７２−１乃至サムネイル７２−９が表示されていない状態で、図２に示される画面が表示される。

ステップＳ２５において、出力部２８は、サムネイルの表示が指令されたか否かを判定し、サムネイルの表示が指令されたと判定されるまで待機する。

例えば、図２のボタン８３が操作された場合、ステップＳ２５において、サムネイルの表示が指令されたと判定され、処理は、ステップＳ２６に進む。

ステップＳ２６において、出力部２８は、ステップＳ２４で生成された表示データに対応する画面上にサムネイルを表示するために必要となる表示データを生成する。これにより、例えば、シーン表示領域７１の上部にサムネイル７２−１乃至サムネイル７２−９がそれぞれ表示される。

このようにして、コンテンツ表示処理が実行される。

なお、その後、画面上のＧＵＩの操作などに対応して図３や図４に示されるような画面を表示するように、出力部２８は、適宜それらの画面を表示する表示データを生成するようになされている。

次に、コンテンツ処理装置１０による画像の検索について説明する。

上述したように、検索画像入力部２６は、静止画である検索画像の入力を受け付けるようになされている。検索画像は、例えば、ユーザが任意に選択した画像とされ、コンテンツ入力部２１から入力されたコンテンツの中から当該検索画像と類似した画像を検索するために入力される。

例えば、図２乃至図４を参照して上述した画面において、検索が行われる場合の例を図６に示す。同図は、図２乃至図４のコンテンツと同じコンテンツから検索画像を検索する場合の例を示している。

図６の画面においては、検索画像表示領域５４が設けられており、検索画像表示領域５４には、検索画像入力部２６を介して入力された検索画像である画像１０１乃至画像１０３が表示されている。この例では、代表画像表示部５２に表示された９枚の代表画像の中から３枚の代表画像が選択されて検索画像とされている。

すなわち、代表画像表示部５２に表示された画像のうち、２行２列目に表示された画像が画像１０１とされており、代表画像表示部５２に表示された画像のうち、１行３列目に表示された画像が画像１０２とされており、代表画像表示部５２に表示された画像のうち、１行１列目に表示された画像が画像１０３とされている。

この状態でボタン８４を操作すると、検索画像表示領域５４に表示された画像と類似度の高い画像がコンテンツのなかから検索されるようになされている。

図７は、図６に示される画面においてボタン８４が操作されて検索結果が表示された画面の例を示す図である。

図７に示されるように、検索画像表示領域５４に表示された画像１０１乃至画像１０３の外枠（表示枠）が所定の色で表示されている。なお、図中では、所定の色がハッチングのパターンの違いによって表示されている。例えば、画像１０１の外枠は青色で表示され、画像１０２の外枠は緑色で表示され、画像１０３の外枠は赤色で表示される。

また、図７の例では、画像１０１乃至画像１０３のそれぞれに類似する画像のフレームの位置を表すカラーバーが、シーン表示領域７１の各シーンに対応する矩形に重畳されて表示されている。なお、図７に示されるカラーバーは、複数のフレーム位置を示すものとされ、図中水平方向に所定の幅を有するバーとされている。すなわち、動画のコンテンツにおいて、静止画を検索した場合、通常、類似度の高い画像が複数連続して検出されるから、類似度の高い画像のフレーム位置を色付けしていくと、カラーバーが表示されることになるのである。

同図において、カラーバー１１１−１乃至１１１−４は、画像１０１と類似度の高い画像のフレームの位置を表しており、画像１０１の外枠の色と同色（例えば、青色）のカラーバーとされている。また、カラーバー１１２−１乃至１１２−３は、画像１０２と類似度の高い画像のフレームの位置を表しており、画像１０２の外枠の色と同色（例えば、緑色）のカラーバーとされている。さらに、カラーバー１１３−１乃至１１３−３は、画像１０３と類似度の高い画像のフレームの位置を表しており、画像１０３の外枠の色と同色（例えば、赤色）のカラーバーとされている。

このようにすることで、ユーザは、目的の画像（検索画像）を表示する部分がコンテンツのどの部分にどの程度の長さで存在するのかを一目で理解することができる。さらに、複数の画像（例えば、画像１０１乃至画像１０３）を表示するそれぞれの部分が、コンテンツの中でどのように組み合わせられているのかも一目で理解することができる。

例えば、図７の例の場合、画像１０１乃至画像１０３は、それぞれミサイルの画像であり、画像１０１はミサイル発射前、画像１０２はミサイル発射時、画像１０３はミサイル発射後の画像とされている。例えば、ニュース番組などのコンテンツにおいて、ミサイルに関する報道が行われる場合、ミサイルの発射前、発射時、発射後の画像が繰り返し表示されることが多い。

図７に示される検索結果によれば、当該コンテンツには、ミサイルの画像を表示する部分が概ね４か所含まれていることが分かる。

第１か所目は、第１番目のシーンであって、シーン表示領域７１の最も左の矩形に対応するシーンである。すなわち、カラーバー１１１−１、カラーバー１１２−１、およびカラーバー１１３−１に対応する部分においてミサイルの発射前、発射時、発射後の画像が表示されているから、この部分でミサイルの画像が表示されていたことが分かる。

第２か所目は、第５番目のシーンであって、シーン表示領域７１の左から５番目の矩形に対応するシーンである。すなわち、カラーバー１１１−２、カラーバー１１２−２、およびカラーバー１１３−２に対応する部分においてミサイルの発射前、発射時、発射後の画像が表示されているから、この部分でミサイルの画像が表示されていたことが分かる。

第３か所目は、第７番目のシーンであって、シーン表示領域７１の左から７番目の矩形に対応するシーンである。すなわち、カラーバー１１１−３に対応する部分においてミサイルの発射前の画像が表示されているから、この部分でミサイルの画像が表示されていたことが分かる。

第４か所目は、第８番目のシーンであって、シーン表示領域７１の左から８番目の矩形に対応するシーンである。すなわち、カラーバー１１１−４、カラーバー１１２−３、およびカラーバー１１３−３に対応する部分においてミサイルの発射前、発射時、発射後の画像が表示されているから、この部分でミサイルの画像が表示されていたことが分かる。

つまり、当該コンテンツには、ミサイルに関するシーンが４つあることが分かるが、そのうち、第７番目のシーンのみが、他のシーンと異なり、発射前の画像しか表示されないことが分かる。また、第１番目のシーンにおいては、他のシーンと異なり、発射後の画像が長く表示されていることも分かる。

このように、本発明のコンテンツ処理装置１０による検索結果を用いれば、ユーザは、一目でコンテンツの内容を理解することができ、例えば、当該コンテンツの編集者の編集技法を評価することもできるようになる。

なお、図６、図７に示される画面においても、上述した場合と同様に、コンテンツを再生して動画表示部５１に動画を表示させることが可能である。

ここでは、図２乃至図４の画面と同じ画面において、検索が行われる場合の例について説明したが、画像の検索を行う際には、他の画面が表示されるようにしてもよい。要は、図７の検索画像表示領域５４と、タイムライン表示部５３を有する画面が表示されるようにすればよい。

図７においては、１つのコンテンツについて画像の検索を行う例について説明したが、複数のコンテンツについて画像が検索されるようにしてもよい。

図８は、複数のコンテンツについて画像が検索されるようにする場合に、図１のコンテンツ処理装置１０の出力部２８により生成された表示データにより表示される画面の例を示す図である。

なお、複数のコンテンツについて画像が検索されるようにする場合、図１のコンテンツ入力部２１により、予め複数のコンテンツの入力が受け付けられており、各コンテンツに対してメタデータの抽出、および画像特徴量の抽出がなされているものとする。また、複数のコンテンツについて画像が検索されるようにする場合、例えば、コンテンツの識別情報に基づいてメタデータデータベース２４に記憶されるメタデータと、画像特徴量データベースに記憶される画像特徴量を読み出すことができるものとする。

図８の画面には、動画表示部１５１、タイムライン表示部１５３、検索画像表示領域１５４が設けられている。図８の例では、タイムライン表示部１５３に７つのコンテンツがタイムライン表示されている。

タイムライン表示部１５３には、検索の対象となるコンテンツの数に対応するシーン表示領域が含まれる。この例では、タイムライン表示部１５３に、シーン表示領域１７１―１乃至シーン表示領域１７１―７が含まれている。

シーン表示領域１７１―１乃至シーン表示領域１７１―７のそれぞれには、各コンテンツの各シーンが、それぞれのシーンの時間的長さに対応する幅（長さ）の矩形として表示されている。例えば、シーン表示領域１７１−１には、３つの矩形が表示されており、このコンテンツが３つのシーンによって構成されていることが分かる。なお、各シーンの開始点および終了点は、メタデータデータベース２４から読み出されたメタデータに含まれるシーンチェンジ点の情報に基づいて特定され、シーン表示領域１７１―１乃至シーン表示領域１７１―７の矩形が表示されるようになされている。

シーン表示領域１７１―１乃至シーン表示領域１７１―７に示される各矩形は、例えば、そのシーンの代表色で表示される（ただし、図中では便宜上全て白色で表示されている）。シーンの代表色は、例えば、シーン内に存在する全フレームの画素値の中で最も多い画素値に対応する色などとして特定されるようになされている。なお、それ以外の方式でシーンの代表色が特定されるようにしてもよい。要は、そのシーンの印象に適した色が代表色とされるようにすればよい。

また、タイムライン表示部１５３において、シーン表示領域１７１―１乃至シーン表示領域１７１―７の図中左側に、それぞれ静止画表示領域１７５−１乃至静止画表示領域１７５−７が設けられている。静止画表示領域１７５−１乃至静止画表示領域１７５−７に表示される画像のそれぞれは、例えば、各コンテンツの先頭のフレームの画像、予め定められた代表画像などとされる。また、静止画表示領域１７５−１乃至静止画表示領域１７５−７に表示される画像の図中上側に記述された文字列のそれぞれは、例えば、各コンテンツの識別情報を表すものとされる。

動画表示部１５１には、タイムライン表示部１５３においてタイムライン表示されたコンテンツのうち、ユーザにより選択されたコンテンツが再生されて得られる動画が表示される。

検索画像表示領域１５４には、検索画像入力部２６によって入力が受け付けられた検索画像が表示されるようになされている。なお、図８の例では、まだ、検索画像は入力されておらず、検索画像表示領域１５４に検索画像が表示されていない。検索画像は、例えば、ユーザが任意に選択した画像とされ、タイムライン表示部１５３においてタイムライン表示されたコンテンツの中から当該検索画像と類似した画像を検索するために入力される。

この状態で、検索画像が入力され、ＧＵＩの部品として構成されるボタン１８４を操作すると、検索画像表示領域１５４に表示された画像と類似度の高い画像がコンテンツのなかから検索されるようになされている。

図９は、図８に示される画面において、画像２０１乃至画像２０３が検索画像として入力され、ボタン１８４が操作されて検索結果が表示された画面の例を示す図である。

図９に示されるように、検索画像表示領域１５４に表示された画像２０１乃至画像２０３の外枠が所定の色で表示されている。なお、図中では、所定の色がハッチングのパターンの違いによって表示されている。

また、図９の例では、画像２０１乃至画像２０３のそれぞれに類似する画像のフレームの位置を表すカラーバーが、シーン表示領域１７１−１乃至シーン表示領域１７１−７の各シーンに対応する矩形に重畳されて表示されている。なお、図９に示されるカラーバーは、図７を参照して上述した場合と同様に、複数のフレーム位置を示すものとされ、図中水平方向に所定の幅を有するバーとされている。すなわち、動画のコンテンツにおいて、静止画を検索した場合、通常、類似度の高い画像が複数連続して検出されるから、類似度の高い画像のフレーム位置を色付けしていくと、カラーバーが表示されることになるのである。

同図において、カラーバー２１１は、画像２０１と類似度の高い画像のフレームの位置を表しており、画像２０１の外枠の色（例えば、青色）と同色のカラーバーとされている。また、カラーバー２１２は、画像２０２と類似度の高い画像のフレームの位置を表しており、画像２０２の外枠の色（例えば、緑色）と同色のカラーバーとされている。さらに、カラーバー２１３は、画像２０３と類似度の高い画像のフレームの位置を表しており、画像２０３の外枠の色（例えば、赤色）と同色のカラーバーとされている。

なお、図９の例では、シーン表示領域１７１−１において表示されているカラーバーにのみ符号が付されているが、シーン表示領域１７１−２乃至シーン表示領域１７１−７においてもカラーバーが表示されている。すなわち、図９の例の場合、図７を参照して上述した場合と同様の検索結果を、複数のコンテンツ（この例では７つ）のそれぞれについて得ることができるのである。

このようにすることで、ユーザは、目的の画像（検索画像）を表示する部分が複数のコンテンツのどの部分にどの程度の長さで存在するのかを一目で理解することができる。さらに、複数の画像（例えば、画像１０１乃至画像１０３）を表示するそれぞれの部分が、複数のコンテンツの中でどのように組み合わせられているのかも一目で理解することができる。そして、それらの検索結果を一画面上に表示させ、例えば、各コンテンツの編集内容を比較することも可能となる。

さらに、上述したように、動画表示部１５１には、タイムライン表示部１５３においてタイムライン表示されたコンテンツのうち、ユーザにより選択されたコンテンツが再生されて得られる動画が表示される。図１０は、動画表示部１５１に動画が表示された場合の画面の例を示す図である。図１０の例では、ユーザが図示せぬポインティングデバイスなどを用いてシーン表示領域１７１−３を選択し、ボタン１８１を操作して当該コンテンツを再生したものとする。

なお、ＧＵＩとして構成されるボタン１８１は、コンテンツを再生して動画表示部１５１に動画を表示させるためのボタンとされる。ボタン１８２は、コンテンツの再生を停止するためのボタンとされる。また、同図の例では、シーン表示領域１７１−３が選択されたことにより、シーン表示領域１７１−３の周囲がハイライト表示されている。この例では、シーン表示領域１７１−３の周囲が点線で表記されることにより、ハイライト表示されることが表現されている。

さらに、ボタン１８１によりコンテンツを再生した場合、タイムライン表示部１５３において、スライダにより現時点で再生されているフレームの位置が示されるようになされている。同図の例では、シーン表示領域１７１−３のコンテンツが再生されているので、スライダ１９１−３が表示されている。

スライダ１９１−３は、例えば、シーン表示領域１７１−３に重畳して表示される赤色の四角形の枠とされ、時間の経過に伴って、図中水平方向の長さが増大するように表示される。スライダ１９１−３の右端部が現在のコンテンツの再生位置を表すことになる。コンテンツが再生されてから所定の時間が経過したことにより、スライダ１９１−３の右端部がシーン表示領域１７１−３上で右側に移動している。

なお、図１０の例では、シーン表示領域１７１−３のコンテンツが再生されているので、スライダ１９１−３が表示されているが、他のコンテンツが再生された場合、そのコンテンツのシーン表示領域上にスライダが表示されることになる。

このように、検索結果を表示させるとともに、コンテンツを再生して動画を表示させることもできる。

次に、図１１のフローチャートを参照して、図１のコンテンツ処理装置１０による検索結果表示処理の例について説明する。なお、この処理に先だって、コンテンツ入力部２１により、予め単数または複数のコンテンツの入力が受け付けられており、各コンテンツに対してメタデータの抽出、および画像特徴量の抽出がなされているものとする。

ステップＳ５１において、検索画像入力部２６は、検索画像の入力を受け付ける。ここで、検索画像は、例えば、ユーザが任意に選択した画像（静止画）とされ、コンテンツ入力部２１から入力されたコンテンツの中から当該検索画像と類似した画像を検索するために入力される。このとき、例えば、図６の画像１０１乃至画像１０３が検索画像として入力される。

ステップＳ５２において、画像特徴量抽出部２３は、ステップＳ５１で入力された検索画像を解析する。

ステップＳ５３において、画像特徴量抽出部２３は、ステップＳ５１の処理の結果として、検索画像の画像特徴量を抽出する。

ステップＳ５４において、検索部２７は、ステップＳ５３の処理で画像特徴量抽出部２３により抽出された検索画像の画像特徴量と、画像特徴量データベース２５に記憶されている画像特徴量とを所定の方式で比較する。これにより、検索画像の画像特徴量と、画像特徴量データベース２５に記憶されているコンテンツを構成する１フレーム分の静止画のそれぞれの画像特徴量との類似度が数値として算出されるようになされている。

ステップＳ５５において、検索部２７は、例えば、検索画像の画像特徴量との類似度が所定の閾値以上の値となった画像特徴量を有する静止画のフレームを特定する。

ステップＳ５６において、検索部２７は、出力部２８に検索結果を通知する。このとき、ステップＳ５５の処理の結果特定された静止画のフレーム番号などが出力部２８に供給される。

ステップＳ５７において、出力部２８は、メタデータデータベース２４からコンテンツのメタデータを読み出し、ステップＳ５６の処理で供給された静止画のフレーム番号と、読み出されたメタデータに基づいて、検索結果をタイムライン表示するための表示データを生成する。これにより、例えば、図７または図９を参照して上述したような画面が表示される。

なお、その後、画面上のＧＵＩの操作などに対応して、出力部２８が適宜表示データを生成するようになされている。

このようにして検索結果表示処理が実行される。

上述した検索結果表示処理の結果得られる画面を参照することにより、目的の画像（検索画像）を表示する部分がコンテンツのどの部分にどの程度の長さで存在するのかを一目で理解することができる。それとともに、上述した検索結果表示処理の結果得られる画面を参照することにより、コンテンツの中での所定のイベントの発生を検出することができる。

例えば、複数の検索画像を検索し、それらの検索画像に類似するフレームの検出された順番を識別することにより、コンテンツのどの部分でどのようなイベントが発生したのかをおおよそ認識することが可能となる。

図１２は、図７を参照して上述した画面と同様に、あるコンテンツについて検索画像を検索した結果を表示する画面の例を示す図である。この例では、野球中継の番組のコンテンツが検索されてタイムライン表示されている。

図１２の例では、検索画像表示領域５４に、画像１０４と画像１０５が表示されている。この例では、代表画像表示部５２に表示された９枚の代表画像の中から２枚の代表画像が選択されて検索画像とされている。

また、検索画像表示領域５４に表示された画像１０４と画像１０５の外枠が所定の色で表示されている。例えば、画像１０４の外枠は青色で表示され、画像１０５の外枠は緑色で表示される。なお、図中では、所定の色がハッチングのパターンの違いによって表示されている。

さらに、同図の例では、画像１０４と画像１０５のそれぞれに類似する画像のフレームの位置を表すカラーバーが、シーン表示領域７１の各シーンに対応する矩形に重畳されて表示されている。なお、図１２に示されるカラーバーのそれぞれは、画像１０４の外枠の色、または画像１０５の外枠の色と同色のカラーバーとされる。

図１２の例では、画像１０４はピッチャーが投球する際の画像であり、画像１０５は外野手が走っている（ボールに飛びついている）画像とされている。従って、シーン表示領域７１において、画像１０４に類似する画像のフレームを表すカラーバーが表示され、その右側に画像１０５に類似する画像のフレームを表すカラーバーが表示されている部分では、打球が外野に飛んでいたことが分かる。

仮に、画像１０４と画像１０５に加えて、例えば、１塁上のランナーの画像１０６を検索し、画像１０４、画像１０５、画像１０６に類似する画像のカラーバーが順番に連続して出現する部分が見つかれば、その部分ではバッターがシングルヒットを打ったことが分かる。

また仮に、画像１０４と画像１０５に加えて、例えば、２塁上のランナーの画像１０７を検索し、画像１０４、画像１０５、画像１０７に類似する画像のカラーバーが順番に連続して出現する部分が見つかれば、その部分ではバッターがツーベースヒットを打ったことが分かる。

このとき、例えば、シーン表示領域７１に表示された各矩形（各シーン）とその上に表示されたサムネイルを参照すれば、より簡単にコンテンツの内容を理解できるようになる。

このように、投球、守備、走塁の際の画像を検索画像として組み合わせすることによって、コンテンツのどの部分でシングルヒットがあり、どの部分でツーベースヒットがあったかを簡単に探すことが可能となる。つまり、複数の検索画像を適切に組み合わせて検索し、それらの検索画像に類似するフレームの検出された時間的位置や検出された順番を識別することにより、コンテンツのどの部分でどのようなイベントが発生したのかを認識することが可能となるのである。

このように本発明によれば、従来の技術では対応できなかったコンテンツの内容の可視化表示が可能となる。よって、動画のコンテンツの内容をより簡単に把握することができる。

また、複数の検索画像を適切に組み合わせて検索し、それらの検索画像に類似するフレームを表示することにより、例えば、放送前の番組のコンテンツを事前に評価することも可能となる。

例えば、番組スポンサーＡの商品ａ、番組スポンサーＢの商品ｂ、番組スポンサーＣの商品ｃの画像を必ずコンテンツに含める必要がある場合を考える。このような場合、商品ａ乃至商品ｃの画像を検索し、それらの検索画像に類似するフレームのカラーバーの長さを比較することにより、番組スポンサーＡ乃至番組スポンサーＣの偏りを是正することができる。また、番組スポンサーＡ乃至番組スポンサーＣの出資額に差異がある場合などは、商品ａ乃至商品ｃの画像を検索し、それらの検索画像に類似するフレームのカラーバーの長さと順番を比較することにより、適切に番組スポンサーの意向をコンテンツに反映させることができる。

このように本発明によれば、従来の技術では対応できなかったコンテンツの内容の比較が可能となる。よって、動画のコンテンツの内容をより簡単に把握することができる。

なお、以上においては、コンテンツ処理装置１０による表示画面において、図中水平方向を時間軸に対応させてコンテンツをタイムライン表示するようにしたが、図中垂直方向を時間軸に対応させてコンテンツをタイムライン表示するようにしてもよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１３に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１３において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１３に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ コンテンツ処理装置， ２１ コンテンツ入力部， ２２ メタデータ抽出部， ２３ 画像特徴量抽出部， ２４ メタデータデータベース， ２５ 画像特徴量データベース， ２６ 検索画像入力部， ２７ 検索部， ２８ 出力部

Claims (8)

1. 静止画である検索画像の入力を複数受け付ける検索画像入力手段と、
   予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出する画像特徴量抽出手段と、
   動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出する類似度算出手段と、
   前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定する特定手段と、
   前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するタイムライン表示手段と
   を備えるコンテンツ検索装置。
2. 前記タイムライン表示手段は、
   前記複数の検索画像の一覧を表示する検索画像表示部と、
   前記コンテンツをタイムライン表示するタイムライン表示部とを有する画面を表示させるための表示データを生成し、
   前記検索画像表示部において、前記複数の検索画像のそれぞれが異なる色の表示枠に囲まれて表示され、
   前記タイムライン表示部において、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報が、それぞれ前記表示枠の色と同じ色のカラーバーとして表示される
   請求項１に記載のコンテンツ検索装置。
3. 前記タイムライン表示手段は、
   複数のコンテンツのそれぞれを同一画面上の前記タイムライン表示部に前記タイムライン表示させ、
   前記複数のコンテンツのそれぞれにおいて、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報が、それぞれ前記表示枠の色と同じ色のカラーバーとして表示される
   請求項２に記載のコンテンツ検索装置。
4. 前記タイムライン表示手段は、
   前記タイムライン表示されたコンテンツの再生が指令された場合、前記コンテンツを再生して得られる動画を表示する動画表示部をさらに有する画面を表示させるための表示データを生成する
   請求項３に記載のコンテンツ検索装置。
5. 前記タイムライン表示手段は、
   前記メタデータに含まれる前記コンテンツのシーンチェンジ点の情報に基づいて、前記コンテンツを構成するシーンを特定し、
   前記シーンの時間的長さに対応させて前記シーンのそれぞれを表示する図形を、画面の水平または垂直方向を時間軸として表示することで前記コンテンツをタイムライン表示させる
   請求項１に記載のコンテンツ検索装置。
6. 前記タイムライン表示手段は、
   前記シーンを表示する図形を、予め定められた方式により特定された前記シーンの代表色で表示して前記コンテンツをタイムライン表示させる
   請求項５に記載のコンテンツ検索装置。
7. 検索画像入力手段が、静止画である検索画像の入力を複数受け付け、
   画像特徴量抽出手段が、予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出し、
   類似度算出手段が、動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出し、
   特定手段が、前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定し、
   タイムライン表示手段が、前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するステップ
   を含むコンテンツ検索方法。
8. コンピュータを、
   静止画である検索画像の入力を複数受け付ける検索画像入力手段と、
   予め定められた方式で前記複数の検索画像の画像特徴量をそれぞれ抽出する画像特徴量抽出手段と、
   動画のコンテンツについて、前記コンテンツを構成するフレームの静止画から予め抽出された前記画像特徴量と、前記複数の検索画像のそれぞれの画像特徴量との類似度を算出する類似度算出手段と、
   前記算出された類似度を予め定められた閾値と比較することにより、前記複数の検索画像のそれぞれに類似する前記静止画のフレームを特定する特定手段と、
   前記特定された前記フレームと、前記コンテンツから予め抽出されたメタデータに基づいて、前記コンテンツごとに、前記複数の検索画像のそれぞれに類似する前記静止画のフレームの時間的位置を表す情報と、前記コンテンツとを同一の時間軸上に表示してタイムライン表示させるための表示データを生成するタイムライン表示手段とを備えるコンテンツ検索装置として機能させる
   プログラム。

Images