JP5231928B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は情報処理技術に関し、特に動画再生機能を有する情報処理装置、およびそれに適用される情報処理方法に関する。

近年の情報処理装置、画像圧縮技術などの発達により、録画したテレビ番組、家庭用ビデオレコーダで撮影した映像、記録媒体やネットワークを介して入手した各種動画コンテンツを、所有の再生装置で再生して楽しむことは日常的に行われるようになった。様々な動画が身近にあふれ、入手経路も多岐に渡るにつれ、視聴したい動画の取捨選択の効率性が求められるようになっている。

動画は静止画と異なり、時間的な幅を有するデータであるため、ユーザがその全貌を把握するには、結局は全てを再生して視聴する必要があり、静止画のように多数のファイルをざっと確認して選択する、といった態様がとりにくい。本格的な視聴をせずにファイルを選択するための技術として、動画の一フレームをサムネイル表示する機能があるが、元の動画データと比較すると情報量の欠落が多く、サムネイル画像を見たのみでは当該動画の内容を認識できない場合もある。

また、長い動画のごく一部を確認したい場合や、ある場面から再生を開始したい場合などに所望の再生ポイントに到達するためには、再生速度を上げるなどして再生しながら所望の場面を探し出すなどの手法が一般的であり、効率性の面で問題があった。

本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザが動画の内容に係る情報を容易に把握でき、高精度かつ効率的に所望の場面にアクセスすることのできる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、動画ファイルから所定の複数の規則でフレームデータを抽出するフレーム抽出部と、フレーム抽出部が抽出したフレームデータを復号する復号部と、復号部が復号したフレームの画像を、抽出した規則ごとに動画における出現順に並べた、規則にそれぞれ対応する複数のサムネイル配列を同時に表示する表示部と、を備えたことを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、プロセッサがメモリに格納された動画ファイルから所定の複数の規則でフレームデータを抽出するステップと、プロセッサが、抽出したフレームデータを復号して画像データを生成し、バッファに格納するステップと、表示装置が、バッファに格納された画像データを読み出し、抽出した規則ごとに動画における出現順に各フレームの画像を並べた、規則にそれぞれ対応する複数のサムネイル配列を同時に表示するステップと、を含むことを特徴とする。

ここで「フレームデータ」は元の動画ファイルに含まれる、各フレームを復号するのに必要なデータ、あるいはデータセットであり、「画像データ」は各フレームを表示装置に表示するのに必要な、復号後のデータ、あるいはデータセットである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動画の内容に係る情報を容易に認識でき、高精度かつ効率的に所望の場面にアクセスすることができる。

図１は本実施の形態における情報処理装置の構成を示している。情報処理装置１００は装置全体を統括的に制御するとともに、動画ファイルの復号処理などを行うプロセッサユニット１０２、実行中のプログラムや実行に必要なデータを記憶するメモリ１１４、ユーザによる入力を受け付ける入力装置１０８、動画ファイルを格納する記憶装置１１０、およびサムネイル画像、動画像を表示する表示装置１１２を含む。プロセッサユニット１０２、メモリ１１４、入力装置１０８、記憶装置１１０、表示装置１１２はバス１１６によって相互にデータ伝送を行う。

プロセッサユニット１０２は、情報処理装置１００における全体的な処理を制御する管理部１０４、管理部１０４の管理下で処理を実行する処理部１０６を含む。管理部１０４はメモリ１１４、入力装置１０８、記憶装置１１０、表示装置１１２とプロセッサユニット１０２とのデータの入出力を制御するほか、処理部１０６における処理のスケジューリングを行い、複数のプロセスやスレッドを切り替えて処理するように制御する。プロセッサユニット１０２は一般的なプロセッサで実現することができる。

処理部１０６は管理部１０４の制御のもと、記憶装置１１０に格納された動画ファイルのいずれかを復号して画像データを生成し、表示装置１１２に出力する。動画ファイルはＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、ＳＶＣ（Scalable Video Coding）などいかなる方式によって符号化されていてもよく、処理部１０６は処理対象の動画ファイルの符号化方式に従い一般的な手法によって復号処理を行い、表示装置１１２に表示する画像データを生成する。

情報処理装置１００は、ユーザが選択した動画ファイルを一の動画として再生、表示する機能の他、当該動画を構成するフレームから所定の規則で抽出した複数のフレームを時系列順に並べたサムネイル配列を表示する機能を提供する。前者を「通常再生モード」、後者を「サムネイル表示モード」とすると、サムネイル表示モードにおいて処理部１０６は、サムネイルとして表示する場面の決定、フレームの抽出などの処理を通常の復号処理に加えて実施する。サムネイル表示モードで表示した、サムネイル配列を形成する複数のフレームのいずれかをユーザが選択すると、通常再生モードに切り替わり、処理部１０６は、選択されたフレーム、あるいはその近傍から動画を再生する。

入力装置１０８はボタン、キーボード、マウス、トラックボール、表示装置１１２の画面上のタッチパネルなど一般的に用いられる入力装置のいずれかでよく、少なくともユーザが動画ファイルを選択する入力、表示装置１１２に表示されたサムネイル配列をシフトさせる入力を行える装置であればよい。記憶装置１１０は符号化された動画ファイルを記録したハードディスクや、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）などの記録媒体とその読取装置の組み合わせなどのいずれかでよい。

図２はサムネイル表示モードにおいて表示装置１１２に表示される画面の例を示している。上述のとおりサムネイル表示モードでは、動画を構成するフレームのうち、一部のフレームを抽出してサムネイルとして表示する。抽出はあらかじめ設定された所定の規則に従って行う。例えば動画像上の時間軸における所定の時間間隔ごとに抽出してもよいし、チャプターやインデックスなどの区切りの情報が動画ファイルに付加されていれば、当該区切り時点のフレームを抽出してもよい。そして抽出したフレームを動画での出現順に並べて表示することにより、時間的な幅のある動画データを簡易な形式で視認できるようにする。これによりユーザは、本格的に再生させる前に動画の大まかな流れをごく短時間で把握することができる。また所望の場面からの再生が可能となるため、動画を部分的に視聴したい場合などに効率性が上がる。

さらに本実施の形態では、異なる規則で抽出したフレームで構成される複数のサムネイル配列を一画面に表示する。図２のサムネイル表示画面１０では、第１サムネイル配列１２および第２サムネイル配列１４の２つのサムネイル配列が表示されており、横方向は互いに異なる時間軸である。両サムネイル配列は同一の動画ファイルから抽出したフレームで構成されるが、第１サムネイル配列１２は例えば動画上の時間で１５秒間隔で抽出したフレーム、第２サムネイル配列１４は例えば２分間隔で抽出したフレームとする。

サムネイル表示画面１０に表示する第１サムネイル配列１２および第２サムネイル配列１４は、動画に含まれる各時間間隔おきのフレームのうち、サムネイル表示画面１０の幅に収まる範囲のみを表示する。このとき両サムネイル配列には、共通の場面、ひいては動画上の同一時刻が含まれるように表示範囲を決定する。例えば図２のサムネイル表示画面１０において、第１サムネイル配列１２の中央に表示したフレームの動画上の時刻が、第２サムネイル配列１４の中央に表示したフレームとその前後のフレームが表す範囲に含まれるようにする。これにより、第１サムネイル配列１２でユーザが注目している場面の前後の場面を、第２サムネイル配列１４によって確認することができる。以後、時間間隔の短いサムネイル配列、例えば第１サムネイル配列１２の中央に表示するフレームのタイムコードを、ユーザが注目している場面の時刻として「基準時刻」と呼ぶ。

さらに入力装置１０８によって、ユーザが第１サムネイル配列１２または第２サムネイル配列１４を左右にシフトできるようにすることで、サムネイル表示画面１０に表示する各配列の範囲を先へ送ったり戻したりできるようにする。例えば第１サムネイル配列１２をシフト対象とし、入力装置１０８に備えられた方向指示ボタンの右方向ボタンを一度押すと、当該配列が１フレーム分、先に送られるようにする。この場合、配列自体は左方向にシフトさせるため、結果として左端のサムネイルが押し出され、右端フレームの１５秒後のフレームが新たに加わるように表示する。これによりユーザは、第１サムネイル配列が表示する場面が１５秒分、先に送られた感覚を得られる。

上述のとおり、サムネイル表示画面１０に含まれる２つの配列は共通の時刻を含むように表示されるため、ユーザが一方のサムネイル配列をシフトさせると、他方のサムネイル配列が連動するようにする。例えば、上述の第１サムネイル配列１２の右方向ボタンによるシフトを８回繰り返すと、基準時刻が２分先送りされたことになる。第２サムネイル配列１４は２分間隔のフレームを表示しているため、このタイミングで第２サムネイル配列１４を１フレーム分シフトするようにすると、上記のように第２サムネイル配列１４のおよそ中央に基準時刻が位置するようになる。第２サムネイル配列１４は、第１サムネイル配列１２の動きに対して連続的に少しずつシフトさせてもよいし、第２サムネイル配列１４の時間間隔分、第１サムネイル配列がシフトした段階でのみ、断続的にシフトさせてもよい。

逆に第２サムネイル配列１４をユーザによるシフト対象としてもよい。この場合、当該サムネイル配列を１フレーム分シフトさせると、第１サムネイル配列１２が自動で８フレーム分シフトするようにする。ユーザによるシフト対象を第１サムネイル配列１２、第２サムネイル配列１４で切り替えられるようにしてもよい。以後、ユーザからのシフト指示によって直接シフトできるサムネイル配列を「主配列」、主配列のシフトに連動してシフトするサムネイル配列を「副配列」と呼ぶ。

このように構成することにより、ユーザは場面上の細かい動きを確かめながら、それが動画上の大きな流れのどの部分であるかを把握することができる。例えば同様の画面構成が何度も出現する動画では、短い場面表示のみではそれが動画全体のどの部分なのかがわかりにくい。このような場合に、その前後を含むより長い場面を表示するサムネイル配列を同時に表示させておくことにより、一見して容易かつ正確に所望のフレームを特定することができる。

図２の第１サムネイル配列１２に見られるように、サムネイル表示画面１０の左端、右端にかかるフレームは、サムネイル表示画面１０の領域内に入る一部分のみを表示させるようにしてもよい。これにより、あたかも動画の全編を構成する動画フィルムを順に見ている感覚をユーザに与えることができ、動画上の時間軸と画面上の空間軸とを容易に結びつけて捉えることができる。

また図２のサムネイル表示画面１０では、より細かい動きを表す第１サムネイル配列１２のフレームを、大まかな動きを表す第２サムネイル配列１４のフレームより大きなサイズで表示している。これにより第１サムネイル配列１２で細かい動きをより詳細に確認することができるとともに、第２サムネイル配列１４により多くの範囲のフレームを表示することができる。

サムネイル表示画面１０にはさらに、動画の全編のうちどの部分が表示されているかを示すタイムラインバー１６や場面時刻１７を表示してもよい。これにより、時間的に動画のどの辺りであるかをさらに大まかに把握することができ、比較的長時間の動画などにおいて、所望の場面に効率的にアクセスすることができる。

なお、図２のサムネイル表示画面１０は一例として２つのサムネイル配列を同時に表示しているが、本実施の形態はこれに限らず、３つ以上のサムネイル配列を表示するようにしてもよい。また各配列のサムネイル画像の大きさは図２に示したものに限らず、例えば全て同じ大きさでもよい。さらに複数のサムネイル配列を奥行き方向に並べたように表現する構成とし、入力装置１０８によって選択された配列が前方に移動するようにすることで、ユーザが所望のサムネイル配列を確認できるようにしてもよい。この態様は、例えば５つ以上程度の多くのサムネイル配列を表示する場合に、画面を煩雑にしない点において有効である。

図３は処理部１０６およびメモリ１１４の構成を詳細に示している。処理部１０６は、記憶装置１１０から動画ファイルを読み込むファイル読込部２０、読み込んだ動画ファイルを解析し各種動画情報を取得する動画情報解析部２２、動画ファイルから表示対象のフレームデータを抽出または連続して読み出すフレーム抽出部２４、抽出または読み出されたフレームデータを復号する復号部２６、サムネイル表示モードおよび通常再生モードにおいて、復号されたフレームを画像として表示装置１１２にそれぞれ出力するサムネイル描画部２８および動画描画部３０を含む。

図３において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

メモリ１１４は、ファイル読込部２０が読み込んだ動画ファイルを格納する動画ファイル格納領域３２、動画情報解析部２２が取得した各種動画情報を格納する動画情報格納領域３４、サムネイル表示モードおよび通常再生モードにおいて復号部２６が生成した画像データをそれぞれ格納するサムネイルバッファ３６およびフレームバッファ３８を含む。

ファイル読込部２０は、記憶装置１１０に格納された動画ファイルからユーザが選択した一の動画ファイルを記憶装置１１０から読み出し、動画ファイル格納領域３２に格納する。動画情報解析部２２は、動画ファイル格納領域３２に格納された動画ファイルを解析し、後段の処理に必要な動画情報を取得する。動画情報として例えば動画コンテナや記録されているチャプターの位置を取得する。あるいは画像解析を行って画像の構成が大きく変化する位置などをシーンの切り替わりポイントとして取得してもよい。

動画コンテナはフレーム抽出部２４がフレームデータを抽出したり復号部２６がフレームデータを復号する際に利用することができる。チャプターおよびシーンの切り替わりポイントは、チャプターあるいはシーンの切り替わりポイントごとにサムネイルを表示する場合に、フレーム抽出部２４がフレーム抽出時に利用することができる。シーンの切り替わりポイントはさらに、サムネイル表示モードにおいて選択されたサムネイルの近辺から動画を再生する際、選択されたサムネイルの直近のシーン切り替わりポイントから再生を開始する機能を提供する場合に利用することができる。

フレーム抽出部２４は、サムネイル表示モードにおいて動画ファイルから表示対象のフレームデータを抽出する。この際、サムネイル配列ごとにあらかじめ設定された時間間隔と、表示するサムネイル画像の大きさとサムネイル表示画面１０の幅とから定まる表示枚数とに基づき、抽出対象フレームを決定する。入力装置１０８に対するユーザのシフト指示に応じて、フレーム抽出部２４は表示対象のフレームを更新し、新たに表示対象となったフレームのデータを抽出する。また、各チャプターや各シーンの先頭フレームをサムネイル表示する設定がなされている場合は、動画情報格納領域３４からチャプターやシーンの切り替わりポイントの情報を取得し、チャプターまたはシーンごとにフレームデータを抽出する。抽出の際は、動画コンテナに基づいてランダムアクセスが可能なフレームを確認する。

フレーム抽出部２４はまた、サムネイル表示モードでユーザがサムネイルを選択する入力を行った際、通常再生モードへの切り替えを行い、選択されたサムネイルに基づいて決定したフレームを先頭フレームとする、動画再生に必要な一連のフレームデータを全て読み出す。例えば選択されたサムネイルそのものを先頭フレームとしてもよいし、選択されたサムネイルの直近のシーン切り替わり時のフレームなどを先頭フレームとしてもよい。

復号部２６はフレーム抽出部２４が抽出または読み出したフレームデータを復号し、サムネイル表示モードにおいてはサムネイルバッファ３６に、通常再生モードにおいてはフレームバッファ３８に復号後の画像データを格納する。符号化方式など復号に必要な情報はフレーム抽出部２４を介して動画情報格納領域から３４から取得する。復号に際しては従来行われている一般的な手法を用いることができる。

サムネイル描画部２８はサムネイル表示モードにおいてサムネイルバッファ３６からサムネイルの画像データを読み出し、表示装置１１２の表示方式に応じた変換を行い、適切なタイミングで表示装置１１２に当該データを出力する。動画描画部３０も同様に、フレームバッファ３８から再生する動画像のデータを読み出し表示装置１１２に出力する。出力に際する処理は、グラフィックプロセッサなどが一般的に行うものと同様でよい。

次に図１、図３に示した情報処理装置１００の構成によって行われる、サムネイル表示モード時、および通常再生モードへの切り替え時の動作について説明する。図４はサムネイル表示モードにおいて１列のサムネイル配列を表示あるいは更新する処理手順を示すフローチャートである。まずフレーム抽出部２４は、表示対象となるフレームのタイムコードを決定する（Ｓ１２）。

この際、上述のように、表示するフレームの時間間隔と、サムネイル表示画面１０の幅とからあらかじめ定められる表示範囲と、ユーザの入力によって定まる基準時刻などから、表示すべき各フレームのタイムコードを算出する。後述するように、実際に表示するフレームはこのタイムコードの近傍のランダムアクセスが可能なフレームなどでよい。サムネイル表示モードの初期状態では、例えば動画の先頭フレームが左端に表示されるようにして各フレームのタイムコードを算出する。また通常再生モードからサムネイル表示モードへ切り替えた直後は、切り替え直前に表示されていたフレームのタイムコードを基準時刻としてその他のフレームのタイムコードを決定してもよい。

このように表示対象フレームのタイムコードを決定したら、それぞれのタイムコードに対応するフレーム、あるいはその近傍にある、ランダムアクセスが可能なフレームを表示対象のフレームとして決定する（Ｓ１４）。例えばフレーム間予測による圧縮符号化がなされた動画ファイルでは、タイムコードの直近にあるＩフレームを表示対象のフレームとする。次にフレーム抽出部２４は、動画ファイル格納領域３２から表示対象のフレームデータを１つ読み込む（Ｓ１６）。復号部２６は読み込まれたフレームデータを取得し、一般的な手法で復号処理を施す（Ｓ１８）。復号した画像データはサムネイルバッファ３６に格納しておき、サムネイル描画部２８が表示装置１１２のサムネイル表示領域内にサムネイルとして描画する（Ｓ２０）。

Ｓ１４で決定した表示対象フレームのサムネイルをサムネイル表示領域内に順に描画していき（Ｓ２２のＮ、Ｓ１６〜Ｓ２０）、一のサムネイル配列を構成する全てのフレームのサムネイルを表示したら処理を終了する（Ｓ２２のＹ）。以上の動作がサムネイル配列表示の基本動作となる。

次に副配列の連動および通常再生モードへの切り替えを含めた全体的な動作を説明する。図５はサムネイル表示モードにおいてなされる複数のサムネイル配列の表示処理手順および通常再生モードへの切り替え手順を示すフローチャートである。ここでは前提としてユーザが選択した一の動画ファイルがメモリ１１４の動画ファイル格納領域３２に格納されており、その動画ファイルの動画情報が動画情報格納領域３４に格納されているとする。またこの段階でサムネイル表示モードにあり、表示装置１１２にはＮ列のサムネイル配列からなるサムネイル表示画面１０が表示されているとする。

このような状況においてユーザが、入力装置１０８に対し何らかの操作を行い（Ｓ３０）、当該操作が例えば「エンター」ボタンを押下した、といった確定指示の入力であった場合は（Ｓ３２のＹ）、基準時刻、または主配列において中央など所定の領域に表示されたフレーム、または当該フレーム直近のシーンの切り替わり時点から動画再生を行うことにより通常再生モードへ移行する（Ｓ３４）。サムネイル表示画面１０において表示されるフレームのいずれかを、ユーザが選択できるようにし、選択されたフレーム、または当該フレーム直近のシーンの切り替わり時点、直近のチャプター切り替わり時点など、選択されたフレームと所定の関係を有するフレームから動画再生を行うようにしてもよい。

一方、主配列をシフトさせる指示であった場合は（Ｓ３２のＮ、Ｓ３６のＹ）、Ｎ列あるサムネイル配列の１列目から順にサムネイル配列のシフト量を算出し、シフト量が発生する、すなわちシフトの必要がある配列を、シフトさせたように表示して更新する（Ｓ３８〜Ｓ４４）。Ｓ４４のサムネイル配列の更新処理は、図４で示した処理手順で行う。

入力装置１０８の操作内容と主配列のシフト量との関係は、あらかじめ設定したものをメモリ１１４などに記憶させておく。例えばシフト操作を左右の方向指示ボタンで行う場合、当該ボタンを短時間押すごとにフレームを１つずつシフトさせ、１秒以上連続的に押すとその押された時間に所定の係数で比例する枚数分、シフトさせる、といった規則を設定しておく。Ｓ４０の「シフト量」は、シフトさせたフレームの枚数に相当する。シフトさせたフレーム数に主配列におけるフレームの時間間隔を積算した値が時間変化量となる。

副配列の場合は、副配列が最後にシフトしてから積算した主配列における時間変化量が、副配列におけるフレームの時間間隔で吸収される間は、Ｓ４２においてシフト量は発生しない、と判定する（Ｓ４２のＮ）。一方、積算した主配列における時間変化量が副配列における時間間隔を超える場合は、シフト量が発生すると判定する（Ｓ４２のＹ）。後者の場合、前述のとおり、基準時刻が副配列の中央のおよびその前後のフレームの間のいずれかに位置するように副配列をシフトさせる（Ｓ４４）。

Ｓ４０〜Ｓ４４の処理を各サムネイル配列に対して行い（Ｓ４６のＹ、Ｓ４８）、Ｎ列全てのサムネイル配列のシフト量確認および更新が完了したら（Ｓ４６のＮ）、その状態で処理を抜ける。以後、ユーザによる入力操作を待機する状態となり、入力操作がなされたらＳ３０からの処理を繰り返す。なお、通常再生モードからサムネイル表示モードへの切り替え指示を入力するために、入力装置１０８上のボタンなどをあらかじめ割り付けておいてもよい。

図６はサムネイル表示モードにおいて表示されるフレームの変遷を模式的に示している。同図は２列のサムネイル配列の変遷を示しているが、ここでは簡単にいずれも３つのフレームで構成されているとする。網掛けされた矩形は第１サムネイル配列５０ａを構成するフレーム、白抜きの矩形は第２サムネイル配列５２ａを構成するフレームである。また第１サムネイル配列５０ａのフレームの時間間隔は第２サムネイル配列５２ａのフレームの時間間隔の２分の１であるとする。そのため動画上の共通の時間軸を横軸にとると、第２サムネイル配列５２ａの各フレームは第１サムネイル配列のフレームのうち１つおきのフレームに対応する。なお実際の表示画面では、２つのサムネイル配列が異なる時間軸で表示されるため、第２サムネイル配列５２ａであっても図２に示すように各フレームが隣接して表示される。

このような条件のもと、ある時刻ｔ１で第１サムネイル配列５０ａと第２サムネイル配列５２ａとが図のようなフレームを表示していたとする（図の上段）。このとき、動画上の時間では時刻Ｔ１が基準時刻となる。この状態で操作Ａを行って第１サムネイル配列５０ａを１つのサムネイル分、先に送るようにシフトさせたとすると、そのときの時刻ｔ２における第１サムネイル配列５０ｂおよび第２サムネイル配列５２ｂは図のようなフレームを表示する（図の中段）。すなわち、時刻ｔ１における第１サムネイル配列５０ａが時刻ｔ２における第１サムネイル配列５０ｂのようにフレーム１つ分、シフトしても、その時間の変化量は第２サムネイル配列５２ａでは吸収されるため、時刻ｔ２において第２サムネイル配列５２ｂは変化しない。なお時刻ｔ２における基準時刻は時刻Ｔ２となる。

次に操作Ｂを行い、第１サムネイル配列５０ｂをさらに１つのサムネイル分、先に送るようにシフトさせたとすると、そのときの時刻ｔ３における第１サムネイル配列５０ｃおよび第２サムネイル配列５２ｃは図のようなフレームを表示する（図の下段）。すなわち、時刻ｔ３の第１サムネイル配列５０ｃは時刻ｔ１の第１サムネイル配列５０ａから２フレーム分シフトしているため、第２サムネイル配列５２ａに対してはちょうど１フレーム分の変化となる。したがって時刻ｔ３において初めて、第２サムネイル配列５２ｃは１フレーム分シフトする。なお時刻ｔ３における基準時刻は時刻Ｔ３となる。

図２に示したサムネイル表示画面１０の例では、第１サムネイル配列１２が第２サムネイル配列１４の８分の１の時間間隔であったため、第１サムネイル配列１２を８フレーム分シフトさせた時点で第２サムネイル配列１４が１フレーム分シフトすることになる。

図６、図２で示した例では、第２サムネイル配列は第１サムネイル配列より更新頻度が低くなる。例えばユーザが、現在表示されているフレームよりずっと先のフレームを確認したい場合など、高速でサムネイル配列をシフトさせる入力を行った場合、更新頻度の高い第１サムネイル配列のためのフレームデータの抽出、復号、描画処理が入力速度に間に合わない場合があり得る。この場合、第１サムネイル配列を構成するフレームが表示できないため、表示領域を空白とするしかなくなる。あるいは復号中であることを示すために所定のマークを表示してもよい。

一方、フレームの時間間隔が長い第２サムネイル配列はそのようなシフトに対しても更新頻度が低いため、抽出、復号、描画処理が、入力速度に追随し易く、フレームが表示できない、といった事態が発生する可能性が低い。その結果、ユーザは自分がどこまでサムネイルを進めたかを見失うことなく、所望の場面でサムネイルのシフトを止め、第１サムネイル配列が表示されたらその画面構成を詳細に確認したり、選択したりすることができる。

以上述べた本実施の形態によれば、動画を構成するフレームのうち、所定の規則で抽出したフレームを時系列順に並べたサムネイル配列を表示する。サムネイル配列はユーザによるシフト指示入力によって先に送ったり戻したりできるようにする。これにより、時間的に幅のある動画データを、本格的に再生せずとも短時間で確認することができる。

また、動画上の複数の時間間隔で抽出したフレームを複数のサムネイル配列として表示する。この際、複数のサムネイル配列に同一の場面が含まれるように、表示するフレームを決定する。すなわち同じ場面を異なる時間軸で表す。これにより動画の詳細な変化と大まかな流れを同時に一見して把握することができ、各サムネイル配列が有する情報を総合的に判断して効率のよいフレーム選択を行うことができる。選択したフレームから通常再生を行うようにすることで、結果的にシーン選択を効率的かつ正確に行うことができる。

また、ユーザが高速にサムネイル配列をシフトさせた場合、一部のサムネイル配列が当該シフト指示入力に追随した表示が行えなくても、別のサムネイル配列で追随できている可能性が残される。これはサムネイル配列によって更新速度が異なるためである。これにより、サムネイル画像が表示されないままシフト入力を続行して所望のシーンを過ぎてしまったり、所望のシーンまで到達していなかったり、といった操作ミスを少なくできる。また、サムネイルが表示されるまでユーザが操作を待つ、といった非効率な状況を回避できる。さらにシフト操作のみで複数のサムネイル配列をシフトさせることができるため、操作が容易であり直感的に所望の場面を探し出すことができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、本実施の形態では、一の動画を構成するフレームを処理対象とし、異なる時間間隔で抽出したフレームを複数のサムネイル配列として表示した。一方、複数のサムネイル配列を、複数の動画に対応させるようにしてもよい。例えば図２の第１サムネイル配列を動画Ａ、第２サムネイル配列を動画Ｂ、というように割り当て、各動画を構成するフレームをサムネイル配列として表示する。それぞれのサムネイル配列におけるフレームの時間間隔は同じでも異ならせてもよい。例えば、各動画の全編からまんべんなく抽出した同数のフレームを同じ幅に表示したい場合などは、動画の全再生時間を均等に分割した時間を時間間隔とする。再生する動画を選択するメニュー画面において、各動画に対応するサムネイル配列を同時にマトリクス状に表示することにより、ユーザは動画のみならずその動画の所望の場面を直接選択でき、所望のシーンから再生させることが可能となる。

また本実施の形態では静止画サムネイルを基本に説明したが、一部または全てのサムネイルを動画像としてもよい。例えば、主配列の中央に位置するサムネイルを動画像とし、次のサムネイルまで動画が到達したら、サムネイル配列をひとつ分、自動でシフトさせるようにしてもよい。本態様は、従来の動画サムネイルの技術、および本実施の形態のサムネイル表示処理手順を組み合わせることによって容易に実現できる。動画サムネイルによってユーザは、動画を実際に再生させずにより詳細な場面確認を行うことができる。動画サムネイルと同時にその音声を出力すれば、さらに情報量が多くなり、シーン選択の精度が向上する。

また本実施の形態ではサムネイル表示モードにおいて、フレームの画像のみをサムネイル配列として表示したが、ユーザが所望の場面を選択するための拠り所となる情報をさらに付加して表示してもよい。例えば時間軸上に表した音声レベルの変化をサムネイル配列の時間軸と対応させて、それぞれのサムネイル配列に沿うように表示してもよい。あるいは、音声レベルの大きさに応じてサムネイル配列に含まれるフレームの画像サイズを変化させるようにしてもよい。これによりユーザは、複数のサムネイル配列によって表される画像の流れと、音声レベルの大きさによって判断できる盛り上がり部分やシーンの切り替わり部分などの情報とから、高精度にシーン選択を行うことができる。音声の他、文字情報など動画ファイルに付加されたいかなる情報も同様に利用することができる。

本実施の形態における情報処理装置の構成を示す図である。 本実施の形態のサムネイル表示モードにおいて表示装置に表示される画面の例を示す図である。 本実施の形態における処理部およびメモリの構成を詳細に示す図である。 本実施の形態のサムネイル表示モードにおいて１列のサムネイル配列を表示あるいは更新する処理手順を示すフローチャートである。 本実施の形態のサムネイル表示モードにおいてなされる複数のサムネイル配列の表示処理手順および通常再生モードへの切り替え手順を示すフローチャートである。 本実施の形態のサムネイル表示モードにおいて表示されるフレームの変遷を模式的に示す図である。

符号の説明

１０ サムネイル表示画面、 １２ 第１サムネイル配列、 １４ 第２サムネイル配列、 ２０ ファイル読込部、 ２２ 動画情報解析部、 ２４ フレーム抽出部、 ２６ 復号部、 ２８ サムネイル描画部、 ３０ 動画描画部、 １００ 情報処理装置、 １０２ プロセッサユニット、 １０４ 管理部、 １０６ 処理部、 １０８ 入力

Claims (12)

1. 動画ファイルから所定の複数の規則でフレームデータを抽出するフレーム抽出部と、
   前記フレーム抽出部が抽出したフレームデータを復号する復号部と、
   前記復号部が復号したフレームの画像を、前記規則ごとに動画における出現順に並べた、前記規則にそれぞれ対応する複数のサムネイル配列を同時に表示する表示部と、
   前記表示部が同時に表示した複数のサムネイル配列から一のサムネイル配列を選択したうえ当該サムネイル配列を左右にシフトさせる指示をユーザから受け付ける入力部と、
   を備え、
   前記フレーム抽出部は、前記シフトさせる指示の入力に応じて、シフト後に当該サムネイル配列に表示すべきフレームを特定したうえ、新たに表示すべきフレームデータをさらに抽出し、
   前記表示部は、前記フレーム抽出部が特定したフレームをもって前記サムネイル配列を更新することを特徴とする情報処理装置。
2. 前記フレーム抽出部は、シフトさせる指示によって生じた、シフト指示の対象となるサムネイル配列で表される動画の範囲の変化量をその他のサムネイル配列に反映させるように、前記その他のサムネイル配列のシフト量を決定し、シフト後に表示すべきフレームを特定したうえ、新たに表示すべきフレームデータを前記その他のサムネイル配列ごとにさらに抽出し、
   前記表示部は、前記フレーム抽出部が特定したフレームをもって前記その他のサムネイル配列をそれぞれ更新することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示部が同時に表示するサムネイル配列で表される動画の範囲は、サムネイル配列ごとに異なる長さを有することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示部が同時に表示する複数のサムネイル配列で表される動画の範囲には、共通の場面が含まれることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記抽出部は、複数の動画ファイルからフレームデータを抽出し、
   前記表示部は、動画ファイルごとのサムネイル配列を同時に表示することを特徴とする請求項１に記載の情報処理装置。
6. 前記入力部は、前記表示部が同時に表示した複数のサムネイル配列のうちいずれかのサムネイル配列に含まれるフレームから一のフレームを選択するユーザの入力をさらに受け付け、
   前記復号部は、前記入力部が受け付けた選択されたフレームまたは当該フレームと所定の関係を有するフレーム以後、後続フレームを順次復号し、
   前記表示部は前記復号部が復号したフレームを順次表示することにより一の動画を表示することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. プロセッサがメモリに格納された動画ファイルから所定の複数の規則でフレームデータを抽出するステップと、
   前記プロセッサが、抽出したフレームデータを復号して画像データを生成し、バッファに格納するステップと、
   表示装置が、前記バッファに格納された画像データを読み出し、前記規則ごとに動画における出現順に各フレームの画像を並べた、前記規則にそれぞれ対応する複数のサムネイル配列を同時に表示するステップと、
   入力装置が、前記表示装置が同時に表示した複数のサムネイル配列から一のサムネイル配列を選択したうえ当該サムネイル配列を左右にシフトさせる指示入力をユーザから受け付けるステップと、
   前記プロセッサが、前記シフトさせる指示入力に応じて、シフト後に当該サムネイル配列に表示すべきフレームを特定したうえ、新たに表示すべきフレームデータをさらに抽出するステップと、
   表示装置が、特定されたフレームをもって前記サムネイル配列を更新するステップと、
   を含むことを特徴とする情報処理方法。
8. 前記プロセッサが、前記指示入力に応じた、選択されたサムネイル配列のシフト量に基づきその他のサムネイル配列のシフト量を決定するステップと、
   前記表示装置が、決定したシフト量に従い、前記サムネイル配列で表される動画の範囲が同じ変化量で変化するように、その他のサムネイル配列の表示を更新するステップと、
   をさらに含むことを特徴とする請求項７に記載の情報処理方法。
9. 前記抽出するステップは、複数の動画ファイルからフレームデータを抽出し、
   前記表示するステップは、動画ファイルごとのサムネイル配列を同時に表示することを特徴とする請求項７に記載の情報処理方法。
10. 前記入力装置が、前記表示装置が同時に表示した複数のサムネイル配列のうちいずれかのサムネイル配列に含まれるフレームから一のフレームを選択する入力を受け付けるステップと、
    前記プロセッサが、選択されたフレームまたは当該フレームと所定の関係を有するフレーム以後、後続フレームを順次復号するステップと、
    前記表示装置が、復号されたフレームを順次表示することにより一の動画を表示するステップと、
    をさらに含むことを特徴とする請求項７から９のいずれかに記載の情報処理方法。
11. メモリに格納された動画ファイルから所定の複数の規則でフレームデータを抽出する機能と、
    抽出したフレームデータを復号して画像データを生成し、バッファに格納する機能と、
    前記バッファに格納された画像データを読み出し、前記規則ごとに動画における出現順に各フレームの画像を並べた、前記規則にそれぞれ対応する複数のサムネイル配列を同時に表示する機能と、
    同時に表示した複数のサムネイル配列から一のサムネイル配列を選択したうえ当該サムネイル配列を左右にシフトさせる指示入力をユーザから受け付ける機能と、
    前記シフトさせる指示入力に応じて、シフト後に当該サムネイル配列に表示すべきフレームを特定したうえ、新たに表示すべきフレームデータをさらに抽出する機能と、
    特定したフレームをもって前記サムネイル配列を更新する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
12. 前記抽出する機能は、複数の動画ファイルからフレームデータを抽出し、
    前記表示する機能は、動画ファイルごとのサムネイル配列を同時に表示することを特徴とする請求項１１に記載のコンピュータプログラム。