JP4208634B2 - 再生装置 - Google Patents
再生装置 Download PDFInfo
- Publication number
- JP4208634B2 JP4208634B2 JP2003118478A JP2003118478A JP4208634B2 JP 4208634 B2 JP4208634 B2 JP 4208634B2 JP 2003118478 A JP2003118478 A JP 2003118478A JP 2003118478 A JP2003118478 A JP 2003118478A JP 4208634 B2 JP4208634 B2 JP 4208634B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- frames
- period
- reproduction
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、再生装置に関し、特に高速サーチモード時の処理に関する。
【０００２】
【従来の技術】
近年、映像信号のサーチ、早見などを支援する映像要約方法が提案されている。
【０００３】
例えば、特許文献１に記載されている映像要約方法は、映像ショットの一部分のみを次々に再生するダイジェスト映像再生方法である。これは図１４に示すように各映像ショットの秒数に応じて再生するダイジェスト部分の位置を変えるというものである。これによって映像ショットの長さから予測されるショットの重要部分のみを再生することが可能となる。
【０００４】
また、特許文献２に記載されている方法は、映像ショットの中から物体が高速で動いている高速動作区間と、類似したシーンが続く長時間類似区間とに分け、高速動作区間を通常早送りよりも低速で再生し、長時間類似区間を通常より高速で再生する方法である。
【０００５】
なお、ここでいうショットとは映像データを区切る単位を表している。映像データをショットに分ける区切り目としては、ビデオカメラでの撮影開始点と終了点、編集した画像のつなぎ点、映像ファイルの開始点と終了点、ユーザが印(マーカ)を付けた点など、映像が大きく変化する点であるか、もしくは重要であると考えられる点であるとする。
【０００６】
【特許文献１】
特開平９−２７０９９７
【特許文献２】
特開平８−２５１５４０
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１のダイジェスト映像再生方法では、映像ショットの一部分のみを次々と再生するため、映像全体の概要は把握できてもダイジェストに含まれない所望のシーンをサーチすることは難しかった。
【０００８】
また、特許文献２の映像要約手法では、画像の類似度に応じて相対的な再生速度を適応的に変化させるために、主観的な再生速度を保つことが可能であるが、要約データを作るために一度すべての画像データを読み込み、要約のための処理を行った上で要約データをファイルサーバ等に保存しておくことが必要であり、リアルタイムで要約を行いサーチする用途には向いていない。
【０００９】
本発明は、このような問題点を考慮し、高速サーチ時にも視認性を低下させることなく、目的のシーンを容易に検出することが可能な高速再生サーチを実現することを目的としている。
【００１０】
【課題を解決するための手段】
前記課題を解決するため、本発明においては、記録媒体より動画像データを再生する再生手段と、高速サーチモードにおいて前記動画像データの一部のフレームを間引いて再生することにより高速再生を行うよう前記再生手段を制御する制御手段とを備え、前記制御手段は、前記高速サーチモードにおいて、前記動画像データの一つのショットを、予め決められた前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間におけるフレームの間引き率を前記第２の期間におけるフレームの間引き率よりも少なくする構成とした。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【００１２】
まず、本発明の基本的な実施形態について図２に基づき説明する。図２は本発明が適用された再生装置２００の構成を示すブロック図である。
【００１３】
図２において、２０１は圧縮された映像データが記録されている記録メディアであり、本形態ではＤＶＤなどのディスク媒体である。２０２は記録メディア２０１から光ピックアップによって読み出された映像信号を取得し、データの復調、誤り訂正などの信号処理を行う復調・誤り訂正回路、２０３はバッファメモリ、２０４は記録メディア２０１をクランプして回転駆動するモータと光ピックアップを含むドライブ機構系を制御する機構制御回路、２０５は映像信号をビデオ、オーディオそれぞれの信号に分離する分離回路、２０６はビデオデコーダ、２０７はオーディオデコーダ、２０８はシステム全体を制御するシステム制御回路、２０９は各種の操作スイッチを有する操作部である。
【００１４】
まず、通常の再生処理について説明する。ユーザが操作部２０９を操作して、再生を指示すると、操作部２０９はこの再生要求をシステム制御回路２０８へ送信する。
【００１５】
システム制御回路２０８は、全体の制御を行うＣＰＵと、各種の作業用メモリと、ＣＰＵが読み取りおよび実行可能なプログラムおよびデータを格納するＲＯＭから構成される。このシステム制御回路２０８が操作部２０９からの再生要求を受け付けると、機構制御回路２０４を後述する様に制御し、記録メディア２０１から光ピックアップを通してデータを読み込む。
【００１６】
例えば、早送りの再生要求をシステム制御回路２０８が受け付けると、システム制御回路２０８は記録媒体２０１から読み込むべきデータのトラック位置を指示する。機構制御回路２０４は、システム制御回路２０８から指示されたトラックの位置に応じてモータの速度を調節し、光ピックアップを制御することにより光ピックアップの位置の移動を制御する。トラックの正確な位置が検出されると、所望の物理セクタが格納されているところまで回転待ちを行い、物理セクタから映像信号を読み出す。
【００１７】
復調・誤り訂正回路２０２は読み込まれた映像信号に対して、増幅、復調、誤り訂正などの各種信号処理を施し、映像データをバッファメモリ２０３に論理ブロック単位で格納する。分離回路２０５はバッファメモリ２０３から転送される映像データを受け取り、ビデオ、オーディオなど各個別のストリーム部分に分離し、それぞれのデコーダへ送る。
【００１８】
ビデオデコーダ２０６はビデオデータを所定の方式（例えばＭＰＥＧ２など）に従って伸長し、ビデオ信号を出力する。オーディオデコーダも同様にオーディオデータを所定の方式に従いデコードしオーディオ信号を出力する。
【００１９】
次に、このように構成された再生装置２００において高速サーチ再生をする場合の処理を説明する。
【００２０】
以下では、図１、図３を参照し、図２の再生装置においてシステム制御回路２０８で制御する高速サーチの処理について具体的に説明する。
【００２１】
図1において、１００は記録メディア２０１に記録された映像データ全体を示しており、１０１の区間は映像データ中の１ショットを示している。つまり映像データ全体１００は映像ショットの集合として考える。また映像データ中の灰色で示す１０２は高速再生モード時に再生する映像データであり、１０３は再生せずに間引く映像データを示している。
【００２２】
また、１１０はショット１０１内の画像フレーム構成を示しており、１１１はショットの先頭フレーム、図中、灰色で示した１１２は高速サーチ中に再生される再生フレーム、１１３は高速サーチ中には再生しない間引きフレームを示している。また、映像データは右側に行くほど時間的に後のデータであることを示している。
【００２３】
図３は高速サーチの際、処理対象のフレームを再生するか否かを判断するためのフローチャートである。図３においてｉはフレームカウンタ、Ｎは高速サーチ時に間引きするフレーム数、Ｍは高速サーチ時にショットの先頭部分において再生するフレーム数を示している。
【００２４】
以下では、Ｎ=１２、Ｍ＝４とした場合、つまり略１２倍速での高速サーチ処理を例に説明する。また、ｉの初期値は０である。
【００２５】
まず、処理対象のフレームに対して、ステップＳ３０１ではフレームカウンタｉがＮと等しくないときにはステップＳ３０２に進み、ｉがＮと等しい場合にはステップＳ３０３に進む。ステップＳ３０２では処理対象フレームがショットの先頭フレームからＭフレーム（４フレーム）以内であるかチェックする。処理対象フレームが、ショットの先頭フレームからＭフレーム以内である場合はステップＳ３０３に進み、そうでない場合はステップＳ３０５へ進む。ステップＳ３０３では、処理対象のフレームのデータを記録媒体２０１から読み込み、デコードし出力する。ステップＳ３０４ではフレームカウンタｉを０に初期化する。ステップＳ３０５では処理対象のフレームを読み込まずにスキップする。ステップＳ３０６ではフレームカウンタｉをインクリメントする。ステップＳ３０７では処理対象のフレームを１フレーム進め、ステップＳ３０１へ戻る。
【００２６】
以上の処理によって判別した結果再生するフレームと、スキップするフレームとの関係を示したものが図１である。
【００２７】
図１では各ショットの開始部分の４フレームは必ず再生し、その後は１２フレーム毎に1フレームの映像データを再生する様子を示している。
【００２８】
このように、各ショットの先頭部分における所定数のフレーム（Ｍフレーム）を必ず表示することで、ショットの内容全体をスキップ再生で把握しつつ、ショットの先頭の重要と考えられる部分は飛ばさずに表示することが可能となる。
【００２９】
また、これ以外の方法として、各ショットの重要シーンのみを所定フレーム（Ｍフレーム）連続して再生、表示し、重要シーン以外のデータをスキップ再生（Ｎフレーム毎に１フレーム再生）する方法であってもよい。この場合、重要シーン部分が所定フレーム連続して再生表示されることにより、高速再生中であっても視認性が向上するという効果が得られる。
【００３０】
さて、前述の例では、各ショットの内容を把握するために重要なシーンがショットの開始部分であるという考えから、ショットの先頭から所定数のフレームは必ず表示するようにした。これは、例えば、家庭でビデオカメラを使って撮影したデータや、映像データ中の重要シーンにユーザが自分で印（区切り）を付けショットに分割したような場合は、ショットの最初に重要場面があることが多いと予想されるためである。
【００３１】
しかし、必ずしもショットの開始部分が重要であるとは限らず、ショットの終わり部分が重要であることもありうる。
【００３２】
例えば、サッカー中継のゴールシーンでは、ゴールが決まった後しばらくして撮影アングルが変わり、ショットが切り替わる。この場合、重要シーン（ゴールシーン）はショットの最後の部分となるため、前述の高速サーチ手法でゴールシーンをサーチした場合、ゴールシーンの一部のフレームしか再生されないことが予想される。そのため前述の高速サーチ方法ではサーチ効率が悪化する可能性がある。そこで以下に説明するように、映像の種類に応じて、各ショット内の重要シーンを変更することが必要となる。
【００３３】
図４において、４００は記録媒体２０１に記録された映像データ全体を示しており、４０１の区間は映像データ中の１ショットを示している。また映像データ中の灰色で示す４０２は高速サーチ中の再生データであり、４０３は再生せずに間引く画像データを示している。
【００３４】
また、４１０はショット４０１内の画像フレーム構成を示しており、４１１はショットの最終フレーム、灰色で示した４１２は高速サーチ中における再生フレーム、４１３は高速サーチ中には再生しない間引きフレームを示している。また、映像データは右側に行くほど時間的に後のデータであることを示している。
【００３５】
図４は高速サーチ時において、ショットの最後に重要シーンがあると考えた場合の、再生されるフレーム（灰色）と間引きされるフレームとの関係を示したものである。
【００３６】
図４では、ショットの先頭でなくショットの最後の４フレームを必ず表示している。これにより、各ショットの最後に重要シーンがあるようなデータの場合には高速再生時に必ず各ショットの最後の重要シーン部分が所定フレーム数再生されるため、高速サーチ中での内容把握とサーチ効率を向上させることが可能となる。
【００３７】
また、ショット内の重要シーンがショットの途中にあると予測される場合は図５（ａ）のようにショットの途中部分を必ず所定フレーム再生し、ショット内の重要シーンがショットの開始・終了付近にあると予測される場合は図５（ｂ）のように開始・終了部分両方を必ず所定フレーム再生することで重要シーンを見落としにくい高速サーチを実現可能である。
【００３８】
このように、ビデオカメラにより撮影したデータなのか、あるいは編集されたデータやテレビ放送により送信されたデータなのかなどによってもショット内のどこに重要な場面があるのか異なる場合がある。
【００３９】
そのため、これらの重要な場面がショット内のどこにあるかを検出することが必要となる。この方法としては、既存のアルゴリズムに基づき各ショットの内容判定を行い、重要シーンが各ショット中のどの部分に含まれるか推測する方法を用いてもよい。あるいは、重要シーンの情報を切り替える手段を操作部２０９に設け、ユーザが手動で調節できる方法であってもよい。その際、出力装置の画面上には図６に示すように、ショットのどの部分を重要シーンとして再生しているかを表示し、画面に表示されたＧＵＩを見ながらユーザが決定できる方法であってもよい。
【００４０】
また、映像データ内のメタデータとしてこれらの重要シーンの情報が付加されている場合には、システム制御回路２０８がその重要シーンの情報を受け取り、重要シーンの表示部分を切り替える方法であってもよい。
【００４１】
次に、ショット内の重要シーン部分を再生するフレーム枚数の決め方について図７を参照して説明する。
【００４２】
図７（ａ）は、再生速度とショット内の重要シーンを再生するフレーム数の関係を示したグラフであり、図７（ｂ）はショットの長さとショット内の重要シーンを出力するフレーム数の関係を示した図である。
【００４３】
まず、再生速度とショット内の重要シーンを再生するフレーム数の関係では、図７（ａ）に示すように、再生速度が上がるにつれてショット内の重要シーンを表示するフレーム数を多くする。ただし、再生速度が所定の速度ｓ以下の場合はショット内の重要シーンの再生は行わない。
【００４４】
この理由は、例えば図８（ａ）に示す従来の３倍速再生のように比較的低速な再生の場合、スキップされるフレーム数が少ないため、このままでも１ショット中の全体の内容を把握するのに十分なフレームを含んでいると考えられるためである。また、この再生速度でショットの重要シーンを間引かずに再生してしまうと逆に再生速度が落ちるなどの問題が出てしまう。そのため、再生速度ｎが所定の速度ｓ以下の場合には、ｎフレーム毎に１フレームの映像データを間引いて再生する通常のｎ倍速再生を行うようにする。
【００４５】
一方、図８（ｂ）に示す１２倍再生のように比較的高速な再生の場合、この例では１ショット中に再生されるフレームが４枚しかないため、ショットの内容の把握が困難になると考えられる。更に、２０倍、５０倍と再生速度が上がった場合には、ショット内のフレームが全く再生されない場合もありうる。
【００４６】
このように再生速度が上がった結果、ショット中の表示フレーム数が少なくなり再生される各フレームの相関がなくなると、画像の認識が困難になる。
【００４７】
そこで、図５（ａ）に示すようにショット中の重要シーンの表示フレーム数を増加させる。ただし、重要シーンの表示フレーム数を増やした場合、再生速度も同時に落ちることになるため、所定のフレーム数以上は重要シーンを表示させないように上限を設ける。
【００４８】
このように再生速度ｎが上昇し、各ショットの内容の把握が困難となるような再生速度ｓ以上となったときのみ、ショット内の重要シーンを連続して数フレーム再生することで、再生速度に応じた効率的な高速再生サーチが可能となる。
【００４９】
次に、ショット内のフレーム数とショット中の重要シーンの再生フレーム数との関係について述べる。
【００５０】
図９は映像データにおける各ショットを表示した図である。
【００５１】
図９において、９００は映像データ全体を表し、９０２は映像データ９００を等間隔で間引き再生した場合の再生フレーム、９０３は間引かれるフレームを示している。また９１０、９１１映像データ９００の各ショットを示している。
【００５２】
ここで、等間隔でフレームをスキップし画像を再生していく図９の様な高速再生方法の場合、フレーム数の少ないショット１は１フレームしか再生されず、比較的フレーム数の多いショット２は５フレーム再生されることになる。このときショット１の画像は1フレームしか再生されないため、ショットの内容を把握することができず、所望のシーンをサーチすることが困難となる可能性がある。
【００５３】
そこで図７（ｂ）に示すように、ショット内のフレーム数が少なくなるにつれてショット内の重要シーンの表示フレーム数を多くするようにする。これにより短いショットにおいてもショットの重要シーンが長く表示されるため、高速再生中もショットの内容を把握しやすくなる。ただし、重要シーンの表示フレーム数は、ショットのフレーム数を超えることは無いので各ショットのフレーム数ｆ以下の値を上限として設定する。
【００５４】
一方、ショット内のフレーム数が多くなるとショット２のように再生されるフレーム数も多くなるため、ショットの重要シーンを再生するフレーム数を減らしてもショットの内容が把握できるため、再生速度を大幅に落とさないためにも、重要シーンの再生フレーム数を減らすように制御する。この場合も重要シーンの再生フレーム数は所定数以下にはならないように下限を設ける。
【００５５】
なお、これ以外にも、家庭においてビデオカメラで撮影されたデータのうち１ショットのフレーム数が極端に少ないものはミステイクであると考え、重要シーンとして再生しないように制御してもよい。
【００５６】
また、再生速度とショットの長さ両方を考慮して、例えば、再生速度とショットの長さからショット内の再生されるフレーム数を算出し、そのフレーム数に応じて重要シーンの再生フレーム数を決定する方法であってもよい。
【００５７】
次に、各ショットの類似度を計算し、この類似度に基づき各ショットの重要シーンの再生フレーム数を決定する方法について説明する。
【００５８】
図１０は各ショット内のフレーム間の類似度と重要シーンの再生フレーム数の関係を示した図である。図１０に示すように、各ショット内のフレーム間の類似度が高いほど、冗長な部分が多いと判断し、重要シーンの再生フレーム数を少なくする。ただし、重要シーンの再生フレーム数はショットのフレーム数を超えない値を上限として決めておく。また、類似度が高くなった場合でも重要シーンを必ず表示するように下限値を設定しておく。
【００５９】
各ショットの類似度を求める方法としては、ショット内の画像データ（もしくは画像データの一部）を読み込み、差分データの累積から求めても良いし、輝度の変化だけを累積してその情報から類似度をもとめるなど、既存のアルゴリズムを利用してかまわない。また、画像データのショットごとの類似度をメタデータとして持っており、デコード時にメタデータを解析し判定する方法であってもかまわない。
【００６０】
以上説明したように、各ショット内の重要シーンの位置および重要シーンの再生フレーム数を適応的に変えることにより、視認性のよい高速再生サーチが可能となる。
【００６１】
また、これまで説明した例ではショットの重要シーンを再生する際に重要シーンはスキップせずに表示したが、ショットの重要シーンの部分を所定フレーム毎にスキップし再生する方法であってもよい。
【００６２】
図１１は重要シーン１１１１がショット１１１０の先頭部分にある場合の高速サーチ処理の様子を示す図であり、重要シーン１１１１の部分を1フレームおきにスキップして再生している。これは、ショットの重要シーンを間引かずに表示すると視認性が良くなる反面、重要シーンを表示するフレームが多くなるほど再生速度が遅くなるという問題があるためである。ショット１１１０の重要シーン１１１１の部分は視認性が劣化しない程度にフレームをスキップして再生することで、サーチの高速性と視認性を両立することが可能となる。
【００６３】
また、本形態では映像データを区切る単位として映像ショットを例に説明しているが、さらに大きな映像の単位（複数映像ショットの組み合わせ、映像ファイル等）であっても同様の高速再生方法を実施することが可能である。
【００６４】
次に、高速サーチ時に、映像に加えてオーディオデータを再生する場合について説明する。
【００６５】
図１２は本形態におけるオーディオデータと映像データの高速サーチ処理の様子を示した図である。図１２において、１２０１で示した区間は一つのショットを示し、１２０２で示した区間（灰色）は高速サーチ時に映像データを再生する区間、１２０３は映像データを再生せずにスキップする区間を示している。また、１２０４で示した区間（灰色）は高速サーチ時にオーディオデータを再生する区間であり、１２０４はオーディオを再生せずにスキップする区間を示している。
【００６６】
図１２では、前述の様に、各ショットの先頭部分を重要シーンとして映像データを高速サーチ再生している。この時、オーディオデータは各ショットの先頭部分の重要シーンに対応するオーディオデータ部分を連続して再生し、重要シーン以外の再生フレーム（この場合、各ショットの先頭部分以外の再生フレーム）に対応するオーディオデータは再生しない。
【００６７】
図１２では画像の重要シーンを再生している時間に合わせて、対応するオーディオを再生しているが、オーディオの再生時間がショット毎に変化するために、聞き取りにくくなるような場合はオーディオを再生する時間を「ショット開始から２秒」というように固定する方法であってもよい。
【００６８】
また、図１１に示したように、ショットの重要シーンをスキップして再生した場合であっても、オーディオデータはスキップせずにショットの重要シーンに対応する部分を所定時間連続して再生する。ただし、この場合オーディオの再生時間が画像ショットの再生時間を超えないように制御する。また、この時のオーディオデータの再生速度は人間が聞き取れる程度の範囲で早くしてもよい。
【００６９】
次に、巻き戻しサーチ時の映像再生方法について図１３を参照して説明する。
【００７０】
図１３において、１３００はショット全体を表し、１３０１はショット内の画像データ、１３０２にショット内のオーディオデータ表している。また、１３０１内で灰色のフレームは高速巻き戻しサーチ中に再生されるフレーム、白のフレームはスキップされるフレームを示している。また、時間軸は右側のフレームに行くほど後の時間であることを示している。
【００７１】
巻き戻し再生の速度が所定の速度を超え高速巻き戻し再生モードに変わると、各ショットの再生フレームを前述した早送り再生とは逆の順番で再生する。図１３の例では、ショット１３００内の画像データ１３０１に対して、再生フレーム１３０１ａ→再生フレーム１３０１ｂ→再生フレーム１３０１ｃ→再生フレーム１３０１ｄ→再生フレーム１３０１ｅ→再生フレーム１３０１ｆの順に再生される。
【００７２】
一方、巻き戻し高速サーチの際のオーディオデータは、ショット毎の画像データの重要シーンに対応する部分だけを通常再生と同様の向きで再生する。
この場合、オーディオデータと画像データの再生方向が逆になるため、画像データの重要シーン部分だけを早送りサーチと同じ方法で再生する方法（再生フレーム１→再生フレーム２→再生フレーム６→再生フレーム５→再生フレーム４→再生フレーム３の順）で再生してもよい。もしくは、巻き戻し高速サーチ中はオーディオを再生しないように制御してもよい。これにより、巻き戻し中にオーディオデータを再生する場合であっても、オーディオの内容が把握できるように通常再生方向に再生するため、ショットの内容がより把握しやすくなる。
【００７３】
以上説明した様に、前述の実施形態においては、高速サーチを行う際、一連の映像データ（動画像データ）を重要部分とそれ以外の部分とに分け、重要部分においては所定数のフレームを連続して再生すると共に、それ以外の部分についてはサーチ速度に応じて間引き再生することで、高速サーチ時の効率を上げると共に、視認性を向上することが可能となる。
【００７４】
また、重要部分を映像データの種類に従って自動的に設定することで、映像内容対応した重要部分と映像データ全体の様子を容易に確認することが可能となる。
【００７５】
なお、前述の実施形態では記録媒体にディスク媒体を用いた場合を例に説明しているが、データのランダムアクセスができる媒体（例えばフラッシュメモリなど）であればどのような媒体であってもかまわない。
【００７６】
また、本発明は、例えば、ホストコンピュータ、インターフェース機器、リーダ、及びプリンタ等の複数の機器から構成されるシステムに適用することも、一つの機器からなる装置（例えば、複写機やファクシミリ装置等の装置）に適用することも可能である。
【００７７】
また、本発明の目的は、前述の実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても達成される。
【００７８】
この場合、記憶媒体から読み出されたプログラムコード自体が実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【００７９】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００８０】
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を実行し、この処理により実施形態の機能が実現される場合も含まれる。
【００８１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を実行し、この処理により実施形態の機能が実現される場合も含まれる。
【００８２】
【発明の効果】
以上説明したように本発明によれば、高速サーチ時に動画像データを複数の期間に分け、フレームの間引き率を各期間の間で変更することにより、複雑な処理なしで高速でのサーチ効率を上げるとともに視認性を向上することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る映像再生フレームを示した図である。
【図２】本発明の実施形態に係る再生装置のブロック図である。
【図３】本発明の実施形態に係る処理を示したフローチャートである。
【図４】本発明の実施形態に係る映像再生フレームを示した図である。
【図５】本発明の実施形態に係る映像再生フレームを示した図である。
【図６】本発明の実施形態に係る出力画面を示した図である。
【図７】本発明の実施形態に係る重要シーンを再生するフレーム数を示す図である。
【図８】従来の等倍速再生を示した図である。
【図９】従来の等倍速再生とショットの長さを示した図である。
【図１０】本発明の実施形態に係る重要シーンを再生するフレーム数を示す図である。
【図１１】本発明の実施形態に係る映像再生フレームを示した図である。
【図１２】本発明の実施形態に係る映像再生フレームと再生オーディオデータの関係を示した図である。
【図１３】本発明の実施形態に係る巻き戻し再生時の映像再生フレームと再生オーディオデータの関係を示した図である。
【図１４】従来例を示す図である。
【発明の属する技術分野】
本発明は、再生装置に関し、特に高速サーチモード時の処理に関する。
【０００２】
【従来の技術】
近年、映像信号のサーチ、早見などを支援する映像要約方法が提案されている。
【０００３】
例えば、特許文献１に記載されている映像要約方法は、映像ショットの一部分のみを次々に再生するダイジェスト映像再生方法である。これは図１４に示すように各映像ショットの秒数に応じて再生するダイジェスト部分の位置を変えるというものである。これによって映像ショットの長さから予測されるショットの重要部分のみを再生することが可能となる。
【０００４】
また、特許文献２に記載されている方法は、映像ショットの中から物体が高速で動いている高速動作区間と、類似したシーンが続く長時間類似区間とに分け、高速動作区間を通常早送りよりも低速で再生し、長時間類似区間を通常より高速で再生する方法である。
【０００５】
なお、ここでいうショットとは映像データを区切る単位を表している。映像データをショットに分ける区切り目としては、ビデオカメラでの撮影開始点と終了点、編集した画像のつなぎ点、映像ファイルの開始点と終了点、ユーザが印(マーカ)を付けた点など、映像が大きく変化する点であるか、もしくは重要であると考えられる点であるとする。
【０００６】
【特許文献１】
特開平９−２７０９９７
【特許文献２】
特開平８−２５１５４０
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１のダイジェスト映像再生方法では、映像ショットの一部分のみを次々と再生するため、映像全体の概要は把握できてもダイジェストに含まれない所望のシーンをサーチすることは難しかった。
【０００８】
また、特許文献２の映像要約手法では、画像の類似度に応じて相対的な再生速度を適応的に変化させるために、主観的な再生速度を保つことが可能であるが、要約データを作るために一度すべての画像データを読み込み、要約のための処理を行った上で要約データをファイルサーバ等に保存しておくことが必要であり、リアルタイムで要約を行いサーチする用途には向いていない。
【０００９】
本発明は、このような問題点を考慮し、高速サーチ時にも視認性を低下させることなく、目的のシーンを容易に検出することが可能な高速再生サーチを実現することを目的としている。
【００１０】
【課題を解決するための手段】
前記課題を解決するため、本発明においては、記録媒体より動画像データを再生する再生手段と、高速サーチモードにおいて前記動画像データの一部のフレームを間引いて再生することにより高速再生を行うよう前記再生手段を制御する制御手段とを備え、前記制御手段は、前記高速サーチモードにおいて、前記動画像データの一つのショットを、予め決められた前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間におけるフレームの間引き率を前記第２の期間におけるフレームの間引き率よりも少なくする構成とした。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【００１２】
まず、本発明の基本的な実施形態について図２に基づき説明する。図２は本発明が適用された再生装置２００の構成を示すブロック図である。
【００１３】
図２において、２０１は圧縮された映像データが記録されている記録メディアであり、本形態ではＤＶＤなどのディスク媒体である。２０２は記録メディア２０１から光ピックアップによって読み出された映像信号を取得し、データの復調、誤り訂正などの信号処理を行う復調・誤り訂正回路、２０３はバッファメモリ、２０４は記録メディア２０１をクランプして回転駆動するモータと光ピックアップを含むドライブ機構系を制御する機構制御回路、２０５は映像信号をビデオ、オーディオそれぞれの信号に分離する分離回路、２０６はビデオデコーダ、２０７はオーディオデコーダ、２０８はシステム全体を制御するシステム制御回路、２０９は各種の操作スイッチを有する操作部である。
【００１４】
まず、通常の再生処理について説明する。ユーザが操作部２０９を操作して、再生を指示すると、操作部２０９はこの再生要求をシステム制御回路２０８へ送信する。
【００１５】
システム制御回路２０８は、全体の制御を行うＣＰＵと、各種の作業用メモリと、ＣＰＵが読み取りおよび実行可能なプログラムおよびデータを格納するＲＯＭから構成される。このシステム制御回路２０８が操作部２０９からの再生要求を受け付けると、機構制御回路２０４を後述する様に制御し、記録メディア２０１から光ピックアップを通してデータを読み込む。
【００１６】
例えば、早送りの再生要求をシステム制御回路２０８が受け付けると、システム制御回路２０８は記録媒体２０１から読み込むべきデータのトラック位置を指示する。機構制御回路２０４は、システム制御回路２０８から指示されたトラックの位置に応じてモータの速度を調節し、光ピックアップを制御することにより光ピックアップの位置の移動を制御する。トラックの正確な位置が検出されると、所望の物理セクタが格納されているところまで回転待ちを行い、物理セクタから映像信号を読み出す。
【００１７】
復調・誤り訂正回路２０２は読み込まれた映像信号に対して、増幅、復調、誤り訂正などの各種信号処理を施し、映像データをバッファメモリ２０３に論理ブロック単位で格納する。分離回路２０５はバッファメモリ２０３から転送される映像データを受け取り、ビデオ、オーディオなど各個別のストリーム部分に分離し、それぞれのデコーダへ送る。
【００１８】
ビデオデコーダ２０６はビデオデータを所定の方式（例えばＭＰＥＧ２など）に従って伸長し、ビデオ信号を出力する。オーディオデコーダも同様にオーディオデータを所定の方式に従いデコードしオーディオ信号を出力する。
【００１９】
次に、このように構成された再生装置２００において高速サーチ再生をする場合の処理を説明する。
【００２０】
以下では、図１、図３を参照し、図２の再生装置においてシステム制御回路２０８で制御する高速サーチの処理について具体的に説明する。
【００２１】
図1において、１００は記録メディア２０１に記録された映像データ全体を示しており、１０１の区間は映像データ中の１ショットを示している。つまり映像データ全体１００は映像ショットの集合として考える。また映像データ中の灰色で示す１０２は高速再生モード時に再生する映像データであり、１０３は再生せずに間引く映像データを示している。
【００２２】
また、１１０はショット１０１内の画像フレーム構成を示しており、１１１はショットの先頭フレーム、図中、灰色で示した１１２は高速サーチ中に再生される再生フレーム、１１３は高速サーチ中には再生しない間引きフレームを示している。また、映像データは右側に行くほど時間的に後のデータであることを示している。
【００２３】
図３は高速サーチの際、処理対象のフレームを再生するか否かを判断するためのフローチャートである。図３においてｉはフレームカウンタ、Ｎは高速サーチ時に間引きするフレーム数、Ｍは高速サーチ時にショットの先頭部分において再生するフレーム数を示している。
【００２４】
以下では、Ｎ=１２、Ｍ＝４とした場合、つまり略１２倍速での高速サーチ処理を例に説明する。また、ｉの初期値は０である。
【００２５】
まず、処理対象のフレームに対して、ステップＳ３０１ではフレームカウンタｉがＮと等しくないときにはステップＳ３０２に進み、ｉがＮと等しい場合にはステップＳ３０３に進む。ステップＳ３０２では処理対象フレームがショットの先頭フレームからＭフレーム（４フレーム）以内であるかチェックする。処理対象フレームが、ショットの先頭フレームからＭフレーム以内である場合はステップＳ３０３に進み、そうでない場合はステップＳ３０５へ進む。ステップＳ３０３では、処理対象のフレームのデータを記録媒体２０１から読み込み、デコードし出力する。ステップＳ３０４ではフレームカウンタｉを０に初期化する。ステップＳ３０５では処理対象のフレームを読み込まずにスキップする。ステップＳ３０６ではフレームカウンタｉをインクリメントする。ステップＳ３０７では処理対象のフレームを１フレーム進め、ステップＳ３０１へ戻る。
【００２６】
以上の処理によって判別した結果再生するフレームと、スキップするフレームとの関係を示したものが図１である。
【００２７】
図１では各ショットの開始部分の４フレームは必ず再生し、その後は１２フレーム毎に1フレームの映像データを再生する様子を示している。
【００２８】
このように、各ショットの先頭部分における所定数のフレーム（Ｍフレーム）を必ず表示することで、ショットの内容全体をスキップ再生で把握しつつ、ショットの先頭の重要と考えられる部分は飛ばさずに表示することが可能となる。
【００２９】
また、これ以外の方法として、各ショットの重要シーンのみを所定フレーム（Ｍフレーム）連続して再生、表示し、重要シーン以外のデータをスキップ再生（Ｎフレーム毎に１フレーム再生）する方法であってもよい。この場合、重要シーン部分が所定フレーム連続して再生表示されることにより、高速再生中であっても視認性が向上するという効果が得られる。
【００３０】
さて、前述の例では、各ショットの内容を把握するために重要なシーンがショットの開始部分であるという考えから、ショットの先頭から所定数のフレームは必ず表示するようにした。これは、例えば、家庭でビデオカメラを使って撮影したデータや、映像データ中の重要シーンにユーザが自分で印（区切り）を付けショットに分割したような場合は、ショットの最初に重要場面があることが多いと予想されるためである。
【００３１】
しかし、必ずしもショットの開始部分が重要であるとは限らず、ショットの終わり部分が重要であることもありうる。
【００３２】
例えば、サッカー中継のゴールシーンでは、ゴールが決まった後しばらくして撮影アングルが変わり、ショットが切り替わる。この場合、重要シーン（ゴールシーン）はショットの最後の部分となるため、前述の高速サーチ手法でゴールシーンをサーチした場合、ゴールシーンの一部のフレームしか再生されないことが予想される。そのため前述の高速サーチ方法ではサーチ効率が悪化する可能性がある。そこで以下に説明するように、映像の種類に応じて、各ショット内の重要シーンを変更することが必要となる。
【００３３】
図４において、４００は記録媒体２０１に記録された映像データ全体を示しており、４０１の区間は映像データ中の１ショットを示している。また映像データ中の灰色で示す４０２は高速サーチ中の再生データであり、４０３は再生せずに間引く画像データを示している。
【００３４】
また、４１０はショット４０１内の画像フレーム構成を示しており、４１１はショットの最終フレーム、灰色で示した４１２は高速サーチ中における再生フレーム、４１３は高速サーチ中には再生しない間引きフレームを示している。また、映像データは右側に行くほど時間的に後のデータであることを示している。
【００３５】
図４は高速サーチ時において、ショットの最後に重要シーンがあると考えた場合の、再生されるフレーム（灰色）と間引きされるフレームとの関係を示したものである。
【００３６】
図４では、ショットの先頭でなくショットの最後の４フレームを必ず表示している。これにより、各ショットの最後に重要シーンがあるようなデータの場合には高速再生時に必ず各ショットの最後の重要シーン部分が所定フレーム数再生されるため、高速サーチ中での内容把握とサーチ効率を向上させることが可能となる。
【００３７】
また、ショット内の重要シーンがショットの途中にあると予測される場合は図５（ａ）のようにショットの途中部分を必ず所定フレーム再生し、ショット内の重要シーンがショットの開始・終了付近にあると予測される場合は図５（ｂ）のように開始・終了部分両方を必ず所定フレーム再生することで重要シーンを見落としにくい高速サーチを実現可能である。
【００３８】
このように、ビデオカメラにより撮影したデータなのか、あるいは編集されたデータやテレビ放送により送信されたデータなのかなどによってもショット内のどこに重要な場面があるのか異なる場合がある。
【００３９】
そのため、これらの重要な場面がショット内のどこにあるかを検出することが必要となる。この方法としては、既存のアルゴリズムに基づき各ショットの内容判定を行い、重要シーンが各ショット中のどの部分に含まれるか推測する方法を用いてもよい。あるいは、重要シーンの情報を切り替える手段を操作部２０９に設け、ユーザが手動で調節できる方法であってもよい。その際、出力装置の画面上には図６に示すように、ショットのどの部分を重要シーンとして再生しているかを表示し、画面に表示されたＧＵＩを見ながらユーザが決定できる方法であってもよい。
【００４０】
また、映像データ内のメタデータとしてこれらの重要シーンの情報が付加されている場合には、システム制御回路２０８がその重要シーンの情報を受け取り、重要シーンの表示部分を切り替える方法であってもよい。
【００４１】
次に、ショット内の重要シーン部分を再生するフレーム枚数の決め方について図７を参照して説明する。
【００４２】
図７（ａ）は、再生速度とショット内の重要シーンを再生するフレーム数の関係を示したグラフであり、図７（ｂ）はショットの長さとショット内の重要シーンを出力するフレーム数の関係を示した図である。
【００４３】
まず、再生速度とショット内の重要シーンを再生するフレーム数の関係では、図７（ａ）に示すように、再生速度が上がるにつれてショット内の重要シーンを表示するフレーム数を多くする。ただし、再生速度が所定の速度ｓ以下の場合はショット内の重要シーンの再生は行わない。
【００４４】
この理由は、例えば図８（ａ）に示す従来の３倍速再生のように比較的低速な再生の場合、スキップされるフレーム数が少ないため、このままでも１ショット中の全体の内容を把握するのに十分なフレームを含んでいると考えられるためである。また、この再生速度でショットの重要シーンを間引かずに再生してしまうと逆に再生速度が落ちるなどの問題が出てしまう。そのため、再生速度ｎが所定の速度ｓ以下の場合には、ｎフレーム毎に１フレームの映像データを間引いて再生する通常のｎ倍速再生を行うようにする。
【００４５】
一方、図８（ｂ）に示す１２倍再生のように比較的高速な再生の場合、この例では１ショット中に再生されるフレームが４枚しかないため、ショットの内容の把握が困難になると考えられる。更に、２０倍、５０倍と再生速度が上がった場合には、ショット内のフレームが全く再生されない場合もありうる。
【００４６】
このように再生速度が上がった結果、ショット中の表示フレーム数が少なくなり再生される各フレームの相関がなくなると、画像の認識が困難になる。
【００４７】
そこで、図５（ａ）に示すようにショット中の重要シーンの表示フレーム数を増加させる。ただし、重要シーンの表示フレーム数を増やした場合、再生速度も同時に落ちることになるため、所定のフレーム数以上は重要シーンを表示させないように上限を設ける。
【００４８】
このように再生速度ｎが上昇し、各ショットの内容の把握が困難となるような再生速度ｓ以上となったときのみ、ショット内の重要シーンを連続して数フレーム再生することで、再生速度に応じた効率的な高速再生サーチが可能となる。
【００４９】
次に、ショット内のフレーム数とショット中の重要シーンの再生フレーム数との関係について述べる。
【００５０】
図９は映像データにおける各ショットを表示した図である。
【００５１】
図９において、９００は映像データ全体を表し、９０２は映像データ９００を等間隔で間引き再生した場合の再生フレーム、９０３は間引かれるフレームを示している。また９１０、９１１映像データ９００の各ショットを示している。
【００５２】
ここで、等間隔でフレームをスキップし画像を再生していく図９の様な高速再生方法の場合、フレーム数の少ないショット１は１フレームしか再生されず、比較的フレーム数の多いショット２は５フレーム再生されることになる。このときショット１の画像は1フレームしか再生されないため、ショットの内容を把握することができず、所望のシーンをサーチすることが困難となる可能性がある。
【００５３】
そこで図７（ｂ）に示すように、ショット内のフレーム数が少なくなるにつれてショット内の重要シーンの表示フレーム数を多くするようにする。これにより短いショットにおいてもショットの重要シーンが長く表示されるため、高速再生中もショットの内容を把握しやすくなる。ただし、重要シーンの表示フレーム数は、ショットのフレーム数を超えることは無いので各ショットのフレーム数ｆ以下の値を上限として設定する。
【００５４】
一方、ショット内のフレーム数が多くなるとショット２のように再生されるフレーム数も多くなるため、ショットの重要シーンを再生するフレーム数を減らしてもショットの内容が把握できるため、再生速度を大幅に落とさないためにも、重要シーンの再生フレーム数を減らすように制御する。この場合も重要シーンの再生フレーム数は所定数以下にはならないように下限を設ける。
【００５５】
なお、これ以外にも、家庭においてビデオカメラで撮影されたデータのうち１ショットのフレーム数が極端に少ないものはミステイクであると考え、重要シーンとして再生しないように制御してもよい。
【００５６】
また、再生速度とショットの長さ両方を考慮して、例えば、再生速度とショットの長さからショット内の再生されるフレーム数を算出し、そのフレーム数に応じて重要シーンの再生フレーム数を決定する方法であってもよい。
【００５７】
次に、各ショットの類似度を計算し、この類似度に基づき各ショットの重要シーンの再生フレーム数を決定する方法について説明する。
【００５８】
図１０は各ショット内のフレーム間の類似度と重要シーンの再生フレーム数の関係を示した図である。図１０に示すように、各ショット内のフレーム間の類似度が高いほど、冗長な部分が多いと判断し、重要シーンの再生フレーム数を少なくする。ただし、重要シーンの再生フレーム数はショットのフレーム数を超えない値を上限として決めておく。また、類似度が高くなった場合でも重要シーンを必ず表示するように下限値を設定しておく。
【００５９】
各ショットの類似度を求める方法としては、ショット内の画像データ（もしくは画像データの一部）を読み込み、差分データの累積から求めても良いし、輝度の変化だけを累積してその情報から類似度をもとめるなど、既存のアルゴリズムを利用してかまわない。また、画像データのショットごとの類似度をメタデータとして持っており、デコード時にメタデータを解析し判定する方法であってもかまわない。
【００６０】
以上説明したように、各ショット内の重要シーンの位置および重要シーンの再生フレーム数を適応的に変えることにより、視認性のよい高速再生サーチが可能となる。
【００６１】
また、これまで説明した例ではショットの重要シーンを再生する際に重要シーンはスキップせずに表示したが、ショットの重要シーンの部分を所定フレーム毎にスキップし再生する方法であってもよい。
【００６２】
図１１は重要シーン１１１１がショット１１１０の先頭部分にある場合の高速サーチ処理の様子を示す図であり、重要シーン１１１１の部分を1フレームおきにスキップして再生している。これは、ショットの重要シーンを間引かずに表示すると視認性が良くなる反面、重要シーンを表示するフレームが多くなるほど再生速度が遅くなるという問題があるためである。ショット１１１０の重要シーン１１１１の部分は視認性が劣化しない程度にフレームをスキップして再生することで、サーチの高速性と視認性を両立することが可能となる。
【００６３】
また、本形態では映像データを区切る単位として映像ショットを例に説明しているが、さらに大きな映像の単位（複数映像ショットの組み合わせ、映像ファイル等）であっても同様の高速再生方法を実施することが可能である。
【００６４】
次に、高速サーチ時に、映像に加えてオーディオデータを再生する場合について説明する。
【００６５】
図１２は本形態におけるオーディオデータと映像データの高速サーチ処理の様子を示した図である。図１２において、１２０１で示した区間は一つのショットを示し、１２０２で示した区間（灰色）は高速サーチ時に映像データを再生する区間、１２０３は映像データを再生せずにスキップする区間を示している。また、１２０４で示した区間（灰色）は高速サーチ時にオーディオデータを再生する区間であり、１２０４はオーディオを再生せずにスキップする区間を示している。
【００６６】
図１２では、前述の様に、各ショットの先頭部分を重要シーンとして映像データを高速サーチ再生している。この時、オーディオデータは各ショットの先頭部分の重要シーンに対応するオーディオデータ部分を連続して再生し、重要シーン以外の再生フレーム（この場合、各ショットの先頭部分以外の再生フレーム）に対応するオーディオデータは再生しない。
【００６７】
図１２では画像の重要シーンを再生している時間に合わせて、対応するオーディオを再生しているが、オーディオの再生時間がショット毎に変化するために、聞き取りにくくなるような場合はオーディオを再生する時間を「ショット開始から２秒」というように固定する方法であってもよい。
【００６８】
また、図１１に示したように、ショットの重要シーンをスキップして再生した場合であっても、オーディオデータはスキップせずにショットの重要シーンに対応する部分を所定時間連続して再生する。ただし、この場合オーディオの再生時間が画像ショットの再生時間を超えないように制御する。また、この時のオーディオデータの再生速度は人間が聞き取れる程度の範囲で早くしてもよい。
【００６９】
次に、巻き戻しサーチ時の映像再生方法について図１３を参照して説明する。
【００７０】
図１３において、１３００はショット全体を表し、１３０１はショット内の画像データ、１３０２にショット内のオーディオデータ表している。また、１３０１内で灰色のフレームは高速巻き戻しサーチ中に再生されるフレーム、白のフレームはスキップされるフレームを示している。また、時間軸は右側のフレームに行くほど後の時間であることを示している。
【００７１】
巻き戻し再生の速度が所定の速度を超え高速巻き戻し再生モードに変わると、各ショットの再生フレームを前述した早送り再生とは逆の順番で再生する。図１３の例では、ショット１３００内の画像データ１３０１に対して、再生フレーム１３０１ａ→再生フレーム１３０１ｂ→再生フレーム１３０１ｃ→再生フレーム１３０１ｄ→再生フレーム１３０１ｅ→再生フレーム１３０１ｆの順に再生される。
【００７２】
一方、巻き戻し高速サーチの際のオーディオデータは、ショット毎の画像データの重要シーンに対応する部分だけを通常再生と同様の向きで再生する。
この場合、オーディオデータと画像データの再生方向が逆になるため、画像データの重要シーン部分だけを早送りサーチと同じ方法で再生する方法（再生フレーム１→再生フレーム２→再生フレーム６→再生フレーム５→再生フレーム４→再生フレーム３の順）で再生してもよい。もしくは、巻き戻し高速サーチ中はオーディオを再生しないように制御してもよい。これにより、巻き戻し中にオーディオデータを再生する場合であっても、オーディオの内容が把握できるように通常再生方向に再生するため、ショットの内容がより把握しやすくなる。
【００７３】
以上説明した様に、前述の実施形態においては、高速サーチを行う際、一連の映像データ（動画像データ）を重要部分とそれ以外の部分とに分け、重要部分においては所定数のフレームを連続して再生すると共に、それ以外の部分についてはサーチ速度に応じて間引き再生することで、高速サーチ時の効率を上げると共に、視認性を向上することが可能となる。
【００７４】
また、重要部分を映像データの種類に従って自動的に設定することで、映像内容対応した重要部分と映像データ全体の様子を容易に確認することが可能となる。
【００７５】
なお、前述の実施形態では記録媒体にディスク媒体を用いた場合を例に説明しているが、データのランダムアクセスができる媒体（例えばフラッシュメモリなど）であればどのような媒体であってもかまわない。
【００７６】
また、本発明は、例えば、ホストコンピュータ、インターフェース機器、リーダ、及びプリンタ等の複数の機器から構成されるシステムに適用することも、一つの機器からなる装置（例えば、複写機やファクシミリ装置等の装置）に適用することも可能である。
【００７７】
また、本発明の目的は、前述の実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても達成される。
【００７８】
この場合、記憶媒体から読み出されたプログラムコード自体が実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【００７９】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００８０】
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を実行し、この処理により実施形態の機能が実現される場合も含まれる。
【００８１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を実行し、この処理により実施形態の機能が実現される場合も含まれる。
【００８２】
【発明の効果】
以上説明したように本発明によれば、高速サーチ時に動画像データを複数の期間に分け、フレームの間引き率を各期間の間で変更することにより、複雑な処理なしで高速でのサーチ効率を上げるとともに視認性を向上することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る映像再生フレームを示した図である。
【図２】本発明の実施形態に係る再生装置のブロック図である。
【図３】本発明の実施形態に係る処理を示したフローチャートである。
【図４】本発明の実施形態に係る映像再生フレームを示した図である。
【図５】本発明の実施形態に係る映像再生フレームを示した図である。
【図６】本発明の実施形態に係る出力画面を示した図である。
【図７】本発明の実施形態に係る重要シーンを再生するフレーム数を示す図である。
【図８】従来の等倍速再生を示した図である。
【図９】従来の等倍速再生とショットの長さを示した図である。
【図１０】本発明の実施形態に係る重要シーンを再生するフレーム数を示す図である。
【図１１】本発明の実施形態に係る映像再生フレームを示した図である。
【図１２】本発明の実施形態に係る映像再生フレームと再生オーディオデータの関係を示した図である。
【図１３】本発明の実施形態に係る巻き戻し再生時の映像再生フレームと再生オーディオデータの関係を示した図である。
【図１４】従来例を示す図である。
Claims (10)
- 記録媒体より動画像データを再生する再生手段と、
高速サーチモードにおいて前記動画像データの一部のフレームを間引いて再生することにより高速再生を行うよう前記再生手段を制御する制御手段とを備え、
前記制御手段は、前記高速サーチモードにおいて、前記動画像データの一つのショットを、前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間におけるフレームの間引き率を前記第２の期間におけるフレームの間引き率よりも少なくすることを特徴とする再生装置。 - 記録媒体より動画像データを再生する再生手段と、
前記高速サーチモードにおいて、前記動画像データの一つのショットを、前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間においては全てのフレームを連続して再生すると共に前記第２の期間においては一部のフレームを間引いて再生するよう前記再生手段を制御する制御手段とを備える再生装置。 - 前記制御手段は、前記動画像データの一つのショットを、前記ショット内のフレーム数および前記高速サーチモードにおける再生速度に応じて前記第１の期間と前記第１の期間以外の第２の期間とに分けることを特徴とする請求項１または２のいずれか１項記載の再生装置。
- 前記生成手段は前記動画データに対応するオーディオデータを再生し、
前記制御手段は、高速サーチモードにおいて前記第１の期間に対応するオーディオデータのみを連続して再生するよう前記再生手段を制御することを特徴とする請求項１から３のいずれか１項記載の再生装置。 - 前記第１の期間は、前記ショットの開始部分であることを特徴とする請求項１から４のいずれか１項記載の再生装置。
- 前記第１の期間は、前記ショットの終了部分であることを特徴とする請求項１または４記載の再生装置。
- 前記第１の期間は、前記ショットの開始部分と終了部分の両方であることを特徴とする請求項１または４記載の再生装置。
- 記録媒体より動画像データを再生する再生方法であって、
前記動画像データの一部のフレームを間引いて再生することにより高速再生を行う高速サーチモードを有し、
前記高速サーチモードにおいて、前記動画像データの一つのショットを、前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間におけるフレームの間引き率を前記第２の期間におけるフレームの間引き率よりも少なくすることを特徴とする再生方法。 - 記録媒体より動画像データを再生する再生方法であって、
通常再生モードと高速サーチモードとを有し、
前記高速サーチモードにおいて、前記動画像データの一つのショットを、前記ショット内のフレーム数に応じたフレーム数の第１の期間と前記第１の期間以外の第２の期間とに分け、前記ショット内のフレーム数が多くなくなるにつれて前記第１の期間のフレーム数を少なくするように制御するとともに、前記第１の期間においては全てのフレームを連続して再生すると共に前記第２の期間においては一部のフレームを間引いて再生することを特徴とする再生方法。 - 前記請求項８または９記載の再生方法をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003118478A JP4208634B2 (ja) | 2003-04-23 | 2003-04-23 | 再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003118478A JP4208634B2 (ja) | 2003-04-23 | 2003-04-23 | 再生装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004328218A JP2004328218A (ja) | 2004-11-18 |
| JP2004328218A5 JP2004328218A5 (ja) | 2006-06-01 |
| JP4208634B2 true JP4208634B2 (ja) | 2009-01-14 |
Family
ID=33498006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003118478A Expired - Fee Related JP4208634B2 (ja) | 2003-04-23 | 2003-04-23 | 再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4208634B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1806919A1 (en) * | 2006-01-05 | 2007-07-11 | Alcatel Lucent | Media delivery system with content-based trick play mode |
| WO2007106844A2 (en) | 2006-03-14 | 2007-09-20 | Divx, Inc. | Federated digital rights management scheme including trusted systems |
| JP2008109606A (ja) * | 2006-09-29 | 2008-05-08 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| KR101411627B1 (ko) | 2006-10-24 | 2014-06-25 | 소니 주식회사 | 촬상장치와 재생제어장치 |
| JP2008236644A (ja) * | 2007-03-23 | 2008-10-02 | Fujifilm Corp | 撮影装置および画像再生装置 |
| JP5421627B2 (ja) | 2009-03-19 | 2014-02-19 | キヤノン株式会社 | 映像データ表示装置及びその方法 |
| WO2011068668A1 (en) | 2009-12-04 | 2011-06-09 | Divx, Llc | Elementary bitstream cryptographic material transport systems and methods |
| US8914534B2 (en) * | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
| US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
| US8909922B2 (en) | 2011-09-01 | 2014-12-09 | Sonic Ip, Inc. | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information |
| US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
| US9313510B2 (en) | 2012-12-31 | 2016-04-12 | Sonic Ip, Inc. | Use of objective quality measures of streamed content to reduce streaming bandwidth |
| US9906785B2 (en) | 2013-03-15 | 2018-02-27 | Sonic Ip, Inc. | Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata |
| US9094737B2 (en) | 2013-05-30 | 2015-07-28 | Sonic Ip, Inc. | Network video streaming with trick play based on separate trick play files |
| US9508390B2 (en) * | 2013-07-12 | 2016-11-29 | Apple Inc. | Trick play in digital video streaming |
| US9866878B2 (en) | 2014-04-05 | 2018-01-09 | Sonic Ip, Inc. | Systems and methods for encoding and playing back video at different frame rates using enhancement layers |
-
2003
- 2003-04-23 JP JP2003118478A patent/JP4208634B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004328218A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4208634B2 (ja) | 再生装置 | |
| KR100405249B1 (ko) | 디코딩및리버스재생장치및방법 | |
| KR100958325B1 (ko) | 저장 매체상에 레코딩된 ｍｐｅｇ 비디오 표시의 트릭 모드 재생 방법 및 장치 | |
| KR100687996B1 (ko) | 인터리브된 판독 및 기록 동작을 실행하는 장치 | |
| JP2007504778A (ja) | 記録再生方法及び映像記録再生システム | |
| US20080040537A1 (en) | Digital video recorder having hierarchical memories and method for implementing hierarchical memories | |
| KR20040039852A (ko) | 프레임 인덱스를 이용한 트릭 플레이 구현방법 | |
| JP2002204426A (ja) | 情報記録装置及び情報再生装置 | |
| US6445876B1 (en) | Image reproduction apparatus | |
| JP2007519275A (ja) | トリック・モードに基づくクリップ | |
| JP3156597B2 (ja) | 画像情報復号化再生装置および画像情報復号化再生方法 | |
| US6453114B2 (en) | Random picture decoding | |
| US6377748B1 (en) | Replay bit stream searching | |
| JP4827669B2 (ja) | 動画再生方法および装置 | |
| US7043584B2 (en) | Interrupt prioritization in a digital disk apparatus | |
| US6978082B1 (en) | AV decoder control method and AV decoder control apparatus | |
| JPH0877755A (ja) | 圧縮画像情報の再生装置 | |
| JP4171414B2 (ja) | シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム | |
| PL195450B1 (pl) | Sposób i urządzenie do odtwarzania obrazu z dyskuzapisanego cyfrowo | |
| KR101172835B1 (ko) | 비디오 신호를 제공하기 위한 방법 및 장치 | |
| US6320826B1 (en) | Transducer repositioning | |
| EP1701545B1 (en) | Image reproducing device, method, and program | |
| JP4784466B2 (ja) | 映像情報再生方法 | |
| JP4095221B2 (ja) | マルチシーン記録媒体の再生装置及び方法 | |
| JPH11203051A (ja) | 情報処理装置および方法、並びに提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060406 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |