JP4736233B2 - Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof - Google Patents
Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof Download PDFInfo
- Publication number
- JP4736233B2 JP4736233B2 JP2001137258A JP2001137258A JP4736233B2 JP 4736233 B2 JP4736233 B2 JP 4736233B2 JP 2001137258 A JP2001137258 A JP 2001137258A JP 2001137258 A JP2001137258 A JP 2001137258A JP 4736233 B2 JP4736233 B2 JP 4736233B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- key
- frames
- difference
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化された動画像の早送り再生方法、逆再生方法及び早送り検索方法及びそれに関連する技術に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、「キーフレーム」と称す）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。
【０００４】
図１１を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。
【０００５】
図１１に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００６】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００７】
このようなビットストリームの復号化処理の例を図１２を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００８】
このようなＭＰＥＧ方式に代表される動画圧縮方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【０００９】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上動画像のように再生する方式もある。
【００１０】
【発明が解決しようとする課題】
｛第１の課題｝
ところで、動画を再生する場合、録画した通りに通常の速度で再生する場合のほかに、検索のために早送り再生や逆再生を行うことがある。上述のＭＰＥＧ方式等の動画圧縮方式では、再生のために直前までのフレーム情報が必要となるため、逐次、時間順にフレームを伸長しなければならない。このため、逆再生のようにフレームを圧縮時とは時間軸に対して逆方向に再生する場合も、一旦時間軸通りにデータを伸長する必要がある。その結果、再生のために大量のメモリを必要とし、再生を開始するのに時間がかかってしまい、動画はぎこちなくなる。
【００１１】
また、早送り再生のようにフレームを間引きを行いながら再生する場合においても、同様に一旦時間軸通りに再生する必要がある。このため単位時間あたりに伸長を行うデータ量は通常の再生に比べて画像を間引きする分多くなる。現実として、ＭＰＥＧ方式の動画像を早送り再生する場合、基準フレームを紙芝居のように再生しており、スムーズな動画は得られていない。
【００１２】
これに対して、ＭｏｔｉｏｎＪＰＥＧ方式等の静止画像の圧縮方式の場合は、フレーム間引きのような不連続な再生に対して高い自由度を持っている。しかしながら動画圧縮方式に比べて圧縮率が低いという問題がある。
【００１３】
このような問題に鑑みてこの発明が解決しようとするところは、高い圧縮率を実現しつつ、逆再生、早送り再生といった特殊再生においてスムーズな動画を得る動画像の圧縮符号化された動画像の早送り再生方法、逆再生方法及びそれに関連する技術を提供する点にある。
【００１４】
｛第２の課題｝
ところで、動画の中から目的の画面を検索する場合、早送り再生を行うことにより検索が行われる。動画圧縮方式であるＭＰＥＧでは、画面相関をとらない画像のみを再生し早送りを実現するが、一般的なＭＰＥＧ再生装置では早送り再生を行う場合、画面相関を取っていない基準フレームだけを再生するため紙芝居のようになってしまう。このため検索の目的の画面が基準フレームにないとき、見落としてしまうことになる。
【００１５】
フレーム単位で画像を間引きした場合、数フレームしか移らなかった対象物は画面に再生されないこととなる。セキュリティ用途では侵入者がいたことを検索するために、その侵入者が数フレームしか移らなかった場合、侵入者を発見できないため、検索として使用することはできない。
【００１６】
そこで、この発明が解決しようとするところは、高い圧縮率を実現しつつ、早送り再生時の動画検索において、検索の対象物を比較的正確に識別することの可能な動画像の早送り検索方法及びそれに関連する技術を提供する点にもある。
【００１７】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成される参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を逆再生する逆再生方法であって、ａ）一の周期において複数の前記他のブロック内の前記特定領域を時間軸に沿って復号化する工程と、ｂ）前記ａ）の工程で復号化された前記特定領域に基づいて前記参照フレームを展開し、当該参照フレームに基づいて、前記一の周期において複数の前記他のブロックに後続する前記キーフレームを復号化する工程と、ｃ）前記ｂ）の工程で復号化されたキーフレームに基づいて、前記一の周期に後続する周期における複数の前記他のブロックの画像を時間軸とは逆に復号化し再生する工程と、ｄ）前記ｂ）の工程で復号化された前記キーフレームを再生する工程と、ｅ）前記ａ）〜ｄ）の工程を時間軸とは逆に前記周期毎に繰り返し実行する工程とを備える。
【００１８】
請求項２に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り再生する早送り再生方法であって、ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程とを備える。
【００１９】
請求項３に記載の発明は、複数のフレームの中から一定の周期毎に指定された複数のキーフレームと、前記各キーフレームの後に入力されて複数のブロック領域に分割され且つ前記各ブロック領域の中から特定領域が指定された複数の他のフレームとを有し、前記特定領域を除く前記各ブロック領域と前記キーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域が前記他のフレーム内の情報のみで圧縮符号化される一方、前記第１の差分が所定より小さい場合に前記差分信号が圧縮符号化され、複数の前記他のフレーム内の前記特定領域のみをフレーム１枚分蓄積して生成された参照フレームと前記キーフレームとの間の第２の差分が所定より大きい場合に前記キーフレームが前記フレーム内の情報のみで圧縮符号化される一方、前記第２の差分が所定より小さい場合に前記差分信号が圧縮符号化されて生成された動画像を早送り検索する早送り検索方法であって、前記動画像を早送り再生する工程と、前記早送り再生の途中で動画像を一時停止して表示する工程とを備え、前記早送り再生する工程は、ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程とを備える。
【００２０】
請求項４に記載の発明は、請求項３に記載の動画像の早送り検索方法であって、前記途中で動画像を一時停止して表示する工程は、前記キーフレーム及び前記他のブロックの画像を蓄積し、一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生する。
【００２１】
請求項５に記載の発明は、請求項１ないし請求項４のいずれかに記載の各工程をコンピュータに実現させるプログラムである。
【００２２】
【発明の実施の形態】
＜圧縮伸長装置の基本構成＞
まず、この発明の一の実施の形態に使用する圧縮伸長装置の基本的構成について説明する。この圧縮伸長装置は、図１の如く、画像データを伸長するための演算器Ｕ１と、演算結果を画像に出力するビデオデコーダＵ２と、再生するフレームの順序を制御する中央演算処理装置（ＣＰＵ：コンピュータ）Ｕ３と、動画を保持する記憶装置Ｕ４とからなる。
【００２３】
中央演算処理装置Ｕ３は、記憶装置Ｕ４に格納された圧縮画像データを管理し、また逆再生、早送り再生及び早送り検索といった特殊再生に応じた再生を行うための圧縮画像データの処理順序を決定し、またその圧縮画像データを伸長する演算器Ｕ１の動作モードを決定する。
【００２４】
中央演算処理装置Ｕ３の動作手順は、記憶装置Ｕ４内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って、以下の各方法を実行するようになっている。
【００２５】
＜圧縮符号化方法＞
上記の圧縮伸長装置を使用した圧縮符号化方法を詳説する。図２は、この圧縮符号化方法を説明するための模式図、図３は、この圧縮符号化方法を実現するためのフローチャートである。
【００２６】
この実施の形態の圧縮符号化方法は、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図２のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行うことが可能となる。
【００２７】
この圧縮符号化方法では、図２の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が所定の符号化器（図示せず）に入力される（図３中のステップＳＴ１）。尚、図３中のキーブロックメモリ２には、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ＝Group of Block：後に詳述する）から構成される参照フレームｆ０（図示省略）が格納されている。この参照フレームｆ０は、後述する復号化器のキーブロックメモリ１１に圧縮伝送された後、復号化されて格納されることになる。
【００２８】
そして、この圧縮符号化方法で使用される符号化器は、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっており、図２においては、入力フレームｆ１がキーフレームとなっている。
【００２９】
図３中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図２においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間符号化処理を実行する。
【００３０】
このステップＳＴ３の処理手順を図４に示している。図４に示すように、ステップＳＴ４でキーブロックメモリ２に格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。
【００３１】
次いで、図４中のステップＳＴ５で、差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつ小ブロック単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３２】
他方、図４中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合は、ステップＳＴ７に処理が移行する。そして、入力フレームｆ１（キーフレーム）について、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００３３】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００３４】
フレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図４の処理）の実行後、図３中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数は、図３中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図３に示したキーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号化器で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００３５】
次に、図２に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器に入力される。そうすると、図３中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図２において、フレームｆ２はキーフレームでは無い。したがって、図３においてはステップＳＴ９に処理が移行する。
【００３６】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（以下「ＧＯＢ」と称す）に分割される。
【００３７】
ここで、ＧＯＢは、１フレームの画像において、例えば１６分割または３２分割という具合に、「２」のべき乗の個数で垂直方向に分割するための分割単位としての特定領域を意味している。
【００３８】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（「キーＧＯＢ」と称す）が指定される。
【００３９】
ここで、図６（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図２に示すように、時間軸に沿って配列されることになる。
【００４０】
再びフレームｆ２の説明に戻る。この時点で、図３中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２に蓄積される。
【００４１】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図５はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図５に示すように、まずステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図３に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００４２】
次に、図２において、上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ１３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２にフレーム１枚分蓄積され、図２に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００４３】
このように、上記ステップＳＴ３でキーブロックメモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００４４】
またキーブロックメモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００４５】
＜通常再生時の復号化方法＞
次に、通常再生時の復号化方法を詳説する。図７は、この復号化方法を説明するための模式図、図８は、この復号化方法を実現するためのフローチャートである。
【００４６】
まず、上記の圧縮符号化方法で符号化した圧縮画像データが、ビットストリームとなって復号化器に入力される（図８中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器から所定の復号化器（図示せず）に、図７に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図８中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図４のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や１６×１６画素程度の小ブロック単位で施される。ここで、図７中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ１１（図８）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ１０（図８）に格納される。
【００４７】
また、図７において、キーフレームｆ１の圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図３中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図２参照）が合成される。この合成された参照フレームＡは、復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図６（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００４８】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図８に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００４９】
図９は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図９に示すように、先ず８×８画素または１６×１６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。
【００５０】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５１】
他方、当該ブロックがキーＧＯＢに属する場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００５２】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００５３】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。
【００５４】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００５５】
次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００５６】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図８に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００５７】
以上のキーＧＯＢ再量子化工程を図６に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図７に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。
【００５８】
次に、上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００５９】
このようにして、圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６０】
＜逆再生の復号化方法＞
逆再生の復号化方法について説明する。まず中央演算処理装置Ｕ３は、図１の如く、動作モードを決定するために、該当する圧縮画像データが直前に再生したのと同じＧＯＰに存在するか否かを判定する。ここで、異なるＧＯＰである場合は、キーフレームとキーＧＯＢのデータを記憶装置Ｕ４内から検索し、演算器Ｕ１に対してキーフレームとキーＧＯＢのデータを伸長するよう指示する。
【００６１】
このようにして、中央演算処理装置Ｕ３が、伸長する圧縮データが格納される記憶装置のポインタと伸長する動作モードを演算器Ｕ１に対して指示することで、演算器Ｕ１が圧縮画像データの伸長を開始する。演算器Ｕ１は、伸長した画像データをビデオデコーダＵ２に出力し画像が再生される。
【００６２】
図１０は、上記した圧縮符号化方法で圧縮された画像データのデータフォーマットを例示したものである。この画像データでは、先頭に参照フレーム（参照フレームＩ）Ｉが格納され、続いてキーフレームＫ１が格納され、さらにその後にキーＧＯＢが含まれるフレームＡ１〜Ａ８が格納される。その後、キーフレームＫ２，Ｋ３…と、キーＧＯＢが含まれるフレームＢ１〜Ｂ８，Ｃ１〜Ｃ８…とが繰り返し格納される。
【００６３】
参照フレーム（Ｉピクチャ）Ｉは画面全体がイントラ（フレーム内）符号化された圧縮画像データである。
【００６４】
キーフレームＫ１…は画面全体がＩピクチャまたはキーフレームと相関圧縮された圧縮画像データである。
【００６５】
キーＧＯＢが含まれた各フレーム（Ｐピクチャ）Ａ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…では、画面を複数のＧＯＢに分割し、そのうちの一つをイントラ符号化されたキーＧＯＢとする一方、その他をキーフレームと相関圧縮された圧縮画像データとする。
【００６６】
キーフレームＫ２，Ｋ３…は、各キーＧＯＢが含まれたフレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…の中のキーＧＯＢを集めて一画面にしたもの圧縮画像データである。尚、以下の説明では、同一のキーフレームと相関圧縮された圧縮画像データをＧＯＰと称することとする。
【００６７】
逆再生の処理手順を、次の表１に示す。
【００６８】
【表１】
表１中の＃印の欄は処理番号であり、この処理番号の順に動作が実行される。また、表１中の符号Ａ１Ｇ‐Ａ８Ｇ及び符号Ｂ１Ｇ‐Ｂ８Ｇは、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８に含まれるキーＧＯＢを意味している。
【００７０】
まず処理番号＃１において、フレームＢ１‐Ｂ８のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ，Ｂ１Ｇ‐Ｂ８Ｇ）を展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき、画像再生は行わない。
【００７１】
次に、処理番号＃２において、処理番号＃１で展開したフレームＢ１‐Ｂ８のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ，Ｂ１Ｇ‐Ｂ８Ｇ）を用いて、キーフレームＫ３を展開する。このとき画像再生は行わない。
【００７２】
続いて、処理番号＃３において、フレームＣ８‐Ｃ１を所定の表示装置側に転送し、当該画像を再生する。このときキーブロックメモリ１１は更新しないでおく。その後、処理番号＃４においてキーフレームＫ３を再生する。
【００７３】
処理番号＃５では、フレームＡ１〜Ａ８内のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ）を展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき画像再生は行わない。そして、処理番号＃６において、処理番号＃５で展開されたフレームＡ１〜Ａ８内のキーＧＯＢ（Ａ１Ｇ‐Ａ８Ｇ）を使用して、キーフレームＫ２を展開する。このとき画像再生は行わない。
【００７４】
そして、処理番号＃７において、フレームＢ８‐Ｂ１を所定の表示装置に転送し、この画像を再生する。このときキーブロックメモリ１１を更新しないでおく。続いて、キーフレームＫ２を再生する。
【００７５】
次に、処理番号＃９において、参照フレーム（Ｉピクチャ）ＩをキーＧＯＢに展開し、この展開されたデータをキーブロックメモリ１１に格納する。このとき画像再生は行わない。そして、処理番号１０おいて、処理番号９で展開された参照フレーム（Ｉピクチャ）ＩをキーＧＯＢを用いて、キーフレームＫ１を展開する。このとき画像再生は行わない。続く処理番号＃１１において、フレームＡ８‐Ａ１を表示装置に転送し、かかる画像を再生する。このときキーブロックメモリ１１を更新しないでおく。
【００７６】
しかる後、キーフレームＫ１を再生（処理番号＃１２）した後、さらに、キーブロックメモリ１１内に展開された参照フレームＩの画像を再生する（処理番号＃１３）。
【００７７】
このように、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…内にキーＧＯＢを含ませているので、このキーＧＯＢを使用することで、最初から全ての動画像を時間軸に沿って展開しなければならないＭＰＥＧ等の従来の圧縮画像に比べて、容易に逆再生の復号化を行うことができる。したがって、大量のメモリを必要とせず、効率よく逆再生の復号化を行うことができ、スムーズな逆再生画像を表示できる。
【００７８】
また、従来のＪＰＥＧ等の静止画像を擬似的に動画像表示させる場合に比べて、上記した圧縮符号化方法で圧縮符号化することで、高い圧縮率を実現することができる。
【００７９】
＜早送り再生の復号化方法＞
次に、早送り再生の処理手順について説明する。例として、３倍再生の早送りを例として挙げ、最初のキーＧＯＢを含むフレームＡ１を再生した後に、特殊再生としての早送りを開始する場合について説明する。尚、早送り再生する画像データのデータフォーマットは、図１０に示した通りである。
【００８０】
早送り再生の処理手順を、次の表２に示す。
【００８１】
【表２】
まず、処理番号＃２１において、参照フレーム（Ｉピクチャ）ＩをキーＧＯＢに展開し、この展開されたデータをキーブロックメモリ１１に格納した後、キーブロックメモリ１１内に展開された参照フレームＩの画像を再生する。
【００８３】
次に、処理番号＃２２において、キーフレームＫ１を展開する。このとき画像再生は行わないでおく。
【００８４】
続いて、処理番号＃２３でフレームＡ１を表示装置に転送し、当該フレームＡ１の画像を再生する。
【００８５】
そして、処理番号＃２４で、フレームＡ２，Ａ３のキーＧＯＢ（Ａ２Ｇ，Ａ３Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、続く処理番号＃２５では、フレームＡ４を表示装置に転送して当該画像を再生する。
【００８６】
また、処理番号＃２６において、フレームＡ６，Ａ７のキーＧＯＢ（Ａ６Ｇ，Ａ７Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃２７では、フレームＡ８を表示装置に転送して、当該画像を再生する。
【００８７】
さらに、処理番号＃２８で、キーフレームＫ２を展開する。このとき画像再生は行わないでおく。また、処理番号＃２９において、フレームＢ１のキーＧＯＢ（Ｂ１Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、フレームＢ２を表示装置に転送し、当該画像を再生する（処理番号＃３０）。
【００８８】
そして、フレームＢ３，Ｂ４のキーＧＯＢ（Ｂ３Ｇ，Ｂ４Ｇ）を更新する（処理番号＃３１）。このとき、画像の再生は行わないでおく。一方、次の処理番号＃３２では、フレームＢ５を表示装置に転送し、当該画像を再生する。
【００８９】
続いて、処理番号＃３３では、フレームＢ６，Ｂ７のキーＧＯＢ（Ｂ６Ｇ，Ｂ７Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃３４では、フレームＢ８を表示装置に転送し、当該画像を再生する。
【００９０】
処理番号＃３５では、キーフレームＫ３を展開する。このとき画像再生は行わないでおく。一方、処理番号＃３６では、フレームＣ１を表示装置に転送し、当該画像を再生する。
【００９１】
また、処理番号＃３７では、フレームＣ２，Ｃ３のキーＧＯＢ（Ｃ２Ｇ，Ｃ３Ｇ）を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃３８において、フレームＣ４を表示装置に転送し、当該画像を再生する。
【００９２】
さらに処理番号＃３９において、フレームＣ５，Ｃ６のキーＧＯＢ（Ｃ５Ｇ，Ｃ６Ｇ）領域を更新する。このとき、画像の再生は行わないでおく。一方、処理番号＃４０で、フレームＣ７を転送し画像を再生する。
【００９３】
このように、各フレームＡ１〜Ａ８，Ｂ１〜Ｂ８，Ｃ１〜Ｃ８…内にキーＧＯＢを含ませ、さらに、フレーム内のデータを展開するのみで再生する必要のないキーフレームＫ１，Ｋ２，Ｋ３と、フレーム内の特定部分データ（キーＧＯＢ）のみ展開する必要があって再生しないフレームＡ２，Ａ３，Ａ６，Ａ７，Ｂ１，Ｂ３，Ｂ４，Ｂ６，Ｂ７，Ｃ２，Ｃ３，Ｃ５，Ｃ６と、フレーム内の特定部分データ（キーＧＯＢ）を展開し且つ再生する必要のあるフレームＡ１，Ａ４，Ａ８，Ｂ２，Ｂ５，Ｂ８，Ｃ１，Ｃ４，Ｃ７と、フレーム内のデータを全て展開して再生するフレームＩとを隅分け、キーＧＯＢを適宜しようして早送り再生を行っているので、最初から全ての動画像を時間軸に沿って展開しなければならないＭＰＥＧ等の従来の圧縮画像に比べて、容易に早送り再生の復号化を行うことができる。したがって、大量のメモリを必要とせず、効率よく動画像の早送り再生を行うことができ、スムーズな早送り再生画像を表示できる。
【００９４】
＜早送り検索の復号化方法＞
上記した圧縮符号化方法では、画面内が複数のＧＯＢに分割されており、各フレーム内に、画面相関をとらないイントラ符号化したキーＧＯＢが必ず存在する。したがって、動画像の撮像時に検索対象が画面内に映るようにカメラ配置されていた場合、記録された複数のフレームにおいて、イントラ符号化されたキーＧＯＢのみを再生することで、高速な早送り検索を行うことができる。
【００９５】
ただし、早送り検索のための画面（以下「サーチ画面」と称す）は、一画面中に異なる時間に撮影された画像が表示されるため、画面に不連続な線が入った状態で再生される。このため、このまま再生を停止させた場合には、検索の対象物であるかどうかを識別することが難しい。
【００９６】
そこで、この検索結果を表示させる画面としては、複数の時間に撮影された画面をそれぞれ分割し、再合成された画面を検索結果の画面とする。即ち、画面に表示されている部分画面の元の画面を順次再生することで、検索の対象物を識別することが可能になる。
【００９７】
図１の如く、中央演算処理装置Ｕ３は、伸長する圧縮データが格納される記憶装置Ｕ４のポインタと伸長する動作モードとを、演算器Ｕ１に対して指示する。これにより、演算器Ｕ１が圧縮画像データの伸長を開始する。演算器Ｕ１は、伸長した画像データをビデオデコーダＵ２に出力し、画像が再生される。
【００９８】
キーＧＯＢの再生において、中央演算処理装置Ｕ３は記憶装置Ｕ４に格納された圧縮データからキーＧＯＢを集め、画面を再構成する。再構成する際に、中央演算処理装置Ｕ３は元画面のＩＤを保持しており、再生中の画面がどの画面から再構成されたものかがわかるようになっている。
【００９９】
中央演算処理装置Ｕ３は、再構成されたデータを演算器Ｕ１に処理をさせ、再生させる。
【０１００】
以下に、イントラ符号化されたＧＯＢを再生することにより早送り検索を行う処理動作を詳述する。
【０１０１】
図７の通り、画面の各フレームｆ１〜ｆ５は複数のＧＯＢに分割されており、画面相関をとらないイントラ符号化したキーＧＯＢが各フレームｆ１〜ｆ５内にに必ず存在する。このキーＧＯＢのデータを複数のフレームｆ１〜ｆ５から抜き出し、画面を再構成して再生する。即ち、キーフレームのみをサーチ画面として早送り検索を行う。
【０１０２】
これにより、検索対象が画面全体に映るようにカメラが設置されていた場合、高速な検索を行うことができる。
【０１０３】
次に、早送り検索（キーＧＯＢの再生）の途中で一時停止する場合の動作を説明する。この場合、中央演算処理装置Ｕ３が、一時停止するときに、再生されている画像から保持している元画像の情報を判定する。そして、中央演算処理装置Ｕ３は、判定した画像を順番に演算器Ｕ１に処理をさせ、画像を再生する。
【０１０４】
ところで、上述の通り、サーチ画面の再生画像は、複数の時間に撮影されたものを再構成したものであるため、移動している撮像対象物が複数のＧＯＢに分割されていた場合、サーチ画面内において当該撮像対象物がキーＧＯＢ単位で分離してしまい、そのまま一時停止をしても何が撮影されているが確認できない。
【０１０５】
このため、画面を構成した元画面の情報を蓄えておき、一時停止をされた時は元画面を順番に再生していくことで、撮像対象物が何であるかを容易に認識できるようになる。
【０１０６】
【発明の効果】
請求項１及び請求項５に記載の発明によれば、フレーム内符号化とフレーム間の差分を用いた符号化とが各フレーム内に混在している場合に、複数の他のブロック内の特定領域を時間軸に沿って復号化し、その特定領域に基づいて参照フレームを展開し、当該参照フレームに基づいて後続キーフレームを復号化し、そのキーフレームに基づいて、後続周期における複数の他のブロックの画像を時間軸とは逆に復号化し再生した後、先に復号化されたキーフレームを再生するようにしているので、フレーム間符号化により高い圧縮率を実現しつつ、逆再生においては、フレーム内符号化された特定領域を用いてスムーズな動画を得ることが可能である。
【０１０７】
請求項２、請求項３及び請求項５に記載の発明によれば、フレーム内符号化とフレーム間の差分を用いた符号化とが各フレーム内に混在している場合に、複数の他のブロックの特定領域を抽出しつつ、キーフレームに基づいて、一部の他のブロックのみを復号化し再生し、抽出された特定領域に基づいて参照フレームを展開し、参照フレームに基づいてキーフレームを復号化するので、フレーム間符号化により高い圧縮率を実現しつつ、早送り再生または早送り検索においては、フレーム内符号化された特定領域を用いてスムーズな動画を得ることが可能である。
【０１０８】
請求項４及び請求項５に記載の発明によれば、キーフレーム及び前記他のブロックの画像を蓄積してるので、早送り検索の途中で一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生することで、特定領域毎に画像が分断されるといった事態を防止できる。したがって、高い圧縮率を実現しつつも、早送り検索において、検索の対象物を比較的正確に識別することが可能となる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態で使用される圧縮伸長装置の基本的構成を示すブロック図である。
【図２】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】４つのブロック領域に分割された各フレームを示す説明図である。
【図７】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図８】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図９】再量子化処理を説明するためのフローチャートである。
【図１０】圧縮符号化された動画像のデータフォーマットを示す図である。
【図１１】従来の符号化方法を説明するためのフローチャートである。
【図１２】従来の符号化方法を説明するためのフローチャートである。
【符号の説明】
１，１０ キーフレームメモリ
２，１１ キーブロックメモリ
ｆ１ キーフレーム
ｆ２〜ｆ５ フレーム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a fast-forward playback method, a reverse playback method, a fast-forward search method, and a technique related to the method.
[0002]
[Prior art]
As a compression encoding method of moving images, a method combining DCT (Discrete Cosine Transform) and motion compensation prediction encoding is generally used, and this method is also adopted in the MPEG (Moving Picture Experts Group) method. ing. In general, DCT is applied to intra-frame (intra) coding in which coding is performed using only information in a frame (still image) so as to reduce redundancy in the spatial direction. In addition, motion compensation predictive coding (inter-frame (inter) coding) predicts a frame to be encoded from a frame at another time in order to reduce redundancy in the time direction, Are subjected to DCT, quantization, or the like. In this case, in order to keep the difference small, the encoding target frame is often predicted from temporally adjacent frames. Such intra-frame coding and motion-compensated prediction coding processes are performed with a block obtained by dividing a frame into a plurality of basic processing units.
[0003]
However, in the case of a moving image such as a monitoring video that has an extremely small temporal change, an input frame is periodically set as a reference image (hereinafter referred to as “key frame”), and the interval between this key frame and the input frame is set. Even if the differential encoding method that takes the difference signal of is used, the difference amount between both frames is considered to be small. This method has advantages such as a reduction in calculation load and resistance to errors caused by missing frames, as compared with the above-described motion compensation prediction encoding using adjacent frames.
[0004]
The outline of the conventional differential encoding method will be described with reference to FIG. Assume that a plurality of frames f1, f2,... Sequentially output from the imaging sensor are sequentially input to the encoder.
[0005]
As shown in FIG. 11, when a frame fn (n = 1, 2,...) Is input (ST100), whether or not the input frame fn is a key frame is determined in step ST101. If the frame fn is a key frame, intra-frame encoding processing is executed in step ST102. That is, the frame fn is divided into blocks, DCT is performed for each block, and the conversion coefficient is calculated. Next, a quantized coefficient obtained by quantizing the transform coefficient is output. Next, in step ST103, encoded data obtained by variable-length encoding (entropy encoding) the quantization coefficient is generated, converted into a bit stream, and output. The quantization coefficient calculated in step ST102 is stored in the
[0006]
Next, when the next frame fm (m = n + 1) is input in step ST100, whether or not the frame fm is a key frame is determined in step ST101. If the frame fm is not a key frame, the process proceeds to step ST105. Then, the difference value of the pixel value is calculated for each block between the key frame fn and the frame fm stored in the
[0007]
An example of such a bitstream decoding process will be described below with reference to FIG. When the bit stream is input (ST110), a compression-coded signal is extracted from the bit stream and subjected to variable length decoding to obtain the quantization coefficient. Next, in step ST111, when the quantized coefficient has been intra-frame encoded in step ST102 of the compression encoding process, the decoding (intra-frame decoding) is performed and stored in the
[0008]
In such a moving image compression method represented by the MPEG method, high compression efficiency can be obtained by compressing difference information between frames.
[0009]
In addition, there is a method of reproducing like a moving image by adopting a still image compression method, such as the Motion JPEG method, and switching and displaying such still images in time series.
[0010]
[Problems to be solved by the invention]
{First issue}
By the way, when playing back a moving image, fast-forward playback or reverse playback may be performed for searching in addition to playback at a normal speed as recorded. In the moving picture compression system such as the above-mentioned MPEG system, the frame information up to immediately before is required for reproduction, and therefore, the frames must be expanded sequentially in time order. For this reason, even when a frame is reproduced in a direction opposite to the time axis as in the case of reverse reproduction, it is necessary to once decompress the data along the time axis. As a result, a large amount of memory is required for reproduction, and it takes time to start reproduction, and the moving image becomes awkward.
[0011]
Also, in the case of reproducing while thinning out frames as in fast-forward reproduction, it is necessary to reproduce once along the time axis similarly. For this reason, the amount of data to be decompressed per unit time increases as the image is thinned out compared to normal reproduction. Actually, when fast-forwarding playback of MPEG moving images, the reference frame is played like a picture-story show, and a smooth moving image cannot be obtained.
[0012]
On the other hand, a still image compression method such as the Motion JPEG method has a high degree of freedom for discontinuous reproduction such as frame thinning. However, there is a problem that the compression rate is lower than that of the moving image compression method.
[0013]
In view of such problems, the present invention intends to solve the problem that a compression-coded moving image of a moving image that obtains a smooth moving image in special reproduction such as reverse reproduction and fast-forward reproduction while realizing a high compression rate. The present invention is to provide a fast-forward playback method, a reverse playback method, and a related technology.
[0014]
{Second issue}
By the way, when searching for a target screen from a moving image, the search is performed by performing fast-forward playback. In MPEG, which is a moving image compression method, only images that do not have screen correlation are played and fast-forwarding is realized. However, when fast-forwarding playback is performed with a general MPEG playback device, only reference frames that are not screen-correlated are played back. It becomes like a picture-story show. For this reason, it is overlooked when the search target screen is not in the reference frame.
[0015]
When images are thinned out in units of frames, an object that has moved only a few frames is not reproduced on the screen. For security purposes, if an intruder moves only a few frames to search for an intruder, the intruder cannot be found and cannot be used as a search.
[0016]
Accordingly, the present invention intends to solve a moving image fast-forward search method capable of relatively accurately identifying a search target in a video search during fast-forward playback while realizing a high compression ratio, and It is also about providing related technology.
[0017]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to
[0018]
The invention according to
[0019]
According to a third aspect of the present invention, a plurality of key frames designated at regular intervals from a plurality of frames, and input after each key frame and divided into a plurality of block areas, and each block area And when the first difference between each of the block areas excluding the specific area and the key frame is greater than a predetermined value, the block area is While only the information in the other frame is compression-encoded, the difference signal is compression-encoded when the first difference is smaller than a predetermined value, and only the specific area in the plurality of other frames is framed. When the second difference between the reference frame generated by storing one frame and the key frame is larger than a predetermined value, the key frame is compressed and encoded only with the information in the frame. On the other hand, when the second difference is smaller than a predetermined value, there is provided a fast-forward search method for fast-forwarding a moving image generated by compressing and encoding the difference signal, the step of fast-forwarding the moving image, and the fast-forwarding A step of pausing and displaying a moving image in the middle of reproduction, and the step of fast-forward reproduction includes: a) extracting the specific area of a plurality of the other blocks based on the key frame; A step of decoding and reproducing only other blocks of the unit; b) a step of expanding the reference frame based on the specific area extracted in the a), and a step of decoding the key frame based on the reference frame And c) a step of repeatedly executing the steps a) and b) for each cycle along the time axis.
[0020]
According to a fourth aspect of the present invention, in the moving image fast-forward search method according to the third aspect, the step of pausing and displaying the moving image in the middle includes images of the key frame and the other blocks. Are stored, and when the image is paused, the stored images are sequentially reproduced along the time axis.
[0021]
A fifth aspect of the present invention is a program for causing a computer to realize each step according to any one of the first to fourth aspects.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
<Basic configuration of compression / decompression device>
First, the basic configuration of the compression / decompression apparatus used in one embodiment of the present invention will be described. As shown in FIG. 1, this compression / decompression apparatus includes a computing unit U1 for decompressing image data, a video decoder U2 for outputting the computation results to an image, and a central processing unit (CPU: CPU) for controlling the order of frames to be reproduced. Computer) U3 and a storage device U4 for holding moving images.
[0023]
The central processing unit U3 manages the compressed image data stored in the storage device U4, and determines the processing order of the compressed image data for performing reproduction according to special reproduction such as reverse reproduction, fast-forward reproduction, and fast-forward search. The operation mode of the arithmetic unit U1 for decompressing the compressed image data is determined.
[0024]
The operation procedure of the central processing unit U3 is regulated by a software program stored in advance in the storage device U4, and the following methods are executed in accordance with this software program.
[0025]
<Compression encoding method>
A compression encoding method using the above compression / decompression apparatus will be described in detail. FIG. 2 is a schematic diagram for explaining this compression coding method, and FIG. 3 is a flowchart for realizing this compression coding method.
[0026]
The compression encoding method of this embodiment is different from the MPEG method in which a difference is taken with the immediately preceding frame as a reference, and compresses with the reference frame fixed as shown in FIG. Thus, reproduction in the opposite time direction can be performed relatively easily.
[0027]
In this compression encoding method, as shown in FIG. 2, for example, a plurality of still images (frames) f1, f2, f3 taken sequentially along the time axis by an imaging sensor such as a CCD (charge coupled device) sensor or a CMOS sensor. .. are input to a predetermined encoder (not shown) (step ST1 in FIG. 3). In the
[0028]
The encoder used in this compression encoding method periodically designates a key frame from the input frames f1, f2, f3, f4,... The frame f1 is a key frame.
[0029]
In step ST2 in FIG. 3, it is determined whether or not the input frame f1 is a key frame. In FIG. 2, since the frame f1 is a key frame as described above, the process proceeds to step ST3 as it is, and intra-frame (intra) / inter-frame encoding processing is executed.
[0030]
The processing procedure of step ST3 is shown in FIG. As shown in FIG. 4, the difference value of the pixel value between the reference frame f0 (not shown) and the input frame f1 (key frame) stored in the
[0031]
Next, in step ST5 in FIG. 4, it is determined whether or not the sum of absolute differences is equal to or less than a threshold value. For example, the difference value is ΔP i When expressed by (i: number corresponding to each pixel), the sum of absolute differences S is S = | ΔP 1 | + | ΔP 2 | + ... + | ΔP n | (N: number of pixels). When the difference absolute value sum S is equal to or smaller than the threshold value, the input frame f1 is subjected to inter-frame encoding using the frame f0, assuming that the temporal change between the frames f0 and f1 is small (step ST6). Specifically, an orthogonal transform such as DCT (Discrete Cosine Transform) is performed on the difference signal between the input frame f1 and the frame f0, and a quantized coefficient obtained by quantizing the transform coefficient is calculated. Further, such interframe coding processing is executed in units of small blocks having a size of 8 × 8 pixels or 16 × 16 pixels. The same applies to the subsequent processing. In this embodiment, orthogonal transformation such as DCT is adopted as a transformation method, but DWT (discrete wavelet transformation) may be adopted instead of DCT. In this case, the inter-frame encoding process may be executed in units of frames by dividing the frame into a plurality of areas called tiles in consideration of the execution memory capacity or the like instead of being performed in units of the small blocks. .
[0032]
On the other hand, when the difference absolute value sum S calculated in step ST4 exceeds the threshold value in step ST5 in FIG. 4, the process proceeds to step ST7. The input frame f1 (key frame) is subjected to intraframe encoding that encodes only the information in the frame. Specifically, orthogonal transformation such as DCT is performed on the pixel value of the frame f1, and a quantized coefficient obtained by quantizing the transform coefficient is calculated.
[0033]
Actually, from the viewpoint of increasing the compression rate of the frame, color space conversion is performed on the input frame before the intra-frame coding (step ST7) or the inter-frame coding (step ST6). The For example, when the original signal is composed of RGB spaces of “R (red component)”, “G (green component)”, and “B (blue component)”, this is adopted in the NTSC (National Television System Committee) system or the like. YUV coordinate system, YIQ coordinate system, YC b C r A coordinate system or the like may be used. For example, YC b C r When a coordinate system is used, the RGB components are a luminance signal Y and two color difference signals C. b , C r YC consisting of b C r Converted to the component coordinate system. YC b C r Since the component has a smaller correlation between the components than the RGB component, the image size can be compressed.
[0034]
After the intra-frame / inter-frame encoding process (step ST3, that is, the process of FIG. 4), the process proceeds to step ST19 in FIG. At this time, the quantized coefficients calculated in steps ST6 and ST7 (FIG. 4) are subjected to entropy coding including Huffman coding, and then image information such as the image size of the frame and the number of quantization bits, Are multiplexed together with compression information such as a coding table and a coding method of each small block area (intra-frame coding, inter-frame coding), etc., and output as a bit stream. Further, the quantization coefficients calculated in steps ST6 and ST7 (FIG. 4) are subjected to local decoding (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST8 in FIG. 3, and are shown in FIG. Stored in the
[0035]
Next, as shown in FIG. 2, the frame f2 is input to the encoder following the frame f1. Then, whether or not the frame f2 is a key frame is determined in step ST2 in FIG. In FIG. 2, the frame f2 is not a key frame. Therefore, in FIG. 3, the process proceeds to step ST9.
[0036]
In step ST9, the frame f2 is divided into a plurality of block areas (hereinafter referred to as “GOB”).
[0037]
Here, GOB means a specific area as a division unit for dividing the image in the vertical direction by the number of powers of “2”, for example, 16 divisions or 32 divisions in an image of one frame.
[0038]
Next, in step ST10, one or more specific areas (referred to as “key GOB”) are designated from these GOBs.
[0039]
Here, FIG. 6A schematically shows a frame f2 divided into four GOBs. The frame f2 is divided into four GOBs in units of ten to several tens of pixels in the vertical direction, and the first stage GOB is designated as the key GOB (“key GOB1”). As shown in FIGS. 2B to 2D, the frames f3 to f5 sequentially input to the encoder following the frame f2 are also divided into a plurality of GOBs. However, as the respective key GOB, the second stage GOB (“key GOB2”) of the frame f3, the third stage GOB (“key GOB3”) of the frame f4, and the fourth stage GOB (“key” of the frame f5). GOB4 ") is specified. These frames f2 to f5 including the key frame f1 and the keys GOB1 to GOB4 are arranged along the time axis as shown in FIG.
[0040]
Returning to the description of the frame f2 again. At this point, the process proceeds to step ST11 in FIG. 3, and thereafter, the frame f2 is sequentially processed for each small block obtained by further dividing the GOB into basic processing units of about 8 × 8 pixels or 16 × 16 pixels. become. However, in this step ST11, it is determined whether or not the block to be processed belongs to the key GOB. If the block belongs to the key GOB, the process proceeds to step ST12. Then, after the block is subjected to the intra-frame coding, it is entropy-coded in step ST19, multiplexed with the image information and the compression information, and output as a bit stream. In addition, the quantization coefficient output by intra-frame encoding the block in step ST12 is stored in the
[0041]
On the other hand, if the block does not belong to the key GOB in step ST11, the process shifts to the intraframe / interframe encoding process in step ST14. Here, FIG. 5 is a flowchart showing a processing procedure of a subroutine of intra-frame / inter-frame encoding processing. As shown in FIG. 5, first, in step ST15, the difference value between the block of the input frame and the key frame stored in the
[0042]
Next, in FIG. 2, the frames f3, f4,... That are input to the encoder following the frame f2 are processed in the same manner as in the case of the frame f2 until the key frame is input. However, as described above, the positions of the key GOB (key GOB1 to key GOB4) in the frames f2, f3, f4,. In this way, the key GOB1 to key GOB4 locally decoded in step ST13 is stored in the
[0043]
In this way, intra-frame coding and inter-frame coding are selectively executed according to the difference between the reference frame stored in the
[0044]
In the
[0045]
<Decoding method during normal playback>
Next, a decoding method during normal reproduction will be described in detail. FIG. 7 is a schematic diagram for explaining this decoding method, and FIG. 8 is a flowchart for realizing this decoding method.
[0046]
First, the compressed image data encoded by the above-described compression encoding method is input to the decoder as a bit stream (step ST20 in FIG. 8). The compressed image data is separated from the bit stream and then decoded in step ST21. That is, the compressed data of the frames f1, f2,... Shown in FIG. 7 are sequentially input from the encoder to a predetermined decoder (not shown). At this time, in step ST21 in FIG. 8, the compressed data of the key frame f1 is decoded by intra-frame coding or inter-frame coding in the same manner as the processing procedure shown in steps ST4 to ST7 in FIG. Processing is performed in units of small blocks of about 8 × 8 pixels or 16 × 16 pixels. Here, when the compressed data of the key frame f1 in FIG. 7 is decoded, a reference frame f0 (not shown) stored in the key block memory 11 (FIG. 8) in advance is used. The key frame f1 decrypted here is stored in the key frame memory 10 (FIG. 8).
[0047]
In FIG. 7, the intraframe coding in steps ST12 and ST14 to ST18 in FIG. 3 or the compressed data of frames f2, f3,... Input to the decoder following the compressed data of key frame f1 or The same processing as the decoding processing of interframe coding is performed in units of the small blocks. Note that the key frame f1 stored in the
[0048]
By the way, when the frame group f1, f2,... Decoded in step ST21 is displayed as a moving image in this way, between the GOB that has been intra-frame encoded by the encoder and the GOB that has been inter-frame encoded. Differences in the image quality of moving images are likely to appear, and in particular, a key GOB encoded within a frame may be clearly seen in the moving image. In consideration of this, in this embodiment, in step ST22 shown in FIG. 8, only the key GOB decoded in step ST21 is encoded again, and then the key GOB requantization process is executed.
[0049]
FIG. 9 is a flowchart showing a processing procedure of a subroutine of key GOB requantization processing in step ST22. As shown in FIG. 9, first, a small block of about 8 × 8 pixels or 16 × 16 pixels is input (step ST30). Next, in step ST31, it is determined whether or not the block belongs to the key GOB.
[0050]
Here, if the block does not belong to the key GOB, the block is not requantized, the key GOB requantization process ends, and the process moves to step ST23 shown in FIG.
[0051]
On the other hand, if the block belongs to the key GOB, the process proceeds to step ST32, the difference value between the key frame stored in the
[0052]
Next, in step ST33, a condition determination is made as to whether or not the difference absolute value sum S is equal to or smaller than a threshold value. If the difference absolute value sum S exceeds the threshold value, the block is not requantized, and key GOB requantization processing is performed. Is completed, and the process proceeds to step ST23 shown in FIG.
[0053]
On the other hand, if it is determined in step ST33 that the sum of absolute differences S is equal to or less than the threshold value, the process proceeds after step ST34. First, in step ST34, the difference signal between the block and the key frame is transform-coded, and then in step ST35, the transform coefficient is quantized. The processes of these steps ST33 to ST35 are performed by a determination process (ST16) of an encoding method (interframe encoding, intraframe encoding) based on the sum of absolute differences S performed by the encoder, orthogonal transformation such as DCT, This is the same as the quantization process (ST17).
[0054]
After that, in step ST36, the quantized coefficient is inversely quantized, and then in step ST37, transform coding decoding (inverse orthogonal transform such as inverse DCT) in step ST34 is performed. As a result, in accordance with the processing in steps ST34 to ST37, the quantization error is the same as when the block signal other than the key GOB is interframe-encoded by the encoder and the encoded signal is decoded by the decoder. An irreversible differential signal including is obtained.
[0055]
Next, a block is reconstructed from the difference signal using the key frame stored in the
[0056]
The block subjected to the above key GOB requantization processing is output after being combined with a frame (decoded image) in step ST23 shown in FIG.
[0057]
The above key GOB requantization process will be described by taking the frames f2 to f5 shown in FIG. 6 as an example. As schematically shown in FIG. 7, the keys of the frames f2 to f5 decrypted in step ST21 described above are used. The difference between the GOB and the key frame stored in the
[0058]
Next, in step ST32, it is determined whether or not the difference absolute value sum S of the difference values is equal to or less than a threshold value, that is, whether or not to perform interframe encoding. Is subjected to inter-frame coding (transform coding and quantization) and then subjected to decoding of the inter-frame coding (inverse quantization and inverse transform decoding), so that the frames f2 to f5 Decoded images F1 to F5 corresponding to are generated.
[0059]
In this manner, if the difference between the key GOB and the key frame is small in the same procedure as the compression encoding process (ST15 to ST17), the compression encoding is performed on the difference signal between the key GOB and the key frame. Since the key GOB is reconstructed after the decoding, the block area other than the key GOB is inter-coded by the encoder, and then the encoded signal is decoded by the decoder. In addition, errors due to interframe coding and decoding are mixed in the key GOB. Therefore, when displaying the decoded moving image, the key GOB does not stand out in the moving image, and there is an effect that the person watching the moving image does not feel uncomfortable.
[0060]
<Decoding method for reverse playback>
A reverse reproduction decoding method will be described. First, as shown in FIG. 1, the central processing unit U3 determines whether or not the corresponding compressed image data exists in the same GOP as that reproduced immediately before in order to determine the operation mode. If the GOPs are different, the key frame and key GOB data are searched from the storage device U4, and the arithmetic unit U1 is instructed to decompress the key frame and key GOB data.
[0061]
In this way, the central processing unit U3 instructs the computing unit U1 to specify the pointer of the storage device storing the decompressed compressed data and the decompressing operation mode, so that the computing unit U1 decompresses the compressed image data. To start. The arithmetic unit U1 outputs the decompressed image data to the video decoder U2, and the image is reproduced.
[0062]
FIG. 10 shows an example of the data format of the image data compressed by the compression encoding method described above. In this image data, a reference frame (reference frame I) I is stored at the top, followed by a key frame K1, and then frames A1 to A8 including a key GOB. After that, key frames K2, K3... And frames B1 to B8, C1 to C8.
[0063]
A reference frame (I picture) I is compressed image data in which the entire screen is encoded intra (intra-frame).
[0064]
The key frame K1... Is compressed image data in which the entire screen is correlated and compressed with an I picture or key frame.
[0065]
In each frame (P picture) A1 to A8, B1 to B8, C1 to C8... Including the key GOB, the screen is divided into a plurality of GOBs, and one of them is used as an intra-coded key GOB. Others are compressed image data correlated and compressed with key frames.
[0066]
The key frames K2, K3,... Are compressed image data obtained by collecting the keys GOB in the frames A1-A8, B1-B8, C1-C8,. In the following description, compressed image data that is correlation-compressed with the same key frame is referred to as GOP.
[0067]
The reverse playback processing procedure is shown in Table 1 below.
[0068]
[Table 1]
The column marked with # in Table 1 is a process number, and operations are executed in the order of the process numbers. Further, the symbols A1G-A8G and B1G-B8G in Table 1 mean the keys GOB included in the frames A1 to A8 and B1 to B8.
[0070]
First, in
[0071]
Next, in
[0072]
Subsequently, in
[0073]
In the
[0074]
Then, in process number # 7, the frame B8-B1 is transferred to a predetermined display device, and this image is reproduced. At this time, the key block memory 11 is not updated. Subsequently, the key frame K2 is reproduced.
[0075]
Next, in
[0076]
After that, after reproducing the key frame K1 (processing number # 12), the image of the reference frame I developed in the key block memory 11 is further reproduced (processing number # 13).
[0077]
As described above, since the key GOB is included in each of the frames A1 to A8, B1 to B8, C1 to C8..., All the moving images are moved along the time axis from the beginning by using the key GOB. Compared with a conventional compressed image such as MPEG which must be expanded, reverse playback decoding can be easily performed. Therefore, reverse decoding can be efficiently performed without requiring a large amount of memory, and a smooth reverse reproduction image can be displayed.
[0078]
In addition, compared with the conventional case where a still image such as JPEG is displayed as a moving image in a pseudo manner, a high compression rate can be realized by performing compression encoding by the above-described compression encoding method.
[0079]
<Decoding method for fast-forward playback>
Next, a fast-forward playback processing procedure will be described. As an example, the case of starting fast-forwarding as a special playback after playing back the frame A1 including the first key GOB will be described by taking the fast-forwarding of 3 times playback as an example. Note that the data format of the image data to be fast-forwarded is as shown in FIG.
[0080]
The processing procedure for fast-forward playback is shown in Table 2 below.
[0081]
[Table 2]
First, in process number # 21, a reference frame (I picture) I is expanded into a key GOB, the expanded data is stored in the key block memory 11, and then the reference frame I expanded in the key block memory 11 is stored. Play the image.
[0083]
Next, in process number # 22, the key frame K1 is expanded. At this time, image reproduction is not performed.
[0084]
Subsequently, the frame A1 is transferred to the display device with the process number # 23, and the image of the frame A1 is reproduced.
[0085]
Then, the key GOB (A2G, A3G) of the frames A2 and A3 is updated with the process number # 24. At this time, the image is not reproduced. On the other hand, in the subsequent process number # 25, the frame A4 is transferred to the display device to reproduce the image.
[0086]
In process number # 26, the keys GOB (A6G, A7G) of frames A6 and A7 are updated. At this time, the image is not reproduced. On the other hand, in process number # 27, the frame A8 is transferred to the display device and the image is reproduced.
[0087]
Further, the key frame K2 is expanded at process number # 28. At this time, image reproduction is not performed. In process number # 29, the key GOB (B1G) of frame B1 is updated. At this time, the image is not reproduced. On the other hand, the frame B2 is transferred to the display device, and the image is reproduced (processing number # 30).
[0088]
Then, the key GOB (B3G, B4G) of the frames B3 and B4 is updated (processing number # 31). At this time, the image is not reproduced. On the other hand, in the next processing number # 32, the frame B5 is transferred to the display device, and the image is reproduced.
[0089]
Subsequently, in process number # 33, the keys GOB (B6G, B7G) of the frames B6, B7 are updated. At this time, the image is not reproduced. On the other hand, in process number # 34, the frame B8 is transferred to the display device and the image is reproduced.
[0090]
In process number # 35, the key frame K3 is expanded. At this time, image reproduction is not performed. On the other hand, in process number # 36, the frame C1 is transferred to the display device and the image is reproduced.
[0091]
In process number # 37, the keys GOB (C2G, C3G) of the frames C2, C3 are updated. At this time, the image is not reproduced. On the other hand, in process number # 38, the frame C4 is transferred to the display device, and the image is reproduced.
[0092]
Further, in process number # 39, the key GOB (C5G, C6G) area of the frames C5 and C6 is updated. At this time, the image is not reproduced. On the other hand, at process number # 40, the frame C7 is transferred and the image is reproduced.
[0093]
As described above, the key GOB is included in each of the frames A1 to A8, B1 to B8, C1 to C8..., And the key frames K1, K2, and K3 that do not need to be reproduced simply by expanding the data in the frame. The frames A2, A3, A6, A7, B1, B3, B4, B6, B7, C2, C3, C5, and C6 that need to be expanded only for the specific partial data (key GOB) in the frame, Frame A1, A4, A8, B2, B5, B8, C1, C4, and C7 that need to be expanded and reproduced, and frame I that expands and reproduces all the data in the frame , And fast-forward playback using the key GOB appropriately, so that all the moving images must be developed along the time axis from the beginning. Compared to the image, it is possible to perform decoding of easily fast-forward playback. Therefore, it is possible to efficiently perform fast-forward playback of moving images without requiring a large amount of memory, and to display smooth fast-forward playback images.
[0094]
<Decryption method for fast-forward search>
In the compression encoding method described above, the screen is divided into a plurality of GOBs, and there is always an intra-coded key GOB that does not take screen correlation in each frame. Therefore, when the camera is arranged so that the search target is reflected in the screen when the moving image is captured, only the intra-coded key GOB is reproduced in a plurality of recorded frames, thereby performing fast fast-forward search. It can be carried out.
[0095]
However, the screen for fast-forward search (hereinafter referred to as the “search screen”) displays images taken at different times in one screen, so it is played back with discontinuous lines on the screen. . For this reason, when playback is stopped as it is, it is difficult to identify whether or not it is a search target.
[0096]
Therefore, as a screen for displaying the search result, the screen shot at a plurality of times is divided, and the recombined screen is used as the search result screen. That is, it becomes possible to identify the search target by sequentially reproducing the original partial screen displayed on the screen.
[0097]
As shown in FIG. 1, the central processing unit U3 instructs the arithmetic unit U1 of the pointer of the storage device U4 in which the compressed data to be decompressed is stored and the operation mode to be decompressed. As a result, the arithmetic unit U1 starts decompressing the compressed image data. The arithmetic unit U1 outputs the decompressed image data to the video decoder U2, and the image is reproduced.
[0098]
In reproducing the key GOB, the central processing unit U3 collects the key GOB from the compressed data stored in the storage device U4 and reconstructs the screen. When reconstructing, the central processing unit U3 holds the ID of the original screen so that it can be seen from which screen the replayed screen is reconstructed.
[0099]
The central processing unit U3 causes the computing unit U1 to process and reproduce the reconstructed data.
[0100]
Hereinafter, a processing operation for performing a fast-forward search by reproducing an intra-coded GOB will be described in detail.
[0101]
As shown in FIG. 7, each frame f1 to f5 of the screen is divided into a plurality of GOBs, and an intra-coded key GOB that does not take screen correlation is always present in each frame f1 to f5. The data of the key GOB is extracted from the plurality of frames f1 to f5, and the screen is reconstructed and reproduced. That is, fast search is performed using only the key frame as a search screen.
[0102]
Thereby, when the camera is installed so that the search target is reflected on the entire screen, a high-speed search can be performed.
[0103]
Next, the operation in the case of pausing during the fast-forward search (key GOB reproduction) will be described. In this case, when the central processing unit U3 pauses, the information of the original image held from the reproduced image is determined. Then, the central processing unit U3 causes the computing unit U1 to process the determined images in order, and reproduces the images.
[0104]
By the way, as described above, since the reproduced image of the search screen is a reconstructed image taken at a plurality of times, the search screen is displayed when the moving imaging object is divided into a plurality of GOBs. The object to be imaged is separated in units of key GOB, and even if it is paused as it is, what is being photographed cannot be confirmed.
[0105]
For this reason, it is possible to easily recognize what the imaging object is by storing the information of the original screen constituting the screen and reproducing the original screen in order when paused. .
[0106]
【The invention's effect】
According to the first and fifth aspects of the present invention, when intra-frame coding and coding using a difference between frames are mixed in each frame, the identification in a plurality of other blocks is performed. A region is decoded along a time axis, a reference frame is expanded based on the specific region, a subsequent key frame is decoded based on the reference frame, and a plurality of other blocks in the subsequent cycle are decoded based on the key frame. After decoding and playing back the image in reverse to the time axis, the previously decoded key frame is played back, so while achieving high compression ratio by inter-frame coding, in reverse playback, It is possible to obtain a smooth moving image using the specific region that is intra-frame encoded.
[0107]
According to the invention according to
[0108]
According to the fourth and fifth aspects of the present invention, since the key frame and the image of the other block are accumulated, when the temporary stop is performed during the fast-forward search, the accumulated image is stored in time. By sequentially reproducing along the axis, it is possible to prevent a situation in which an image is divided for each specific area. Therefore, it is possible to relatively accurately identify the search object in the fast-forward search while realizing a high compression rate.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of a compression / decompression apparatus used in an embodiment of the present invention.
FIG. 2 is a schematic diagram for explaining a compression coding method according to an embodiment of the present invention.
FIG. 3 is a flowchart for realizing a compression encoding method according to an embodiment of the present invention.
FIG. 4 is a flowchart for realizing a compression encoding method according to an embodiment of the present invention.
FIG. 5 is a flowchart for realizing a compression encoding method according to an embodiment of the present invention.
FIG. 6 is an explanatory diagram showing each frame divided into four block areas.
FIG. 7 is a schematic diagram for explaining a decoding method according to an embodiment of the present invention.
FIG. 8 is a flowchart for realizing a decoding method according to an embodiment of the present invention.
FIG. 9 is a flowchart for explaining requantization processing;
FIG. 10 is a diagram illustrating a data format of a compression-encoded moving image.
FIG. 11 is a flowchart for explaining a conventional encoding method.
FIG. 12 is a flowchart for explaining a conventional encoding method.
[Explanation of symbols]
1,10 key frame memory
2,11 Key block memory
f1 keyframe
f2 to f5 frames
Claims (5)
ａ）一の周期において複数の前記他のブロック内の前記特定領域を時間軸に沿って復号化する工程と、
ｂ）前記ａ）の工程で復号化された前記特定領域に基づいて前記参照フレームを展開し、当該参照フレームに基づいて、前記一の周期において複数の前記他のブロックに後続する前記キーフレームを復号化する工程と、
ｃ）前記ｂ）の工程で復号化されたキーフレームに基づいて、前記一の周期に後続する周期における複数の前記他のブロックの画像を時間軸とは逆に復号化し再生する工程と、
ｄ）前記ｂ）の工程で復号化された前記キーフレームを再生する工程と、
ｅ）前記ａ）〜ｄ）の工程を時間軸とは逆に前記周期毎に繰り返し実行する工程と
を備える動画像の逆再生方法。A plurality of key frames specified at a certain period from a plurality of frames, and input after each key frame and divided into a plurality of block areas, and a specific area is specified from each of the block areas A plurality of other frames, and when the first difference between each block area excluding the specific area and the key frame is larger than a predetermined value, the block area includes only information in the other frame. On the other hand, when the first difference is smaller than a predetermined value, the difference signal is compression encoded and generated by accumulating only the specific area in the plurality of other frames for one frame. When the second difference between a reference frame and the key frame is greater than a predetermined value, the key frame is compression-coded only with information in the frame, while the second difference is A reverse playback method for reverse playback a moving image in which the difference signal is generated are compressed and encoded when constant smaller,
a) decoding the specific area in the plurality of other blocks in one cycle along a time axis;
b) Expanding the reference frame based on the specific area decoded in the step a), and based on the reference frame, the key frame following the plurality of other blocks in the one cycle. Decrypting; and
c) based on the key frame decrypted in the step b), decrypting and reproducing the images of the plurality of other blocks in a period subsequent to the one period in reverse to the time axis;
d) reproducing the key frame decrypted in the step b);
e) A method for reversely reproducing a moving image, comprising: repetitively executing the steps a) to d) for each period in the opposite direction to the time axis.
ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、
ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、
ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程と
を備える動画像の早送り再生方法。A plurality of key frames specified at a certain period from a plurality of frames, and input after each key frame and divided into a plurality of block areas, and a specific area is specified from each of the block areas A plurality of other frames, and when the first difference between each block area excluding the specific area and the key frame is larger than a predetermined value, the block area includes only information in the other frame. On the other hand, when the first difference is smaller than a predetermined value, the difference signal is compression encoded and generated by accumulating only one specific region in the plurality of other frames for one frame. When the second difference between a reference frame and the key frame is greater than a predetermined value, the key frame is compression-coded only with information in the frame, while the second difference is A fast-forward reproducing method for fast forward playback a moving image the difference signal if the constant is smaller than is generated are compressed and encoded,
a) extracting and reproducing only some other blocks based on the key frame while extracting the specific areas of the plurality of other blocks;
b) expanding the reference frame based on the specific region extracted in the a), and decoding the key frame based on the reference frame;
c) A method of fast-forwarding moving images, comprising the steps of a) and b) being repeatedly executed for each cycle along the time axis.
前記動画像を早送り再生する工程と、
前記早送り再生の途中で動画像を一時停止して表示する工程と
を備え、
前記早送り再生する工程は、
ａ）複数の前記他のブロックの前記特定領域を抽出しつつ、前記キーフレームに基づいて、一部の他のブロックのみを復号化し再生する工程と、
ｂ）前記ａ）で抽出された前記特定領域に基づいて前記参照フレームを展開し、前記参照フレームに基づいて前記キーフレームを復号化する工程と、
ｃ）前記ａ）及びｂ）の工程を時間軸に沿って前記周期毎に繰り返し実行する工程と
を備える動画像の早送り検索方法。A plurality of key frames specified at a certain period from a plurality of frames, and input after each key frame and divided into a plurality of block areas, and a specific area is specified from each of the block areas A plurality of other frames, and when the first difference between each block area excluding the specific area and the key frame is larger than a predetermined value, the block area includes only information in the other frame. On the other hand, when the first difference is smaller than a predetermined value, the difference signal is compression encoded and generated by accumulating only one specific region in the plurality of other frames for one frame. When the second difference between a reference frame and the key frame is greater than a predetermined value, the key frame is compression-coded only with information in the frame, while the second difference is A fast-forward search method for fast forward searching a moving image in which the difference signal if the constant is smaller than is generated are compressed and encoded,
Fast-forward playback of the moving image;
A step of pausing and displaying a moving image during the fast-forward playback,
The fast-forward playback step includes:
a) extracting and reproducing only some other blocks based on the key frame while extracting the specific areas of the plurality of other blocks;
b) expanding the reference frame based on the specific region extracted in the a), and decoding the key frame based on the reference frame;
c) A fast-forwarding search method for moving images, comprising the steps of a) and b) being repeatedly executed for each cycle along the time axis.
前記途中で動画像を一時停止して表示する工程は、前記キーフレーム及び前記他のブロックの画像を蓄積し、一時停止をされたときに、蓄積された前記画像を時間軸に沿って順次再生することを特徴とする動画像の早送り検索方法。The fast-forward search method for moving images according to claim 3,
The step of pausing and displaying a moving image in the middle stores the image of the key frame and the other blocks, and sequentially reproduces the accumulated image along the time axis when paused. A fast-forward search method for moving images, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001137258A JP4736233B2 (en) | 2001-05-08 | 2001-05-08 | Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001137258A JP4736233B2 (en) | 2001-05-08 | 2001-05-08 | Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002335494A JP2002335494A (en) | 2002-11-22 |
| JP4736233B2 true JP4736233B2 (en) | 2011-07-27 |
Family
ID=18984389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001137258A Expired - Fee Related JP4736233B2 (en) | 2001-05-08 | 2001-05-08 | Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4736233B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4789127B2 (en) * | 2001-09-18 | 2011-10-12 | 株式会社メガチップス | Image distribution method, image recording method, and program thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08251597A (en) * | 1995-03-10 | 1996-09-27 | Toshiba Corp | Moving image encoding and decoding device |
| JPH09247682A (en) * | 1996-03-08 | 1997-09-19 | Oki Electric Ind Co Ltd | Image coding method and image coder |
| JPH11341521A (en) * | 1998-05-28 | 1999-12-10 | Kdd Corp | Encoding device for stereo video |
| JP2000287216A (en) * | 1999-03-31 | 2000-10-13 | Canon Inc | Coder, its method and computer-readable storage medium |
-
2001
- 2001-05-08 JP JP2001137258A patent/JP4736233B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08251597A (en) * | 1995-03-10 | 1996-09-27 | Toshiba Corp | Moving image encoding and decoding device |
| JPH09247682A (en) * | 1996-03-08 | 1997-09-19 | Oki Electric Ind Co Ltd | Image coding method and image coder |
| JPH11341521A (en) * | 1998-05-28 | 1999-12-10 | Kdd Corp | Encoding device for stereo video |
| JP2000287216A (en) * | 1999-03-31 | 2000-10-13 | Canon Inc | Coder, its method and computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002335494A (en) | 2002-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7792190B2 (en) | Inserting a high resolution still image into a lower resolution video stream | |
| CN101690163B (en) | Shutter Time Compensation | |
| JP4051841B2 (en) | Image recording apparatus and method | |
| US6473558B1 (en) | System and method for MPEG reverse play through dynamic assignment of anchor frames | |
| JP2006253768A (en) | Digital camera | |
| CN100559882C (en) | Image processing device and method | |
| US20030099293A1 (en) | Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| JP4458712B2 (en) | High speed playback method of surveillance video and program thereof | |
| JP4736233B2 (en) | Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof | |
| JP4451023B2 (en) | Moving picture decoding method and program thereof | |
| WO2001045402A1 (en) | Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| JP4721028B2 (en) | Moving image distribution system, moving image distribution method and program thereof | |
| JP3927422B2 (en) | Moving picture transmission / reception system, moving picture transmission / reception method, and programs thereof | |
| KR20100091614A (en) | Apparatus for recording/playing key frame still image and method for orerating the same | |
| JP4706072B2 (en) | Image processing system, moving image compression encoding method, moving image decoding method, and programs thereof | |
| JP4599609B2 (en) | Image compression encoding method, image distribution method, and program thereof | |
| JP4789127B2 (en) | Image distribution method, image recording method, and program thereof | |
| JP4103276B2 (en) | Image recording apparatus and method | |
| JP4451022B2 (en) | Image delivery method, image decoding method, and program thereof | |
| JPH11308618A (en) | Image signal processor and method therefor, and image signal reproducing device | |
| JP4364422B2 (en) | Video compression encoding method and decoding method thereof | |
| JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
| JP3403169B2 (en) | Image reproducing method, image reproducing apparatus and television receiver that can use this method | |
| JP2009290387A (en) | Encoder, decoder and recording reproducing device | |
| JP4765961B2 (en) | Digital video recording device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080423 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4736233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |