JP3548136B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3548136B2 JP3548136B2 JP2001167262A JP2001167262A JP3548136B2 JP 3548136 B2 JP3548136 B2 JP 3548136B2 JP 2001167262 A JP2001167262 A JP 2001167262A JP 2001167262 A JP2001167262 A JP 2001167262A JP 3548136 B2 JP3548136 B2 JP 3548136B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- decoder
- block
- data
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関する。本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格に従って符号化されたデータを処理する技術に関する。
【０００２】
【従来の技術】
マルチメディアで扱われる情報は、膨大な量で且つ多種多様であり、これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要となる。情報を高速に処理するためには、データの圧縮・伸長技術が不可欠となる。そのようなデータの圧縮・伸長技術として「ＭＰＥＧ」方式が挙げられる。このＭＰＥＧ方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ−ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）傘下のＭＰＥＧ委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって標準化されつつある。ＭＰＥＧ方式を利用した画像処理装置は、ムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置など、様々な画像関連機器に組み込まれている。
【０００３】
ＭＰＥＧで取り扱われるビデオデータは動画に関するものであり、その動画は１秒間に複数枚、例えば３０枚のフレーム、すなわち静止画またはコマによって構成されている。図１に示すように、ビデオデータは、シーケンス（Ｓｅｑｕｅｎｃｅ）、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャ（Ｐｉｃｔｕｒｅ）、スライス（Ｓｌｉｃｅ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、ブロック（Ｂｌｏｃｋ）の順に６層の階層構造から成る。１枚のピクチャを構成するスライスの個数は一定ではなく、１個のスライスを構成するマクロブロックの個数も一定ではない。なお、図１では、マクロブロック層およびブロック層については省略してある。
【０００４】
また、ＭＰＥＧには主に符号化レートの違いにより、主に、ＭＰＥＧ−１，ＭＰＥＧ−２の２つの方式がある。ＭＰＥＧ−１においてフレームはピクチャに対応している。ＭＰＥＧ−２においては、フレームまたはフィールドをピクチャに対応させることもできる。フィールドは、２枚で１枚のフレームを構成している。ピクチャにフレームが対応している構造はフレーム構造と呼ばれ、ピクチャにフィールドが対応している構造はフィールド構造と呼ばれる。
【０００５】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【０００６】
この双方向予測は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像である。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内予測画面（Ｉｎｔｒａ Ｆｒａｍｅ）である。Ｐピクチャは、フレーム間符号化処理によって、順方向予測、すなわち過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロック・タイプは、フレーム内予測画面と順方向予測画面（Ｆｏｒｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）の両方を含む。
【０００７】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
▲１▼順方向予測；過去のＩピクチャまたはＰピクチャからの予測
▲２▼逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
▲３▼双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
Ｂピクチャ内のマクロブロック・タイプは、フレーム内予測画面、順方向予測画面、逆方向予測画面（Ｂａｃｋｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）、内挿的予測画面（Ｉｎｔｅｒｐｏｌａｔｉｖｅ Ｉｎｔｅｒ Ｆｒａｍｅ）の４つのタイプを含む。
【０００８】
これらＩ、Ｐ、Ｂピクチャがそれぞれ符号化される。つまり、Ｉピクチャは過去や未来のピクチャがなくても生成される。これに対し、Ｐピクチャは過去のピクチャがないと生成されず、Ｂピクチャは過去または未来のピクチャがないと生成されない。ただし、ＰピクチャやＢピクチャでも、マクロブロック・タイプが内挿的予測画面の場合、そのマクロブロックは過去や未来のピクチャがなくても生成される。
【０００９】
フレーム間予測では、まず、Ｉピクチャが周期的に生成される。次に、Ｉピクチャよりも数フレーム先のフレームがＰピクチャとして生成される。このＰピクチャは、過去から現在への一方向（順方向）の予測により生成される。つづいて、Ｉピクチャの前、Ｐピクチャの後に位置するフレームがＢピクチャとして生成される。このＢピクチャを生成するとき、順方向予測，逆方向予測，双方向予測の３つの中から最適な予測方法が選択される。連続した動画では一般的に、現在の画像とその前後の画像とはよく似ており、異なっているのは、そのごく一部分に過ぎない。そこで、前のフレームと次のフレームとは同じであると仮定し、両フレーム間に変化があればその差分のみを抽出して圧縮する。例えば、前のフレームをＩピクチャ、次のフレームをＰピクチャとし、差分がＢピクチャのデータとして抽出される。これにより、フレーム間のデータを時間的な相関に基づいて圧縮することができる。ＭＰＥＧビデオパートに準拠して符号化されたビデオデータのデータ列またはビットストリームは、ＭＰＥＧビデオストリームと呼ばれる。
【００１０】
ＭＰＥＧ−１は主に、ビデオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＣＤ−ＲＯＭ（ＣＤ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）などの蓄積メディアに対応している。ＭＰＥＧ−２は、ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ），ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）などの蓄積メディアだけでなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信メディア、地上波放送や衛星放送およびＣＡＴＶ（Ｃｏｍｍｕｎｉｔｙ Ａｎｔｅｎｎａ Ｔｅｌｅｖｉｓｉｏｎ）などの放送メディアをも含む伝達メディア全般に対応している。
【００１１】
ＭＰＥＧビデオパートで用いられる技術の核となるのが、動き補償付予測（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）と離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）である。ＭＣとＤＣＴを併用した符号化技術は、ハイブリッド符号化技術と呼ばれる。ＭＰＥＧビデオパートでは、符号化時にＤＣＴ（別名ＦＤＣＴ；Ｆｏｒｗａｒｄ ＤＣＴ）を用い、画像のビデオ信号を周波数成分に分解して処理する。そして、復号時にＤＣＴの逆変換（離散コサイン逆変換；ＩＤＣＴ；Ｉｎｖｅｒｓｅ ＤＣＴ）を用い、周波数成分を再び画像のビデオ信号に戻す。
【００１２】
ＭＰＥＧでは膨大な量の情報を高速に処理することができるが、上述したとおり、フレーム間予測と呼ばれる圧縮技術を用いるため、ＭＰＥＧビデオパートに準拠して時系列的に符号化されて記録されたデータ列をピクチャサーチのために逆順再生、すなわち逆方向に再生する場合、通常のビデオテープレコーダのように、記録されたデータ列を単に時間軸を遡って再生することは非常に困難である。そこで従来では、各ＧＯＰ内に割り当てられたＩピクチャのみを時間軸に遡って再生することが行われている。Ｉピクチャは、上述したとおり、フレーム内符号化処理された画像であるため、前後のピクチャを参照することなく独立して表示させることができる。
【００１３】
【発明が解決しようとする課題】
従来例にあっては、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＭＰＥＧでは、ＧＯＰ内に割り当てられるＩピクチャは、１５〜３０枚のピクチャのうちせいぜい１枚であり、１５〜３０コマ毎のピクチャを逆順再生したところで、通常のビデオテープレコーダのような滑らかな逆順再生画面を得ることができず、見たいシーンでタイミングよくストップさせることが困難であった。本発明はこの点に鑑みてなされたものであって、その目的のひとつは、滑らかな逆順再生画面を得ることができる画像処理の技術を提供することにある。
【００１４】
本発明はこの目的、および本明細書から明らかになるその他の目的に対して、主に画像の符号化と復号処理に関連する技術において解決を図るものである。
【００１５】
【課題を解決するための手段】
本発明のある態様は、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、その第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、その第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。ここで「一体的に搭載」は、たとえばマザーボードなどのひとつの回路基板上に各部品のすべてが実装されるがごとく状態を示す。この回路基板上に集積回路チップやメモリなどの部品が配置され、実装される。
【００１６】
上述の第１、第２、第３のブロックのうちの少なくともひとつのブロックについて、そのブロックに含まれる構成要素はすべてひとつの集積回路チップの一部として実装される。これにより、１チップＬＳＩを利用して回路基板を形成させることができる。第１のブロックはたとえばＶＧＡチップなどのビデオ再生ＬＳＩでもよく、第２のブロックはたとえばビデオキャプチャ用などのビデオ記録ＬＳＩでもよい。第３のブロックもまたビデオ再生ＬＳＩでもよい。これらのチップを利用した回路基板設計は、生産の効率化や低コスト化に寄与する。
【００１７】
本発明の別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化された第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１の集積回路チップと、第１の集積回路チップから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２の集積回路チップと、第２の集積回路チップから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３の集積回路チップと、を一体的に搭載する。
【００１８】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第２、第３のブロックに含まれる構成要素はすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理される。
【００１９】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第１、第２のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理される。
【００２０】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第１、第３のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって、複数チャンネルでの画像データの再生が統括的に処理される。
【００２２】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を時系列的に復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を反時系列的に復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、正順再生として機能する第１のブロックからの映像ビデオ信号出力と逆順再生として機能する第３のブロックからの映像ビデオ信号出力とを切り替える切替回路と、を一体的に搭載する。第１のブロックからの映像ビデオ信号は、切替回路を介して正順再生として出力される間に第２、第３のブロックにも入力され、逆順再生への切替に備えて待機する状態が形成される。
【００２３】
以上、いずれの場合も、符号化または復号、および場合によりそれらに付随する処理は、所定のグループ単位で実行されてもよい。また、各態様における第１の符号化データ列は、例えばＭＰＥＧに準拠して符号化されたデータ列であってもよい。さらに、以上の任意の構成要素、処理過程等の異なる組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２４】
【発明の実施の形態】
本発明を具体化した実施形態を説明する。実施形態のいくつかに共通する処理は、画像の正順および逆順再生である。以下の説明において、「正順」「逆順」およびそれらの同義語は、説明の便宜上、画像を構成するピクチャを最終的に表示する形にしたときの順序についていうものとする。このため、以下とくに断らない限り、ピクチャの順序は表示の状態を考える。
【００２５】
後述のごとく、逆順再生においても、ＭＰＥＧデータストリームの各ＧＯＰ内のピクチャは、まず順方向、すなわち時系列的に復号される。これが再符号化され、その後の再復号の段階で、初めて逆順の並びが実現される。したがって、逆順再生における「逆順」とは、主に２回目の復号に関連する。ＭＰＥＧビットストリームは、Ｉ、Ｐ、Ｂピクチャの順序についていろいろな組合せが考えられる。
【００２６】
以下の実施形態では、さまざまな構成部材が現れる。これらは、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩや組合せ回路などによって実現でき、ソフトウエア的にはメモリのロードされた画像処理機能のあるプログラムなどによって実現されるが、以下、それらの連携によって実現される機能を中心に描く。したがって、これらの機能がハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお、画像再生装置は本発明の「画像処理装置」の一例である。
【００２７】
（第１実施形態）
図２は、第１実施形態に係る画像再生装置１のブロック回路を示す。この画像再生装置１は、伝達メディア２からのＭＰＥＧビデオストリームをディスプレイ３に出力するムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置などに組み込まれる。なお、伝達メディア２には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、伝達メディアは、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダをも含む。画像再生装置１をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。
【００２８】
図２において、画像再生装置１は、ハードディスク（ＨＤ）４、ＭＰＥＧビデオデコーダ５（以下単に「デコーダ５」とも表記する）、ＭＰＥＧビデオエンコーダ６（以下単に「エンコーダ６」とも表記する）、第２のＭＰＥＧビデオデコーダ７（以下単に「第２デコーダ７」とも表記する）、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２、第１表示回路５４、映像入力回路６４、第２表示回路７４、切替回路８、制御コア回路１０から構成される。制御コア回路１０は、デコーダ５、第２デコーダ７およびエンコーダ６を始め画像再生装置１の各構成要素の動作を制御する。ハードディスク４は、磁気ディスクから構成され、伝達メディア２から転送されてくるビデオストリームを順次蓄積する。ハードディスク４内には特別な記憶領域４ａが設けられている。
【００２９】
デコーダ５、第１フレームメモリ５２、第１表示回路５４が第１ブロック５０を構成し、エンコーダ６、第２フレームメモリ６２、映像入力回路６４が第２ブロック６０を構成する。第２デコーダ７、第３フレームメモリ７２、第２表示回路７４は第３ブロック７０を構成する。画像再生装置１全体またはその主要部は１チップのＬＳＩに搭載されていてもよく、それは他の実施形態でも同様である。本実施形態の場合、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップのＬＳＩに搭載される。ただし、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２のそれぞれは外付けで搭載されてもよい。
【００３０】
デコーダ５が生成した再生画像データ列は第１フレームメモリ５２に一時的に蓄積された後、順次第１表示回路５４に入力される。第１フレームメモリ５２はバッファとして機能する。第１表示回路５４は、デコーダ５から転送されたピクチャのデータから映像ビデオ信号を生成し、これを切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力する。
【００３１】
第１ブロック５０から出力される映像ビデオ信号は映像入力回路６４にも入力される。映像入力回路６４は、映像ビデオ信号をビデオデータ列に変換し、そのビデオデータ列が第２フレームメモリ６２に一時的に蓄積された後、順次エンコーダ６によって再符号化される。第２フレームメモリ６２はバッファとして機能する。
【００３２】
第２ブロック６０から出力される符号化データ列を記憶領域４ａに記憶させた後、これを第２デコーダ７が反時系列的に読み出して再復号する。再復号されたビデオデータ列は一時的に第３フレームメモリ７２に蓄積された後、第２表示回路７４によって映像ビデオ信号に変換される。第３フレームメモリ７２はバッファとして機能する。この映像ビデオ信号は、切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力される。
【００３３】
切替回路８は、制御コア回路１０の制御に従って第１ノード８ａ、第２ノード８ｂ側への接続が切り換えられる。切替回路８が第１ノード８ａ側に接続されると、第１ブロック５０の出力に基づく正順再生が行われる。第２ノード８ｂ側に接続されると、第３ブロック７０の出力に基づく逆順再生が行われる。
【００３４】
図３は、デコーダ５の構成を示すブロック図である。同図において、デコーダ５は、ハフマン復号回路１４、逆量子化回路１５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）回路１６、ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）回路１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８，１９から構成されている。なお、デコーダ５は本発明の「前置復号器」の一例である。
【００３５】
ハフマン復号回路１４は、ハードディスク４から読み出されたピクチャに対して、ＲＯＭ１８に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号を行う。逆量子化回路１５は、ハフマン復号回路１４の復号結果に対して、ＲＯＭ１９に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行いＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を求める。ＩＤＣＴ回路１６は、逆量子化回路１５が求めたＤＣＴ係数に対してＩＤＣＴを行う。ＭＣ回路１７は、ＩＤＣＴ回路１６の処理結果に対してＭＣを行う。
【００３６】
こうして、デコーダ５は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、このＭＰＥＧビデオストリームが本発明の「第１の符号化データ列」の一例である。
【００３７】
図４は、エンコーダ６の構成を示すブロック図である。同図において、エンコーダ６は、ＭＣ回路２０、ＤＣＴ回路２１、量子化回路２２、ハフマン符号化回路２３、ＲＯＭ２４，２５から構成されている。なお、エンコーダ６が本発明の「符号化器」の一例である。
【００３８】
ＤＣＴ回路２１は、デコーダ５から入力された再生画像データをブロック単位で取り込み、２次元の離散コサイン変換を行ってＤＣＴ係数を生成する。量子化回路２２は、ＤＣＴ係数を、ＲＯＭ２４に記憶された量子化テーブルに格納されている量子化しきい値を参照して量子化する。なお、ＲＯＭ２４は、ＲＯＭ１９と兼用してもよい。
【００３９】
ハフマン符号化回路２３は、量子化されたＤＣＴ係数を、ＲＯＭ２５に記憶されたハフマンテーブルに格納されているハフマン符号を参照して可変長符号化することにより、圧縮された画像データを画面単位で生成する。なお、ＲＯＭ２５は、ＲＯＭ１８と兼用してもよい。
【００４０】
こうして、エンコーダ６は、時系列的に連続する再生画像データ列を再符号化してＭＰＥＧビデオストリームを生成する。なお、このＭＰＥＧビデオストリームが本発明の「第２の符号化データ列」の一例である。
【００４１】
図５は、第２デコーダ７の構成を示すブロック図である。同図において、第２デコーダ７は、ハフマン復号回路２６、逆量子化回路２７、ＩＤＣＴ回路２８、ＭＣ回路２９、ＲＯＭ３０，３１から構成されている。なお、第２デコーダ７が本発明の「後置復号器」の一例である。
【００４２】
この第２デコーダ７の構成は、デコーダ５の構成と同様である。したがって、ハフマン復号回路２６はハフマン復号回路１４と、逆量子化回路２７は逆量子化回路１５と、ＩＤＣＴ回路２８はＩＤＣＴ回路１６と、ＭＣ回路２９はＭＣ回路１７と、それぞれ同様の回路構成を有する。なお、ＲＯＭ３０は、その他のＲＯＭ１８やＲＯＭ２５と、ＲＯＭ３１は、ＲＯＭ１９やＲＯＭ２４と、それぞれ兼用してもよい。
【００４３】
以上の構成に基づいて、本実施形態の画像再生装置１における逆順再生の動作を、図６に示すフローチャートに従って説明する。画像再生装置１の動作は、制御コア回路１０の制御の下に実行される。ここでは、ＭＰＥＧビデオストリームがｉ個のＧＯＰ（ＧＯＰ０〜ＧＯＰｉ−１）からなるとする。
【００４４】
逆順再生では、各ＧＯＰが時間軸に遡ってＧＯＰｉ−１から順次処理される。ただし、各ＧＯＰ内のピクチャは、デコーダ５において順方向、すなわち時系列的に復号される。逆順再生が指示されると、切替回路８が第２ノード８ｂに接続され（Ｓ１）、ハードディスク４からＧＯＰｉ−１に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、１画面毎の再生画像データが時系列に順次生成され、第１表示回路５４によって映像ビデオ信号に変換される（Ｓ２）。この信号が映像入力回路６４を介してビデオデータ列の形でエンコーダ６に入力され、１ＧＯＰぶんのビデオデータ列を、Ｉピクチャなどに再符号化する（Ｓ３）。エンコーダ６からの１ＧＯＰぶんの再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ４）。
【００４５】
記憶領域４ａへの書き込みが終了すると、この記憶領域４ａに格納されている再符号化データ列を反時系列的に、すなわち時間軸に遡って読み出し、これを第２デコーダ７が順次復号し、これを第２表示回路７４が映像ビデオ信号に変換する（Ｓ５）。記憶領域４ａへの書込終了に伴って書込終了信号が送出され、次のＧＯＰｉ−２に相当するＭＰＥＧビデオストリームがデコーダ５に入力され、Ｓ２からの処理が行われる。すなわち、Ｓ５において、第２デコーダ７で１ＧＯＰぶんのデータ列の復号が行われているときに、デコーダ５では次の１ＧＯＰぶんのデータ列の復号が行われている。ディスプレイ３上には逆順再生画面が表示される。
【００４６】
次に、正順再生のための動作を、図７に示すフローチャートに従って説明する。正順再生では時間軸に従ってＧＯＰ０から順次処理される。各ＧＯＰ内のピクチャは、当然ながらデコーダ５において順方向に復号される。正順再生が指示されると、切替回路８が第１ノード８ａに接続され（Ｓ１１）、ハードディスク４からＧＯＰ０に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、再生画像データが画面単位で時系列に順次生成され、第１表示回路５４によって映像ビデオ信号に変換される（Ｓ１２）。この信号は第２ブロック６０とディスプレイ３に並列に出力され、これによりディスプレイ３上に正順再生画面が表示される（Ｓ１４）。
【００４７】
一方、エンコーダ６は、表示回路９の処理と並行して、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列をＩピクチャなどに形式で再符号化する（Ｓ１５）。再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ１６）。ＧＯＰ０の処理が終了すると再びＳ１２に戻って次のＧＯＰ１の処理を行う。すなわち、正順再生の間、エンコーダ６は並行して同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化する。
【００４８】
画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（１）第１ブロック５０、第２ブロック６０、第３ブロック７０として、それぞれ１チップＬＳＩを利用できるので、生産効率の向上や低コスト化などに寄与することができる。
（２）第２ブロック６０および第３ブロック７０、第１ブロック５０および第２ブロック６０、第１ブロック５０および第３ブロック７０、の各組み合わせに相当する部分として、それぞれ１チップＬＳＩを利用できるので、さらなる生産効率の向上や低コスト化などに寄与することができる。
（３）第１ブロック５０によってビデオデータ列が一旦アナログ信号に変換された後に、第２ブロック６０によって再びデータ化されて再符号化される。たとえば、比較的高画質なストリームデータであっても、画質的に多少劣化した状態で記憶領域４ａに録画される可能性がある。従って、テレビジョン放送を通常のビデオテープレコーダで録画するのと同様に、ストリームデータの著作権保護の面で配慮を加えることができる。
（４）正順再生を行っている間、エンコーダ６で並行して、同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化している。したがって、正順再生の途中で逆順再生が指示された場合であっても、その画面切り替えが滑らかに行われる。
【００４９】
（第２実施形態）
第２の実施形態が第１実施形態の画像再生装置１と異なるのは、第２ブロック６０および第３ブロック７０が１チップのＬＳＩで構成される点にある。このチップは、たとえば画像データの記録と再生の双方が統括的に処理するＬＳＩである。同様に、第１ブロック５０および第２ブロック６０を１チップで構成してもよいし、第１ブロック５０および第３ブロック７０を１チップで構成してもよい。これらの構成においても、１チップＬＳＩの利用によりさらなる生産効率の向上や低コスト化が望める。
【００５０】
（実施形態に関する全般的考察）
当業者には当然理解されるごとく、いままでに述べなかった実施形態の任意の組合せも可能である。例えば、以下のような配慮または変形例が可能である。
【００５１】
（ａ）エンコーダ６は、入力されたビデオデータ列を、Ｉピクチャで構成される符号化データ列ではなく、ＪＰＥＧ形式の静止画で構成されるｍｏｔｉｏｎＪＰＥＧ、またはＪＰＥＧ２０００形式の静止画で構成されるｍｏｔｉｏｎＪＰＥＧ２０００で符号化する。この場合、第２デコーダ７がこのｍｏｔｉｏｎＪＰＥＧまたはｍｏｔｉｏｎＪＰＥＧ２０００を復号する。
（ｂ）実施形態においては、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップで構成されていたが、これらのうち任意の１つのみまたは２つのみが１チップで構成される形であってもよい。
（ｃ）ハードディスク４として、磁気ディスクに代えて、光磁気ディスク、光ディスクなどを用いる。
（ｄ）ハードディスク４として、書き換え可能な半導体メモリ、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
（ｅ）ハードディスク４と記憶領域４ａとを独立して設ける。この場合、記憶領域４ａには書き換え可能な半導体メモリが望ましい。
【００５２】
（ｆ）ＭＰＥＧビデオストリームから１ＧＯＰではなく以下の単位でデータ列を取り出す。ＧＯＰを含め以下の単位もグループ単位の概念に含まれる。
・Ｉピクチャから始まる単位をＧＯＰとせずに、例えば、Ｐピクチャから始まる単位をＧＯＰとする。
・ＧＯＰという概念にとらわれずに、数枚のピクチャをグループ単位とする。
・グループ単位でピクチャの枚数を任意に変化させる。
【００５３】
（ｇ）ＲＯＭ１８，１９，２４，２５，３０，３１に代えて、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いる。
（ｈ）逆順再生機能を選択するための操作キーを画像再生装置に設ける。
（ｉ）キー操作に応じて１コマずつ逆順再生させる。
（ｊ）各実施形態において、エンコーダ６が生成した再符号化データ列に含まれるピクチャは時系列的な順序で記憶領域４ａに書き込んでいたが、これを反時系列的な順序に並べ替えながら記憶領域４ａに書き込んでもよい。この場合、第２デコーダ７は記憶領域４ａから再符号化データ列を反時系列的に読み出す必要がない。また、記憶領域４ａへの書込時に、Ｂピクチャの前方参照先と後方参照先とを入れ替えておいてもよい。
【００５４】
（ｋ）上記した実施形態以外に、一つの装置内に２つの符号化または復号機能を備えるアプリケーションとして以下の形態がある。従って、２つのエンコーダを備えるものにあっては、これらのエンコーダを共通化してもよい。
（ｉ）ムービーカメラにおいて、被写体を異なる視点から同時に撮影し、そのデータをＭＰＥＧ方式で圧縮・伸長処理する場合。
（ｉｉ）テレビジョンにおいて、複数番組を同時に復号して２画面表示する場合。
（ｉｉｉ）テレビジョンにおいて、複数番組を同時に復号してチャンネル切換えをシームレスに行わせる場合。ＭＰＥＧを使った放送では、チャンネル切換えなどで一旦復号を中断すると、新しいシーケンスヘッダを検出するまでの０．５秒〜２秒の間、次に再開するのに若干時間がかかり、通常はその間、絵がフリーズするかブラックアウトするが、（ｉｉｉ）は、この問題を解消するために有効である。
（ｉｖ）ＤＶＤやデジタルスチルカメラ等と接続したテレビジョンにおいて、放送とＤＶＤやデジタルスチルカメラとを同時再生する。
（ｖ）番組の再生中、その番組または裏番組を動画や静止画状態で録画するとともに、録画した動画または静止画と放送中の番組を重ねて同時に再生する場合。
（ｖｉ）一定時間毎に再生画像をＪＰＥＧ方式で符号化してリングバッファに取り込み、これを逆転サーチにおいて近いシーンにジャンプできるようにするためのインデックスに使う場合。
【００５５】
（ｌ）逆順再生のために、１ＧＯＰ分の画像データをそっくり記憶領域４ａに保持する必要があった。ＧＯＰ内部ではデータは正順方向にしか読み出されないため、１ＧＯＰ分のデータをすべて残しておかなければ逆順再生の際にピクチャを生成できないためである。この理由から、１ＧＯＰ分の画像データを記録するだけの容量を記憶領域４ａに求めた。これから逆に、そうした構成を有効活用し、実施形態１等では、正順再生の間もエンコーダ６をフリーランで走らせ、つねに１ＧＯＰ分の逆順再生用データを生成して保持することにした。これにより、正順から逆順への切替を滑らかにする趣旨であった。
【００５６】
しかしながらその方法では、確かにフリーランをさせないときに比べて円滑な再生方向転換が実現するものの、必ずしも切替時にタイムラグが生じないわけではない。なぜなら、逆順再生がＧＯＰｎに対して行われているとき、その前のＧＯＰｎ−１については、デコーダ５が１ＧＯＰ分の符号化データを読み出して復号する必要があり、一連の処理がＧＯＰｎの逆順再生の完了までに終わらない可能性があるためである。仮に終わらない場合、そこで逆順再生が一瞬停止してしまう。
【００５７】
この対策のために、実施形態１等で述べた１ＧＯＰ分の画像データの保存を拡張し、最大２ＧＯＰ分程度の画像データを保存すれば、正順再生から逆順再生への切替の際、タイムラグを完全になくすことができる。したがって、そうした仕様を求める場合はこの対策をとればよい。
【００５８】
画素数を低減させる場合、デコーダ７におけるＩＤＣＴ処理にて、予めダウンコンバージョン形式による復号を行ってもよい。すなわち、通常であれば例えば８×８画素の正方ブロックに対してＩＤＣＴを施すべきところを、８×４画素の１／２サイズのブロックに対して施してもよい。その場合、画像再生の際にフレームメモリに記憶すべき画像データの容量が１／２になるため、その結果空いた領域に前述の２ＧＯＰぶんのピクチャを蓄積することができる。なお、このダウンコンバーションを行うと、高精細モード時の１９６０×１０８０画素の画像が９８０×１０８０画素になる。したがって、その再生時に横方向について各画素を二度表示するなど、解像度再現処理を施すものとする。
【００５９】
（ｍ）前述の切替時のタイムラグは、逆順再生から正順再生への移行時にも考慮すべきである。このときも上述と同様の措置、すなわち読み込まれたピクチャのデータを１〜２ＧＯＰ程度蓄積しておくことで対応できる。いま逆順再生のために第ｎ番のＧＯＰｎが読込処理されているとすれば、このＧＯＰｎのピクチャのデータを、逆順再生のための読出がその２つ前のＧＯＰｎ−２に達するまで保持しておく。すなわち、あるＧＯＰのデータをそのふたつ前のＧＯＰのデータの読出まで保持することにより、正順再生への切替が行われたときでも、切れ目のない再生が実現する。
【００６０】
逆順再生から正順再生への切替は、デコーダ５のみの処理で対応できるため、（ｌ）の場合に比べ、タイムラグはもともと小さい。したがって、ここでは２ＧＯＰぶんとしたが、実際にはせいぜい１ＧＯＰ強で十分と思われる。ただし、この値は装置の実装にもよるため、機種ごとに実験等により決めることが望ましい。
【００６１】
【発明の効果】
本発明により、滑らかな逆順再生を行うことのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧビデオストリームの階層構造を示す説明図である。
【図２】第１実施形態における画像再生装置のブロック回路図である。
【図３】第１実施形態におけるデコーダの概略を示すブロック図である。
【図４】第１実施形態におけるエンコーダの概略を示すブロック図である。
【図５】第１実施形態におけるデコーダの概略を示すブロック図である。
【図６】第１実施形態における画像再生装置の逆順再生動作を示すフローチャートである。
【図７】第１実施形態における画像再生装置の正順再生動作を示すフローチャートである。
【符号の説明】
１ 画像再生装置
２ 伝達メディア
３ ディスプレイ
４ ハードディスク
４ａ 記憶領域
５，７ ＭＰＥＧビデオデコーダ
６ ＭＰＥＧビデオエンコーダ
８ 切替回路
１０ 制御コア回路
１４，２６ ハフマン復号回路
１５，２７ 逆量子化回路
１６，２８ ＩＤＣＴ回路
１７，２０，２９ ＭＣ回路
１８，１９，２４，２５，３０，３１ ＲＯＭ
【発明の属する技術分野】
本発明は、画像処理装置に関する。本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格に従って符号化されたデータを処理する技術に関する。
【０００２】
【従来の技術】
マルチメディアで扱われる情報は、膨大な量で且つ多種多様であり、これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要となる。情報を高速に処理するためには、データの圧縮・伸長技術が不可欠となる。そのようなデータの圧縮・伸長技術として「ＭＰＥＧ」方式が挙げられる。このＭＰＥＧ方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ−ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）傘下のＭＰＥＧ委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって標準化されつつある。ＭＰＥＧ方式を利用した画像処理装置は、ムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置など、様々な画像関連機器に組み込まれている。
【０００３】
ＭＰＥＧで取り扱われるビデオデータは動画に関するものであり、その動画は１秒間に複数枚、例えば３０枚のフレーム、すなわち静止画またはコマによって構成されている。図１に示すように、ビデオデータは、シーケンス（Ｓｅｑｕｅｎｃｅ）、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャ（Ｐｉｃｔｕｒｅ）、スライス（Ｓｌｉｃｅ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、ブロック（Ｂｌｏｃｋ）の順に６層の階層構造から成る。１枚のピクチャを構成するスライスの個数は一定ではなく、１個のスライスを構成するマクロブロックの個数も一定ではない。なお、図１では、マクロブロック層およびブロック層については省略してある。
【０００４】
また、ＭＰＥＧには主に符号化レートの違いにより、主に、ＭＰＥＧ−１，ＭＰＥＧ−２の２つの方式がある。ＭＰＥＧ−１においてフレームはピクチャに対応している。ＭＰＥＧ−２においては、フレームまたはフィールドをピクチャに対応させることもできる。フィールドは、２枚で１枚のフレームを構成している。ピクチャにフレームが対応している構造はフレーム構造と呼ばれ、ピクチャにフィールドが対応している構造はフィールド構造と呼ばれる。
【０００５】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【０００６】
この双方向予測は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像である。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内予測画面（Ｉｎｔｒａ Ｆｒａｍｅ）である。Ｐピクチャは、フレーム間符号化処理によって、順方向予測、すなわち過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロック・タイプは、フレーム内予測画面と順方向予測画面（Ｆｏｒｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）の両方を含む。
【０００７】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
▲１▼順方向予測；過去のＩピクチャまたはＰピクチャからの予測
▲２▼逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
▲３▼双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
Ｂピクチャ内のマクロブロック・タイプは、フレーム内予測画面、順方向予測画面、逆方向予測画面（Ｂａｃｋｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）、内挿的予測画面（Ｉｎｔｅｒｐｏｌａｔｉｖｅ Ｉｎｔｅｒ Ｆｒａｍｅ）の４つのタイプを含む。
【０００８】
これらＩ、Ｐ、Ｂピクチャがそれぞれ符号化される。つまり、Ｉピクチャは過去や未来のピクチャがなくても生成される。これに対し、Ｐピクチャは過去のピクチャがないと生成されず、Ｂピクチャは過去または未来のピクチャがないと生成されない。ただし、ＰピクチャやＢピクチャでも、マクロブロック・タイプが内挿的予測画面の場合、そのマクロブロックは過去や未来のピクチャがなくても生成される。
【０００９】
フレーム間予測では、まず、Ｉピクチャが周期的に生成される。次に、Ｉピクチャよりも数フレーム先のフレームがＰピクチャとして生成される。このＰピクチャは、過去から現在への一方向（順方向）の予測により生成される。つづいて、Ｉピクチャの前、Ｐピクチャの後に位置するフレームがＢピクチャとして生成される。このＢピクチャを生成するとき、順方向予測，逆方向予測，双方向予測の３つの中から最適な予測方法が選択される。連続した動画では一般的に、現在の画像とその前後の画像とはよく似ており、異なっているのは、そのごく一部分に過ぎない。そこで、前のフレームと次のフレームとは同じであると仮定し、両フレーム間に変化があればその差分のみを抽出して圧縮する。例えば、前のフレームをＩピクチャ、次のフレームをＰピクチャとし、差分がＢピクチャのデータとして抽出される。これにより、フレーム間のデータを時間的な相関に基づいて圧縮することができる。ＭＰＥＧビデオパートに準拠して符号化されたビデオデータのデータ列またはビットストリームは、ＭＰＥＧビデオストリームと呼ばれる。
【００１０】
ＭＰＥＧ−１は主に、ビデオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＣＤ−ＲＯＭ（ＣＤ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）などの蓄積メディアに対応している。ＭＰＥＧ−２は、ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ），ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）などの蓄積メディアだけでなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信メディア、地上波放送や衛星放送およびＣＡＴＶ（Ｃｏｍｍｕｎｉｔｙ Ａｎｔｅｎｎａ Ｔｅｌｅｖｉｓｉｏｎ）などの放送メディアをも含む伝達メディア全般に対応している。
【００１１】
ＭＰＥＧビデオパートで用いられる技術の核となるのが、動き補償付予測（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）と離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）である。ＭＣとＤＣＴを併用した符号化技術は、ハイブリッド符号化技術と呼ばれる。ＭＰＥＧビデオパートでは、符号化時にＤＣＴ（別名ＦＤＣＴ；Ｆｏｒｗａｒｄ ＤＣＴ）を用い、画像のビデオ信号を周波数成分に分解して処理する。そして、復号時にＤＣＴの逆変換（離散コサイン逆変換；ＩＤＣＴ；Ｉｎｖｅｒｓｅ ＤＣＴ）を用い、周波数成分を再び画像のビデオ信号に戻す。
【００１２】
ＭＰＥＧでは膨大な量の情報を高速に処理することができるが、上述したとおり、フレーム間予測と呼ばれる圧縮技術を用いるため、ＭＰＥＧビデオパートに準拠して時系列的に符号化されて記録されたデータ列をピクチャサーチのために逆順再生、すなわち逆方向に再生する場合、通常のビデオテープレコーダのように、記録されたデータ列を単に時間軸を遡って再生することは非常に困難である。そこで従来では、各ＧＯＰ内に割り当てられたＩピクチャのみを時間軸に遡って再生することが行われている。Ｉピクチャは、上述したとおり、フレーム内符号化処理された画像であるため、前後のピクチャを参照することなく独立して表示させることができる。
【００１３】
【発明が解決しようとする課題】
従来例にあっては、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＭＰＥＧでは、ＧＯＰ内に割り当てられるＩピクチャは、１５〜３０枚のピクチャのうちせいぜい１枚であり、１５〜３０コマ毎のピクチャを逆順再生したところで、通常のビデオテープレコーダのような滑らかな逆順再生画面を得ることができず、見たいシーンでタイミングよくストップさせることが困難であった。本発明はこの点に鑑みてなされたものであって、その目的のひとつは、滑らかな逆順再生画面を得ることができる画像処理の技術を提供することにある。
【００１４】
本発明はこの目的、および本明細書から明らかになるその他の目的に対して、主に画像の符号化と復号処理に関連する技術において解決を図るものである。
【００１５】
【課題を解決するための手段】
本発明のある態様は、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、その第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、その第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。ここで「一体的に搭載」は、たとえばマザーボードなどのひとつの回路基板上に各部品のすべてが実装されるがごとく状態を示す。この回路基板上に集積回路チップやメモリなどの部品が配置され、実装される。
【００１６】
上述の第１、第２、第３のブロックのうちの少なくともひとつのブロックについて、そのブロックに含まれる構成要素はすべてひとつの集積回路チップの一部として実装される。これにより、１チップＬＳＩを利用して回路基板を形成させることができる。第１のブロックはたとえばＶＧＡチップなどのビデオ再生ＬＳＩでもよく、第２のブロックはたとえばビデオキャプチャ用などのビデオ記録ＬＳＩでもよい。第３のブロックもまたビデオ再生ＬＳＩでもよい。これらのチップを利用した回路基板設計は、生産の効率化や低コスト化に寄与する。
【００１７】
本発明の別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化された第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１の集積回路チップと、第１の集積回路チップから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２の集積回路チップと、第２の集積回路チップから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３の集積回路チップと、を一体的に搭載する。
【００１８】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第２、第３のブロックに含まれる構成要素はすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理される。
【００１９】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第１、第２のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理される。
【００２０】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、を一体的に搭載する。少なくとも第１、第３のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって、複数チャンネルでの画像データの再生が統括的に処理される。
【００２２】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、第１の符号化データ列を時系列的に復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、第１のブロックから出力された映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、第２のブロックから出力された第２の符号化データ列を反時系列的に復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、正順再生として機能する第１のブロックからの映像ビデオ信号出力と逆順再生として機能する第３のブロックからの映像ビデオ信号出力とを切り替える切替回路と、を一体的に搭載する。第１のブロックからの映像ビデオ信号は、切替回路を介して正順再生として出力される間に第２、第３のブロックにも入力され、逆順再生への切替に備えて待機する状態が形成される。
【００２３】
以上、いずれの場合も、符号化または復号、および場合によりそれらに付随する処理は、所定のグループ単位で実行されてもよい。また、各態様における第１の符号化データ列は、例えばＭＰＥＧに準拠して符号化されたデータ列であってもよい。さらに、以上の任意の構成要素、処理過程等の異なる組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２４】
【発明の実施の形態】
本発明を具体化した実施形態を説明する。実施形態のいくつかに共通する処理は、画像の正順および逆順再生である。以下の説明において、「正順」「逆順」およびそれらの同義語は、説明の便宜上、画像を構成するピクチャを最終的に表示する形にしたときの順序についていうものとする。このため、以下とくに断らない限り、ピクチャの順序は表示の状態を考える。
【００２５】
後述のごとく、逆順再生においても、ＭＰＥＧデータストリームの各ＧＯＰ内のピクチャは、まず順方向、すなわち時系列的に復号される。これが再符号化され、その後の再復号の段階で、初めて逆順の並びが実現される。したがって、逆順再生における「逆順」とは、主に２回目の復号に関連する。ＭＰＥＧビットストリームは、Ｉ、Ｐ、Ｂピクチャの順序についていろいろな組合せが考えられる。
【００２６】
以下の実施形態では、さまざまな構成部材が現れる。これらは、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩや組合せ回路などによって実現でき、ソフトウエア的にはメモリのロードされた画像処理機能のあるプログラムなどによって実現されるが、以下、それらの連携によって実現される機能を中心に描く。したがって、これらの機能がハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお、画像再生装置は本発明の「画像処理装置」の一例である。
【００２７】
（第１実施形態）
図２は、第１実施形態に係る画像再生装置１のブロック回路を示す。この画像再生装置１は、伝達メディア２からのＭＰＥＧビデオストリームをディスプレイ３に出力するムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置などに組み込まれる。なお、伝達メディア２には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、伝達メディアは、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダをも含む。画像再生装置１をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。
【００２８】
図２において、画像再生装置１は、ハードディスク（ＨＤ）４、ＭＰＥＧビデオデコーダ５（以下単に「デコーダ５」とも表記する）、ＭＰＥＧビデオエンコーダ６（以下単に「エンコーダ６」とも表記する）、第２のＭＰＥＧビデオデコーダ７（以下単に「第２デコーダ７」とも表記する）、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２、第１表示回路５４、映像入力回路６４、第２表示回路７４、切替回路８、制御コア回路１０から構成される。制御コア回路１０は、デコーダ５、第２デコーダ７およびエンコーダ６を始め画像再生装置１の各構成要素の動作を制御する。ハードディスク４は、磁気ディスクから構成され、伝達メディア２から転送されてくるビデオストリームを順次蓄積する。ハードディスク４内には特別な記憶領域４ａが設けられている。
【００２９】
デコーダ５、第１フレームメモリ５２、第１表示回路５４が第１ブロック５０を構成し、エンコーダ６、第２フレームメモリ６２、映像入力回路６４が第２ブロック６０を構成する。第２デコーダ７、第３フレームメモリ７２、第２表示回路７４は第３ブロック７０を構成する。画像再生装置１全体またはその主要部は１チップのＬＳＩに搭載されていてもよく、それは他の実施形態でも同様である。本実施形態の場合、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップのＬＳＩに搭載される。ただし、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２のそれぞれは外付けで搭載されてもよい。
【００３０】
デコーダ５が生成した再生画像データ列は第１フレームメモリ５２に一時的に蓄積された後、順次第１表示回路５４に入力される。第１フレームメモリ５２はバッファとして機能する。第１表示回路５４は、デコーダ５から転送されたピクチャのデータから映像ビデオ信号を生成し、これを切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力する。
【００３１】
第１ブロック５０から出力される映像ビデオ信号は映像入力回路６４にも入力される。映像入力回路６４は、映像ビデオ信号をビデオデータ列に変換し、そのビデオデータ列が第２フレームメモリ６２に一時的に蓄積された後、順次エンコーダ６によって再符号化される。第２フレームメモリ６２はバッファとして機能する。
【００３２】
第２ブロック６０から出力される符号化データ列を記憶領域４ａに記憶させた後、これを第２デコーダ７が反時系列的に読み出して再復号する。再復号されたビデオデータ列は一時的に第３フレームメモリ７２に蓄積された後、第２表示回路７４によって映像ビデオ信号に変換される。第３フレームメモリ７２はバッファとして機能する。この映像ビデオ信号は、切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力される。
【００３３】
切替回路８は、制御コア回路１０の制御に従って第１ノード８ａ、第２ノード８ｂ側への接続が切り換えられる。切替回路８が第１ノード８ａ側に接続されると、第１ブロック５０の出力に基づく正順再生が行われる。第２ノード８ｂ側に接続されると、第３ブロック７０の出力に基づく逆順再生が行われる。
【００３４】
図３は、デコーダ５の構成を示すブロック図である。同図において、デコーダ５は、ハフマン復号回路１４、逆量子化回路１５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）回路１６、ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）回路１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８，１９から構成されている。なお、デコーダ５は本発明の「前置復号器」の一例である。
【００３５】
ハフマン復号回路１４は、ハードディスク４から読み出されたピクチャに対して、ＲＯＭ１８に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号を行う。逆量子化回路１５は、ハフマン復号回路１４の復号結果に対して、ＲＯＭ１９に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行いＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を求める。ＩＤＣＴ回路１６は、逆量子化回路１５が求めたＤＣＴ係数に対してＩＤＣＴを行う。ＭＣ回路１７は、ＩＤＣＴ回路１６の処理結果に対してＭＣを行う。
【００３６】
こうして、デコーダ５は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、このＭＰＥＧビデオストリームが本発明の「第１の符号化データ列」の一例である。
【００３７】
図４は、エンコーダ６の構成を示すブロック図である。同図において、エンコーダ６は、ＭＣ回路２０、ＤＣＴ回路２１、量子化回路２２、ハフマン符号化回路２３、ＲＯＭ２４，２５から構成されている。なお、エンコーダ６が本発明の「符号化器」の一例である。
【００３８】
ＤＣＴ回路２１は、デコーダ５から入力された再生画像データをブロック単位で取り込み、２次元の離散コサイン変換を行ってＤＣＴ係数を生成する。量子化回路２２は、ＤＣＴ係数を、ＲＯＭ２４に記憶された量子化テーブルに格納されている量子化しきい値を参照して量子化する。なお、ＲＯＭ２４は、ＲＯＭ１９と兼用してもよい。
【００３９】
ハフマン符号化回路２３は、量子化されたＤＣＴ係数を、ＲＯＭ２５に記憶されたハフマンテーブルに格納されているハフマン符号を参照して可変長符号化することにより、圧縮された画像データを画面単位で生成する。なお、ＲＯＭ２５は、ＲＯＭ１８と兼用してもよい。
【００４０】
こうして、エンコーダ６は、時系列的に連続する再生画像データ列を再符号化してＭＰＥＧビデオストリームを生成する。なお、このＭＰＥＧビデオストリームが本発明の「第２の符号化データ列」の一例である。
【００４１】
図５は、第２デコーダ７の構成を示すブロック図である。同図において、第２デコーダ７は、ハフマン復号回路２６、逆量子化回路２７、ＩＤＣＴ回路２８、ＭＣ回路２９、ＲＯＭ３０，３１から構成されている。なお、第２デコーダ７が本発明の「後置復号器」の一例である。
【００４２】
この第２デコーダ７の構成は、デコーダ５の構成と同様である。したがって、ハフマン復号回路２６はハフマン復号回路１４と、逆量子化回路２７は逆量子化回路１５と、ＩＤＣＴ回路２８はＩＤＣＴ回路１６と、ＭＣ回路２９はＭＣ回路１７と、それぞれ同様の回路構成を有する。なお、ＲＯＭ３０は、その他のＲＯＭ１８やＲＯＭ２５と、ＲＯＭ３１は、ＲＯＭ１９やＲＯＭ２４と、それぞれ兼用してもよい。
【００４３】
以上の構成に基づいて、本実施形態の画像再生装置１における逆順再生の動作を、図６に示すフローチャートに従って説明する。画像再生装置１の動作は、制御コア回路１０の制御の下に実行される。ここでは、ＭＰＥＧビデオストリームがｉ個のＧＯＰ（ＧＯＰ０〜ＧＯＰｉ−１）からなるとする。
【００４４】
逆順再生では、各ＧＯＰが時間軸に遡ってＧＯＰｉ−１から順次処理される。ただし、各ＧＯＰ内のピクチャは、デコーダ５において順方向、すなわち時系列的に復号される。逆順再生が指示されると、切替回路８が第２ノード８ｂに接続され（Ｓ１）、ハードディスク４からＧＯＰｉ−１に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、１画面毎の再生画像データが時系列に順次生成され、第１表示回路５４によって映像ビデオ信号に変換される（Ｓ２）。この信号が映像入力回路６４を介してビデオデータ列の形でエンコーダ６に入力され、１ＧＯＰぶんのビデオデータ列を、Ｉピクチャなどに再符号化する（Ｓ３）。エンコーダ６からの１ＧＯＰぶんの再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ４）。
【００４５】
記憶領域４ａへの書き込みが終了すると、この記憶領域４ａに格納されている再符号化データ列を反時系列的に、すなわち時間軸に遡って読み出し、これを第２デコーダ７が順次復号し、これを第２表示回路７４が映像ビデオ信号に変換する（Ｓ５）。記憶領域４ａへの書込終了に伴って書込終了信号が送出され、次のＧＯＰｉ−２に相当するＭＰＥＧビデオストリームがデコーダ５に入力され、Ｓ２からの処理が行われる。すなわち、Ｓ５において、第２デコーダ７で１ＧＯＰぶんのデータ列の復号が行われているときに、デコーダ５では次の１ＧＯＰぶんのデータ列の復号が行われている。ディスプレイ３上には逆順再生画面が表示される。
【００４６】
次に、正順再生のための動作を、図７に示すフローチャートに従って説明する。正順再生では時間軸に従ってＧＯＰ０から順次処理される。各ＧＯＰ内のピクチャは、当然ながらデコーダ５において順方向に復号される。正順再生が指示されると、切替回路８が第１ノード８ａに接続され（Ｓ１１）、ハードディスク４からＧＯＰ０に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、再生画像データが画面単位で時系列に順次生成され、第１表示回路５４によって映像ビデオ信号に変換される（Ｓ１２）。この信号は第２ブロック６０とディスプレイ３に並列に出力され、これによりディスプレイ３上に正順再生画面が表示される（Ｓ１４）。
【００４７】
一方、エンコーダ６は、表示回路９の処理と並行して、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列をＩピクチャなどに形式で再符号化する（Ｓ１５）。再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ１６）。ＧＯＰ０の処理が終了すると再びＳ１２に戻って次のＧＯＰ１の処理を行う。すなわち、正順再生の間、エンコーダ６は並行して同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化する。
【００４８】
画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（１）第１ブロック５０、第２ブロック６０、第３ブロック７０として、それぞれ１チップＬＳＩを利用できるので、生産効率の向上や低コスト化などに寄与することができる。
（２）第２ブロック６０および第３ブロック７０、第１ブロック５０および第２ブロック６０、第１ブロック５０および第３ブロック７０、の各組み合わせに相当する部分として、それぞれ１チップＬＳＩを利用できるので、さらなる生産効率の向上や低コスト化などに寄与することができる。
（３）第１ブロック５０によってビデオデータ列が一旦アナログ信号に変換された後に、第２ブロック６０によって再びデータ化されて再符号化される。たとえば、比較的高画質なストリームデータであっても、画質的に多少劣化した状態で記憶領域４ａに録画される可能性がある。従って、テレビジョン放送を通常のビデオテープレコーダで録画するのと同様に、ストリームデータの著作権保護の面で配慮を加えることができる。
（４）正順再生を行っている間、エンコーダ６で並行して、同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化している。したがって、正順再生の途中で逆順再生が指示された場合であっても、その画面切り替えが滑らかに行われる。
【００４９】
（第２実施形態）
第２の実施形態が第１実施形態の画像再生装置１と異なるのは、第２ブロック６０および第３ブロック７０が１チップのＬＳＩで構成される点にある。このチップは、たとえば画像データの記録と再生の双方が統括的に処理するＬＳＩである。同様に、第１ブロック５０および第２ブロック６０を１チップで構成してもよいし、第１ブロック５０および第３ブロック７０を１チップで構成してもよい。これらの構成においても、１チップＬＳＩの利用によりさらなる生産効率の向上や低コスト化が望める。
【００５０】
（実施形態に関する全般的考察）
当業者には当然理解されるごとく、いままでに述べなかった実施形態の任意の組合せも可能である。例えば、以下のような配慮または変形例が可能である。
【００５１】
（ａ）エンコーダ６は、入力されたビデオデータ列を、Ｉピクチャで構成される符号化データ列ではなく、ＪＰＥＧ形式の静止画で構成されるｍｏｔｉｏｎＪＰＥＧ、またはＪＰＥＧ２０００形式の静止画で構成されるｍｏｔｉｏｎＪＰＥＧ２０００で符号化する。この場合、第２デコーダ７がこのｍｏｔｉｏｎＪＰＥＧまたはｍｏｔｉｏｎＪＰＥＧ２０００を復号する。
（ｂ）実施形態においては、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップで構成されていたが、これらのうち任意の１つのみまたは２つのみが１チップで構成される形であってもよい。
（ｃ）ハードディスク４として、磁気ディスクに代えて、光磁気ディスク、光ディスクなどを用いる。
（ｄ）ハードディスク４として、書き換え可能な半導体メモリ、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
（ｅ）ハードディスク４と記憶領域４ａとを独立して設ける。この場合、記憶領域４ａには書き換え可能な半導体メモリが望ましい。
【００５２】
（ｆ）ＭＰＥＧビデオストリームから１ＧＯＰではなく以下の単位でデータ列を取り出す。ＧＯＰを含め以下の単位もグループ単位の概念に含まれる。
・Ｉピクチャから始まる単位をＧＯＰとせずに、例えば、Ｐピクチャから始まる単位をＧＯＰとする。
・ＧＯＰという概念にとらわれずに、数枚のピクチャをグループ単位とする。
・グループ単位でピクチャの枚数を任意に変化させる。
【００５３】
（ｇ）ＲＯＭ１８，１９，２４，２５，３０，３１に代えて、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いる。
（ｈ）逆順再生機能を選択するための操作キーを画像再生装置に設ける。
（ｉ）キー操作に応じて１コマずつ逆順再生させる。
（ｊ）各実施形態において、エンコーダ６が生成した再符号化データ列に含まれるピクチャは時系列的な順序で記憶領域４ａに書き込んでいたが、これを反時系列的な順序に並べ替えながら記憶領域４ａに書き込んでもよい。この場合、第２デコーダ７は記憶領域４ａから再符号化データ列を反時系列的に読み出す必要がない。また、記憶領域４ａへの書込時に、Ｂピクチャの前方参照先と後方参照先とを入れ替えておいてもよい。
【００５４】
（ｋ）上記した実施形態以外に、一つの装置内に２つの符号化または復号機能を備えるアプリケーションとして以下の形態がある。従って、２つのエンコーダを備えるものにあっては、これらのエンコーダを共通化してもよい。
（ｉ）ムービーカメラにおいて、被写体を異なる視点から同時に撮影し、そのデータをＭＰＥＧ方式で圧縮・伸長処理する場合。
（ｉｉ）テレビジョンにおいて、複数番組を同時に復号して２画面表示する場合。
（ｉｉｉ）テレビジョンにおいて、複数番組を同時に復号してチャンネル切換えをシームレスに行わせる場合。ＭＰＥＧを使った放送では、チャンネル切換えなどで一旦復号を中断すると、新しいシーケンスヘッダを検出するまでの０．５秒〜２秒の間、次に再開するのに若干時間がかかり、通常はその間、絵がフリーズするかブラックアウトするが、（ｉｉｉ）は、この問題を解消するために有効である。
（ｉｖ）ＤＶＤやデジタルスチルカメラ等と接続したテレビジョンにおいて、放送とＤＶＤやデジタルスチルカメラとを同時再生する。
（ｖ）番組の再生中、その番組または裏番組を動画や静止画状態で録画するとともに、録画した動画または静止画と放送中の番組を重ねて同時に再生する場合。
（ｖｉ）一定時間毎に再生画像をＪＰＥＧ方式で符号化してリングバッファに取り込み、これを逆転サーチにおいて近いシーンにジャンプできるようにするためのインデックスに使う場合。
【００５５】
（ｌ）逆順再生のために、１ＧＯＰ分の画像データをそっくり記憶領域４ａに保持する必要があった。ＧＯＰ内部ではデータは正順方向にしか読み出されないため、１ＧＯＰ分のデータをすべて残しておかなければ逆順再生の際にピクチャを生成できないためである。この理由から、１ＧＯＰ分の画像データを記録するだけの容量を記憶領域４ａに求めた。これから逆に、そうした構成を有効活用し、実施形態１等では、正順再生の間もエンコーダ６をフリーランで走らせ、つねに１ＧＯＰ分の逆順再生用データを生成して保持することにした。これにより、正順から逆順への切替を滑らかにする趣旨であった。
【００５６】
しかしながらその方法では、確かにフリーランをさせないときに比べて円滑な再生方向転換が実現するものの、必ずしも切替時にタイムラグが生じないわけではない。なぜなら、逆順再生がＧＯＰｎに対して行われているとき、その前のＧＯＰｎ−１については、デコーダ５が１ＧＯＰ分の符号化データを読み出して復号する必要があり、一連の処理がＧＯＰｎの逆順再生の完了までに終わらない可能性があるためである。仮に終わらない場合、そこで逆順再生が一瞬停止してしまう。
【００５７】
この対策のために、実施形態１等で述べた１ＧＯＰ分の画像データの保存を拡張し、最大２ＧＯＰ分程度の画像データを保存すれば、正順再生から逆順再生への切替の際、タイムラグを完全になくすことができる。したがって、そうした仕様を求める場合はこの対策をとればよい。
【００５８】
画素数を低減させる場合、デコーダ７におけるＩＤＣＴ処理にて、予めダウンコンバージョン形式による復号を行ってもよい。すなわち、通常であれば例えば８×８画素の正方ブロックに対してＩＤＣＴを施すべきところを、８×４画素の１／２サイズのブロックに対して施してもよい。その場合、画像再生の際にフレームメモリに記憶すべき画像データの容量が１／２になるため、その結果空いた領域に前述の２ＧＯＰぶんのピクチャを蓄積することができる。なお、このダウンコンバーションを行うと、高精細モード時の１９６０×１０８０画素の画像が９８０×１０８０画素になる。したがって、その再生時に横方向について各画素を二度表示するなど、解像度再現処理を施すものとする。
【００５９】
（ｍ）前述の切替時のタイムラグは、逆順再生から正順再生への移行時にも考慮すべきである。このときも上述と同様の措置、すなわち読み込まれたピクチャのデータを１〜２ＧＯＰ程度蓄積しておくことで対応できる。いま逆順再生のために第ｎ番のＧＯＰｎが読込処理されているとすれば、このＧＯＰｎのピクチャのデータを、逆順再生のための読出がその２つ前のＧＯＰｎ−２に達するまで保持しておく。すなわち、あるＧＯＰのデータをそのふたつ前のＧＯＰのデータの読出まで保持することにより、正順再生への切替が行われたときでも、切れ目のない再生が実現する。
【００６０】
逆順再生から正順再生への切替は、デコーダ５のみの処理で対応できるため、（ｌ）の場合に比べ、タイムラグはもともと小さい。したがって、ここでは２ＧＯＰぶんとしたが、実際にはせいぜい１ＧＯＰ強で十分と思われる。ただし、この値は装置の実装にもよるため、機種ごとに実験等により決めることが望ましい。
【００６１】
【発明の効果】
本発明により、滑らかな逆順再生を行うことのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧビデオストリームの階層構造を示す説明図である。
【図２】第１実施形態における画像再生装置のブロック回路図である。
【図３】第１実施形態におけるデコーダの概略を示すブロック図である。
【図４】第１実施形態におけるエンコーダの概略を示すブロック図である。
【図５】第１実施形態におけるデコーダの概略を示すブロック図である。
【図６】第１実施形態における画像再生装置の逆順再生動作を示すフローチャートである。
【図７】第１実施形態における画像再生装置の正順再生動作を示すフローチャートである。
【符号の説明】
１ 画像再生装置
２ 伝達メディア
３ ディスプレイ
４ ハードディスク
４ａ 記憶領域
５，７ ＭＰＥＧビデオデコーダ
６ ＭＰＥＧビデオエンコーダ
８ 切替回路
１０ 制御コア回路
１４，２６ ハフマン復号回路
１５，２７ 逆量子化回路
１６，２８ ＩＤＣＴ回路
１７，２０，２９ ＭＣ回路
１８，１９，２４，２５，３０，３１ ＲＯＭ
Claims (6)
- 第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、
前記第１のブロックから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、
前記第２のブロックから出力された前記第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、
を一体的に搭載し、
前記第１、第２、第３のブロックのうちの少なくともひとつのブロックについて、そのブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装されたことを特徴とする画像処理装置。 - ＭＰＥＧに準拠して符号化された第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１の集積回路チップと、
前記第１の集積回路チップから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２の集積回路チップと、
前記第２の集積回路チップから出力された前記第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３の集積回路チップと、
を一体的に搭載したことを特徴とする画像処理装置。 - 第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、
前記第１のブロックから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、
前記第２のブロックから出力された前記第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、
を一体的に搭載し、
少なくとも前記第２、第３のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理されることを特徴とする画像処理装置。 - 第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、
前記第１のブロックから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、
前記第２のブロックから出力された前記第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、
を一体的に搭載し、
少なくとも前記第１、第２のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって画像データの記録と再生の双方が統括的に処理されることを特徴とする画像処理装置。 - 第１の符号化データ列を復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、
前記第１のブロックから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、
前記第２のブロックから出力された前記第２の符号化データ列を復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、
を一体的に搭載し、
少なくとも前記第１、第３のブロックに含まれる構成要素がすべてひとつの集積回路チップの一部として実装され、その集積回路チップによって、複数チャンネルでの画像データの再生が統括的に処理されることを特徴とする画像処理装置。 - 第１の符号化データ列を時系列的に復号する前置復号器とその前置復号器で復号されたデータから映像ビデオ信号を生成する第１の表示回路とを含む第１のブロックと、
前記第１のブロックから出力された前記映像ビデオ信号をビデオデータ列に変換する映像入力回路とそのビデオデータ列を第２の符号化データ列に符号化する符号化器とを含む第２のブロックと、
前記第２のブロックから出力された前記第２の符号化データ列を反時系列的に復号する後置復号器とその復号されたデータから映像ビデオ信号を生成する第２の表示回路とを含む第３のブロックと、
正順再生として機能する前記第１のブロックからの映像ビデオ信号出力と逆順再生として機能する前記第３のブロックからの映像ビデオ信号出力とを切り替える切替回路と、
を一体的に搭載し、
前記第１のブロックからの映像ビデオ信号は、前記切替回路を介して正順再生として出力される間に前記第２、第３のブロックにも入力され、逆順再生への切替に備えて待機する状態が形成されることを特徴とする画像処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001167262A JP3548136B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理装置 |
| US10/156,557 US7065141B2 (en) | 2001-06-01 | 2002-05-24 | Image processing apparatus implemented in IC chip |
| CNB021220530A CN1264346C (zh) | 2001-06-01 | 2002-05-31 | 集成电路(ic)芯片中实现的图象处理设备 |
| US11/436,519 US8660190B2 (en) | 2001-06-01 | 2006-05-19 | Image processing apparatus implemented in IC chip |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001167262A JP3548136B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002359848A JP2002359848A (ja) | 2002-12-13 |
| JP3548136B2 true JP3548136B2 (ja) | 2004-07-28 |
| JP2002359848A5 JP2002359848A5 (ja) | 2004-09-30 |
Family
ID=19009673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001167262A Expired - Fee Related JP3548136B2 (ja) | 2001-06-01 | 2001-06-01 | 画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US7065141B2 (ja) |
| JP (1) | JP3548136B2 (ja) |
| CN (1) | CN1264346C (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3946624B2 (ja) * | 2002-11-29 | 2007-07-18 | 株式会社東芝 | Ａｖ通信制御集積回路及びａｖ通信制御プログラム |
| JP3816488B2 (ja) * | 2003-12-26 | 2006-08-30 | 株式会社リコー | 情報記録装置と情報記録媒体と情報記録方法とプログラム |
| EP1726163B1 (en) * | 2004-03-03 | 2014-12-24 | Callahan Cellular L.L.C. | Video processing circuit and method of video processing |
| US7983160B2 (en) * | 2004-09-08 | 2011-07-19 | Sony Corporation | Method and apparatus for transmitting a coded video signal |
| US9229222B2 (en) | 2005-02-23 | 2016-01-05 | Pixtronix, Inc. | Alignment methods in fluid-filled MEMS displays |
| US9082353B2 (en) | 2010-01-05 | 2015-07-14 | Pixtronix, Inc. | Circuits for controlling display apparatus |
| US8482496B2 (en) | 2006-01-06 | 2013-07-09 | Pixtronix, Inc. | Circuits for controlling MEMS display apparatus on a transparent substrate |
| US9158106B2 (en) | 2005-02-23 | 2015-10-13 | Pixtronix, Inc. | Display methods and apparatus |
| US8310442B2 (en) | 2005-02-23 | 2012-11-13 | Pixtronix, Inc. | Circuits for controlling display apparatus |
| US20070205969A1 (en) | 2005-02-23 | 2007-09-06 | Pixtronix, Incorporated | Direct-view MEMS display devices and methods for generating images thereon |
| US9261694B2 (en) | 2005-02-23 | 2016-02-16 | Pixtronix, Inc. | Display apparatus and methods for manufacture thereof |
| US8519945B2 (en) | 2006-01-06 | 2013-08-27 | Pixtronix, Inc. | Circuits for controlling display apparatus |
| US8159428B2 (en) | 2005-02-23 | 2012-04-17 | Pixtronix, Inc. | Display methods and apparatus |
| US7999994B2 (en) | 2005-02-23 | 2011-08-16 | Pixtronix, Inc. | Display apparatus and methods for manufacture thereof |
| TWI260160B (en) * | 2005-03-02 | 2006-08-11 | Benq Corp | A rendering player and rendering method |
| US20070098069A1 (en) * | 2005-04-27 | 2007-05-03 | Stephen Gordon | Inverse scan, coefficient, inverse quantization and inverse transform system and method |
| TWM289890U (en) * | 2005-09-16 | 2006-04-21 | Beacon Advanced Technology Co | Video integrated circuit and video processing apparatus thereof |
| BRPI0620015A2 (pt) * | 2005-12-19 | 2011-10-25 | Pixtronix Inc | dispositivos visores de visão direta de mems e métodos para gerar imagens sobre eles |
| US8526096B2 (en) | 2006-02-23 | 2013-09-03 | Pixtronix, Inc. | Mechanical light modulators with stressed beams |
| CN101198052B (zh) * | 2006-12-04 | 2010-05-19 | 华为技术有限公司 | 一种视频编码方法、解码方法及其装置 |
| US9176318B2 (en) | 2007-05-18 | 2015-11-03 | Pixtronix, Inc. | Methods for manufacturing fluid-filled MEMS displays |
| KR20090105061A (ko) * | 2008-04-01 | 2009-10-07 | 삼성전자주식회사 | 신호 처리 장치에서의 메모리 절감 방법 및 이를 이용한영상 복원 장치 |
| CN101616323B (zh) * | 2008-06-27 | 2011-07-06 | 国际商业机器公司 | 对视频编码数据流进行解码的系统和方法 |
| US8169679B2 (en) | 2008-10-27 | 2012-05-01 | Pixtronix, Inc. | MEMS anchors |
| KR20120132680A (ko) | 2010-02-02 | 2012-12-07 | 픽스트로닉스 인코포레이티드 | 저온 실 유체 충전된 디스플레이 장치의 제조 방법 |
| BR112012019383A2 (pt) | 2010-02-02 | 2017-09-12 | Pixtronix Inc | Circuitos para controlar aparelho de exibição |
| US9134552B2 (en) | 2013-03-13 | 2015-09-15 | Pixtronix, Inc. | Display apparatus with narrow gap electrostatic actuators |
| CN103974014B (zh) * | 2014-05-06 | 2018-01-05 | 浙江宇视科技有限公司 | 一种视频倒退回放方法及装置 |
| CN113596554B (zh) * | 2021-03-31 | 2023-03-21 | 联想(北京)有限公司 | 一种显示方法及显示设备 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8500841A (nl) * | 1985-03-22 | 1986-10-16 | Philips Nv | Kodeer- of dekodeerschakeling voor tijdmultiplex en simultane signalen. |
| WO1994023428A1 (en) * | 1993-03-26 | 1994-10-13 | Sony Corporation | Disklike recording medium, apparatus for recording data on disk, and apparatus for reproducing data from disk |
| JPH0744428A (ja) | 1993-08-03 | 1995-02-14 | Canon Inc | 外部記憶装置の処理方法 |
| JP3250588B2 (ja) | 1994-07-12 | 2002-01-28 | ソニー株式会社 | データ再生装置 |
| ES2132365T3 (es) * | 1994-08-23 | 1999-08-16 | Sica Spa | Cabezal operador de fluido presurizado para la formacion de copas permanentes en tramos finales de tubos plasticos, para usar en maquinas automaticas formadoras de copas. |
| US5694334A (en) * | 1994-09-08 | 1997-12-02 | Starguide Digital Networks, Inc. | Method and apparatus for electronic distribution of digital multi-media information |
| JPH08102913A (ja) | 1994-09-29 | 1996-04-16 | Victor Co Of Japan Ltd | 圧縮動画像データの逆方向再生方法 |
| JP3293369B2 (ja) | 1994-10-12 | 2002-06-17 | ケイディーディーアイ株式会社 | 画像情報の再符号化方法及び装置 |
| JP3034173B2 (ja) | 1994-10-31 | 2000-04-17 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 画像信号処理装置 |
| JPH08166812A (ja) | 1994-12-12 | 1996-06-25 | Toyota Motor Corp | 位置決め補正装置 |
| JPH0955946A (ja) | 1995-06-06 | 1997-02-25 | Nippon Steel Corp | 動画像信号復号装置 |
| TW322238U (en) | 1995-06-06 | 1997-12-01 | Nippon Steel Corp | A moving picture signal decoder |
| US5828383A (en) * | 1995-06-23 | 1998-10-27 | S3 Incorporated | Controller for processing different pixel data types stored in the same display memory by use of tag bits |
| AU7159296A (en) | 1995-09-15 | 1997-04-01 | Thomson Consumer Electronics, Inc | Simplified input selector for video signals |
| TW303570B (ja) * | 1995-09-29 | 1997-04-21 | Matsushita Electric Ind Co Ltd | |
| JP2942497B2 (ja) * | 1996-03-22 | 1999-08-30 | ローム株式会社 | 画像データ復号表示方法および装置 |
| JP3136994B2 (ja) | 1996-06-14 | 2001-02-19 | 株式会社デンソー | データ処理装置 |
| EP0823815A3 (en) | 1996-08-08 | 2000-12-13 | Matsushita Electric Industrial Co., Ltd. | Information receiving apparatus |
| GB2318246B (en) * | 1996-10-09 | 2000-11-15 | Sony Uk Ltd | Processing digitally encoded signals |
| JPH10285047A (ja) | 1997-02-07 | 1998-10-23 | Matsushita Electric Ind Co Ltd | バッファ制御方法、およびバッファ制御を行う復号化装置 |
| US6201927B1 (en) | 1997-02-18 | 2001-03-13 | Mary Lafuze Comer | Trick play reproduction of MPEG encoded signals |
| US6377748B1 (en) | 1997-02-18 | 2002-04-23 | Thomson Licensing S.A. | Replay bit stream searching |
| JP3922490B2 (ja) | 1998-02-27 | 2007-05-30 | ソニー株式会社 | 映像信号再符号化装置及びその方法並びに映像信号記録再符号化装置及びその方法 |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| AUPP248298A0 (en) * | 1998-03-20 | 1998-04-23 | Canon Kabushiki Kaisha | A method and apparatus for hierarchical encoding and decoding an image |
| US6353700B1 (en) * | 1998-04-07 | 2002-03-05 | Womble Multimedia, Inc. | Method and apparatus for playing an MPEG data file backward |
| JP4073541B2 (ja) | 1998-04-23 | 2008-04-09 | 富士通株式会社 | 動画像再符号化装置 |
| US6751400B1 (en) | 1998-09-17 | 2004-06-15 | Sony Corporation | Reproducing method and apparatus |
| US6707984B2 (en) * | 2001-10-31 | 2004-03-16 | Thomson Licensing S.A. | Changing a playback speed for video presentation recorded in a modified film format |
-
2001
- 2001-06-01 JP JP2001167262A patent/JP3548136B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-24 US US10/156,557 patent/US7065141B2/en not_active Expired - Fee Related
- 2002-05-31 CN CNB021220530A patent/CN1264346C/zh not_active Expired - Fee Related
-
2006
- 2006-05-19 US US11/436,519 patent/US8660190B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020181597A1 (en) | 2002-12-05 |
| JP2002359848A (ja) | 2002-12-13 |
| CN1264346C (zh) | 2006-07-12 |
| US8660190B2 (en) | 2014-02-25 |
| US20060203918A1 (en) | 2006-09-14 |
| CN1390045A (zh) | 2003-01-08 |
| US7065141B2 (en) | 2006-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3548136B2 (ja) | 画像処理装置 | |
| US7706445B2 (en) | Image processing employing picture type conversion | |
| US7245821B2 (en) | Image processing using shared frame memory | |
| JP3403168B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3813444B2 (ja) | ビデオデコーダ | |
| KR101210189B1 (ko) | 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치 | |
| US20030099293A1 (en) | Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| US20070058725A1 (en) | Coding/decoding apparatus, coding/decoding method, coding/decoding integrated circuit and coding/decoding program | |
| KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP3515565B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3548167B2 (ja) | 画像処理装置 | |
| JP3403169B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3403167B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3374128B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3403166B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
| JP3433179B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JPH08307814A (ja) | 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体 | |
| Eerenberg et al. | System requirements and considerations for visual table of contents in PVR | |
| JPH09233426A (ja) | 符号化データ変換方法、符号化データ記録方法、符号化データ変換装置及び符号化データ記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20031006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040415 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |