JP3632591B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3632591B2 JP3632591B2 JP2000345059A JP2000345059A JP3632591B2 JP 3632591 B2 JP3632591 B2 JP 3632591B2 JP 2000345059 A JP2000345059 A JP 2000345059A JP 2000345059 A JP2000345059 A JP 2000345059A JP 3632591 B2 JP3632591 B2 JP 3632591B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- frame
- decoding
- motion compensation
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 74
- 239000013598 vector Substances 0.000 claims description 45
- 238000013139 quantization Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像を復号する際に、縦方向の表示解像度を下げて復号を行う可変解像度復号処理等に用いて好適な画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像データを再生する際に、画像データのサイズと異なる解像度のディスプレイ装置に表示を行う場合がある。例えば、ＨＤＴＶ（Ｈｉｇｈ ＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）の映像を通常のテレビモニタに出力する場合や、画像データをＰＣモニタに表示する場合等がこれにあたる。このような場合、完全に復号を行った後、表示の段階で縮小処理を行うことが一般であるが、縮小処理により映像の詳細な部分（高周波成分）が失われる。そのため、予め高周波成分をカットして復号し、復号段階で縮小処理を行うと再生性能が向上する。ＰＣ上でソフトウェアによる復号処理を行う場合、低い性能のＣＰＵでも復号処理中に解像度を下げて再生を行えば、復号に要するＣＰＵ負荷を抑えることができる。
【０００３】
このように復号処理中に解像度を下げ、縮小した映像を出力する復号装置が、文献「低域ドラフトのないスケーラブル・デコーダ」（岩橋、神林、貴家：信学技報ＤＳＰ９４−１０８ １９９５−０１ ）により提案されている。この復号装置を図１１に示す。
図１１において、記憶装置１０１に蓄積された原画像データ１１１は、画像処理装置１０２の圧縮データバッファ１２１を介して可変長復号化及び逆量子化処理部１２２で処理された後、４×４ＤＣＴ処理部１２３で処理される。即ち、圧縮された画像データを復号する際に、ＤＣＴブロックのうち低周波成分のみを用いて４×４の逆離散コサイン変換をして解像度を下げる。次に、動きベクトル補正処理部１２４で処理された後、動き補償処理部１２５では、復号された動きベクトルの値を半分にして４分の１画素精度で動き補償を行う。
【０００４】
しかしながら図１１の方法では、縦方向の縮小処理により画像１ライン毎のフィールド情報が失われ、ＭＰＥＧ２方式等で採用されているフィールド予測が正しく行われないないという問題が生じる。
【０００５】
この問題を解決するために、フィールドＤＣＴモードとフレームＤＣＴモードとで逆離散コサイン変換の方法を切り替える方法が特願平１０−２２４８８５ 号公報により提案されている。この方法は、トップフィールドとボトムフィールドを一緒に離散コサイン変換したフレームＤＣＴモードのときに、一度逆離散コサイン変換をして得られた画像データを二つのフィールドに分離し、それぞれのフィールドに対してフィールドＤＣＴを適用し、低周波成分のみを用いて逆離散コサイン変換を行うことにより、フィールド情報を保持したまま縮小を行うというものである。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特願平１０−２２４８８５ 号公報の方法では、演算量が多くなり、ＰＣ上でのソフトウェアによる復号処理等の処理性能が要求される分野には適さない。従って、再生性能向上を目的として表示解像度を下げている場合には、全く不向きといえる。
【０００７】
そこで、本発明は、復号処理の演算量を少なくして、高速に縮小処理を行うことができるようにすることを目的としている。
【０００８】
【課題を解決するための手段】
本発明による画像処理装置は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを垂直方向の表示解像度を下げて復号を行う画像処理装置において、画像データがフィールド構造であるか否かを判断する第１の判断手段と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手段と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手段と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手段と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手段と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手段とを設けたものである。
【０００９】
本発明による画像処理方法は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理方法において、画像データがフィールド構造であるか否かを判断する第１の判断手順と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手順と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手順と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手順と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手順と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手順とを設けたものである。
【００１０】
本発明によるコンピュータ読み取り可能な記録媒体は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理を実行するためのプログラムにおいて、前記画像処理が、画像データがフィールド構造であるか否かを判断する第１の判断処理と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断処理と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得処理と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フレームに相当する位置まで延長する補正を行う動きベクトル補正処理と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償処理とからなることを特徴とするプログラムを記録してなるものである。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
本実施の形態は、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像を復号する際に、縦方向の表示解像度を下げて復号を行う手段を提供するものである。
そのために本実施の形態では、第１フィールドのデータのみを用いた第２フィールド参照のフィールド予測を実現している。与えられた動きベクトルを第１フィールドに相当する位置まで延長して第１フィールド参照用の動きベクトルとし、これを用いて第１フィールド参照の動き補償を行う。この方法により第１フィールドのみの復号により、縦方向の解像度を半分にすることが可能となる。
【００１２】
まず、本実施の形態を概略的に説明する。
図１において、記憶装置１は圧縮された原画像データ１１を格納している。画像処理装置２は、記憶装置１からロードした画像データを復号して、ディスプレイ装置３に画像データを送る。
【００１３】
まず、第１フィールドのみの復号を行い、縦方向の解像度を半分に下げて表示を行う場合を考える。この場合、第２フィールドのデータは復号していないので、第２フィールドを参照する動き補償処理を正しく行うことができない。そこで本実施の形態では、第１フィールドのみのデータから簡略的に第２フィールドのデータを作り出すことで、第２フィールドを参照する動き補償を可能にした。
【００１４】
本方法では、第２フィールドを参照する動きベクトルを延長して、第１フィールドを参照する場合の動きベクトルを算出して動き補償を行う。その結果、第１フィールドのみの復号を行えばよいので、復号処理の負荷を低く抑えることができ、ソフトウェアによる復号処理等に用いて有効である。
【００１５】
図１は本発明の実施の形態による画像処理装置を用いた画像処理システムを示すブロック図である。
図１において、本システムは、圧縮画像データを記憶する記憶装置１と、プログラム制御により動作する画像処理装置２と、画像データを表示するディスプレイ装置３とを含む。
記憶装置１は、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された原画像データ１１を蓄積している。
【００１６】
画像処理装置２は、記憶装置１からロードした原画像データ１１を確保する圧縮データバッファ２１と、第１フィールドのみの復号処理を行う第１フィールド復号処理部２２と、第１、第２のどちらのフィールドを用いてフィールド予測を行うかをデータから読み取る参照フィールド取得処理部２３と、第２フィールドを参照する場合に動きベクトルを延長し、補正した動きベクトルを算出する動きベクトル補正処理部２４と、参照データと動きベクトルに基づいて動き補償処理を行う動き補償処理部２５と、表示する画像データを格納するフレームデータバッファ２６とを備えている。
画像処理装置２で復号された画像データはディスプレイ装置３により表示される。
【００１７】
次に、図１〜図９を参照して本実施の形態の動作について説明する。
図１において、記憶装置１はＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された原画像データ１１を格納している。
まず、圧縮画像を復元するに当たり、原画像データ１１を圧縮データバッファ２１にロードする。原画像データ１１の復号処理は、可変長符号復号、逆量子化、逆離散コサイン変換、動き補償という手順を踏むものとする。
【００１８】
まず、復号の最初のステップとして、第１フィールドのデータの可変長符号復号と逆量子化と逆離散コサイン変換を第１フィールド復号処理部２２で行う。可変長符号復号と逆量子化されたデータは、画像データを８×８点の離散コサイン変換により変換されたデータとなっている。８×８点の離散コサイン変換には、フレームＤＣＴモードとフィールドＤＣＴモードがある。
【００１９】
図２のように、フレーム内の画素をそのまま８×８画素分用いて離散コサイン変換を行う場合をフレームＤＣＴモードと呼ぶ。また、図３のように、１６×１６画素を単位とするマクロブロックのうち、１ライン毎（フィールド毎）に組替えて離散コサイン変換を行う場合をフィールドＤＣＴモードと呼ぶ。
本実施の形態では、第２フィールドデータのブロックは復号しないので、フィールドＤＣＴモードの場合は、第２フィールドデータのブロックは逆離散コサイン変換処理を行わない。
【００２０】
原画像データ１１が各フィールドを独立して符号化したフィールド構造データの場合は、第２フィールドデータに対しては可変長符号復号、逆量子化、逆離散コサイン変換の全てを行わない。これらの処理をスキップする制御も第１フィールド復号処理部２２で行われるものとする。
【００２１】
次に、動き補償処理について述べる。動き補償は、直前に復号された画像と復号中のピクチャの逆離散コサイン変換された値とを加算して最終的な復号画素値を出力するための予測復号化処理である。インタレース走査をサポートする画像圧縮方式に用いられる動き補償では、予測方式としてフレーム予測とフィールド予測の２種類を採用していることが一般的である。本実施の形態でも原画像データ１１の圧縮方式がフレーム予測とフィールド予測の両方をサポートするものとする。
【００２２】
フレーム予測の場合は、図４に示すように先に復号された１枚以上のピクチャからフレームとして独立して予測される。即ち、復号中のトップフィールド（第１フィールド）とボトムフィールド（第２フィールド）は、それぞれ参照フレームの第１フィールド、第２フィールドを参照して動き補償が行われる。
【００２３】
フィールド予測の場合は、図５に示すように先に復号された１枚以上のフィールドからそれぞれのフィールドを単位として独立に行われる。フィールド予測の場合、参照データは第１フィールド、第２フィールドどちらでもよい。即ち、第１フィールドを予測するのに第２フィールドが参照されてもよいし、第２フィールドの予測に第１フィールドが参照されてもよい。
図５では、第１フィールド、第２フィールド共に先に復号されたピクチャ（参照フレーム）の第１フィールドを参照した場合の動き補償を示している。
【００２４】
本実施の形態では第１フィールドしか復号しないので、第２フィールドのデータを参照した動き補償処理ができない。そこで以下に示す方法でこの問題を解決する。
（１）フレーム予測の場合
動きベクトルの値により、図６に示すように復号中のフレームが、参照フレームの第２フィールド（ボトムフィールド）のデータを参照することがある。このときは、図７に示すように第１フィールド（トップフィールド）の上下ラインの平均をとり、その値を参照する。フレーム予測は主に動きが小さい場面で採用されるので、第１フィールドと第２フィールドとの値の差が小さいと考えられる。このような方法で参照データを算出しても動き補償時の誤差は小さくなると言える。
【００２５】
（２）フィールド予測の場合
第１フィールドの復号しか行っていないので、第２フィールドを参照する動き補償処理ができない。そこで本実施の形態では、次のようにして動き補償処理を行う。
参照ピクチャの第１フィールドを参照して第１フィールドの動き補償を行う場合は、通常のフィールド予測を行えばよい。
【００２６】
次に、参照ピクチャの第２フィールドを参照して、第１フィールドのデータを生成する場合を考える。図８に示すように、第１フィールドと第２フィールドの時間間隔をｄとする。次のピクチャの第１フィールドとの間隔も同様にｄとなる。参照ピクチャと復号しているピクチャにはｄの整数倍の間隔が生じる。この間隔をｎｄとする。また、縦方向の動きベクトルがｙであるとする。この動きベクトルｙは復号している画素が参照ピクチャの第２フィールドからどれだけ縦方向に動いたかを示すものである。ここで、図９に示すようにこの動きベクトルｙを延長し、参照ピクチャの第１フィールドの時点からどれだけ動きがあったかを計算する。
【００２７】
図９において、第２フィールドからの動きベクトルｙを第１フィールドまで延長した動きベクトルＹは、Ｙ＝（ｎ＋１）＊（ｙ／ｎ）となる。この動きベクトルＹを用いて、第１フィールドのデータを用いて動き補償を行う。Ｙが整数でない場合は、上下ラインのデータの内分を求めてその値を用いる。
ここでは順方向予測について説明したが、逆方向予測、両方向予測についても同様の方法で動き補償を行うことができる。
【００２８】
上記のようにして復号処理されたデータはフレームデータバッファ２６に格納されディスプレイ装置３によって表示される。
【００２９】
図１０は図１で説明した可変解像度復号処理を示すフローチャートである。処理の流れは以下のようになる。
１．復号処理開始
２．図１の原画像１１を圧縮データバッファ２１に転送する。
【００３０】
３．原画像１１がフレーム構造かフィールド構造かを調べる。
３．１ フィールド構造である場合、第１フィールドの復号か第２フィー ルドの復号かを調べる。
３．１．１ 第２フィールドの復号の場合は処理をスキップする。次のピクチャの先頭まで処理をスキップする。６．に進む。
３．１．２ 第１フィールドの復号の場合は第１フィールド復号処理部２２で第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行う。
３．１．３ 参照フィールド取得処理部２３で参照フィールドを取得する。
３．１．４ どちらのフィールドを参照するかを調べる。
３．１．４．１ 第２フィールドを参照する場合は、動きベクトル補正処理部２４で動きベクトルを補正する。
３．１．４．２ 動き補償処理部２５でて動き補償処理を行う。４．に進む。
【００３１】
３．２ フレーム構造の場合、第１フィールド復号処理部２２で第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行う。
３．３ 動き補償がフレーム予測かフィールド予測かを調べる。
３．３．１ フレーム予測の場合、第１フィールドの上下ラインの平均をとり第２フィールドのデータとする。
３．３．２ フィールド予測の場合、どちらのフィールドを参照するかを調べる。
３．３．２．１ 第２フィールドを参照する場合は、動きベクトル補正処理部２４で動きベクトルを補正する。
３．３．３ 動き補償処理部２５で動き補償処理を行う。
【００３２】
４．復号が完了した画像データをフレームデータバッファ２６に格納する。
５．ディスプレイ装置３にて復号された画像が表示される。
６．表示が終了していなければ１．に戻り、次のピクチャのデータを復号する。
７．表示が終了しているなら、処理を終了する。
【００３３】
次に、本発明の実施の形態によるコンピュータ読み取り可能な記録媒体について説明する。
前述した動作に基づく画像処理をコンピュータシステムで実行する場合、ＣＰＵが実行するためのプログラムを格納する記録媒体は、本発明によるコンピュータ読み取り可能な記録媒体を構成する。
【００３４】
この記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フロッピーディスク、メモリカード等に構成して用いてよい。
【００３５】
またこの記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００３６】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００３７】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３８】
従って、この記録媒体を図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこの記録媒体に格納されたプログラムを実行することによっても、実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【００３９】
【発明の効果】
第１の効果は、高速に縦方向のダウンスケール復号処理を実現できることにある。その理由は、第２フィールドの復号を一切行わずに復号するようにしたためである。
【００４０】
第２の効果は、復号された映像のインタレース除去処理が省けることにある。その理由は、復号された映像が復号前の第１フィールドのみの情報からなり、プログレッシブ映像となるためである。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置を用いた画像処理システムを示すブロック図である。
【図２】フレームＤＣＴモードを説明するための構成図である。
【図３】フィールドＤＣＴモードを説明するための構成図である。
【図４】本発明の実施の形態による画像処理を説明するための構成図である。
【図５】本発明の実施の形態による画像処理を説明するための構成図である。
【図６】本発明の実施の形態による画像処理を説明するための構成図である。
【図７】本発明の実施の形態による画像処理を説明するための構成図である。
【図８】本発明の実施の形態による画像処理を説明するための構成図である。
【図９】本発明の実施の形態による画像処理を説明するための構成図である。
【図１０】本発明の実施の形態による画像処理を説明するためのフローチャートである。
【図１１】従来の画像処理装置を示すブロック図である。
【符号の説明】
１ 記憶装置
１１ 原画像
２ 画像処理装置
２１ 圧縮データバッファ
２２ 第１フィールド復号処理部
２３ 参照フィールド取得処理部
２４ 動きベクトル補正処理部
２５ 動き補償処理部
２６ フレームデータバッファ
３ ディスプレイ装置
【発明の属する技術分野】
本発明は、例えば、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像を復号する際に、縦方向の表示解像度を下げて復号を行う可変解像度復号処理等に用いて好適な画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像データを再生する際に、画像データのサイズと異なる解像度のディスプレイ装置に表示を行う場合がある。例えば、ＨＤＴＶ（Ｈｉｇｈ ＤｅｆｉｎｉｔｉｏｎＴｅｌｅｖｉｓｉｏｎ）の映像を通常のテレビモニタに出力する場合や、画像データをＰＣモニタに表示する場合等がこれにあたる。このような場合、完全に復号を行った後、表示の段階で縮小処理を行うことが一般であるが、縮小処理により映像の詳細な部分（高周波成分）が失われる。そのため、予め高周波成分をカットして復号し、復号段階で縮小処理を行うと再生性能が向上する。ＰＣ上でソフトウェアによる復号処理を行う場合、低い性能のＣＰＵでも復号処理中に解像度を下げて再生を行えば、復号に要するＣＰＵ負荷を抑えることができる。
【０００３】
このように復号処理中に解像度を下げ、縮小した映像を出力する復号装置が、文献「低域ドラフトのないスケーラブル・デコーダ」（岩橋、神林、貴家：信学技報ＤＳＰ９４−１０８ １９９５−０１ ）により提案されている。この復号装置を図１１に示す。
図１１において、記憶装置１０１に蓄積された原画像データ１１１は、画像処理装置１０２の圧縮データバッファ１２１を介して可変長復号化及び逆量子化処理部１２２で処理された後、４×４ＤＣＴ処理部１２３で処理される。即ち、圧縮された画像データを復号する際に、ＤＣＴブロックのうち低周波成分のみを用いて４×４の逆離散コサイン変換をして解像度を下げる。次に、動きベクトル補正処理部１２４で処理された後、動き補償処理部１２５では、復号された動きベクトルの値を半分にして４分の１画素精度で動き補償を行う。
【０００４】
しかしながら図１１の方法では、縦方向の縮小処理により画像１ライン毎のフィールド情報が失われ、ＭＰＥＧ２方式等で採用されているフィールド予測が正しく行われないないという問題が生じる。
【０００５】
この問題を解決するために、フィールドＤＣＴモードとフレームＤＣＴモードとで逆離散コサイン変換の方法を切り替える方法が特願平１０−２２４８８５ 号公報により提案されている。この方法は、トップフィールドとボトムフィールドを一緒に離散コサイン変換したフレームＤＣＴモードのときに、一度逆離散コサイン変換をして得られた画像データを二つのフィールドに分離し、それぞれのフィールドに対してフィールドＤＣＴを適用し、低周波成分のみを用いて逆離散コサイン変換を行うことにより、フィールド情報を保持したまま縮小を行うというものである。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特願平１０−２２４８８５ 号公報の方法では、演算量が多くなり、ＰＣ上でのソフトウェアによる復号処理等の処理性能が要求される分野には適さない。従って、再生性能向上を目的として表示解像度を下げている場合には、全く不向きといえる。
【０００７】
そこで、本発明は、復号処理の演算量を少なくして、高速に縮小処理を行うことができるようにすることを目的としている。
【０００８】
【課題を解決するための手段】
本発明による画像処理装置は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを垂直方向の表示解像度を下げて復号を行う画像処理装置において、画像データがフィールド構造であるか否かを判断する第１の判断手段と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手段と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手段と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手段と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手段と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手段とを設けたものである。
【０００９】
本発明による画像処理方法は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理方法において、画像データがフィールド構造であるか否かを判断する第１の判断手順と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手順と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手順と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手順と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手順と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手順とを設けたものである。
【００１０】
本発明によるコンピュータ読み取り可能な記録媒体は、フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理を実行するためのプログラムにおいて、前記画像処理が、画像データがフィールド構造であるか否かを判断する第１の判断処理と、フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断処理と、フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理と、動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得処理と、第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フレームに相当する位置まで延長する補正を行う動きベクトル補正処理と、補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償処理とからなることを特徴とするプログラムを記録してなるものである。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
本実施の形態は、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された画像を復号する際に、縦方向の表示解像度を下げて復号を行う手段を提供するものである。
そのために本実施の形態では、第１フィールドのデータのみを用いた第２フィールド参照のフィールド予測を実現している。与えられた動きベクトルを第１フィールドに相当する位置まで延長して第１フィールド参照用の動きベクトルとし、これを用いて第１フィールド参照の動き補償を行う。この方法により第１フィールドのみの復号により、縦方向の解像度を半分にすることが可能となる。
【００１２】
まず、本実施の形態を概略的に説明する。
図１において、記憶装置１は圧縮された原画像データ１１を格納している。画像処理装置２は、記憶装置１からロードした画像データを復号して、ディスプレイ装置３に画像データを送る。
【００１３】
まず、第１フィールドのみの復号を行い、縦方向の解像度を半分に下げて表示を行う場合を考える。この場合、第２フィールドのデータは復号していないので、第２フィールドを参照する動き補償処理を正しく行うことができない。そこで本実施の形態では、第１フィールドのみのデータから簡略的に第２フィールドのデータを作り出すことで、第２フィールドを参照する動き補償を可能にした。
【００１４】
本方法では、第２フィールドを参照する動きベクトルを延長して、第１フィールドを参照する場合の動きベクトルを算出して動き補償を行う。その結果、第１フィールドのみの復号を行えばよいので、復号処理の負荷を低く抑えることができ、ソフトウェアによる復号処理等に用いて有効である。
【００１５】
図１は本発明の実施の形態による画像処理装置を用いた画像処理システムを示すブロック図である。
図１において、本システムは、圧縮画像データを記憶する記憶装置１と、プログラム制御により動作する画像処理装置２と、画像データを表示するディスプレイ装置３とを含む。
記憶装置１は、ＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された原画像データ１１を蓄積している。
【００１６】
画像処理装置２は、記憶装置１からロードした原画像データ１１を確保する圧縮データバッファ２１と、第１フィールドのみの復号処理を行う第１フィールド復号処理部２２と、第１、第２のどちらのフィールドを用いてフィールド予測を行うかをデータから読み取る参照フィールド取得処理部２３と、第２フィールドを参照する場合に動きベクトルを延長し、補正した動きベクトルを算出する動きベクトル補正処理部２４と、参照データと動きベクトルに基づいて動き補償処理を行う動き補償処理部２５と、表示する画像データを格納するフレームデータバッファ２６とを備えている。
画像処理装置２で復号された画像データはディスプレイ装置３により表示される。
【００１７】
次に、図１〜図９を参照して本実施の形態の動作について説明する。
図１において、記憶装置１はＭＰＥＧ２方式等のフィールド予測による動き補償をサポートした圧縮方式で圧縮された原画像データ１１を格納している。
まず、圧縮画像を復元するに当たり、原画像データ１１を圧縮データバッファ２１にロードする。原画像データ１１の復号処理は、可変長符号復号、逆量子化、逆離散コサイン変換、動き補償という手順を踏むものとする。
【００１８】
まず、復号の最初のステップとして、第１フィールドのデータの可変長符号復号と逆量子化と逆離散コサイン変換を第１フィールド復号処理部２２で行う。可変長符号復号と逆量子化されたデータは、画像データを８×８点の離散コサイン変換により変換されたデータとなっている。８×８点の離散コサイン変換には、フレームＤＣＴモードとフィールドＤＣＴモードがある。
【００１９】
図２のように、フレーム内の画素をそのまま８×８画素分用いて離散コサイン変換を行う場合をフレームＤＣＴモードと呼ぶ。また、図３のように、１６×１６画素を単位とするマクロブロックのうち、１ライン毎（フィールド毎）に組替えて離散コサイン変換を行う場合をフィールドＤＣＴモードと呼ぶ。
本実施の形態では、第２フィールドデータのブロックは復号しないので、フィールドＤＣＴモードの場合は、第２フィールドデータのブロックは逆離散コサイン変換処理を行わない。
【００２０】
原画像データ１１が各フィールドを独立して符号化したフィールド構造データの場合は、第２フィールドデータに対しては可変長符号復号、逆量子化、逆離散コサイン変換の全てを行わない。これらの処理をスキップする制御も第１フィールド復号処理部２２で行われるものとする。
【００２１】
次に、動き補償処理について述べる。動き補償は、直前に復号された画像と復号中のピクチャの逆離散コサイン変換された値とを加算して最終的な復号画素値を出力するための予測復号化処理である。インタレース走査をサポートする画像圧縮方式に用いられる動き補償では、予測方式としてフレーム予測とフィールド予測の２種類を採用していることが一般的である。本実施の形態でも原画像データ１１の圧縮方式がフレーム予測とフィールド予測の両方をサポートするものとする。
【００２２】
フレーム予測の場合は、図４に示すように先に復号された１枚以上のピクチャからフレームとして独立して予測される。即ち、復号中のトップフィールド（第１フィールド）とボトムフィールド（第２フィールド）は、それぞれ参照フレームの第１フィールド、第２フィールドを参照して動き補償が行われる。
【００２３】
フィールド予測の場合は、図５に示すように先に復号された１枚以上のフィールドからそれぞれのフィールドを単位として独立に行われる。フィールド予測の場合、参照データは第１フィールド、第２フィールドどちらでもよい。即ち、第１フィールドを予測するのに第２フィールドが参照されてもよいし、第２フィールドの予測に第１フィールドが参照されてもよい。
図５では、第１フィールド、第２フィールド共に先に復号されたピクチャ（参照フレーム）の第１フィールドを参照した場合の動き補償を示している。
【００２４】
本実施の形態では第１フィールドしか復号しないので、第２フィールドのデータを参照した動き補償処理ができない。そこで以下に示す方法でこの問題を解決する。
（１）フレーム予測の場合
動きベクトルの値により、図６に示すように復号中のフレームが、参照フレームの第２フィールド（ボトムフィールド）のデータを参照することがある。このときは、図７に示すように第１フィールド（トップフィールド）の上下ラインの平均をとり、その値を参照する。フレーム予測は主に動きが小さい場面で採用されるので、第１フィールドと第２フィールドとの値の差が小さいと考えられる。このような方法で参照データを算出しても動き補償時の誤差は小さくなると言える。
【００２５】
（２）フィールド予測の場合
第１フィールドの復号しか行っていないので、第２フィールドを参照する動き補償処理ができない。そこで本実施の形態では、次のようにして動き補償処理を行う。
参照ピクチャの第１フィールドを参照して第１フィールドの動き補償を行う場合は、通常のフィールド予測を行えばよい。
【００２６】
次に、参照ピクチャの第２フィールドを参照して、第１フィールドのデータを生成する場合を考える。図８に示すように、第１フィールドと第２フィールドの時間間隔をｄとする。次のピクチャの第１フィールドとの間隔も同様にｄとなる。参照ピクチャと復号しているピクチャにはｄの整数倍の間隔が生じる。この間隔をｎｄとする。また、縦方向の動きベクトルがｙであるとする。この動きベクトルｙは復号している画素が参照ピクチャの第２フィールドからどれだけ縦方向に動いたかを示すものである。ここで、図９に示すようにこの動きベクトルｙを延長し、参照ピクチャの第１フィールドの時点からどれだけ動きがあったかを計算する。
【００２７】
図９において、第２フィールドからの動きベクトルｙを第１フィールドまで延長した動きベクトルＹは、Ｙ＝（ｎ＋１）＊（ｙ／ｎ）となる。この動きベクトルＹを用いて、第１フィールドのデータを用いて動き補償を行う。Ｙが整数でない場合は、上下ラインのデータの内分を求めてその値を用いる。
ここでは順方向予測について説明したが、逆方向予測、両方向予測についても同様の方法で動き補償を行うことができる。
【００２８】
上記のようにして復号処理されたデータはフレームデータバッファ２６に格納されディスプレイ装置３によって表示される。
【００２９】
図１０は図１で説明した可変解像度復号処理を示すフローチャートである。処理の流れは以下のようになる。
１．復号処理開始
２．図１の原画像１１を圧縮データバッファ２１に転送する。
【００３０】
３．原画像１１がフレーム構造かフィールド構造かを調べる。
３．１ フィールド構造である場合、第１フィールドの復号か第２フィー ルドの復号かを調べる。
３．１．１ 第２フィールドの復号の場合は処理をスキップする。次のピクチャの先頭まで処理をスキップする。６．に進む。
３．１．２ 第１フィールドの復号の場合は第１フィールド復号処理部２２で第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行う。
３．１．３ 参照フィールド取得処理部２３で参照フィールドを取得する。
３．１．４ どちらのフィールドを参照するかを調べる。
３．１．４．１ 第２フィールドを参照する場合は、動きベクトル補正処理部２４で動きベクトルを補正する。
３．１．４．２ 動き補償処理部２５でて動き補償処理を行う。４．に進む。
【００３１】
３．２ フレーム構造の場合、第１フィールド復号処理部２２で第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行う。
３．３ 動き補償がフレーム予測かフィールド予測かを調べる。
３．３．１ フレーム予測の場合、第１フィールドの上下ラインの平均をとり第２フィールドのデータとする。
３．３．２ フィールド予測の場合、どちらのフィールドを参照するかを調べる。
３．３．２．１ 第２フィールドを参照する場合は、動きベクトル補正処理部２４で動きベクトルを補正する。
３．３．３ 動き補償処理部２５で動き補償処理を行う。
【００３２】
４．復号が完了した画像データをフレームデータバッファ２６に格納する。
５．ディスプレイ装置３にて復号された画像が表示される。
６．表示が終了していなければ１．に戻り、次のピクチャのデータを復号する。
７．表示が終了しているなら、処理を終了する。
【００３３】
次に、本発明の実施の形態によるコンピュータ読み取り可能な記録媒体について説明する。
前述した動作に基づく画像処理をコンピュータシステムで実行する場合、ＣＰＵが実行するためのプログラムを格納する記録媒体は、本発明によるコンピュータ読み取り可能な記録媒体を構成する。
【００３４】
この記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フロッピーディスク、メモリカード等に構成して用いてよい。
【００３５】
またこの記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００３６】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００３７】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３８】
従って、この記録媒体を図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこの記録媒体に格納されたプログラムを実行することによっても、実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【００３９】
【発明の効果】
第１の効果は、高速に縦方向のダウンスケール復号処理を実現できることにある。その理由は、第２フィールドの復号を一切行わずに復号するようにしたためである。
【００４０】
第２の効果は、復号された映像のインタレース除去処理が省けることにある。その理由は、復号された映像が復号前の第１フィールドのみの情報からなり、プログレッシブ映像となるためである。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置を用いた画像処理システムを示すブロック図である。
【図２】フレームＤＣＴモードを説明するための構成図である。
【図３】フィールドＤＣＴモードを説明するための構成図である。
【図４】本発明の実施の形態による画像処理を説明するための構成図である。
【図５】本発明の実施の形態による画像処理を説明するための構成図である。
【図６】本発明の実施の形態による画像処理を説明するための構成図である。
【図７】本発明の実施の形態による画像処理を説明するための構成図である。
【図８】本発明の実施の形態による画像処理を説明するための構成図である。
【図９】本発明の実施の形態による画像処理を説明するための構成図である。
【図１０】本発明の実施の形態による画像処理を説明するためのフローチャートである。
【図１１】従来の画像処理装置を示すブロック図である。
【符号の説明】
１ 記憶装置
１１ 原画像
２ 画像処理装置
２１ 圧縮データバッファ
２２ 第１フィールド復号処理部
２３ 参照フィールド取得処理部
２４ 動きベクトル補正処理部
２５ 動き補償処理部
２６ フレームデータバッファ
３ ディスプレイ装置
Claims (9)
- フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを垂直方向の表示解像度を下げて復号を行う画像処理装置において、
画像データがフィールド構造であるか否かを判断する第１の判断手段と、
フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手段と、
フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、
フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手段と、
動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手段と、
第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手段と、
補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手段とを設けたことを特徴とする画像処理装置。 - 前記第１の判断手段は、前記画像データがフレーム構造であるか否かを判断し、フレーム構造であるとき前記復号処理手段が処理を行うと共に、動き補償がフィールド予測か否かを判断する第３の判断手段を設け、フィールド予測であるとき、前記参照フィールド取得手段が前記判断及び参照フィールドの取得を行うことを特徴とする請求項１記載の画像処理装置。
- 前記第３の判断手段は、動き補償がフレーム予測か否かを判断し、フレーム予測であるとき、前記復号処理手段は、参照フレームの第１フィールドの上下２ラインの平均をとり参照フレームの第２フィールドのデータとして処理を行うことを特徴とする請求項２記載の画像処理装置。
- フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理方法において、
画像データがフィールド構造であるか否かを判断する第１の判断手順と、
フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断手順と、
フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、
フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理手順と、
動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得手順と、
第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フィールドに相当する位置まで延長する補正を行う動きベクトル補正手順と、
補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償手順とを設けたことを特徴とする画像処理方法。 - 前記第１の判断手順は、前記画像データがフレーム構造であるか否かを判断し、フレーム構造であるとき前記復号処理手順が処理を行うと共に、動き補償がフィールド予測か否かを判断する第３の判断手順を設け、フィールド予測であるとき、前記参照フィールド取得手段が前記判断及び参照フィールドの取得を行うことを特徴とする請求項４記載の画像処理方法。
- 前記第３の判断手順は、動き補償がフレーム予測か否かを判断し、フレーム予測であるとき、復号処理手順は、参照フレームの第１フィールドの上下２ラインの平均をとり参照フレームの第２フィールドのデータとする処理を行うことを特徴とする請求項５記載の画像処理方法。
- フィールド予測による動き補償をサポートした圧縮方式により圧縮された画像データを縦方向の表示解像度を下げて復号を行う画像処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
前記画像処理が、
画像データがフィールド構造であるか否かを判断する第１の判断処理と、
フィールド構造であるとき、画像データの第１フィールドの復号か第２フィールドの復号かを判断する第２の判断処理と、
フィールド構造の場合に、第１フィールドのみ可変長復号と逆量子化と逆離散コサイン変換を行い、第２フィールドについては復号を行わず、
フレーム構造であるとき、フレームDCTのマクロブロックについてはすべてのブロックについて可変長復号と逆量子化と逆離散コサイン変換を行い、フィールドDCTのマクロブロックについては、第１フィールドに相当するブロックのみ可変長復号と逆量子化と逆離散コサイン変換を行う復号処理と、
動き補償を行うための参照フィールドが第１フィールドか第２フィールドかを判断し、その判断結果のフィールドを取得する参照フィールド取得処理と、
第２フィールドを参照フィールドとするとき、動きベクトルを参照フレームの第１フレームに相当する位置まで延長する補正を行う動きベクトル補正処理と、 補正された動きベクトルを用いてすべてのベクトルが参照フレームの第１フィールドを参照する動き補償を行う動き補償処理とからなることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記第１の判断処理は、前記画像データがフレーム構造であるか否かを判断し、フレーム構造であるとき前記復号処理を行うと共に、動き補償がフィールド予測か否かを判断する第３の判断処理を実行するためのプログラムを設け、フィールド予測であるとき、前記参照フィールド取得処理が前記判断及び参照フィールドの取得を行うことを特徴とする請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記第３の判断処理は、動き補償がフレーム予測か否かを判断し、フレーム予測であるとき、前記復号処理は、参照フレームの第１フィールドの上下２ラインの平均をとり参照フレームの第２フィールドのデータとする処理を行うことを特徴とする請求項８記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000345059A JP3632591B2 (ja) | 2000-11-13 | 2000-11-13 | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
| US10/010,897 US6839384B2 (en) | 2000-11-13 | 2001-11-13 | Method and apparatus for decoding compressed video signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000345059A JP3632591B2 (ja) | 2000-11-13 | 2000-11-13 | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152751A JP2002152751A (ja) | 2002-05-24 |
| JP3632591B2 true JP3632591B2 (ja) | 2005-03-23 |
Family
ID=18819160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000345059A Expired - Fee Related JP3632591B2 (ja) | 2000-11-13 | 2000-11-13 | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6839384B2 (ja) |
| JP (1) | JP3632591B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| CA2265089C (en) | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| KR100571687B1 (ko) * | 1999-02-09 | 2006-04-18 | 소니 가부시끼 가이샤 | 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법 |
| JP3694888B2 (ja) * | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| US6917713B2 (en) * | 2002-05-29 | 2005-07-12 | Koninklijke Philips Electronics N.V. | System and method for enhancing videos from drift-free scalable bitstream |
| JP4196726B2 (ja) * | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
| KR101545005B1 (ko) | 2006-12-18 | 2015-08-21 | 코닌클리케 필립스 엔.브이. | 이미지 압축 및 압축해제 |
| WO2010086500A1 (en) | 2009-01-28 | 2010-08-05 | Nokia Corporation | Method and apparatus for video coding and decoding |
| US20130266080A1 (en) * | 2011-10-01 | 2013-10-10 | Ning Lu | Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding |
| US20140269920A1 (en) * | 2013-03-15 | 2014-09-18 | Cisco Technology, Inc. | Motion Estimation Guidance in Transcoding Operation |
| JP6410495B2 (ja) * | 2014-07-07 | 2018-10-24 | ルネサスエレクトロニクス株式会社 | 画像符号化装置、画像復号装置、および画像通信システム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
| JP2636622B2 (ja) * | 1992-03-13 | 1997-07-30 | 松下電器産業株式会社 | ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置 |
| JPH08275063A (ja) * | 1995-04-04 | 1996-10-18 | Minolta Co Ltd | 撮像装置 |
| JPH09172594A (ja) | 1995-12-19 | 1997-06-30 | Matsushita Electric Ind Co Ltd | 記録媒体、画像記録装置および画像再生装置 |
| KR100192270B1 (ko) * | 1996-02-03 | 1999-06-15 | 구자홍 | 에이치디티브이 비데오 디코더 회로 |
| JP3239824B2 (ja) | 1997-10-24 | 2001-12-17 | 日本電気株式会社 | Ｍｐｅｇ復号装置 |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| JP2000059793A (ja) | 1998-08-07 | 2000-02-25 | Sony Corp | 画像復号装置及び画像復号方法 |
| US6192080B1 (en) * | 1998-12-04 | 2001-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Motion compensated digital video signal processing |
| US6658157B1 (en) * | 1999-06-29 | 2003-12-02 | Sony Corporation | Method and apparatus for converting image information |
| JP3694888B2 (ja) * | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
-
2000
- 2000-11-13 JP JP2000345059A patent/JP3632591B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-13 US US10/010,897 patent/US6839384B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020057740A1 (en) | 2002-05-16 |
| JP2002152751A (ja) | 2002-05-24 |
| US6839384B2 (en) | 2005-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7893968B2 (en) | Composite still-image creating device capable of creating a still image from moving images | |
| JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
| US20100226437A1 (en) | Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution | |
| JP5195032B2 (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| JP3632591B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 | |
| JP2010016833A (ja) | 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ | |
| US9185417B2 (en) | Video decoding switchable between two modes | |
| JP3593944B2 (ja) | 画像データ処理装置及びそれに用いる動き補償処理方法 | |
| JP4245576B2 (ja) | 画像圧縮伸張法、画像圧縮装置及び画像伸張装置 | |
| JP2007503787A (ja) | メモリ帯域幅要求が低いビデオ処理装置 | |
| JPH11298903A (ja) | ディジタル画像復号装置及び方法、並びに提供媒体 | |
| US6907077B2 (en) | Variable resolution decoder | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| JP3164971B2 (ja) | 画像再生装置 | |
| JP3099809B2 (ja) | 片フィールドデータによるフレーム表示方法および装置 | |
| JPH09322175A (ja) | 動画像復号化方法及び装置 | |
| US7180948B2 (en) | Image decoder and image decoding method having a frame mode basis and a field mode basis | |
| JP2820636B2 (ja) | 動画像圧縮装置 | |
| KR102459813B1 (ko) | 영상스위칭 기반의 주기적 화질보정 영상처리 방법 | |
| JP3132452B2 (ja) | 動画像復号装置 | |
| JP2007537653A (ja) | インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス | |
| JP4173747B2 (ja) | 画像処理装置およびプログラム | |
| JPH07264590A (ja) | 画像再生装置 | |
| JP3862479B2 (ja) | ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法 | |
| JP3196753B2 (ja) | 画像表示方法及び画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |