JP4213526B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4213526B2 JP4213526B2 JP2003179449A JP2003179449A JP4213526B2 JP 4213526 B2 JP4213526 B2 JP 4213526B2 JP 2003179449 A JP2003179449 A JP 2003179449A JP 2003179449 A JP2003179449 A JP 2003179449A JP 4213526 B2 JP4213526 B2 JP 4213526B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- sub
- encoded
- dct
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 244
- 238000012545 processing Methods 0.000 claims description 184
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000008707 rearrangement Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims 4
- 230000000875 corresponding effect Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 26
- 230000003044 adaptive effect Effects 0.000 description 24
- 238000013139 quantization Methods 0.000 description 19
- 230000000750 progressive effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に関し、特にインタレース画像信号の周波数成分に対して適応的な画面内予測処理を施すことにより、画像信号の符号化効率を向上する方法に関するものである。
【０００２】
【従来の技術】
動画像に対応する画像データを、その冗長性を利用して圧縮する予測符号化には、被符号化フレーム内の画像データを用いて、画像データの予測を行う画面内予測符号化と、被符号化フレーム以外の他のフレームの画像データを利用して、画像データの予測を行う画面間予測符号化がある。
【０００３】
具体的には、上記画面内予測符号化は、被符号化フレームの画像データの予測値をそのフレーム内の画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の本来の性質として画像データに多量に含まれている空間的に冗長な情報を除去もしくは減少して画像データを圧縮する方法である。
【０００４】
一方、上記画面間予測符号化は、被符号化フレームの画像データの予測値を他のフレームの画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の動きが小さい場合などに画像データに多量に含まれることとなる時間的に冗長な情報を除去もしくは減少して画像を圧縮する方法である。
【０００５】
最近の画像符号化においては離散コサイン変換（ＤＣＴ）が広く利用されており、代表的な画像符号化方式であるＭＰＥＧ（Moving Picture Expert Group ）方式においては、デジタル画像信号により形成される画像空間（フレーム）をＤＣＴ処理の単位である複数の矩形領域（ブロック）に分割し、各ブロックに対応する画像信号に対してブロック毎にＤＣＴ処理を施すようにしている。
【０００６】
ＭＰＥＧ方式で採用されている、ＤＣＴ係数，つまりＤＣＴ領域（周波数領域）における画像データに対する画面内予測方法については、ＭＰＥＧ４に関する文献であるISO/IEC JTC1/SC29/WG11 MPEG97/N1642 MPEG-4 Video Verification Model Version 7.0 （以下、ＭＰＥＧ−４ ＶＭ７．０と称する。）における「Intra DC and AC Prediction for I-VOP and P-VOP」の項に記載されている。
【０００７】
この文献の記載によれば、符号化処理の対象となる被符号化ブロックに対応するＤＣＴ係数のＤＣ成分およびＡＣ成分を、上記画像空間上で被符号化ブロックの左上、上および左に隣接して位置する３つの隣接ブロックに対応するＤＣＴ係数を利用して予測することとしている。
【０００８】
図１５は、従来の画像符号化方式に採用されている、上記文献に記述されているような画面内ＤＣＴ係数予測方法を説明するための図である。
図１５には、ＤＣＴ処理の単位となる８×８画素からなる４つのブロック（ＤＣＴブロックともいう。）Ｒ０〜Ｒ２，Ｘが示されており、各ブロックは、画像信号により形成される画像空間（空間領域）上で互いに隣接して位置している。
【０００９】
ここで、ブロックＸは、符号化処理の対象となる被符号化ブロックであり、ブロックＲ０，Ｒ１，Ｒ２は、上記空間領域上で、上記被符号化ブロックの左上側，上側，及び左側に隣接して位置する、既に符号化処理が完了した符号化済みブロックである。
【００１０】
従来の画面内ＤＣＴ係数予測方法では、ブロックＸのＤＣＴ係数の予測値を生成する際に、ブロックＲ１またはブロックＲ２のＤＣＴ係数が参照される。
具体的には、符号化済みブロックＲ１のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ１における左上隅のＤＣ成分及び最上列のＡＣ成分が、これらの成分と被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。また、符号化済みブロックＲ２のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ２の左上隅のＤＣ成分及び最左列のＡＣ成分が、これらの成分と上記被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。
【００１１】
また、符号化済みブロックのいずれのブロックのＤＣＴ係数を、上記被符号化ブロックＸのＤＣＴ係数の予測値として参照すべきかの決定は、符号化済みブロックＲ０，Ｒ１およびＲ２のＤＣ成分を用いて行われる。
【００１２】
すなわち、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値よりも小さい場合は、縦方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際にはブロックＲ１のＤＣＴ係数が参照される。一方、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値よりも小さい場合には、横方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際には、ブロックＲ２のＤＣＴ係数が参照される。
【００１３】
ところが、上記文献（ＭＰＥＧ−４ ＶＭ７．０）における「Ａｄａｐｔｉｖｅ Ｆｒａｍｅ／Ｆｉｅｌｄ ＤＣＴ」の項に記載されているように、インタレース画像の符号化に用いられるＤＣＴ処理（周波数変換処理）には、フレームＤＣＴ処理とフィールドＤＣＴ処理の２つのタイプのＤＣＴ処理がある。これらのＤＣＴ処理はその処理単位が異なり、フレームＤＣＴ処理はフレーム単位で画像データの変換を行い、フィールドＤＣＴ処理はフィールド単位で画像データの変換を行う。ＭＰＥＧ方式では、４つのブロックから構成されるいわゆるマクロブロック毎にフレームＤＣＴ処理とフィールドＤＣＴ処理とが適応的に切り換えられる。
【００１４】
ここで、マクロブロックに対するフレームＤＣＴ処理とフィールドＤＣＴ処理の切替えは、図１６に示すように、走査線の並べ替えを行うか否かにより行われ、フィールドＤＣＴ処理では、走査線の並べ替えが行われたマクロブロックにおける各ブロックの画像データにＤＣＴ処理が施されることとなる。
【００１５】
具体的には、フレームＤＣＴ処理の場合は、偶数および奇数番号の走査線が交互に並んだマクロブロックにおける各ブロックの画像データがそのままＤＣＴ処理され、フィールドＤＣＴ処理の場合には、走査線の並べ替えにより、マクロブロックが、偶数番号の走査線のみで構成される第１フィールドのブロックと奇数番号の走査線のみで構成される第２フィールドのブロックとからなるものとなった後に、このようなマクロブロックにおける各ブロックの画像データに対してＤＣＴ処理が行われることとなる。
【００１６】
このようにインタレース画像信号の符号化処理では、画像空間上に位置するマクロブロックとして、フレームＤＣＴ処理されるマクロブロックとフィールドＤＣＴ処理されるマクロブロックとが混在することになる。
【００１７】
そして、第１フィールドと第２フィールドの間での画素値の相関が第１フィールド内および第２フィールド内での画素値の相関より高い場合は、フレームＤＣＴ処理が実施され、それ以外の場合はフィールドＤＣＴ処理が実施されるという方法で、フレームＤＣＴ処理とフィールドＤＣＴ処理は切替えられる。
【００１８】
従って、画像空間上で隣り合うマクロブロックや隣接するブロック（つまりマクロブロックを構成するサブブロック）であっても、ＤＣＴ処理のタイプが異なる場合があり、この場合には、隣接するマクロブロック間、あるいは隣接するブロック間では、マクロブロックあるいはブロックのＤＣＴ処理タイプが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００１９】
また、隣り合うブロック間ではこれらが属するフィールドが異なる場合があり、このような場合には、隣接するブロック間では、ブロックの属するフィールドが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００２０】
【発明が解決しようとする課題】
しかしながら、フィールドＤＣＴ処理が施されたマクロブロック（フィールドＤＣＴタイプのマクロブロック）では、第１フィールドのブロックと第２フィールドのブロックが混在するため、被符号化ブロックのＤＣＴ係数の予測値を生成する際、参照すべき符号化済みブロックを特定することが困難であり、このため、上記のようなフィールドＤＣＴタイプのマクロブロックに対して従来の画面内予測処理を単純に適用することができない。この結果、フィールドＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理では、画面内予測処理を適用することができず、画像信号に含まれる空間的に冗長な画像情報を十分に削減して、効率のよい符号化処理を行うことができないという問題があった。
【００２１】
この発明は以上のような問題点を解消するためになされたもので、異なるＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理においても、画像信号に含まれる空間的に冗長な画像情報を十分に削減でき、高能率な符号化処理を行うことができる画像処理方法を得ることを目的とする。
【００２２】
【課題を解決するための手段】
この発明（請求項１）に係る画像処理方法は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理方法であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替えステップと、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換ステップと、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測ステップと、上記被符号化サブブロックの周波数成分と上記予測値との差分値を符号化する符号化ステップとを有し、上記変換ステップは、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測ステップは、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするものである。
【００２４】
この発明（請求項２）に係る画像処理装置は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理装置であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替え手段と、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換手段と、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測手段と、上記被符号化サブブロックの周波数成分と上記予測値の差分値を符号化する符号化手段とを備え、上記変換手段は、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測手段は、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするものである。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
実施の形態１．
本発明の実施の形態１による画像処理装置（画像符号化装置）は、適応的画面内ＤＣＴ係数予測方法，つまり被符号化ブロックのＤＣＴタイプ信号（周波数変換タイプ信号）に応じて、符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。
【００２６】
図１は、本実施の形態１による画像符号化装置の構成を示すブロック図である。
図において、１０００は本実施の形態１の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のブロックの各々に対応するよう分割し、各ブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【００２７】
すなわち、この画像符号化装置１０００は、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。
【００２８】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００２９】
また、上記画像符号化装置１０００は、上記ブロック化された画像信号（以下ブロック化画像信号ともいう。）１０１に対して離散コサイン変換（ＤＣＴ処理）を施して、上記ブロック化画像信号を周波数成分（ＤＣＴ係数）１０４に変換するＤＣＴ器１０３と、このＤＣＴ係数１０４を量子化して、各ブロックに対応する量子化値（ＤＣＴ係数量子化値）１０６を生成する量子化器１０５と、上記ＤＣＴタイプ信号１０２に基づいた画面内予測処理により被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部１１０と、上記ＤＣＴ係数量子化値１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【００３０】
ここで、上記画面内予測処理部１１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【００３１】
次に動作について説明する。
まず、適応的ＤＣＴ予測処理を用いた符号化処理における全体的な動作について説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置１０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【００３２】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。
【００３３】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００３４】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【００３５】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【００３６】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部１１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【００３７】
すなわち、上記画面内予測処理部１１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器１１３では、上記ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【００３８】
次に、上記符号化処理における適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態１の適応的画面内ＤＣＴ係数予測方法は、被符号化ブロックのＤＣＴタイプに応じて、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際に参照するブロックを変更するものである。
本実施の形態１においては、次のようにＤＣＴ領域を定義する。
【００３９】
すなわち、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、画像信号空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【００４０】
また、この実施の形態１では、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴデータが、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【００４１】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測し、この際、被符号化ブロックのＤＣＴタイプに応じて、参照する符号化済みブロックを切替える適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
【００４２】
まず、被符号化ブロックがフレームＤＣＴ処理されている場合の予測（以下、フレーム予測と称する）においては、図４（ａ） に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４（ａ） に示す被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）に空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００４３】
一方、被符号化ブロックがフィールドＤＣＴ処理されている場合の予測（以下、フィールド予測と称する）においては、図４（ｂ）に示すように、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックの左隣に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４（ｂ）に示す被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）と同じフィールドに属する空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００４４】
次に、図５から図１１を用いて、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法の処理手順について説明する。
図５は、本実施の形態の適応的画面内ＤＣＴ係数予測方法の処理手順を表すフローチャートを示す図である。
【００４５】
ステップ５１において、被符号化ブロックｘ（ｉ）のＤＣＴタイプが判定され、この判定結果によってその後の処理が異なることとなる。
つまり、被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ５２において、図４（ａ）に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ），ｒ１（ｉ）およびｒ２（ｉ）を参照するフレーム予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００４６】
一方、被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ５３において、図４（ｂ）に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）参照するフィールド予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００４７】
以上のようにして、被符号化ブロックｘ（ｉ）のＤＣＴタイプに応じて、予測に用いる参照ブロックを切替えることで、被符号化ブロックｘ（ｉ）との間でＤＣＴ係数の相関の高いブロックのＤＣＴ係数を予測に用いることができ、これにより効率のよい予測を行うことができる。
【００４８】
次に、図５に示すステップＳ５２のフレーム予測方法の処理手順を、図６のフローチャートを用いて説明する。図６において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ａ）の参照ブロックおよび被符号化ブロックを示す。図６のフレーム予測方法の処理手順においては、フレームＤＣＴ処理されている参照ブロック、すなわち被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロックを優先して予測に用いる。
【００４９】
まず、ステップＳ６１１ａにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ６１２ａおよびＳ６１３ａにおいて、被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図６に示すフレーム予測の処理は、次の４つの処理（Ａ１）〜（Ａ４）に分けられる。
【００５０】
（Ａ１） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ６１４ａにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５１】
（Ａ２） 参照ブロックｒ１（ｉ）がフィールドＤＣＴされ、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１５ａにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５２】
（Ａ３） 参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５３】
（Ａ４） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ６１７ａにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００５４】
なお、ステップＳ６１７ａにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ６１３ａおよびステップＳ６１７ａを省略して、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されていない場合は、常にステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００５５】
次に、図５に示すステップ５３のフィールド予測方法における処理手順を、図７のフローチャートにより説明する。
図７に示すフィールド予測方法の処理手順は、図６に示すフレーム予測方法の処理手順において、フレームとフィールドを入れ替えたものである。
【００５６】
ただし、図７によるフィールド予測方法の説明においては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、および被符号化ブロックｘ（ｉ）は、それぞれ図４（ｂ）に示す参照ブロックおよび被符号化ブロックを示すものとする。
【００５７】
すなわち、図７のフィールド予測方法の処理手順においても、被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロック（フィールドＤＣＴ処理が施された参照ブロック）を優先して予測に用いる。
【００５８】
まず、ステップＳ７１１ｂにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ７１２ｂおよびＳ７１３ｂにおいて、被符号化ブロックｘ（ｉ）の上側に位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図７に示すフィールド予測の処理は、次の４つの処理（Ｂ１）〜（Ｂ４）に分けられる。
【００５９】
（Ｂ１） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ７１４ｂにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６０】
（Ｂ２） 参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１５ｂにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６１】
（Ｂ３） 参照ブロックｒ１（ｉ）がフィールドＤＣＴ処理され、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６２】
（Ｂ４） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ７１７ｂにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００６３】
なお、ステップＳ７１７ｂにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、およびｒ２（ｉ）を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ７１３ｂおよびステップＳ７１７ｂを省略して、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されていない場合は、常にステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００６４】
以上、図６および図７の処理手順に示した予測方法のように、被符号化ブロックと同じＤＣＴタイプのブロック、すなわち被符号化ブロックとの間でＤＣＴ係数の相関の高い参照ブロックを優先して、被符号化ブロックの予測に用いることにより、効率のよい予測を行うことができる。
【００６５】
次に、上述した図６に示すステップＳ６１４ａの「所定の方法１」またはステップＳ６１７ａの「所定の方法２」に基づいた予測値生成方法の処理手順を、図８に示すフローチャートを用いて説明する。
【００６６】
図８の方法では、従来のＤＣＴ係数予測方法と同様の処理を行うために、ステップＳ８２１ａからステップＳ８２９ａの処理において、図１５に示す４つのブロックに対応した、該各ブロックのＤＣＴ係数を格納するための仮想的なメモリ空間（仮想バッファ）を想定し、該仮想バッファ上の各ブロックに対して従来のＤＣＴ係数予測方法を適用する。
【００６７】
図８においては、Ｒ０、Ｒ１およびＲ２は仮想バッファ上の参照ブロックを表し、ＤＣ０、ＤＣ１およびＤＣ２は、それぞれ上記仮想バッファ上の参照ブロックＲ０、Ｒ１およびＲ２のＤＣＴ係数のＤＣ成分を表す。なお、図８の予測値生成方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、ｘ（ｉ）は図４（ａ）に示す位置関係を有する参照ブロック及び被符号化ブロックを表している。
図８に示す処理では、まず、ステップＳ８２１ａ、ステップＳ８２２ａおよびステップＳ８２３ａにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ８２１ａにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００６８】
すなわち、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ８２２ａにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数を生成し、生成したＤＣＴ係数を参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納する。一方、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ８２３ａにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ８２４ａ、８２５ａおよび８２６ａにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ８２７ａ、８２８ａおよびステップＳ８２９ａにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００６９】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ８３０ａにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ８３２ａにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。それ以外の場合は、ステップＳ８３１ａにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００７０】
なお、図６のステップＳ８１４ａの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフレームであることが分かっているので、図８のステップＳ８２４ａ，ステップＳ８２７ａ，ステップＳ８２５ａおよびステップＳ８２８ａによる処理を省略することができる。
【００７１】
次に、図７で示すステップＳ７１４ｂの「所定の方法１」またはステップＳ７１７ｂの「所定の方法２」における処理手順を、図９に示すフローチャートを用いて説明する。
【００７２】
図９のフローチャートに示す処理手順は、図８のフローチャートに示す処理手順において、各ブロックがフレームＤＣＴされているか否かの判定処理を、各ブロックがフィールドＤＣＴされているか否かの判定処理と置き換えたものであり、処理の概要については、上記図７に示す処理と同様である。なお、図９では、参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ｂ）に示す位置関係を有する参照ブロックおよび被符号化ブロックを表している。
【００７３】
図９に示す処理では、まず、ステップＳ９２１ｂ、ステップＳ９２２ｂおよびステップＳ９２３ｂにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ９２１ｂにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００７４】
すなわち、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ９２２ｂにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数が生成され、生成されたＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納される。一方、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ９２３ｂにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ９２４ｂ、９２５ｂおよび９２６ｂにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ９２７ｂ、９２８ｂおよびステップＳ９２９ｂにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００７５】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ９３０ｂにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ９３２ｂにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。それ以外の場合は、ステップＳ９３１ｂにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００７６】
なお、図７のステップＳ７１４ｂの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフィールドであることが分かっているので、図９のステップＳ９２４ｂ，９２７ｂ，ステップＳ９２５ｂおよびステップＳ９２８ｂによる処理を省略することができる。
【００７７】
このようにして、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックと異なるＤＣＴタイプのブロックのＤＣＴ係数を参照する必要のある場合に、被符号化ブロックと異なるＤＣＴタイプのＤＣＴ係数をそのまま参照するのではなく、参照ブロックの近傍のブロックから、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の特性に近いＤＣＴ係数を生成して、生成したＤＣＴ係数を参照して被符号化ブロックのＤＣＴ係数を予測することにより、効率のよい予測を行うことが可能となる。
【００７８】
図１０は、図８のステップＳ８２２ａ，８２５ａ，８２８ａ，図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからのＤＣＴ係数を生成する方法を説明するための概念図である。
【００７９】
図１０および図１１の説明において、ｒは、周波数領域上の参照ブロックｒ０（ｉ），参照ブロックｒ１（ｉ），及び参照ブロックｒ２（ｉ）のいずれかを示し、Ｒは、仮想バッファ上の参照ブロックＲ０，参照ブロックＲ１，及び参照ブロックＲ２のいずれかを示している。
【００８０】
図８のステップＳ８２２ａ，８２５ａ，８２８ａ，及び図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからＤＣＴ係数を生成する処理では、図１０に示すように、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数とする。
【００８１】
図１１は、仮想バッファ上の参照ブロックＲのＤＣＴ係数の生成手順を示している。ここでは、ＤＣＴ領域上のマクロブロック内での参照ブロックｒの位置によって、異なる処理が行われる。
【００８２】
例えば、ＤＣＴ領域のマクロブロックにおけるブロック位置（０）または（２）に、すなわちＤＣＴ領域のマクロブロックの左側に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｌにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（０）および（２）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。ＤＣＴ領域のマクロブロックのブロック位置（１）または（３）に、すなわちＤＣＴ領域のマクロブロックの右側の位置に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｒにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（１）および（３）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。
【００８３】
ここで用いる所定の関数としては、周波数領域上の参照ブロックｒの近傍に位置する２つのブロックのＤＣＴ係数の平均または重み付け平均を、仮想バッファ上の参照ブロックＲのＤＣＴ係数とする関数など、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から一意に仮想バッファ上の参照ブロックＲのＤＣＴ係数の値を計算できる関数であればよい。
【００８４】
そして、周波数領域上の２つのブロックを参照して生成したＤＣＴ係数は、ステップＳ１１４３において、仮想バッファ上の参照ブロックＲのＤＣＴ係数とされる。
【００８５】
このようにして、空間領域において参照ブロックｒと同じ領域の情報を持つ２つのブロックのＤＣＴ係数から予測に用いる仮想領域上の参照ブロックＲのＤＣＴ係数を生成することにより、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の周波数特性に近いＤＣＴ係数を生成することができる。
【００８６】
このようにして、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法では、被符号化ブロックのＤＣＴタイプに応じて予測に用いる参照ブロックを切替え、被符号化ブロックと同じＤＣＴタイプの参照ブロックのＤＣＴ係数を優先して予測に利用し、さらに参照ブロックが被符号化ブロックと異なるＤＣＴタイプの場合には、参照ブロックの近傍のブロックのＤＣＴ係数から、参照ブロックのＤＣＴタイプが被符号化ブロックのＤＣＴタイプと同一である場合の参照ブロックのＤＣＴ係数の周波数特性に近いブロックのＤＣＴ係数を生成して予測に用いるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率のよく行うことができる。
【００８７】
この結果、本実施の形態１によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率の向上により、空間的に冗長な画像情報の除去または減少による画像信号の圧縮符号化を効率よく行うことが可能となる。
【００８８】
なお、本実施の形態１において用いる適応的画面内ＤＣＴ係数予測方法において、図４（ａ）および（ｂ）の参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ２（ｉ）と被符号化ブロックｘ（ｉ）のＤＣＴタイプが異なる場合は、参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。また、場合によっては、参照ブロックｒ１（ｉ）についても、そのＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【００８９】
また、上記実施の形態１では、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂでは、それぞれ参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））のＤＣＴ係数から、被符号化ブロックのＤＣＴ係数の予測に用いる仮想バッファ上の参照ブロックＲ（具体的には参照ブロックＲ０，Ｒ１，Ｒ２）のＤＣＴ係数を生成しているが、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂにおいては、それぞれ上記ステップＳ９２２ｂ，Ｓ９２５，Ｓ９２８ｂと同様に、空間領域にて参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））の近傍に位置する２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数としてもよい。
【００９０】
さらにこの場合において、図７に示すフィールド予測処理では、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）及び被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプによって、上述した４つの処理Ｂ１〜Ｂ４のうちの１つを行うようにしているが、これらの処理Ｂ１〜Ｂ４のうちの処理１，処理Ｂ３，及び処理４を、以下に示す処理Ｂ１′，処理Ｂ３′，及びＢ４′に置き換えてもよい。
【００９１】
上記処理Ｂ３′については、被符号化ブロックの上側に隣接する符号化済みブロック（つまり図４（ｂ）に示す被符号化ブロックｘ（ｉ）と符号化済みブロックｒ１（ｉ）の間に位置する符号化済みブロック）を参照ブロックとして、この参照ブロックのＤＣＴ係数を被符号化ブロックのＤＣＴ係数の予測値として用いるものとする。
【００９２】
上記処理Ｂ１′及び処理Ｂ４′については、ステップＳ９２２ｂ，９２３ｂでは、参照ブロックｒ０（ｉ）と、該参照ブロックｒ０（ｉ）と参照ブロックｒ２（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ０のＤＣＴ係数を生成し、ステップＳ９２５ｂ，９２６ｂでは、参照ブロックｒ１（ｉ）と、該参照ブロックｒ１（ｉ）と被符号化ブロックｘ（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成し、ステップＳ９２８ｂ，９２９ｂでは、参照ブロックｒ２（ｉ）と、該参照ブロックｒ２（ｉ）と参照ブロックｒ０（ｉ）の間に位置する符号化済みブロックとを、１対０の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成するものとする。なお、上記処理Ｂ１′及びＢ４′処理では、各ブロックｒ０（ｉ）〜ｒ２（ｉ）は被符号化ブロックｘ（ｉ）に対して図４（ｂ）に示す位置に位置しているものとする。
【００９３】
言い換えると、上記処理Ｂ１′及び処理Ｂ４′は、参照ブロックｒ０（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の重み付け比率を１として行い、参照ブロックｒ１（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行い、さらに参照ブロックｒ２（ｉ）とその上側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行うものである。
【００９４】
この場合、重み付け平均のための演算処理が簡単なものとなり、また被符号化サブブロックに対して空間的に最も近い位置の符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値が生成されることとなるので、簡単な演算処理による適応的画面内ＤＣＴ係数予測方法により、インターレースあるいは特定のプログレッシブ画像に対する符号化処理全体としての予測効率を向上することができる。
【００９５】
実施の形態２．
本実施の形態２による画像処理装置（画像復号化装置）は、上記実施の形態１で示した画像符号化装置で用いた適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【００９６】
図２は、本実施の形態２による画像復号化装置のブロック図を示し、図１と同一符号は同一部分、または相当分を示す。
この画像復号化装置２０００は、上記本実施の形態１による画像符号化装置１０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して適応的画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【００９７】
すなわち、この画像復号化装置２０００は、画像符号化装置１０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部２１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１０６を復元する加算器１１２とを有している。
【００９８】
ここで、上記画面内予測処理部２１０は、上記加算器１１２の出力１０６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、画像符号化装置１０００からのＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【００９９】
また、上記画像復号化装置２０００は、上記加算器１１２の出力１０６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１００】
次に動作について説明する。
本画像復号化装置２０００に、画像符号化装置１０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析により可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
【０１０１】
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１０６が復元される。
【０１０２】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１０６は、上記画面内予測処理部２１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器１１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいてブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成する適応的ＤＣＴ係数予測処理が、画像符号化装置１０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１０３】
さらに上記ＤＣＴ係数量子化値１０６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
【０１０４】
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１０５】
このように本実施の形態２では、適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を適応的画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における画面内予測処理により効率よくしかも正しく復号化することができる。
【０１０６】
実施の形態３．
次に本発明の実施の形態３による画像処理装置（画像符号化装置）について説明する。
本実施の形態３による画像符号化装置は、上記実施の形態１における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１０７】
そして本実施の形態３の画像符号化装置による適応的画面内ＤＣＴ係数予測処理は、フレーム予測方法およびフィールド予測方法以外については、上記実施の形態１の適応的画面内ＤＣＴ係数予測処理と同様であるので、ここでは図１２および図１３を用いて本実施の形態３におけるフレーム予測方法およびフィールド予測方法についてのみ説明する。
【０１０８】
図１２は、図５に示すステップＳ５２におけるフレーム予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１２において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ａ）に示す参照ブロックおよび被符号化ブロックを表すものとする。
【０１０９】
この実施の形態３では、まず、ステップＳ１２２１ａにて参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。
【０１１０】
すなわち、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、「所定の方法」として図８に示す予測値生成方法を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。図８の予測値生成方法については、実施の形態１において説明したものと同じであるのでここではその説明を省略する。
【０１１１】
なお、図１２のステップＳ１２２２ａの「所定の方法」においては、ｒ２（ｉ）のＤＣＴタイプはフレームＤＣＴであることが分かっているので、図８のステップＳ８２７ａおよびステップＳ８２８ａを省略することができる。
【０１１２】
一方、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、図１５に示す従来の方法と同様にして、つまり図１５に示すように参照ブロックＲ１のＤＣＴ係数から被符号化ブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【０１１３】
図１３は、図５に示すステップＳ５３におけるフィールド予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１３に示す処理は、図１２の処理において、フレームとフィールドを入れ替えたものであり、処理の概要については同様であるのでここではその詳細については説明を省略する。ただし、図１３のフィールド予測方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ｂ）の参照ブロックおよび被符号化ブロックを表すものとする。
【０１１４】
このように、本実施の形態３の画像符号化装置における適応的画面内ＤＣＴ係数予測方法では、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法を、上記実施の形態１と比べて簡略化することにより、符号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１１５】
実施の形態４．
次に本発明の実施の形態４による画像処理装置（画像復号化装置）について説明する。
本実施の形態４による画像復号化装置は、上記実施の形態２における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１１６】
このような構成の本実施の形態４の画像復号化装置では、適応的画面内ＤＣＴ係数予測方法を行う際、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法が、上記実施の形態２と比べて簡略化されることとなり、これにより復号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１１７】
実施の形態５．
本発明の実施の形態５による画像処理装置（画像符号化装置）は、被符号化ブロックのＤＣＴタイプ信号（つまり被符号化ブロックがフレームＤＣＴ処理を施されたものであるかフィールドＤＣＴ処理を施されたものであるか）に拘わらず、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。またブロックは、１６×１６画素からなるマクロブロックを構成する８×８画素からなる４つのサブブロックを表すものとする。これら４つのサブブロックは、マクロブロック内の左上（図３のブロック位置（０）），右上（図３のブロック位置（１）），左下（図３のブロック位置（２）），右下（図３のブロック位置（３））に位置している。
【０１１８】
図１７は、本実施の形態５による画像符号化装置の構成を示すブロック図である。
図において、３０００は本実施の形態５の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のマクロブロックの各々に対応するよう分割し、各マクロブロックを構成するブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【０１１９】
すなわち、この画像符号化装置３０００は、実施の形態１の画像符号化装置１０００と同様、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１２０】
具体的には、上記ブロック化器１００では、上記走査線の並べ替え処理は、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置するよう行われる。
【０１２１】
そして、上記ブロック化器１００は、マクロブロックに対応する画像信号を、上記ブロック位置（０）〜（３）のブロックに対応するよう分割して出力するようになっている。
【０１２２】
また、上記画像符号化装置３０００は、上記実施の形態１の画像符号化装置１０００と同様、符号化処理の対象となる被符号化ブロックに対応する画像信号１０１に対して離散コサイン変換（ＤＣＴ処理）を施すＤＣＴ器１０３と、このＤＣＴ器１０３の出力１０４を量子化する量子化器１０５と、上記被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部３１０と、上記量子化器１０５の出力（ＤＣＴ係数量子化値）１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【０１２３】
また、上記画面内予測処理部３１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を、画像空間上で被符号化ブロックに隣接する符号化済みブロックのＤＣＴ係数量子化値１１４から生成するＤＣＴ係数予測器３１３とから構成されている。
【０１２４】
本実施の形態５では、上記ＤＣＴ係数予測器３１３は、被符号化ブロックのＤＣＴタイプに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に隣接して位置するブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックｒ１（ｉ）、及び被符号化ブロックｘ（ｉ）の左隣りに位置するブロックｒ２（ｉ）を、参照ブロックとして、上記被符号化ブロックｘ（ｉ）のＤＣＴ係数量子化値の予測値１１１を生成する構成となっている。
【０１２５】
なお、この実施の形態５におけるＤＣＴ器１０３，量子化器１０５，加算器１０７，１１２，ＶＬＣ器１０９，及びブロックメモリ１１５は、実施の形態１のものと同一構成となっている。
【０１２６】
次に動作について説明する。
まず、この実施の形態５の画像符号化装置の全体的な動作について簡単に説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置３０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【０１２７】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。この場合、走査線の並べ替え処理が施されたマクロブロックでは、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置することとなる。
【０１２８】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位とする走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１２９】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【０１３０】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【０１３１】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部３１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【０１３２】
すなわち、上記画面内予測処理部３１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器３１３では、符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【０１３３】
次に、上記符号化処理における画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態５の画面内ＤＣＴ係数予測方法は、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際には、実施の形態１とは異なり、被符号化ブロックのＤＣＴタイプに拘わらず、常に被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照するものである。
【０１３４】
本実施の形態５においても、実施の形態１と同様、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【０１３５】
また、この実施の形態５においても実施の形態１と同様、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴ係数が、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【０１３６】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測する、本実施の形態５の画面内ＤＣＴ係数予測方法について詳しく説明する。
【０１３７】
まず、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。
【０１３８】
そして図２０にフローチャートで示すように、従来のＤＣＴ係数予測方法と同様に、ステップＳ２１３０ａにおいて、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ２１３２ａにおいて参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
それ以外の場合は、ステップＳ２１３１ａにおいて参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【０１３９】
このように本実施の形態５では、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照ブロックとして用い、被符号化ブロック近傍で縦方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関と、被符号化ブロック近傍で横方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関の大小を比較してＤＣＴ係数の相関の強い方向を求め、被符号化ブロックに対してＤＣＴ係数の相関の強い方向に位置する参照ブロックを選択し、選択した参照ブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を求めるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率よくしかも簡単な処理手順によって行うことができる。
【０１４０】
この結果、本実施の形態５によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率を向上して、空間的に冗長な画像情報の削減による画像信号の圧縮符号化を効率よく簡単に行うことが可能となる。
【０１４１】
なお、本実施の形態５において用いる画面内ＤＣＴ係数予測方法において、図１９の参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【０１４２】
実施の形態６．
本実施の形態６による画像処理装置（画像復号化装置）は、上記実施の形態５で示した画像符号化装置で用いた画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【０１４３】
図１８は、本実施の形態６による画像復号化装置のブロック図を示し、図１７と同一符号は同一部分、または相当分を示す。
この画像復号化装置４０００は、上記本実施の形態５による画像符号化装置３０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【０１４４】
すなわち、この画像復号化装置４０００は、画像符号化装置３０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部４１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１1 ６を復元する加算器１１２とを有している。
【０１４５】
ここで、上記画面内予測処理部４１０は、上記加算器１１２の出力１1 ６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、実施の形態５の画像符号化装置３０００における画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器３１３とから構成されている。
【０１４６】
また、上記画像復号化装置４０００は、上記加算器１１２の出力１１６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置４０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１４７】
この逆ブロック化器２００では、画像空間上で同一のマクロブロックに属するブロックの画像信号を、該マクロブロック内でのブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成するとともに、奇数番目の水平画素列に対応する画像信号により形成される第１フィールドの画像が上記マクロブロックの上側に位置し、かつ偶数番目の水平画素列に対応する画像信号により形成される第２フィールドの画像が該マクロブロックの下側に位置するよう、符号化の際に水平画素列の並べ替え処理が施されたマクロブロックの画像信号に対しては、上記第１フィールドと第２フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、一方、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックの画像信号に対しては、上記水平画素列の逆並べ替え処理を施さずに、複数のマクロブロックからなる上記画像空間の画像信号を生成する構成となっている。
【０１４８】
次に動作について説明する。
本画像復号化装置４０００に、画像符号化装置３０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析によ可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
【０１４９】
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１１６が復元される。
【０１５０】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１１６は、上記画面内予測処理部４１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器３１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、ブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成するＤＣＴ係数予測処理が、画像符号化装置３０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１５１】
さらに上記ＤＣＴ係数量子化値１１６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
【０１５２】
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置３０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１５３】
このように本実施の形態６では、画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における簡単な画面内予測処理により効率よくしかも正しく復号化することができる。
【０１５４】
さらに、上記各実施の形態で示した画像符号化装置あるいは画像復号化装置による画像処理を実現するための符号化あるいは復号化プログラムを、フレキシブルディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５５】
図１４は、上記実施の形態１〜６の画像符号化処理あるいは画像復号化処理を、上記符号化あるいは復号化プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
【０１５６】
図１４（ａ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１４（ｂ）は、該フレキシブルディスク本体の物理フォーマットの例を示している。
【０１５７】
上記フレキシブルディスクＦＤは、上記フレキシブルディスク本体ＤをフレキシブルディスクケースＦＣ内に収容した構造となっており、該フレキシブルディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
【０１５８】
また、図１４（ｃ） は、フレキシブルディスクＦＤに対する上記プログラムの記録、及びフレキシブルディスクＦＤに格納したプログラムを用いた画像処理を行うための構成を示している。
【０１５９】
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フレキシブルディスクドライブＦDDを介してフレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録されたプログラムにより、上記任意形状符号化装置あるいは任意形状復号化装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦDDによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１６０】
なお、上記説明では、データ記憶媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても上記フレキシブルディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、記録媒体は上記光ディスクやフレキシブルディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればよく、これらの記録媒体を用いる場合でも、上記フレキシブルディスク等を用いる場合と同様にソフトウェアによる符号化処理あるいは復号化処理を実施することができる。
【０１６１】
【発明の効果】
以上のように、本発明に係る画像処理方法によれば、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理方法であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替えステップと、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換ステップと、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測ステップと、上記被符号化サブブロックの周波数成分と上記予測値との差分値を符号化する符号化ステップとを有し、上記変換ステップは、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測ステップは、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするので、フィールドＤＣＴタイプのマクロブロックが混在する、インターレース画像あるいは特定のプログレッシブ画像を、画像信号に含まれる空間的に冗長な画像情報を画面内予測処理により十分に削減して、効率よく符号化することができる。
【０１６２】
また、被符号化サブブロック近傍の、周波数成分を参照するサブブロックを、該被符号化ブロックの上側近傍，左側近傍，及び左上近傍に位置する符号化済みサブブロックの周波数成分の直流成分に基づいて決定するため、被符号化サブブロックとの間でのＤＣＴ係数の相関の高い符号化済みサブブロックを簡単に特定することができる。
【０１６３】
本発明によれば、上記画像処理方法において、上記被符号化サブブロックの上側近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの上側に隣接して位置する上側符号化済みサブブロックを用い、上記被符号化サブブロックの左側近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの左側に隣接して位置する左側符号化済みサブブロックを用い、上記被符号化サブブロックの左上近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの左上側に隣接して位置する左上側符号化済みサブブロックを用い、上記上側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記左側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記左側符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値を生成し、一方、上記左側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記上側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記上側符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値を生成する、ことを特徴とするので、被符号化サブブロックの周波数成分の予測値を生成する際、被符号化サブブロックに対して空間的に近い符号化済みサブブロックの周波数成分が参照されることとなり、予測効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像処理装置（画像符号化装置）の構成を示すブロック図である。
【図２】本発明の実施の形態２による画像処理装置（画像復号化装置）の構成を示すブロック図である。
【図３】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、ＤＣＴ領域のマクロブロックにおけるＤＣＴブロックの配置を示している。
【図４】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、フレーム予測およびフィールド予測における参照ブロックの被符号化ブロックに対する位置関係を示している。
【図５】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による適応的画面内ＤＣＴ係数予測処理をフローチャートにより示す図である。
【図６】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフレーム予測方法をフローチャートにより示す図である。
【図７】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフィールド予測方法をフローチャートにより示す図である。
【図８】上記フレーム予測における予測値生成方法の一例をフローチャートにより示す図である。
【図９】上記フィールド予測における予測値生成方法の一列をフローチャートにより示す図である。
【図１０】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例を説明するための図である。
【図１１】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例をフローチャートにより示す図である。
【図１２】本発明の実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフレーム予測方法をフローチャートにより示す図である。
【図１３】上記実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフィールド予測方法をフローチャートにより示す図である。
【図１４】図１４（ａ） ，（ｂ） は、本発明の各実施の形態の画面内予測符号化処理及び画面内予測復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体を説明するための図、図１４（ｃ） は、上記コンピュータシステムを示す図である。
【図１５】従来の画像処理装置を用いた画面内ＤＣＴ係数予測方法を説明するための図である。
【図１６】フレーム／フィールドＤＣＴ切替えの際の、走査線の入替え処理を説明するための模式図である。
【図１７】本発明の実施の形態５による画像符号化装置を説明するためのブロック図である。
【図１８】本発明の実施の形態６による画像復号化装置を説明するためのブロック図である。
【図１９】上記実施の形態５における予測処理の際に用いる参照ブロックを説明するための図である。
【図２０】上記実施の形態５における予測値生成方法のフローチャートの一例を示す図である。
【符号の説明】
１００ ブロック化器
１０１ 画像信号
１０２ ＤＣＴタイプ信号
１０３ ＤＣＴ器
１０４ ＤＣＴ係数
１０５ 量子化器
１０６ ＤＣＴ係数量子化値
１０８ ＤＣＴ係数差分値
１０９ 可変長符号化器
１１０，２１０，３１０，４１０ 画面内予測処理部
１１０ａ 入力画像信号
１１０ｂ 画像符号化信号（ビットストリーム）
１１１ ＤＣＴ係数予測値
１１３，３１３ ＤＣＴ係数予測器
１１５ ブロックメモリ
１１６ ＤＣＴ係数量子化値
２００ 逆ブロック化器
２０３ 可変長復号化器
２０７ 逆量子化器
２０９ 逆ＤＣＴ器
１０００，３０００ 画像符号化装置（画像処理装置）
２０００，４０００ 画像復号化装置（画像処理装置）
Ｃｓ コンピュータシステム
Ｄ フレキシブルディスク本体
ＦＣ フレキシブルディスクケース
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ
【発明の属する技術分野】
本発明は、画像処理方法に関し、特にインタレース画像信号の周波数成分に対して適応的な画面内予測処理を施すことにより、画像信号の符号化効率を向上する方法に関するものである。
【０００２】
【従来の技術】
動画像に対応する画像データを、その冗長性を利用して圧縮する予測符号化には、被符号化フレーム内の画像データを用いて、画像データの予測を行う画面内予測符号化と、被符号化フレーム以外の他のフレームの画像データを利用して、画像データの予測を行う画面間予測符号化がある。
【０００３】
具体的には、上記画面内予測符号化は、被符号化フレームの画像データの予測値をそのフレーム内の画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の本来の性質として画像データに多量に含まれている空間的に冗長な情報を除去もしくは減少して画像データを圧縮する方法である。
【０００４】
一方、上記画面間予測符号化は、被符号化フレームの画像データの予測値を他のフレームの画像データから生成し、被符号化フレームの画像データとその予測値の差分値を符号化することにより、画像の動きが小さい場合などに画像データに多量に含まれることとなる時間的に冗長な情報を除去もしくは減少して画像を圧縮する方法である。
【０００５】
最近の画像符号化においては離散コサイン変換（ＤＣＴ）が広く利用されており、代表的な画像符号化方式であるＭＰＥＧ（Moving Picture Expert Group ）方式においては、デジタル画像信号により形成される画像空間（フレーム）をＤＣＴ処理の単位である複数の矩形領域（ブロック）に分割し、各ブロックに対応する画像信号に対してブロック毎にＤＣＴ処理を施すようにしている。
【０００６】
ＭＰＥＧ方式で採用されている、ＤＣＴ係数，つまりＤＣＴ領域（周波数領域）における画像データに対する画面内予測方法については、ＭＰＥＧ４に関する文献であるISO/IEC JTC1/SC29/WG11 MPEG97/N1642 MPEG-4 Video Verification Model Version 7.0 （以下、ＭＰＥＧ−４ ＶＭ７．０と称する。）における「Intra DC and AC Prediction for I-VOP and P-VOP」の項に記載されている。
【０００７】
この文献の記載によれば、符号化処理の対象となる被符号化ブロックに対応するＤＣＴ係数のＤＣ成分およびＡＣ成分を、上記画像空間上で被符号化ブロックの左上、上および左に隣接して位置する３つの隣接ブロックに対応するＤＣＴ係数を利用して予測することとしている。
【０００８】
図１５は、従来の画像符号化方式に採用されている、上記文献に記述されているような画面内ＤＣＴ係数予測方法を説明するための図である。
図１５には、ＤＣＴ処理の単位となる８×８画素からなる４つのブロック（ＤＣＴブロックともいう。）Ｒ０〜Ｒ２，Ｘが示されており、各ブロックは、画像信号により形成される画像空間（空間領域）上で互いに隣接して位置している。
【０００９】
ここで、ブロックＸは、符号化処理の対象となる被符号化ブロックであり、ブロックＲ０，Ｒ１，Ｒ２は、上記空間領域上で、上記被符号化ブロックの左上側，上側，及び左側に隣接して位置する、既に符号化処理が完了した符号化済みブロックである。
【００１０】
従来の画面内ＤＣＴ係数予測方法では、ブロックＸのＤＣＴ係数の予測値を生成する際に、ブロックＲ１またはブロックＲ２のＤＣＴ係数が参照される。
具体的には、符号化済みブロックＲ１のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ１における左上隅のＤＣ成分及び最上列のＡＣ成分が、これらの成分と被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。また、符号化済みブロックＲ２のＤＣＴ係数を参照する場合には、該符号化済みブロックＲ２の左上隅のＤＣ成分及び最左列のＡＣ成分が、これらの成分と上記被符号化ブロックＸにて同位置に位置するＤＣＴ係数の予測値として用いられる。
【００１１】
また、符号化済みブロックのいずれのブロックのＤＣＴ係数を、上記被符号化ブロックＸのＤＣＴ係数の予測値として参照すべきかの決定は、符号化済みブロックＲ０，Ｒ１およびＲ２のＤＣ成分を用いて行われる。
【００１２】
すなわち、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値よりも小さい場合は、縦方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際にはブロックＲ１のＤＣＴ係数が参照される。一方、ブロックＲ０とブロックＲ１の間でのＤＣ成分の差の絶対値が、ブロックＲ０とブロックＲ２の間でのＤＣ成分の差の絶対値よりも小さい場合には、横方向に並ぶブロック間でのＤＣＴ係数の相関が強いため、被符号化ブロックＸのＤＣＴ係数の予測値を生成する際には、ブロックＲ２のＤＣＴ係数が参照される。
【００１３】
ところが、上記文献（ＭＰＥＧ−４ ＶＭ７．０）における「Ａｄａｐｔｉｖｅ Ｆｒａｍｅ／Ｆｉｅｌｄ ＤＣＴ」の項に記載されているように、インタレース画像の符号化に用いられるＤＣＴ処理（周波数変換処理）には、フレームＤＣＴ処理とフィールドＤＣＴ処理の２つのタイプのＤＣＴ処理がある。これらのＤＣＴ処理はその処理単位が異なり、フレームＤＣＴ処理はフレーム単位で画像データの変換を行い、フィールドＤＣＴ処理はフィールド単位で画像データの変換を行う。ＭＰＥＧ方式では、４つのブロックから構成されるいわゆるマクロブロック毎にフレームＤＣＴ処理とフィールドＤＣＴ処理とが適応的に切り換えられる。
【００１４】
ここで、マクロブロックに対するフレームＤＣＴ処理とフィールドＤＣＴ処理の切替えは、図１６に示すように、走査線の並べ替えを行うか否かにより行われ、フィールドＤＣＴ処理では、走査線の並べ替えが行われたマクロブロックにおける各ブロックの画像データにＤＣＴ処理が施されることとなる。
【００１５】
具体的には、フレームＤＣＴ処理の場合は、偶数および奇数番号の走査線が交互に並んだマクロブロックにおける各ブロックの画像データがそのままＤＣＴ処理され、フィールドＤＣＴ処理の場合には、走査線の並べ替えにより、マクロブロックが、偶数番号の走査線のみで構成される第１フィールドのブロックと奇数番号の走査線のみで構成される第２フィールドのブロックとからなるものとなった後に、このようなマクロブロックにおける各ブロックの画像データに対してＤＣＴ処理が行われることとなる。
【００１６】
このようにインタレース画像信号の符号化処理では、画像空間上に位置するマクロブロックとして、フレームＤＣＴ処理されるマクロブロックとフィールドＤＣＴ処理されるマクロブロックとが混在することになる。
【００１７】
そして、第１フィールドと第２フィールドの間での画素値の相関が第１フィールド内および第２フィールド内での画素値の相関より高い場合は、フレームＤＣＴ処理が実施され、それ以外の場合はフィールドＤＣＴ処理が実施されるという方法で、フレームＤＣＴ処理とフィールドＤＣＴ処理は切替えられる。
【００１８】
従って、画像空間上で隣り合うマクロブロックや隣接するブロック（つまりマクロブロックを構成するサブブロック）であっても、ＤＣＴ処理のタイプが異なる場合があり、この場合には、隣接するマクロブロック間、あるいは隣接するブロック間では、マクロブロックあるいはブロックのＤＣＴ処理タイプが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００１９】
また、隣り合うブロック間ではこれらが属するフィールドが異なる場合があり、このような場合には、隣接するブロック間では、ブロックの属するフィールドが同じ場合に比べて、ＤＣＴ係数の相関は低いものとなる。
【００２０】
【発明が解決しようとする課題】
しかしながら、フィールドＤＣＴ処理が施されたマクロブロック（フィールドＤＣＴタイプのマクロブロック）では、第１フィールドのブロックと第２フィールドのブロックが混在するため、被符号化ブロックのＤＣＴ係数の予測値を生成する際、参照すべき符号化済みブロックを特定することが困難であり、このため、上記のようなフィールドＤＣＴタイプのマクロブロックに対して従来の画面内予測処理を単純に適用することができない。この結果、フィールドＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理では、画面内予測処理を適用することができず、画像信号に含まれる空間的に冗長な画像情報を十分に削減して、効率のよい符号化処理を行うことができないという問題があった。
【００２１】
この発明は以上のような問題点を解消するためになされたもので、異なるＤＣＴタイプのマクロブロックが混在する、インターレース画像の符号化処理あるいは特定のプログレッシブ画像の符号化処理においても、画像信号に含まれる空間的に冗長な画像情報を十分に削減でき、高能率な符号化処理を行うことができる画像処理方法を得ることを目的とする。
【００２２】
【課題を解決するための手段】
この発明（請求項１）に係る画像処理方法は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理方法であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替えステップと、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換ステップと、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測ステップと、上記被符号化サブブロックの周波数成分と上記予測値との差分値を符号化する符号化ステップとを有し、上記変換ステップは、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測ステップは、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするものである。
【００２４】
この発明（請求項２）に係る画像処理装置は、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理装置であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替え手段と、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換手段と、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測手段と、上記被符号化サブブロックの周波数成分と上記予測値の差分値を符号化する符号化手段とを備え、上記変換手段は、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測手段は、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするものである。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
実施の形態１．
本発明の実施の形態１による画像処理装置（画像符号化装置）は、適応的画面内ＤＣＴ係数予測方法，つまり被符号化ブロックのＤＣＴタイプ信号（周波数変換タイプ信号）に応じて、符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。
【００２６】
図１は、本実施の形態１による画像符号化装置の構成を示すブロック図である。
図において、１０００は本実施の形態１の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のブロックの各々に対応するよう分割し、各ブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【００２７】
すなわち、この画像符号化装置１０００は、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。
【００２８】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００２９】
また、上記画像符号化装置１０００は、上記ブロック化された画像信号（以下ブロック化画像信号ともいう。）１０１に対して離散コサイン変換（ＤＣＴ処理）を施して、上記ブロック化画像信号を周波数成分（ＤＣＴ係数）１０４に変換するＤＣＴ器１０３と、このＤＣＴ係数１０４を量子化して、各ブロックに対応する量子化値（ＤＣＴ係数量子化値）１０６を生成する量子化器１０５と、上記ＤＣＴタイプ信号１０２に基づいた画面内予測処理により被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部１１０と、上記ＤＣＴ係数量子化値１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【００３０】
ここで、上記画面内予測処理部１１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【００３１】
次に動作について説明する。
まず、適応的ＤＣＴ予測処理を用いた符号化処理における全体的な動作について説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置１０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【００３２】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。
【００３３】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【００３４】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【００３５】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【００３６】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部１１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【００３７】
すなわち、上記画面内予測処理部１１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器１１３では、上記ＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【００３８】
次に、上記符号化処理における適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態１の適応的画面内ＤＣＴ係数予測方法は、被符号化ブロックのＤＣＴタイプに応じて、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際に参照するブロックを変更するものである。
本実施の形態１においては、次のようにＤＣＴ領域を定義する。
【００３９】
すなわち、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、画像信号空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【００４０】
また、この実施の形態１では、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴデータが、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【００４１】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測し、この際、被符号化ブロックのＤＣＴタイプに応じて、参照する符号化済みブロックを切替える適応的画面内ＤＣＴ係数予測方法について詳しく説明する。
【００４２】
まず、被符号化ブロックがフレームＤＣＴ処理されている場合の予測（以下、フレーム予測と称する）においては、図４（ａ） に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４（ａ） に示す被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）に空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００４３】
一方、被符号化ブロックがフィールドＤＣＴ処理されている場合の予測（以下、フィールド予測と称する）においては、図４（ｂ）に示すように、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックの左隣に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の２ブロック上に位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。図４（ｂ）に示す被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合の参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）は、被符号化ブロックｘ（ｉ）と同じフィールドに属する空間的に最も近いブロックであり、通常、これらの参照ブロックのＤＣＴ係数は被符号化ブロックｘ（ｉ）のＤＣＴ係数と相関が高いと考えられる。
【００４４】
次に、図５から図１１を用いて、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法の処理手順について説明する。
図５は、本実施の形態の適応的画面内ＤＣＴ係数予測方法の処理手順を表すフローチャートを示す図である。
【００４５】
ステップ５１において、被符号化ブロックｘ（ｉ）のＤＣＴタイプが判定され、この判定結果によってその後の処理が異なることとなる。
つまり、被符号化ブロックｘ（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ５２において、図４（ａ）に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ），ｒ１（ｉ）およびｒ２（ｉ）を参照するフレーム予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００４６】
一方、被符号化ブロックｘ（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ５３において、図４（ｂ）に示す、被符号化ブロックｘ（ｉ）に対する参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）参照するフィールド予測により、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００４７】
以上のようにして、被符号化ブロックｘ（ｉ）のＤＣＴタイプに応じて、予測に用いる参照ブロックを切替えることで、被符号化ブロックｘ（ｉ）との間でＤＣＴ係数の相関の高いブロックのＤＣＴ係数を予測に用いることができ、これにより効率のよい予測を行うことができる。
【００４８】
次に、図５に示すステップＳ５２のフレーム予測方法の処理手順を、図６のフローチャートを用いて説明する。図６において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ａ）の参照ブロックおよび被符号化ブロックを示す。図６のフレーム予測方法の処理手順においては、フレームＤＣＴ処理されている参照ブロック、すなわち被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロックを優先して予測に用いる。
【００４９】
まず、ステップＳ６１１ａにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ６１２ａおよびＳ６１３ａにおいて、被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図６に示すフレーム予測の処理は、次の４つの処理（Ａ１）〜（Ａ４）に分けられる。
【００５０】
（Ａ１） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ６１４ａにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５１】
（Ａ２） 参照ブロックｒ１（ｉ）がフィールドＤＣＴされ、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１５ａにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５２】
（Ａ３） 参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００５３】
（Ａ４） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ６１７ａにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００５４】
なお、ステップＳ６１７ａにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ６１３ａおよびステップＳ６１７ａを省略して、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されていない場合は、常にステップＳ６１６ａにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００５５】
次に、図５に示すステップ５３のフィールド予測方法における処理手順を、図７のフローチャートにより説明する。
図７に示すフィールド予測方法の処理手順は、図６に示すフレーム予測方法の処理手順において、フレームとフィールドを入れ替えたものである。
【００５６】
ただし、図７によるフィールド予測方法の説明においては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、および被符号化ブロックｘ（ｉ）は、それぞれ図４（ｂ）に示す参照ブロックおよび被符号化ブロックを示すものとする。
【００５７】
すなわち、図７のフィールド予測方法の処理手順においても、被符号化ブロックｘ（ｉ）と同じＤＣＴタイプの参照ブロック（フィールドＤＣＴ処理が施された参照ブロック）を優先して予測に用いる。
【００５８】
まず、ステップＳ７１１ｂにおいて、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。次に、ステップＳ７１２ｂおよびＳ７１３ｂにおいて、被符号化ブロックｘ（ｉ）の上側に位置する参照ブロックｒ１（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。このようにして、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプによって、図７に示すフィールド予測の処理は、次の４つの処理（Ｂ１）〜（Ｂ４）に分けられる。
【００５９】
（Ｂ１） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフィールドＤＣＴ処理されている場合は、ステップＳ７１４ｂにおいて、参照ブロックｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法１」により被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６０】
（Ｂ２） 参照ブロックｒ１（ｉ）がフレームＤＣＴ処理され、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ２のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１５ｂにおいて、参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６１】
（Ｂ３） 参照ブロックｒ１（ｉ）がフィールドＤＣＴ処理され、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、従来の方法と同様にして、つまり図１５に示すブロックＲ１のＤＣＴ係数からブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、ステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【００６２】
（Ｂ４） 参照ブロックｒ１（ｉ）およびｒ２（ｉ）が共にフレームＤＣＴ処理されている場合は、ステップＳ７１７ｂにおいて、参照フレームｒ０（ｉ）、ｒ１（ｉ）およびｒ２（ｉ）のＤＣＴ係数を参照して、後述する「所定の方法２」により被符号化ブロックｘ（ｉ）の予測値を生成する。
【００６３】
なお、ステップＳ７１７ｂにおいては、参照ブロックｒ０（ｉ）、ｒ１（ｉ）、およびｒ２（ｉ）を参照せずに、０などの所定の値を予測値として用いるようにしてもよい。また、ステップＳ７１３ｂおよびステップＳ７１７ｂを省略して、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されていない場合は、常にステップＳ７１６ｂにおいて、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成するようにしてもよい。
【００６４】
以上、図６および図７の処理手順に示した予測方法のように、被符号化ブロックと同じＤＣＴタイプのブロック、すなわち被符号化ブロックとの間でＤＣＴ係数の相関の高い参照ブロックを優先して、被符号化ブロックの予測に用いることにより、効率のよい予測を行うことができる。
【００６５】
次に、上述した図６に示すステップＳ６１４ａの「所定の方法１」またはステップＳ６１７ａの「所定の方法２」に基づいた予測値生成方法の処理手順を、図８に示すフローチャートを用いて説明する。
【００６６】
図８の方法では、従来のＤＣＴ係数予測方法と同様の処理を行うために、ステップＳ８２１ａからステップＳ８２９ａの処理において、図１５に示す４つのブロックに対応した、該各ブロックのＤＣＴ係数を格納するための仮想的なメモリ空間（仮想バッファ）を想定し、該仮想バッファ上の各ブロックに対して従来のＤＣＴ係数予測方法を適用する。
【００６７】
図８においては、Ｒ０、Ｒ１およびＲ２は仮想バッファ上の参照ブロックを表し、ＤＣ０、ＤＣ１およびＤＣ２は、それぞれ上記仮想バッファ上の参照ブロックＲ０、Ｒ１およびＲ２のＤＣＴ係数のＤＣ成分を表す。なお、図８の予測値生成方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）、ｘ（ｉ）は図４（ａ）に示す位置関係を有する参照ブロック及び被符号化ブロックを表している。
図８に示す処理では、まず、ステップＳ８２１ａ、ステップＳ８２２ａおよびステップＳ８２３ａにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ８２１ａにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００６８】
すなわち、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ８２２ａにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数を生成し、生成したＤＣＴ係数を参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納する。一方、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ８２３ａにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ８２４ａ、８２５ａおよび８２６ａにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ８２７ａ、８２８ａおよびステップＳ８２９ａにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００６９】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ８３０ａにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ８３２ａにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。それ以外の場合は、ステップＳ８３１ａにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００７０】
なお、図６のステップＳ８１４ａの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフレームであることが分かっているので、図８のステップＳ８２４ａ，ステップＳ８２７ａ，ステップＳ８２５ａおよびステップＳ８２８ａによる処理を省略することができる。
【００７１】
次に、図７で示すステップＳ７１４ｂの「所定の方法１」またはステップＳ７１７ｂの「所定の方法２」における処理手順を、図９に示すフローチャートを用いて説明する。
【００７２】
図９のフローチャートに示す処理手順は、図８のフローチャートに示す処理手順において、各ブロックがフレームＤＣＴされているか否かの判定処理を、各ブロックがフィールドＤＣＴされているか否かの判定処理と置き換えたものであり、処理の概要については、上記図７に示す処理と同様である。なお、図９では、参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ｂ）に示す位置関係を有する参照ブロックおよび被符号化ブロックを表している。
【００７３】
図９に示す処理では、まず、ステップＳ９２１ｂ、ステップＳ９２２ｂおよびステップＳ９２３ｂにおいて、参照ブロックＲ０のＤＣＴ係数が生成されるが、上記ステップＳ９２１ｂにおける、参照ブロックｒ０（ｉ）のＤＣＴタイプの判定結果によって、その後の、参照ブロックＲ０のＤＣＴ係数を生成する処理が異なる。
【００７４】
すなわち、参照ブロックｒ０（ｉ）がフレームＤＣＴ処理されている場合は、ステップＳ９２２ｂにおいて、参照ブロックｒ０（ｉ）の近傍のブロックから所定の方法によりＤＣＴ係数が生成され、生成されたＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として上記仮想バッファに格納される。一方、参照ブロックｒ０（ｉ）がフィールドＤＣＴ処理されている場合は、ステップＳ９２３ｂにおいて、参照ブロックｒ０（ｉ）のＤＣＴ係数が参照ブロックＲ０のＤＣＴ係数として仮想バッファに格納される。上記と同様にして、ステップＳ９２４ｂ、９２５ｂおよび９２６ｂにおいて、参照ブロックＲ１のＤＣＴ係数が生成され、ステップＳ９２７ｂ、９２８ｂおよびステップＳ９２９ｂにおいて、参照ブロックＲ２のＤＣＴ係数が生成されて、上記仮想バッファに格納される。
【００７５】
以降の処理は従来のＤＣＴ係数予測方法と同様であり、ステップＳ９３０ｂにおいて、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックＲ０およびＲ２のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックＲ０およびＲ１のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ９３２ｂにおいて参照ブロックＲ１のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。それ以外の場合は、ステップＳ９３１ｂにおいて参照ブロックＲ２のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【００７６】
なお、図７のステップＳ７１４ｂの「所定の方法１」においては、参照ブロックｒ１（ｉ）およびｒ２（ｉ）のＤＣＴタイプはフィールドであることが分かっているので、図９のステップＳ９２４ｂ，９２７ｂ，ステップＳ９２５ｂおよびステップＳ９２８ｂによる処理を省略することができる。
【００７７】
このようにして、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックと異なるＤＣＴタイプのブロックのＤＣＴ係数を参照する必要のある場合に、被符号化ブロックと異なるＤＣＴタイプのＤＣＴ係数をそのまま参照するのではなく、参照ブロックの近傍のブロックから、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の特性に近いＤＣＴ係数を生成して、生成したＤＣＴ係数を参照して被符号化ブロックのＤＣＴ係数を予測することにより、効率のよい予測を行うことが可能となる。
【００７８】
図１０は、図８のステップＳ８２２ａ，８２５ａ，８２８ａ，図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからのＤＣＴ係数を生成する方法を説明するための概念図である。
【００７９】
図１０および図１１の説明において、ｒは、周波数領域上の参照ブロックｒ０（ｉ），参照ブロックｒ１（ｉ），及び参照ブロックｒ２（ｉ）のいずれかを示し、Ｒは、仮想バッファ上の参照ブロックＲ０，参照ブロックＲ１，及び参照ブロックＲ２のいずれかを示している。
【００８０】
図８のステップＳ８２２ａ，８２５ａ，８２８ａ，及び図９のステップＳ９２２ｂ，Ｓ９２５ｂ，Ｓ９２８ｂにおける、参照ブロックｒの近傍のブロックからＤＣＴ係数を生成する処理では、図１０に示すように、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数とする。
【００８１】
図１１は、仮想バッファ上の参照ブロックＲのＤＣＴ係数の生成手順を示している。ここでは、ＤＣＴ領域上のマクロブロック内での参照ブロックｒの位置によって、異なる処理が行われる。
【００８２】
例えば、ＤＣＴ領域のマクロブロックにおけるブロック位置（０）または（２）に、すなわちＤＣＴ領域のマクロブロックの左側に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｌにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（０）および（２）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。ＤＣＴ領域のマクロブロックのブロック位置（１）または（３）に、すなわちＤＣＴ領域のマクロブロックの右側の位置に参照ブロックｒが位置している場合は、ステップＳ１１４２Ｒにおいて、参照ブロックｒが含まれるＤＣＴ領域のマクロブロックのブロック位置（１）および（３）に位置するブロックのＤＣＴ係数から、図１０に示すように、所定の関数を用いて仮想バッファ上の参照ブロックＲのＤＣＴ係数を生成する。
【００８３】
ここで用いる所定の関数としては、周波数領域上の参照ブロックｒの近傍に位置する２つのブロックのＤＣＴ係数の平均または重み付け平均を、仮想バッファ上の参照ブロックＲのＤＣＴ係数とする関数など、参照ブロックｒ近傍の２つのブロックのＤＣＴ係数から一意に仮想バッファ上の参照ブロックＲのＤＣＴ係数の値を計算できる関数であればよい。
【００８４】
そして、周波数領域上の２つのブロックを参照して生成したＤＣＴ係数は、ステップＳ１１４３において、仮想バッファ上の参照ブロックＲのＤＣＴ係数とされる。
【００８５】
このようにして、空間領域において参照ブロックｒと同じ領域の情報を持つ２つのブロックのＤＣＴ係数から予測に用いる仮想領域上の参照ブロックＲのＤＣＴ係数を生成することにより、被符号化ブロックと同じＤＣＴタイプのＤＣＴ係数の周波数特性に近いＤＣＴ係数を生成することができる。
【００８６】
このようにして、本実施の形態１で用いる適応的画面内ＤＣＴ係数予測方法では、被符号化ブロックのＤＣＴタイプに応じて予測に用いる参照ブロックを切替え、被符号化ブロックと同じＤＣＴタイプの参照ブロックのＤＣＴ係数を優先して予測に利用し、さらに参照ブロックが被符号化ブロックと異なるＤＣＴタイプの場合には、参照ブロックの近傍のブロックのＤＣＴ係数から、参照ブロックのＤＣＴタイプが被符号化ブロックのＤＣＴタイプと同一である場合の参照ブロックのＤＣＴ係数の周波数特性に近いブロックのＤＣＴ係数を生成して予測に用いるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率のよく行うことができる。
【００８７】
この結果、本実施の形態１によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率の向上により、空間的に冗長な画像情報の除去または減少による画像信号の圧縮符号化を効率よく行うことが可能となる。
【００８８】
なお、本実施の形態１において用いる適応的画面内ＤＣＴ係数予測方法において、図４（ａ）および（ｂ）の参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ２（ｉ）と被符号化ブロックｘ（ｉ）のＤＣＴタイプが異なる場合は、参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。また、場合によっては、参照ブロックｒ１（ｉ）についても、そのＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【００８９】
また、上記実施の形態１では、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂでは、それぞれ参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））のＤＣＴ係数から、被符号化ブロックのＤＣＴ係数の予測に用いる仮想バッファ上の参照ブロックＲ（具体的には参照ブロックＲ０，Ｒ１，Ｒ２）のＤＣＴ係数を生成しているが、上記ステップＳ９２３ｂ，Ｓ９２６，Ｓ９２９ｂにおいては、それぞれ上記ステップＳ９２２ｂ，Ｓ９２５，Ｓ９２８ｂと同様に、空間領域にて参照ブロックｒ（具体的には参照ブロックｒ０（ｉ），ｒ１（ｉ），ｒ２（ｉ））の近傍に位置する２つのブロックのＤＣＴ係数から所定の関数を用いてＤＣＴ係数を生成し、生成したＤＣＴ係数を仮想バッファ上の参照ブロックＲのＤＣＴ係数としてもよい。
【００９０】
さらにこの場合において、図７に示すフィールド予測処理では、被符号化ブロックｘ（ｉ）の左隣りの参照ブロックｒ２（ｉ）及び被符号化ブロックｘ（ｉ）の上側に隣接して位置する参照ブロックｒ１（ｉ）のＤＣＴタイプによって、上述した４つの処理Ｂ１〜Ｂ４のうちの１つを行うようにしているが、これらの処理Ｂ１〜Ｂ４のうちの処理１，処理Ｂ３，及び処理４を、以下に示す処理Ｂ１′，処理Ｂ３′，及びＢ４′に置き換えてもよい。
【００９１】
上記処理Ｂ３′については、被符号化ブロックの上側に隣接する符号化済みブロック（つまり図４（ｂ）に示す被符号化ブロックｘ（ｉ）と符号化済みブロックｒ１（ｉ）の間に位置する符号化済みブロック）を参照ブロックとして、この参照ブロックのＤＣＴ係数を被符号化ブロックのＤＣＴ係数の予測値として用いるものとする。
【００９２】
上記処理Ｂ１′及び処理Ｂ４′については、ステップＳ９２２ｂ，９２３ｂでは、参照ブロックｒ０（ｉ）と、該参照ブロックｒ０（ｉ）と参照ブロックｒ２（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ０のＤＣＴ係数を生成し、ステップＳ９２５ｂ，９２６ｂでは、参照ブロックｒ１（ｉ）と、該参照ブロックｒ１（ｉ）と被符号化ブロックｘ（ｉ）の間に位置する符号化済みブロックとを、０対１の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成し、ステップＳ９２８ｂ，９２９ｂでは、参照ブロックｒ２（ｉ）と、該参照ブロックｒ２（ｉ）と参照ブロックｒ０（ｉ）の間に位置する符号化済みブロックとを、１対０の重み付け比率で重み付け平均して、仮想バッファ上の参照ブロックＲ１のＤＣＴ係数を生成するものとする。なお、上記処理Ｂ１′及びＢ４′処理では、各ブロックｒ０（ｉ）〜ｒ２（ｉ）は被符号化ブロックｘ（ｉ）に対して図４（ｂ）に示す位置に位置しているものとする。
【００９３】
言い換えると、上記処理Ｂ１′及び処理Ｂ４′は、参照ブロックｒ０（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の重み付け比率を１として行い、参照ブロックｒ１（ｉ）とその下側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行い、さらに参照ブロックｒ２（ｉ）とその上側に隣接して位置する符号化済みブロックの間での重み付け平均を、該両ブロックのうちで被符号化ブロックｘ（ｉ）に近い方の比率を１として行うものである。
【００９４】
この場合、重み付け平均のための演算処理が簡単なものとなり、また被符号化サブブロックに対して空間的に最も近い位置の符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値が生成されることとなるので、簡単な演算処理による適応的画面内ＤＣＴ係数予測方法により、インターレースあるいは特定のプログレッシブ画像に対する符号化処理全体としての予測効率を向上することができる。
【００９５】
実施の形態２．
本実施の形態２による画像処理装置（画像復号化装置）は、上記実施の形態１で示した画像符号化装置で用いた適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【００９６】
図２は、本実施の形態２による画像復号化装置のブロック図を示し、図１と同一符号は同一部分、または相当分を示す。
この画像復号化装置２０００は、上記本実施の形態１による画像符号化装置１０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して適応的画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【００９７】
すなわち、この画像復号化装置２０００は、画像符号化装置１０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部２１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１０６を復元する加算器１１２とを有している。
【００９８】
ここで、上記画面内予測処理部２１０は、上記加算器１１２の出力１０６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、画像符号化装置１０００からのＤＣＴタイプ信号１０２に応じて、適応的画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器１１３とから構成されている。
【００９９】
また、上記画像復号化装置２０００は、上記加算器１１２の出力１０６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１００】
次に動作について説明する。
本画像復号化装置２０００に、画像符号化装置１０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析により可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
【０１０１】
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１０６が復元される。
【０１０２】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１０６は、上記画面内予測処理部２１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器１１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいてブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成する適応的ＤＣＴ係数予測処理が、画像符号化装置１０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１０３】
さらに上記ＤＣＴ係数量子化値１０６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
【０１０４】
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置１０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１０５】
このように本実施の形態２では、適応的画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を適応的画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における画面内予測処理により効率よくしかも正しく復号化することができる。
【０１０６】
実施の形態３．
次に本発明の実施の形態３による画像処理装置（画像符号化装置）について説明する。
本実施の形態３による画像符号化装置は、上記実施の形態１における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１０７】
そして本実施の形態３の画像符号化装置による適応的画面内ＤＣＴ係数予測処理は、フレーム予測方法およびフィールド予測方法以外については、上記実施の形態１の適応的画面内ＤＣＴ係数予測処理と同様であるので、ここでは図１２および図１３を用いて本実施の形態３におけるフレーム予測方法およびフィールド予測方法についてのみ説明する。
【０１０８】
図１２は、図５に示すステップＳ５２におけるフレーム予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１２において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ａ）に示す参照ブロックおよび被符号化ブロックを表すものとする。
【０１０９】
この実施の形態３では、まず、ステップＳ１２２１ａにて参照ブロックｒ２（ｉ）のＤＣＴタイプが判定される。この判定結果によってその後の処理が異なる。
【０１１０】
すなわち、参照ブロックｒ２（ｉ）がフレームＤＣＴ処理されている場合は、「所定の方法」として図８に示す予測値生成方法を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。図８の予測値生成方法については、実施の形態１において説明したものと同じであるのでここではその説明を省略する。
【０１１１】
なお、図１２のステップＳ１２２２ａの「所定の方法」においては、ｒ２（ｉ）のＤＣＴタイプはフレームＤＣＴであることが分かっているので、図８のステップＳ８２７ａおよびステップＳ８２８ａを省略することができる。
【０１１２】
一方、参照ブロックｒ２（ｉ）がフィールドＤＣＴ処理されている場合は、図１５に示す従来の方法と同様にして、つまり図１５に示すように参照ブロックＲ１のＤＣＴ係数から被符号化ブロックＸのＤＣＴ係数の予測値を生成するのと同様にして、参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値を生成する。
【０１１３】
図１３は、図５に示すステップＳ５３におけるフィールド予測方法を実現する本実施の形態３での処理手順をフローチャートにより示す。図１３に示す処理は、図１２の処理において、フレームとフィールドを入れ替えたものであり、処理の概要については同様であるのでここではその詳細については説明を省略する。ただし、図１３のフィールド予測方法の説明において、ｒ０（ｉ）、ｒ１（ｉ）、ｒ２（ｉ）およびｘ（ｉ）は、それぞれ図４（ｂ）の参照ブロックおよび被符号化ブロックを表すものとする。
【０１１４】
このように、本実施の形態３の画像符号化装置における適応的画面内ＤＣＴ係数予測方法では、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法を、上記実施の形態１と比べて簡略化することにより、符号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１１５】
実施の形態４．
次に本発明の実施の形態４による画像処理装置（画像復号化装置）について説明する。
本実施の形態４による画像復号化装置は、上記実施の形態２における、図５に示す予測値生成手順のステップＳ５２でのフレーム予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１２に示す処理手順で実施し、実施の形態１における、ステップＳ５３でのフィールド予測により被符号化ブロックのＤＣＴ係数の予測値を生成する処理を、図１３に示す処理手順で実施する構成としたものである。
【０１１６】
このような構成の本実施の形態４の画像復号化装置では、適応的画面内ＤＣＴ係数予測方法を行う際、図５のステップＳ５２のフレーム予測方法、およびステップＳ５３のフィールド予測方法が、上記実施の形態２と比べて簡略化されることとなり、これにより復号化時にＤＣＴ領域における画面内予測処理を簡単化および高速化することができる。
【０１１７】
実施の形態５．
本発明の実施の形態５による画像処理装置（画像符号化装置）は、被符号化ブロックのＤＣＴタイプ信号（つまり被符号化ブロックがフレームＤＣＴ処理を施されたものであるかフィールドＤＣＴ処理を施されたものであるか）に拘わらず、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を生成する方法を用いて、画像信号の画面内予測符号化を行うことを特徴としている。ここで、ＤＣＴタイプ信号とは、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかを示す信号を表すものとする。またブロックは、１６×１６画素からなるマクロブロックを構成する８×８画素からなる４つのサブブロックを表すものとする。これら４つのサブブロックは、マクロブロック内の左上（図３のブロック位置（０）），右上（図３のブロック位置（１）），左下（図３のブロック位置（２）），右下（図３のブロック位置（３））に位置している。
【０１１８】
図１７は、本実施の形態５による画像符号化装置の構成を示すブロック図である。
図において、３０００は本実施の形態５の画像符号化装置であり、入力されるデジタル画像信号（入力画像信号）１１０ａを、これにより形成される画像空間（フレーム）を分割する複数のマクロブロックの各々に対応するよう分割し、各マクロブロックを構成するブロックに対応する画像信号を上記ブロック毎に符号化する構成となっている。
【０１１９】
すなわち、この画像符号化装置３０００は、実施の形態１の画像符号化装置１０００と同様、上記入力画像信号１１０ａを、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化するとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２を出力するブロック化器１００を有している。このブロック化器１００は、入力画像信号１１０ａを受け、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として走査線の並べ替えを行い、走査線の並べ替えが行われたマクロブロックを構成する８×８画素からなるブロック毎に画像信号を出力する構成となっている。なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位する走査線の並べ替えは行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１２０】
具体的には、上記ブロック化器１００では、上記走査線の並べ替え処理は、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置するよう行われる。
【０１２１】
そして、上記ブロック化器１００は、マクロブロックに対応する画像信号を、上記ブロック位置（０）〜（３）のブロックに対応するよう分割して出力するようになっている。
【０１２２】
また、上記画像符号化装置３０００は、上記実施の形態１の画像符号化装置１０００と同様、符号化処理の対象となる被符号化ブロックに対応する画像信号１０１に対して離散コサイン変換（ＤＣＴ処理）を施すＤＣＴ器１０３と、このＤＣＴ器１０３の出力１０４を量子化する量子化器１０５と、上記被符号化ブロックに対応する予測値１１１を生成する画面内予測処理部３１０と、上記量子化器１０５の出力（ＤＣＴ係数量子化値）１０６から上記予測値１１１を減算してＤＣＴ係数差分値１０８を出力する加算器１０７とを有しており、このＤＣＴ係数差分値１０８が、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力されるようになっている。
【０１２３】
また、上記画面内予測処理部３１０は、上記ＤＣＴ係数差分値１０８と画面内予測値１１１とを加算する加算器１１２と、該加算器１１２の出力を符号化済みブロックのＤＣＴ係数量子化値１１６として格納するブロックメモリ１１５と、被符号化ブロックのＤＣＴ係数量子化値の予測値１１１を、画像空間上で被符号化ブロックに隣接する符号化済みブロックのＤＣＴ係数量子化値１１４から生成するＤＣＴ係数予測器３１３とから構成されている。
【０１２４】
本実施の形態５では、上記ＤＣＴ係数予測器３１３は、被符号化ブロックのＤＣＴタイプに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に隣接して位置するブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックｒ１（ｉ）、及び被符号化ブロックｘ（ｉ）の左隣りに位置するブロックｒ２（ｉ）を、参照ブロックとして、上記被符号化ブロックｘ（ｉ）のＤＣＴ係数量子化値の予測値１１１を生成する構成となっている。
【０１２５】
なお、この実施の形態５におけるＤＣＴ器１０３，量子化器１０５，加算器１０７，１１２，ＶＬＣ器１０９，及びブロックメモリ１１５は、実施の形態１のものと同一構成となっている。
【０１２６】
次に動作について説明する。
まず、この実施の形態５の画像符号化装置の全体的な動作について簡単に説明する。
デジタル画像信号（入力画像信号）１１０ａが本画像符号化装置３０００に入力されると、ブロック化器１００にて、上記入力画像信号１１０ａは、周波数変換の処理単位となるフレームまたはフィールド毎に上記各ブロックに対応するようブロック化されるとともに、上記ブロック化された画像信号１０１、および上記周波数変換（ＤＣＴ処理）の処理単位を示すＤＣＴタイプ信号１０２が出力される。
【０１２７】
このときこのブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて高い場合には、フィールドＤＣＴ処理が実施されるよう、予め１６×１６画素からなるマクロブロックを単位として、画像信号に対して走査線の並べ替え処理が行われ、走査線の並べ替え処理が行われた画像信号が、該マクロブロックを構成する８×８画素からなるブロック毎に出力される。この場合、走査線の並べ替え処理が施されたマクロブロックでは、奇数番目の水平画素列（水平走査線）に対応する画像信号により形成される第１フィールドの画像が該マクロブロックの上側，つまりブロック位置（０）及び（１）に位置し、かつ偶数番目の水平画素列（水平走査線）に対応する画像信号により形成される第２のフィールドの画像が該マクロブロックの下側，つまりブロック位置（２）及び（３）に位置することとなる。
【０１２８】
なお、上記ブロック化器１００では、フィールド間での画素値の相関がフレーム内のものに比べて小さい場合は、上記のようなマクロブロックを単位とする走査線の並べ替え処理は行われず、入力画像信号は上記ブロック毎に出力されることとなる。
【０１２９】
そして、符号化処理の対象となる被符号化ブロックの画像信号１０１は、ＤＣＴ器１０３にて離散コサイン変換（ＤＣＴ処理）により、上記被符号化ブロックに対応する周波数成分（ＤＣＴ係数）１０４に変換され、さらにこのＤＣＴ係数１０４は、量子化器１０５にて量子化されて、被符号化ブロックに対する量子化値（ＤＣＴ係数量子化値）１０６として出力される。
【０１３０】
さらに、上記被符号化ブロックのＤＣＴ係数量子化値１０６が加算器１０７に供給されると、この量子化値１０６とその予測値１１１の差分が求められてＤＣＴ係数差分値１０８として出力される。このＤＣＴ係数差分値１０８は、ＶＬＣ器１０９により可変長符号化されて、ビットストリーム（画像符号化信号）１１０ｂとして出力される。
【０１３１】
また、上記加算器１０７から出力されるＤＣＴ係数差分値１０８は、画面内予測処理部３１０に供給され、ここで上記ＤＣＴ係数量子化値１０６に対する予測値が生成される。
【０１３２】
すなわち、上記画面内予測処理部３１０では、加算器１１２により上記ＤＣＴ係数差分値１０８と画面内予測値１１１が加算され、これらの加算値が符号化済みブロックのＤＣＴ係数量子化値１１６としてブロックメモリ１１５に格納される。そして、ＤＣＴ係数予測器３１３では、符号化済みブロックのＤＣＴ係数量子化値１１４から被符号化ブロックのＤＣＴ係数量子化値の予測値１１１が生成される。
【０１３３】
次に、上記符号化処理における画面内ＤＣＴ係数予測方法について詳しく説明する。
本実施の形態５の画面内ＤＣＴ係数予測方法は、被符号化ブロックに対応するＤＣＴ係数の予測値を生成する際には、実施の形態１とは異なり、被符号化ブロックのＤＣＴタイプに拘わらず、常に被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照するものである。
【０１３４】
本実施の形態５においても、実施の形態１と同様、ＤＣＴ領域（周波数領域）は、画像空間（空間領域）を形成する画像信号をＤＣＴ処理（周波数変換）して得られる周波数成分により形成される領域とし、空間領域（画像空間）におけるマクロブロックの配置のとおりに、ＤＣＴ領域（周波数領域）において各マクロブロックは配置されているものとする。
【０１３５】
また、この実施の形態５においても実施の形態１と同様、図３のように、マクロブロックがフレームＤＣＴ処理される場合は、マクロブロックにおける走査線の並べ替えを行わずに各ブロックの画像信号にＤＣＴ処理が施され、空間領域上のマクロブロックにおける左上，右上，左下，右下の各ブロックに対応するＤＣＴ係数が、それぞれＤＣＴ領域上のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置され、一方、マクロブロックがフィールドＤＣＴ処理される場合は、空間領域上のマクロブロックにおける走査線の並べ替えの後に各ブロックの画像信号にＤＣＴ処理が施され、第１フィールド左、第１フィールド右、第２フィールド左、第２フィールド右の各ブロックのＤＣＴ係数が、それぞれＤＣＴ領域のマクロブロックにおけるブロック位置（０），（１），（２），（３）のブロック内に配置されるものとする。
【０１３６】
次に、被符号化ブロックに対応するＤＣＴ係数（ＤＣＴ領域における被符号化ブロックのデータ）を、符号化済みブロックのＤＣＴ係数を参照して予測する、本実施の形態５の画面内ＤＣＴ係数予測方法について詳しく説明する。
【０１３７】
まず、被符号化ブロックがフレームＤＣＴ処理されているかフィールドＤＣＴ処理されているかに拘わらず、図１９に示すように、被符号化ブロックｘ（ｉ）の左上に位置するブロックを参照ブロックｒ０（ｉ）、被符号化ブロックｘ（ｉ）の上側に隣接して位置するブロックを参照ブロックｒ１（ｉ）、被符号化ブロックｘ（ｉ）の左隣りに位置するブロックを参照ブロックｒ２（ｉ）として参照する。
【０１３８】
そして図２０にフローチャートで示すように、従来のＤＣＴ係数予測方法と同様に、ステップＳ２１３０ａにおいて、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）と、参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）の大小が比較される。参照ブロックｒ０（ｉ）およびｒ２（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ２｜）が、参照ブロックｒ０（ｉ）およびｒ１（ｉ）のＤＣＴ係数のＤＣ成分の差の絶対値（｜ＤＣ０−ＤＣ１｜）よりも小さい場合は、ステップＳ２１３２ａにおいて参照ブロックｒ１（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
それ以外の場合は、ステップＳ２１３１ａにおいて参照ブロックｒ２（ｉ）のＤＣＴ係数を用いて被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値が生成される。
【０１３９】
このように本実施の形態５では、被符号化ブロックのＤＣＴ係数の予測処理において、被符号化ブロックに対して所定の位置関係を有する符号化済みブロックを参照ブロックとして用い、被符号化ブロック近傍で縦方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関と、被符号化ブロック近傍で横方向に隣接して並ぶ参照ブロック間でのＤＣＴ係数の相関の大小を比較してＤＣＴ係数の相関の強い方向を求め、被符号化ブロックに対してＤＣＴ係数の相関の強い方向に位置する参照ブロックを選択し、選択した参照ブロックのＤＣＴ係数から被符号化ブロックのＤＣＴ係数の予測値を求めるので、インタレース画像信号や特殊なプログレッシブ画像に対する画面内予測をＤＣＴ領域（周波数成分）において効率よくしかも簡単な処理手順によって行うことができる。
【０１４０】
この結果、本実施の形態５によれば、処理対象となるマクロブロックとして、異なるＤＣＴタイプのマクロブロックが混在する、インタレース画像や特殊なプログレッシブ画像等に対するＭＰＥＧ４方式の符号化処理では、画面内の情報を利用して被符号化ブロックのＤＣＴ係数の予測値効率を向上して、空間的に冗長な画像情報の削減による画像信号の圧縮符号化を効率よく簡単に行うことが可能となる。
【０１４１】
なお、本実施の形態５において用いる画面内ＤＣＴ係数予測方法において、図１９の参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数を被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として用いる場合に、参照ブロックｒ１（ｉ）あるいは参照ブロックｒ２（ｉ）のＤＣＴ係数のＤＣ成分のみを、被符号化ブロックｘ（ｉ）のＤＣＴ係数の予測値として利用してもよい。
【０１４２】
実施の形態６．
本実施の形態６による画像処理装置（画像復号化装置）は、上記実施の形態５で示した画像符号化装置で用いた画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うことを特徴としている。
【０１４３】
図１８は、本実施の形態６による画像復号化装置のブロック図を示し、図１７と同一符号は同一部分、または相当分を示す。
この画像復号化装置４０００は、上記本実施の形態５による画像符号化装置３０００により画像信号を符号化して得られる画像符号化信号（ビットストリーム）１１０ｂを受け、これに対して画面内ＤＣＴ係数予測方法を用いた復号化処理を施すものである。
【０１４４】
すなわち、この画像復号化装置４０００は、画像符号化装置３０００より出力されたビットストリーム１１０ｂを受け、これをそのデータ解析により可変長復号化して、被復号化ブロックに対応するＤＣＴ係数差分値１０８（被符号化ブロックのＤＣＴ係数量子化値１０７とその画面内予測値１１１との差分値）を復元する可変長復号化器（ＶＬＤ器）２０３と、被復号化ブロックに対する画面内予測値１１１を生成する画面内予測処理部４１０と、該画面内予測値１１１と上記ＤＣＴ係数差分値１０８とを加算して、被復号化ブロックに対するＤＣＴ係数量子化値１1 ６を復元する加算器１１２とを有している。
【０１４５】
ここで、上記画面内予測処理部４１０は、上記加算器１１２の出力１1 ６を復号化済みブロックのＤＣＴ係数量子化値として格納するブロックメモリ１１５と、実施の形態５の画像符号化装置３０００における画面内ＤＣＴ係数予測方法により、上記ブロックメモリ１１５に格納されている復号化済みブロックのＤＣＴ係数量子化値１１４から被復号化ブロックのＤＣＴ係数量子化値に対する予測値１１１を生成するＤＣＴ係数予測器３１３とから構成されている。
【０１４６】
また、上記画像復号化装置４０００は、上記加算器１１２の出力１１６に対して逆量子化処理を施して、被復号化ブロックに対するＤＣＴ係数１０４を復元する逆量子化器２０７と、該逆量子化器２０７の出力に対して逆ＤＣＴ処理を施して、被復号化ブロックに対する画像信号１０１を復元する逆ＤＣＴ器２０９と、該逆ＤＣＴ器２０９の出力を受け、画像符号化装置４０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａを復元する逆ブロック化器２００とを有している。
【０１４７】
この逆ブロック化器２００では、画像空間上で同一のマクロブロックに属するブロックの画像信号を、該マクロブロック内でのブロックの位置に対応させて組み合わせて、マクロブロックに対応する画像信号を生成するとともに、奇数番目の水平画素列に対応する画像信号により形成される第１フィールドの画像が上記マクロブロックの上側に位置し、かつ偶数番目の水平画素列に対応する画像信号により形成される第２フィールドの画像が該マクロブロックの下側に位置するよう、符号化の際に水平画素列の並べ替え処理が施されたマクロブロックの画像信号に対しては、上記第１フィールドと第２フィールドからなるフレームの画像が形成されるよう水平画素列の逆並べ替え処理を施し、一方、符号化の際に上記水平画素列の並べ替え処理が施されなかったマクロブロックの画像信号に対しては、上記水平画素列の逆並べ替え処理を施さずに、複数のマクロブロックからなる上記画像空間の画像信号を生成する構成となっている。
【０１４８】
次に動作について説明する。
本画像復号化装置４０００に、画像符号化装置３０００からの画像符号化信号１１０ｂが入力されると、該画像符号化信号１１０ｂはＶＬＤ器２０３にてそのデータ解析によ可変長復号化され、被復号化ブロックに対するＤＣＴ係数差分値１０８として出力される。
【０１４９】
この被復号化ブロックに対するＤＣＴ係数差分値１０８は、加算器１１２にてその予測値１１１と加算されて、被復号化ブロックに対するＤＣＴ係数量子化値１１６が復元される。
【０１５０】
このとき、上記被復号化ブロックに対するＤＣＴ係数量子化値１１６は、上記画面内予測処理部４１０に供給され、そのブロックメモリ１１５に復号化済みブロックのＤＣＴ係数量子化値として格納される。さらに、ＤＣＴ係数予測器３１３には、上記ブロックメモリ１１５から復号化済みブロックに対応するＤＣＴ係数量子化値１１４が読み出され、ここでは、ブロックメモリ１１５からのＤＣＴ係数量子化値１１４を参照して、上記被復号化ブロックの次に処理される次復号化ブロックのＤＣＴ係数差分値１０８に対する予測値を生成するＤＣＴ係数予測処理が、画像符号化装置３０００の画面内予測処理部１１０における予測値生成処理と同様に行われる。
【０１５１】
さらに上記ＤＣＴ係数量子化値１１６は、逆量子化器２０７にて逆量子化処理により、被復号化ブロックに対するＤＣＴ係数１０４に変換され、さらにこのＤＣＴ係数１０４は、逆ＤＣＴ器２０９にて逆離散コサイン変換により、被復号化ブロックに対する画像信号１０１に変換される。
【０１５２】
そしてこの被復号化ブロックに対する画像信号１０１が逆ブロック化器２００に供給されると、該逆ブロック化器２００では、画像符号化装置３０００からのＤＣＴタイプ信号１０２に基づいて、走査線構造の画像信号１１０ａが再生される。
【０１５３】
このように本実施の形態６では、画面内ＤＣＴ係数予測方法を用いて、画像符号化信号の復号化を行うので、インタレース画像あるいは特殊なプログレッシブ画像に対応する画像信号を画面内ＤＣＴ係数予測処理を用いて画面内予測符号化して得られた画像符号化信号（ビットストリーム）を、ＤＣＴ領域における簡単な画面内予測処理により効率よくしかも正しく復号化することができる。
【０１５４】
さらに、上記各実施の形態で示した画像符号化装置あるいは画像復号化装置による画像処理を実現するための符号化あるいは復号化プログラムを、フレキシブルディスク等のデータ記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５５】
図１４は、上記実施の形態１〜６の画像符号化処理あるいは画像復号化処理を、上記符号化あるいは復号化プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
【０１５６】
図１４（ａ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１４（ｂ）は、該フレキシブルディスク本体の物理フォーマットの例を示している。
【０１５７】
上記フレキシブルディスクＦＤは、上記フレキシブルディスク本体ＤをフレキシブルディスクケースＦＣ内に収容した構造となっており、該フレキシブルディスク本体Ｄの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記フレキシブルディスク本体Ｄは、その上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
【０１５８】
また、図１４（ｃ） は、フレキシブルディスクＦＤに対する上記プログラムの記録、及びフレキシブルディスクＦＤに格納したプログラムを用いた画像処理を行うための構成を示している。
【０１５９】
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フレキシブルディスクドライブＦDDを介してフレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録されたプログラムにより、上記任意形状符号化装置あるいは任意形状復号化装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦDDによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０１６０】
なお、上記説明では、データ記憶媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても上記フレキシブルディスクの場合と同様にソフトウェアによる符号化処理あるいは復号化処理を行うことができる。また、記録媒体は上記光ディスクやフレキシブルディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればよく、これらの記録媒体を用いる場合でも、上記フレキシブルディスク等を用いる場合と同様にソフトウェアによる符号化処理あるいは復号化処理を実施することができる。
【０１６１】
【発明の効果】
以上のように、本発明に係る画像処理方法によれば、複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理方法であって、上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替えステップと、上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換ステップと、被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測ステップと、上記被符号化サブブロックの周波数成分と上記予測値との差分値を符号化する符号化ステップとを有し、上記変換ステップは、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、上記予測ステップは、上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、ことを特徴とするので、フィールドＤＣＴタイプのマクロブロックが混在する、インターレース画像あるいは特定のプログレッシブ画像を、画像信号に含まれる空間的に冗長な画像情報を画面内予測処理により十分に削減して、効率よく符号化することができる。
【０１６２】
また、被符号化サブブロック近傍の、周波数成分を参照するサブブロックを、該被符号化ブロックの上側近傍，左側近傍，及び左上近傍に位置する符号化済みサブブロックの周波数成分の直流成分に基づいて決定するため、被符号化サブブロックとの間でのＤＣＴ係数の相関の高い符号化済みサブブロックを簡単に特定することができる。
【０１６３】
本発明によれば、上記画像処理方法において、上記被符号化サブブロックの上側近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの上側に隣接して位置する上側符号化済みサブブロックを用い、上記被符号化サブブロックの左側近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの左側に隣接して位置する左側符号化済みサブブロックを用い、上記被符号化サブブロックの左上近傍に位置する符号化済みサブブロックとして、該被符号化サブブロックの左上側に隣接して位置する左上側符号化済みサブブロックを用い、上記上側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記左側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記左側符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値を生成し、一方、上記左側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値が、上記上側符号化済みサブブロックの周波数成分の直流成分と左上側符号化済みサブブロックの周波数成分の直流成分との差分の絶対値より小さいとき、上記上側符号化済みサブブロックの周波数成分を参照して被符号化サブブロックの周波数成分の予測値を生成する、ことを特徴とするので、被符号化サブブロックの周波数成分の予測値を生成する際、被符号化サブブロックに対して空間的に近い符号化済みサブブロックの周波数成分が参照されることとなり、予測効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像処理装置（画像符号化装置）の構成を示すブロック図である。
【図２】本発明の実施の形態２による画像処理装置（画像復号化装置）の構成を示すブロック図である。
【図３】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、ＤＣＴ領域のマクロブロックにおけるＤＣＴブロックの配置を示している。
【図４】上記実施の形態１の画像符号化装置による画面内予測符号化処理を説明するための図であり、フレーム予測およびフィールド予測における参照ブロックの被符号化ブロックに対する位置関係を示している。
【図５】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による適応的画面内ＤＣＴ係数予測処理をフローチャートにより示す図である。
【図６】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフレーム予測方法をフローチャートにより示す図である。
【図７】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理におけるフィールド予測方法をフローチャートにより示す図である。
【図８】上記フレーム予測における予測値生成方法の一例をフローチャートにより示す図である。
【図９】上記フィールド予測における予測値生成方法の一列をフローチャートにより示す図である。
【図１０】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例を説明するための図である。
【図１１】上記実施の形態１の画像符号化装置及び実施の形態２の画像復号化装置による予測処理における仮想バッファのＤＣＴ係数生成方法の一例をフローチャートにより示す図である。
【図１２】本発明の実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフレーム予測方法をフローチャートにより示す図である。
【図１３】上記実施の形態３による画像符号化装置、及び実施の形態４による画像復号化装置におけるフィールド予測方法をフローチャートにより示す図である。
【図１４】図１４（ａ） ，（ｂ） は、本発明の各実施の形態の画面内予測符号化処理及び画面内予測復号化処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体を説明するための図、図１４（ｃ） は、上記コンピュータシステムを示す図である。
【図１５】従来の画像処理装置を用いた画面内ＤＣＴ係数予測方法を説明するための図である。
【図１６】フレーム／フィールドＤＣＴ切替えの際の、走査線の入替え処理を説明するための模式図である。
【図１７】本発明の実施の形態５による画像符号化装置を説明するためのブロック図である。
【図１８】本発明の実施の形態６による画像復号化装置を説明するためのブロック図である。
【図１９】上記実施の形態５における予測処理の際に用いる参照ブロックを説明するための図である。
【図２０】上記実施の形態５における予測値生成方法のフローチャートの一例を示す図である。
【符号の説明】
１００ ブロック化器
１０１ 画像信号
１０２ ＤＣＴタイプ信号
１０３ ＤＣＴ器
１０４ ＤＣＴ係数
１０５ 量子化器
１０６ ＤＣＴ係数量子化値
１０８ ＤＣＴ係数差分値
１０９ 可変長符号化器
１１０，２１０，３１０，４１０ 画面内予測処理部
１１０ａ 入力画像信号
１１０ｂ 画像符号化信号（ビットストリーム）
１１１ ＤＣＴ係数予測値
１１３，３１３ ＤＣＴ係数予測器
１１５ ブロックメモリ
１１６ ＤＣＴ係数量子化値
２００ 逆ブロック化器
２０３ 可変長復号化器
２０７ 逆量子化器
２０９ 逆ＤＣＴ器
１０００，３０００ 画像符号化装置（画像処理装置）
２０００，４０００ 画像復号化装置（画像処理装置）
Ｃｓ コンピュータシステム
Ｄ フレキシブルディスク本体
ＦＣ フレキシブルディスクケース
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ
Claims (2)
- 複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理方法であって、
上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替えステップと、
上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換ステップと、
被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測ステップと、
上記被符号化サブブロックの周波数成分と上記予測値との差分値を符号化する符号化ステップとを有し、
上記変換ステップは、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、
上記予測ステップは、
上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、
上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、
上記被符号化サブブロックの左側および上側に位置する符号化済みサブブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、
上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、
ことを特徴とする画像処理方法。 - 複数の画素からなる画像空間を形成する画像信号を、該画像空間を区分する矩形形状の複数のマクロブロックに分割し、該マクロブロックを構成するサブブロックに対応する画像信号の符号化処理を、サブブロック毎に行う画像処理装置であって、
上記マクロブロックの画像信号に対して、上記画像信号を構成する第１フィールドの画像信号が該マクロブロックの上側に位置し、かつ上記画像信号を構成する第２フィールドの画像が該マクロブロックの下側に位置するよう、水平画素列の並べ替え処理を施す並べ替え手段と、
上記サブブロック化した画像信号をサブブロック単位の周波数変換により周波数成分に変換する変換手段と、
被符号化サブブロックの左側または上側に位置する符号化済みのサブブロックの周波数成分に基づいて被符号化サブブロックの周波数成分の予測値を生成する予測手段と、
上記被符号化サブブロックの周波数成分と上記予測値の差分値を符号化する符号化手段とを備え、
上記変換手段は、上記並べ替え処理が施されたマクロブロックあるいは並べ替え処理が施されていないマクロブロックの画像信号を、上記マクロブロックを構成する左上、右上、左下、右下に位置する４つのサブブロック毎に周波数変換を行って周波数成分に変換し、
上記予測手段は、
上記被符号化サブブロックの左側または上側に位置する符号化済みサブブロックがフィールド単位または、フレーム単位のいずれで周波数変換されているかの処理単位を特定し、
上記被符号化サブブロックの左側または上側に位置する少なくともいずれか一方の符号化済みサブブロックの周波数変換の処理単位が上記被符号化サブブロックの周波数変換の処理単位と同じ場合には、周波数変換の処理単位が同じである上記左側または上側に位置するいずれか一方の符号化済みのサブブロックの周波数成分の直流成分から上記予測値を生成し、
上記被符号化サブブロックの左側および上側に位置する符号化済みブロックの周波数変換の処理単位と上記被符号化サブブロックの周波数変換の処理単位とが異なる場合には、上記被符号化サブブロックの左側近傍、上側近傍および左上近傍に位置する符号化済みサブブロックから所定の方法により周波数成分の直流成分を生成し、生成した周波数成分の直流成分から上記予測値を生成し、
上記被符号化サブブロックがフィールド単位で周波数変換されている場合は、上記被符号化サブブロックの左側に隣接するサブブロックを左側に位置する符号化済みサブブロックとして用い、上記被符号化サブブロックが含まれるブロックの上側に隣接するブロック内で被符号化サブブロックと同じ位置にあるサブブロックを上側に位置する符号化済みサブブロックとして用いるものであり、上記被符号化サブブロックがフレーム単位で周波数変換されている場合は、上記被符号化サブブロックの左側または上側に隣接するサブブロックを、それぞれ左側または上側に位置する符号化済みサブブロックとして用いるものである、
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003179449A JP4213526B2 (ja) | 1997-06-20 | 2003-06-24 | 画像処理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16465497 | 1997-06-20 | ||
| JP9-164654 | 1997-06-20 | ||
| JP2003179449A JP4213526B2 (ja) | 1997-06-20 | 2003-06-24 | 画像処理方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17334698A Division JP3671286B2 (ja) | 1997-06-20 | 1998-06-19 | 画像処理方法，画像処理装置，及びデータ記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003348599A JP2003348599A (ja) | 2003-12-05 |
| JP2003348599A5 JP2003348599A5 (ja) | 2007-07-12 |
| JP4213526B2 true JP4213526B2 (ja) | 2009-01-21 |
Family
ID=29781698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003179449A Expired - Lifetime JP4213526B2 (ja) | 1997-06-20 | 2003-06-24 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4213526B2 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0595542A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化復号化装置 |
| US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
| JPH08242455A (ja) * | 1994-11-03 | 1996-09-17 | Eastman Kodak Co | デジタル画像処理装置及びその方法、デジタル画像処理システム |
| EP1085763B1 (en) * | 1996-05-28 | 2003-01-22 | Matsushita Electric Industrial Co., Ltd. | Image predictive coding apparatus and method. |
| JP4166305B2 (ja) * | 1996-09-20 | 2008-10-15 | エイ・ティ・アンド・ティ・コーポレーション | ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー |
| KR100303685B1 (ko) * | 1996-09-30 | 2001-09-24 | 송문섭 | 영상 예측부호화 장치 및 그 방법 |
-
2003
- 2003-06-24 JP JP2003179449A patent/JP4213526B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348599A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100303373B1 (ko) | 화상처리방법및화상처리장치 | |
| JP4625411B2 (ja) | 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体 | |
| JP5047995B2 (ja) | 映像のイントラ予測符号化、復号化方法及び装置 | |
| US9510011B2 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, and program | |
| JP3369573B2 (ja) | 画像予測復号化方法及び装置 | |
| KR100891662B1 (ko) | 비디오 신호 디코딩 및 인코딩 방법 | |
| JP4703449B2 (ja) | 符号化方法 | |
| AU2002353749A1 (en) | Global motion compensation for video pictures | |
| KR100727969B1 (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
| JP2004242271A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置 | |
| JP3671286B2 (ja) | 画像処理方法，画像処理装置，及びデータ記憶媒体 | |
| JP4572210B2 (ja) | 輝度情報の復号化方法 | |
| JP4775132B2 (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| KR100359819B1 (ko) | 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법 | |
| JP4213526B2 (ja) | 画像処理方法 | |
| JP3776735B2 (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| JP3449370B2 (ja) | 画像データ復号化方法及び装置 | |
| JPH10327410A (ja) | 画像伝送用データ構造，符号化方法及び復号化方法 | |
| JP2004242275A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化装置、及び動画像復号装置 | |
| JP2000041247A (ja) | 画像デ―タ復号化方法及び画像デ―タ復号化装置 | |
| JPH11243549A (ja) | 動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081030 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313133 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |