JP4026238B2 - Image decoding apparatus and image decoding method - Google Patents

Description

【００６３】
但し、この式（１）において、Ａ〜Ｊは以下の通りである。
【００６４】
【数２】

【００６５】
つぎに、２ブロック処理について説明する。図４に、２ブロック処理の内容を説明するための図を示す。
【００６６】
フレームモード用縮小逆離散コサイン変換装置１５には、図４に示すように、高解像度画像を圧縮符号化したビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成されるいわゆる４２０フォーマットからなる場合には、垂直方向に隣接した２つの輝度成分（Ｙ）のＤＣＴブロックが入力される。マクロブロックが図５に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【００６７】
まず、ステップＳ１１において、２つのＤＣＴブロックの離散コサイン係数ｙ（時間的に前のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₁〜ｙ₈として図中に示し、時間的に後のＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₉〜ｙ₁₆として図中に示す。）に対して、それぞれ独立に８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（時間的に前のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₁〜ｘ₈として図中に示し、時間的に後のＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₉〜ｘ₁₆として図中に示す。）を得ることができる。
【００６８】
続いて、ステップＳ１２において、２つのＤＣＴブロックの８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応したトップフィールドの８×８の画素ブロックと、飛び越し走査に対応したボトムフィールドの８×８の画素ブロックの２つの画素ブロックにフィールド分離する。すなわち、時間的に前のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ₁と、３ライン目の画素データｘ₃と、５ライン目の画素データｘ₅と、７ライン目の画素データｘ₇とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に１ライン目の画素データｘ₉と、３ライン目の画素データｘ₁₁と、５ライン目の画素データｘ₁₃と、７ライン目の画素データｘ₁₅とを取り出して、トップフィールドに対応した８×８の画素ブロックを生成する。また、時間的に前のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ₂と、４ライン目の画素データｘ₄と、６ライン目の画素データｘ₆と、８ライン目の画素データｘ₈とを取り出し、時間的に後のＤＣＴブロックから、垂直方向に２ライン目の画素データｘ₁₀と、４ライン目の画素データｘ₁₂と、６ライン目の画素データｘ₁₄と、８ライン目の画素データｘ₁₆とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。
【００６９】
続いて、ステップＳ１３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換（ＤＣＴ８×８）をする。
【００７０】
続いて、ステップＳ１４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₁，ｚ₃，ｚ₅，ｚ₇，ｚ₉，ｚ₁₁，ｚ₁₃，ｚ₁₅として図中に示す。）の高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ₂，ｚ₄，ｚ₆，ｚ₈，ｚ₁₀，ｚ₁₂，ｚ₁₄，ｚ₁₆として図中に示す。）の高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【００７１】
続いて、ステップＳ１５において、高域成分の離散コサイン係数を間引いた４×４の画素ブロックそれぞれに対して、４×４の逆離散コサイン変換（ＩＤＣＴ４×４）を行う。４×４の逆離散コサイン変換をすることにより、４×４の復号された画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃，ｘ′₅，ｘ′₇として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄，ｘ′₆，ｘ′₈として図中に示す。）を得ることができる。
【００７２】
続いて、ステップＳ１６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【００７３】
以上のステップＳ１１〜ステップＳ１６で示した２ブロック処理を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図２で示したような、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画素から構成されるＤＣＴブロックを生成することができる。
【００７４】
また、フレームモード用縮小逆離散コサイン変換装置１５では、以上のステップＳ１１〜ステップＳ１６までの２ブロック処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置１５では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式（２）に示す行列［ＦＳ′′］と、２つのＤＣＴブロックの離散コサイン係数ｙ（ｙ₁〜ｙ₁₆）とを行列演算して、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′₁〜ｘ′₈）を得ることができる。
【００７５】
【数３】

【００７６】
但し、この式（２）において、Ａ〜Ｄは、以下の通りである。
【００７７】
【数４】

【００７８】
【数５】

【００７９】
【数６】

【００８０】
【数７】

【００８１】
また、この式（２）において、ａ〜ｇは、以下の通りである。
【００８２】
【数８】

【００８３】
なお、上記フレームモード用縮小逆離散コサイン変換装置１５では、図５で示したいわゆる４２０フォーマットのマクロブロックが入力された場合には、輝度成分に対しては上記ステップＳ１１〜ステップＳ１６に示した２ブロック処理を行って縮小逆離散コサイン変換を行い、色差成分に対しては、上記ステップＳ１〜ステップＳ６に示した１ブロック処理を行って縮小逆離散コサイン変換を行っても良い。
【００８４】
以上のように本発明の第１の実施の形態の画像復号装置１０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置１０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００８５】
なお、上記画像復号装置１０では、フィールドモード用縮小逆離散コサイン変換装置１４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置１５の上記ステップＳ１〜ステップＳ６による１ブロック処理による縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００８６】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００８７】
フィールドモード用縮小逆離散コサイン変換装置１４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（３）に示すように分解される。
【００８８】
【数９】

【００８９】
また、図６にフィールドモード用縮小逆離散コサイン変換装置１４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第５の乗算器１４ａ〜１４ｅ及び第１から第９の加算器１４ｆ〜１４ｎを用いて、高速化を実現することができる。
【００９０】
フレームモード用縮小逆離散コサイン変換装置１５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（４）に示すように分解される。
【００９１】
【数１０】

【００９２】
但し、この式（４）において、Ａ〜Ｊは、以下の通りである。
【００９３】
【数１１】

【００９４】
また、図７にフレームモード用縮小逆離散コサイン変換装置１５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。この処理フローに示すように、第１から第１０の乗算器１５ａ〜１５ｊ及び第１から第１３の加算器１５ｋ〜１５ｗを用いて、高速化を実現することができる。
【００９５】
（第２の実施の形態）
つぎに、本発明の第２の実施の形態の画像復号装置について説明する。なお、この第２の実施の形態の画像復号装置の説明にあたり、上記第１の画像復号装置１０と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。また、第３の実施の形態以後もそれ以前の実施の形態と同一の構成要素については図面中に同一の符号を付け、その詳細な説明を省略する。
【００９６】
図８に示すように、本発明の第２の実施の形態の画像復号装置３０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００９７】
この画像復号装置３０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【００９８】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【００９９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、詳細を後述する１ブロック処理或いは２ブロック処理により、トップフィールドとボトムフィールドの垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、１ブロック処理或いは２ブロック処理で縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０１００】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０１】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１０２】
画枠変換装置３３は、フレームメモリ１７が記憶した標準解像度の参照画像が供給され、この参照画像をポストフィルタリングにより、画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換装置３３は、高解像度のテレビジョン規格の画枠を、１／４に縮小した標準解像度のテレビジョン規格の画枠に変換する。なお、この画枠変換装置３３は、フレームメモリ１７に格納されている画像がトップフィールドとボトムフィールドとの間に位相ずれが生じていないので、上述した第１の実施の形態の画枠変換・位相ずれ補正装置２０と異なり、画素の位相ずれの補正は行わなくて良い。
【０１０３】
本発明の第２の実施の形態の画像復号装置３０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０１０４】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１の処理内容について、さらに詳細に説明する。
【０１０５】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１には、図１０に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１０６】
まず、ステップＳ２１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ₁〜ｙ₈として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ₁〜ｘ₈として図中に示す。）を得ることができる。
【０１０７】
続いて、ステップＳ２２において、この８×８の画素データを、４×８の位相補正フィルタ行列によりＤＣＴブロック内で閉じた変換を行い、位相補正した画素データｘ′（全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₂，ｘ′₃，ｘ′₄として図中に示す。）を得る。
【０１０８】
以上のステップＳ２１〜ステップＳ２２の処理を行うことにより、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、トップフィールドとボトムフィールドとの間で、画素の位相ずれがない画像を生成することができる。
【０１０９】
また、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図１１に示すように、以上の処理を１つの行列（４×８位相補正ＩＤＣＴ行列）を用いて演算してもよい。
【０１１０】
つぎに、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を図１２に示し、この４×８位相補正ＩＤＣＴ行列について説明する。この４×８位相補正ＩＤＣＴ行列は、プロトタイプフィルタをポリフェーズ分解して作成される。
【０１１１】
ここで、画像復号装置３０では、図１３（ａ）に示すような周波数特性の高解像度画像を、図１３（ｂ）に示すような信号帯域がローパスフィルタにより半分とされた周波数特性の１／２の解像度の標準解像度画像に、ダウンデコードする。そのため、プロトタイプフィルタに求められる周波数特性は、標準解像度画像の１／４位相の画素値を得ることができるように、図１３（ｃ）に示すような４倍のオーバーサンプリングを行った周波数特性となる。
【０１１２】
まず、ステップＳ３１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図１４に示すように、ナイキスト周波数以下の周波数を等間隔に（５７−１）／２＝２８分割して、２９個のゲインリストを作成する。
【０１１３】
続いて、ステップＳ３２において、周波数サンプリング法により、５７個のインパルス応答を作成する。すなわち、２９個のゲインリストを逆離散フーリエ変換して、５７個のＦＩＲフィルタのインパルス応答を作成する。この５７個のインパルス応答を図１５に示す。
【０１１４】
続いて、ステップＳ３３において、このインパルス応答に窓関数をかけて、５７タップのフィルタ係数ｃ１〜ｃ５７を作成する。
【０１１５】
このステップＳ３３で作成されたフィルタがプロトタイプフィルタとなる。
【０１１６】
続いて、ステップＳ３４において、５７個のフィルタ係数ｃ１〜ｃ５７を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する１４個のフィルタ係数ｃ′１〜ｃ′１４のみを取り出し、ポリフェーズフィルタを作成する。
【０１１７】
ここで、ポリフェーズフィルタとは、図１６に示すように、入力信号をＮ倍にオーバーサンプリングし、オーバーサンプリングして得られた信号からＮ画素間隔で画素を抜き出すポリフェーズ分解を行い、入力信号と１／Ｎ位相のずれをもった信号を出力するフィルタである。例えば、入力信号に対して１／４位相ずれた信号を得るためには、図１７に示すように、入力信号を４倍にオーバサンプリングして、この信号から１／４位相ずれた信号を取り出せばよい。
【０１１８】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ５７から作成された１４個のフィルタ係数ｃ′１〜ｃ′１４は、例えば、以下の式（５）で示すような係数となる。
【０１１９】
【数１２】

【０１２０】
このようにポリフェーズフィルタを作成した後、トップフィールド用の４×８位相補正ＩＤＣＴ行列と、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１２１】
まず、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３５において、フィルタ係数が１／４位相補正特性となるように、ポリフェーズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が１／４、９／４、１７／４、２５／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。このように作成された４×８位相補正フィルタを、図１８に示す。
【０１２２】
例えば、上記式（５）の１４個のフィルタ係数ｃ′１〜ｃ′１４から、以下の式（６）で示すような係数が取り出される。
【０１２３】
【数１３】

【０１２４】
式（６）の係数から４×８位相補正フィルタ行列を求めると、以下の式（７）で示すような行列となる。
【０１２５】
【数１４】

【０１２６】
この式（７）で示した４×８位相補正フィルタ行列を正規化すると、以下の式（８）に示すような行列となる。
【０１２７】
【数１５】

【０１２８】
そして、ステップＳ３６において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、トップフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１２９】
８×８のＩＤＣＴ行列と上記式（８）で示す４×８の位相補正フィルタとを掛け合わせた４×８位相補正ＩＤＣＴ行列は、以下の式（９）に示すような行列となる。
【０１３０】
【数１６】

【０１３１】
一方、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ３７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された１４個のフィルタ係数ｃ′１〜ｃ′１４を、左右反転させる。
【０１３２】
続いて、ステップＳ３８において、左右反転させた１４個のフィルタ係数ｃ′１〜ｃ′１４から、群遅延が３／４、１１／４、１９／４、２７／４位相となる８個の係数を取り出し、４×８位相補正フィルタ行列を作成する。
【０１３３】
そして、ステップＳ３９において、８×８のＩＤＣＴ行列と、この４×８位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の４×８位相補正ＩＤＣＴ行列を作成する。
【０１３４】
このようにステップＳ３１〜ステップＳ３９の各処理を行うことによって、フィールドモード用位相補正縮小逆離散コサイン変換装置３１が演算を行う４×８位相補正ＩＤＣＴ行列を作成することができる。
【０１３５】
以上のように、フィールドモード用位相補正縮小逆離散コサイン変換装置３１では、この４×８位相補正ＩＤＣＴ行列と、入力されたフィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックの係数とを行列演算することにより、トップフィールドとボトムフィールドとの間の位相ずれがない、標準解像度の画像を復号することができる。すなわち、このフィールドモード用位相補正縮小逆離散コサイン変換装置３１では、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成することができる。
【０１３６】
つぎに、上記フレームモード用位相補正縮小逆離散コサイン変換装置３２の処理内容について、さらに詳細に説明する。
【０１３７】
なお、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以下に説明する１ブロック処理及び２ブロック処理のいずれか或いは両者の処理を行うことができる。必要に応じて、１ブロック処理又は２ブロック処理を切り換えて用いても良いし、或いは、いずれか一方の処理のみを行っても良い。
【０１３８】
まず、１ブロック処理について説明する。図１９に、１ブロック処理の内容を説明するための図を示す。
【０１３９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図１９に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【０１４０】
まず、ステップＳ４１において、この１つのＤＣＴブロックの離散コサイン係数ｙに対して、８×８の逆離散コサイン変換を行う。続いて、ステップＳ４２において、この８×８の画素データをフィールド分離する。続いて、ステップＳ４３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換をする。続いて、ステップＳ４４において、各画素ブロックの離散コサイン係数ｚの高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。以上のステップＳ４１からステップＳ４４までの処理は、図３に示す１ブロック処理におけるステップＳ１からステップＳ４までの処理と同一である。
【０１４１】
続いて、ステップＳ４５において、トップフィールドに対応する画素ブロックに対しては、１／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドに対応する画素ブロックに対しては、３／４画素分の位相補正をする２×４位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、２×２の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４となる標準解像度画像（下位レイヤー）を生成する。なお、この２×４位相補正ＩＤＣＴ行列の設計方法については詳細を後述する。
【０１４２】
続いて、ステップＳ４６において、トップフィールドに対応する画素ブロックの画素データとボトムフィールドの画像ブロックの画素データとをフレーム合成する。このステップＳ４６の処理は、図３に示す１ブロック処理におけるステップＳ６の処理と同一である。
【０１４３】
以上のステップＳ４１〜ステップＳ４６の処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１４４】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ４１からステップＳ４６までの処理を１つの行列を用いて演算してもよい。
【０１４５】
つぎに、フレームモード用位相補正縮小逆離散コサイン変換装置３２のステップＳ４５で演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を図２０に示し、この２×８位相補正ＩＤＣＴ行列について説明する。
【０１４６】
まず、ステップＳ５１において、ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルからゲインリストを作成する。例えば、図２１に示すように、ナイキスト周波数以下の周波数を等間隔に（２５−１）／２＝１２分割して、１３個のゲインリストを作成する。
【０１４７】
続いて、ステップＳ５２において、周波数サンプリング法により、２５個のインパルス応答を作成する。すなわち、１３個のゲインリストを逆離散フーリエ変換して、２５個のＦＩＲフィルタのインパルス応答を作成する。この２５個のインパルス応答を図２２に示す。
【０１４８】
続いて、ステップＳ５３において、このインパルス応答に窓関数をかけて、２５タップのフィルタ係数ｃ１〜ｃ２５を作成する。
【０１４９】
このステップＳ５３で作成されたフィルタがプロトタイプフィルタとなる。
【０１５０】
続いて、ステップＳ５４において、２５個のフィルタ係数ｃ１〜ｃ２５を有するプロトタイプフィルタをポリフェーズ分解して、１／４位相補正特性を有する６個のフィルタ係数ｃ′１〜ｃ′６のみを取り出し、ポリフェーズフィルタを作成する。
【０１５１】
具体的に、５７個の係数を有するプロトタイプフィルタｃ１〜ｃ２５から作成された１４個のフィルタ係数ｃ′１〜ｃ′６は、例えば、以下の式（１０）で示すような係数となる。
【０１５２】
【数１７】

【０１５３】
このようにポリフェーズフィルタを作成した後、トップフィールド用の２×４位相補正ＩＤＣＴ行列と、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列とで、設計処理が分割する。
【０１５４】
まず、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５５において、ポリフェーズ分解された６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が１／４、９／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。このように作成された２×４位相補正フィルタを、図２３に示す。
【０１５５】
例えば、上記式（１０）の６個のフィルタ係数ｃ′１〜ｃ′６から、以下の式（１１）で示すような係数が取り出される。
【０１５６】
【数１８】

【０１５７】
式（１１）の係数から２×４位相補正フィルタ行列を求めると、以下の式（１２）で示すような行列となる。
【０１５８】
【数１９】

【０１５９】
この式（１２）で示した２×４位相補正フィルタ行列を正規化すると、以下の式（１３）に示すような行列となる。
【０１６０】
【数２０】

【０１６１】
そして、ステップＳ５６において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、トップフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６２】
２×４のＩＤＣＴ行列と上記式（１３）で示す２×４の位相補正フィルタとを掛け合わせた２×４位相補正ＩＤＣＴ行列は、以下の式（１４）に示すような行列となる。
【０１６３】
【数２１】

【０１６４】
一方、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する場合には、ステップＳ５７において、フィルタ係数が３／４位相補正特性となるように、ポリフェイズ分解された６個のフィルタ係数ｃ′１〜ｃ′６を、左右反転させる。
【０１６５】
続いて、ステップＳ５８において、左右反転させた６個のフィルタ係数ｃ′１〜ｃ′６から、群遅延が３／４、１１／４位相となるように、それぞれ２個の係数を取り出し、２×４位相補正フィルタ行列を作成する。
【０１６６】
そして、ステップＳ５９において、４×４のＩＤＣＴ行列と、この２×４位相補正フィルタ行列とを掛け合わせ、ボトムフィールド用の２×４位相補正ＩＤＣＴ行列を作成する。
【０１６７】
以上のようにステップＳ５１〜ステップＳ５９の各処理を行うことによって、フレームモード用位相補正縮小逆離散コサイン変換装置３２が上記ステップＳ４５で演算を行う２×４位相補正ＩＤＣＴ行列を作成することができる。
【０１６８】
つぎに、２ブロック処理について説明する。図２４に、２ブロック処理の内容を説明するための図を示す。
【０１６９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２には、図２４に示すように、高解像度画像を圧縮符号化したビットストリームが、２つのＤＣＴブロック単位で入力される。例えば、マクロブロックが４つの輝度成分のＤＣＴブロックと２つの色差成分のＤＣＴブロックとから構成される場合には、垂直方向に隣接した２つのＤＣＴブロックが入力される。例えば、マクロブロックが上述した図５に示すように構成されている場合には、輝度成分（Ｙ）のＤＣＴブロック０とＤＣＴブロック２とが対となって入力され、また、ＤＣＴブロック１とＤＣＴブロック３とが対となって入力される。
【０１７０】
まず、ステップＳ６１において、２つのＤＣＴブロックの離散コサイン係数ｙに対して、それぞれ独立に８×８の逆離散コサイン変換を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘを得ることができる。続いて、ステップＳ６２において、２つの８×８の画素データをフィールド分離する。続いて、ステップＳ６３において、フィールド分離した２つの８×８の画素ブロックそれぞれに対して８×８の離散コサイン変換をする。続いて、ステップＳ６４において、８×８の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引いて、４×４の離散コサイン係数から構成される画素ブロックとする。また、８×８の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚの高域成分を間引き、４×４の離散コサイン係数から構成される画素ブロックとする。
【０１７１】
以上のステップＳ６１からステップＳ６４までの処理は、図４に示す２ブロック処理におけるステップＳ１１からステップＳ１４までの処理と同一である。
【０１７２】
続いて、ステップＳ６５において、トップフィールドの画素ブロックに対しては、１／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。また、ボトムフィールドの画素ブロックに対しては、３／４画素分の位相補正をする４×８位相補正ＩＤＣＴ行列を用いて、垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。以上のような縮小逆離散コサイン変換を行うことにより、４×４の画素データｘ′（トップフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₁，ｘ′₃，ｘ′₅，ｘ′₇として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′₂，ｘ′₄，ｘ′₆，ｘ′₈として図中に示す。）を得ることができる。この画素データｘ′は、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。なお、この４×８位相補正ＩＤＣＴ行列の設計方法は、上述したフィールドモード用位相補正縮小逆離散コサイン変換装置３１で演算される行列と同一である。
【０１７３】
続いて、ステップＳ６６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互にフレーム合成して、８×８の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。
【０１７４】
以上のステップＳ６１〜ステップＳ６６の２ブロック処理を行うことにより、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、画素間の位相ずれがない画像を生成することができる。また、上記フィールドモード用位相補正縮小逆離散コサイン変換装置３１で復号した画像と位相ずれが生じない画像を生成することができる。
【０１７５】
また、フレームモード用位相補正縮小逆離散コサイン変換装置３２では、以上のステップＳ６１からステップＳ６６までの処理を１つの行列を用いて演算してもよい。
【０１７６】
以上のように本発明の第２の実施の形態の画像復号装置３０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行うとともに位相補正をして標準解像度画像を復号する。この画像復号装置３０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、縮小逆離散コサイン変換を行うときに生じるトップフィールドとボトムフィールドとの間の位相ずれをなくし、出力する画像の画質を劣化させない。即ち、この画像復号装置３０では、フレームメモリ１７に格納された復号画像を出力する際に、位相補正をする必要が無く、処理が簡易化するとともに画質の劣化を生じさせない。
【０１７７】
（第３の実施の形態）
つぎに、本発明の第３の実施の形態の画像復号装置について説明する。
【０１７８】
図２５に示すように、本発明の第３の実施の形態の画像復号装置４０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０１７９】
この画像復号装置４０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置４１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置４２と、フレームメモリ１７に記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【０１８０】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図３８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０１８１】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０１８２】
フィールドモード用動き補償装置４１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置４１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置４１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１８３】
フレームモード用動き補償装置４２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置４２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置４２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０１８４】
本発明の第３の実施の形態の画像復号装置４０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【０１８５】
つぎに、フィールドモード用動き補償装置４１及びフレームモード用動き補償装置４２について、さらに詳細に説明する。
【０１８６】
まず、フィールドモード用動き補償装置４１が行う補間処理について説明する。このフィールドモード用動き補償装置４１では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０１８７】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置４１は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置４１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１８８】
垂直方向の画素に対しては、まず、図２６（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０１８９】
続いて、垂直方向の画素に対しては、図２６（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２６（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０１９０】
続いて、垂直方向の画素に対しては、図２６（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図２６（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１０／４の位置にあるボトムフィールドの画素は、９／４，１１／４の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０１９１】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置４１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置４１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１９２】
つぎに、フレームモード用動き補償装置４２が行う補間処理について説明する。このフレームモード用動き補償装置４２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０１９３】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置４２は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置４２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置４２では、高速な処理を行うことができる。また、このフレームモード用動き補償装置４２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１９４】
垂直方向の画素に対しては、まず、図２７（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０１９５】
続いて、垂直方向の画素に対しては、図２７（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素を生成する。例えば、この図２７（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４の位置にあるボトムフィールドの画素は、・・・１，３，５，７・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０１９６】
続いて、垂直方向の画素に対しては、図２７（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図２７（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０１９７】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置４２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置４１では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置４２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０１９８】
以上のように本発明の第３の実施の形態の画像復号装置４０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置４０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置４０では、動き補償に起因する画質の劣化を防止する。また、この画像復号装置４０では、動き補償の際に、２倍補間フィルタを用いてフレームメモリ１７に記憶した画像の補間をすることで、タップ数に応じた積和演算を行うことなく、高速に処理ができる。
【０１９９】
なお、この画像復号装置４０では、入力されたビットストリーム中の動きベクトルの値に応じて、必要な画素のみを生成しても良い。また、水平方向と垂直方向の動きベクトルの値に応じたフィルタ係数を予め用意しておき、垂直方向と水平方向の補間を１度に行っても良い。
【０２００】
ところで、この第３の実施の形態の画像復号装置４０のフレームモード用動き補償装置４２は、以下に説明するように垂直方向の画素に対して、トップフィールドとボトムフィールドとを区別せずに補間処理を行っても良い。
【０２０１】
まず、図２８（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれを含む標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。なお、この図２８には、トップフィールドとボトムフィールドとを区別せずに画素値を記載している。
【０２０２】
続いて、垂直方向の画素に対して、不等間隔のサンプリング点から補間値を生成するフィルタを用いて、トップフィールドとボトムフィールドとの間で補間を行い、図２８（ｃ）に示すような１／４画素精度の画素を生成する。この不等間隔のサンプリング点から補間値を生成するフィルタは、例えば、Ｎ次元曲線近似方式等を用いて設計することが可能である。Ｎ次元曲線近似等を用いて設計されたフィルタを用いることにより、フレームメモリ１７から取り出された画素をそのまま出力する場合には、演算を行う必要がなく、処理を高速化することができる。
【０２０３】
また、垂直方向の画素に対しては、図２８（ｂ）に示すようにトップフィールドとボトムフィールドとの間で画素の補間を行って１／２画素精度の画素を生成し、図２８（ｃ）に示すように、線形補間フィルタを用いてトップフィールドとボトムフィールドの２つのフィールド間で１／４画素精度の画素を生成してもよい。この場合、２段階のフィルタ処理に相当する係数を予め用意しておき、その係数をフレームメモリ１７から取り出した画素値に直接演算することにより、動き補償の処理を高速化することができる。
【０２０４】
フレームモード用動き補償装置４２は、図２７で示したフィールド内で２倍補間を行う補間処理と、図２８で示したフィールドを区別せずに行う補間処理とを、所定の条件で切り換えて、画像の内容等に応じた最適な補間処理を行っても良い。
【０２０５】
（第４の実施の形態）
つぎに、本発明の第４の実施の形態の画像復号装置について説明する。
【０２０６】
図２９に示すように、本発明の第４の実施の形態の画像復号装置５０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０２０７】
この画像復号装置５０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用位相補正縮小逆離散コサイン変換装置３１と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用位相補正縮小逆離散コサイン変換装置３２と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置５１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置５２と、フレームメモリ１７に記憶した画像に対して、画枠変換をしてモニタ等に表示するための標準解像度の画像データを出力する画枠変換装置３３とを備えている。
【０２０８】
フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用位相補正縮小逆離散コサイン変換装置３１は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックの全ての係数のうち４×８の係数のみに対して、トップフィールドとボトムフィールドとの間の垂直方向の画素の位相ずれを補正した逆離散コサイン変換を行う。すなわち、水平方向に対して低域の４点の離散コサイン係数に基づき逆離散コサイン変換を行い、垂直方向に対して８点の離散コサイン係数に基づき位相ずれを補正した逆離散コサイン変換を行う。具体的には、トップフィールドの垂直方向の各画素に対しては、１／４画素分の位相補正を行い、ボトムフィールドの垂直方向の各画素に対しては、３／４画素分の位相補正を行う。そして、以上のような縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０２０９】
フレームモード用位相補正縮小逆離散コサイン変換装置３２は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用位相補正縮小逆離散コサイン変換装置３２は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、１ブロック処理或いは２ブロック処理により、トップフィールドとボトムフィールドとの間の垂直方向の画素の位相ずれを補正した縮小逆離散コサイン変換を行う。そして、フィールドモード用位相補正縮小逆離散コサイン変換装置３１で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、１ブロック処理或いは２ブロック処理で縮小逆離散コサイン変換を行うことにより、図９に示すような、トップフィールドの各画素の垂直方向の位相が１／４、９／４・・・となり、ボトムフィールドの各画素の垂直方向の位相が５／４、１３／４・・・となる標準解像度画像（下位レイヤー）を生成する。
【０２１０】
フィールドモード用動き補償装置５１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置５１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置５１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０２１１】
フレームモード用動き補償装置５２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置５２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置５２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【０２１２】
本発明の第４の実施の形態の画像復号装置５０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに１／２の解像度に縮小して、標準解像度画像を出力することができる。
【０２１３】
つぎに、フィールドモード用動き補償装置５１及びフレームモード用動き補償装置５２について、さらに詳細に説明する。
【０２１４】
まず、フレームモード用動き補償装置５２が行う補間処理について説明する。このフレームモード用動き補償装置５２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２１５】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フィールドモード用動き補償装置５１は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フィールドモード用動き補償装置５１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２１６】
垂直方向の画素に対しては、まず、図３０（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが補正された標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２１７】
続いて、垂直方向の画素に対しては、図３０（ｂ）に示すように、ハーフバンドフィルタのような２倍補間フィルタを用いて、フィールド内で、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。すなわち、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素が生成され、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／２画素精度の画素が生成される。例えば、この図３０（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が９／２の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から２倍補間をされて生成される。
【０２１８】
続いて、垂直方向の画素に対しては、図３０（ｃ）に示すように、線形補間フィルタを用いて、フィールド内で、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。すなわち、トップフィールドの１／２画素精度の画素に基づきトップフィールドの１／４画素精度の画素を生成し、ボトムフィールドの１／２画素精度の画素に基づきボトムフィールドの１／４画素精度の画素を生成する。例えば、この図３０（ｃ）に示すように、垂直方向の位相が９／４の位置にあるトップフィールドの画素は、２，５／２の位置にあるトップフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が１１／４の位置にあるボトムフィールドの画素は、１０／４，３の位置にあるボトムフィールドの画素から線形補間をされて生成される。
【０２１９】
このように垂直方向の補間を行うことによりフィールドモード用動き補償装置５１では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、このフィールドモード用動き補償装置５１では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２２０】
つぎに、フレームモード用動き補償装置５２が行う補間処理について説明する。このフレームモード用動き補償装置５２では、以下に説明するように、高解像度画像の１／２画素精度の動き補償に対応するように、フレームメモリ１７に記憶されている標準解像度画像の画素を補間して、１／４画素精度の画素を生成する。
【０２２１】
水平方向の画素に対しては、まず、２倍補間フィルタを用いて、フレームメモリ１７に記憶された整数精度の画素から１／２画素精度の画素を生成する。フレームモード用動き補償装置５２は、例えば、ハーフバンドフィルタを用いて、１／２画素精度の画素を生成する。続いて、線形補間フィルタを用いて、２倍補間フィルタを用いて生成した１／２画素精度の画素から１／４画素精度の画素を生成する。フレームモード用動き補償装置５２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフレームモード用動き補償装置５２では、高速な処理を行うことができる。また、このフレームモード用動き補償装置５２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２２２】
垂直方向の画素に対しては、まず、図３１（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２、９／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２、１１／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが無い標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。
【０２２３】
続いて、垂直方向の画素に対しては、図３１（ｂ）に示すように、一方のフィールドに対しては、ハーフバンドフィルタのような２倍補間フィルタを用いて、フレームメモリ１７から取り出した整数精度の画素から１／２画素精度の画素を生成する。また、他方のフィールドに対しては、フィルタを用いて、フレームメモリ１７から取り出した整数精度の画素から、１／４及び３／４位相ずれた画素を生成する。例えば、トップフィールドの整数精度の画素に基づきトップフィールドの１／２画素精度の画素を生成し、ボトムフィールドの整数精度の画素に基づきボトムフィールドの１／４、３／４画素分の位相がずれた画素を生成する。具体的には、この図３１（ｂ）に示すように、垂直方向の位相が７／２の位置にあるトップフィールドの画素は、・・・１／２，５／２，９／２，１３／２・・・の位置にあるトップフィールドの画素から２倍補間をされて生成される。また、垂直方向の位相が４及び５の位置にあるボトムフィールドの画素は、・・・３／２，７／２，１１／２，１５／２・・・の位置にあるボトムフィールドの画素から１／４又は３／４位相がずれた補間がされて生成される。
【０２２４】
続いて、垂直方向の画素に対しては、図３１（ｃ）に示すように、線形補間フィルタを用いて、トップフィールドとボトムフィールドの２つのフィールド間で、生成した１／２画素精度の画素から１／４画素精度の画素を生成する。例えば、この図３１（ｃ）に示すように、垂直方向の位相が１／４の位置にある画素は、０の位置にあるトップフィールドの画素と、１／２の位置にあるボトムフィールドの画素から線形補間をされて生成される。また、垂直方向の位相が３／４の位置にある画素は、１／２の位置にあるボトムフィールドの画素と１の位置にあるトップフィールドの画素から線形補間をされて生成される。
【０２２５】
このように垂直方向の補間を行うことによりフレームモード用動き補償装置５２では、ハーフバンドフィルタのような２倍補間フィルタを用いることで、タップ数に応じた積和演算を行うことなく、フレームメモリ１７に記憶した標準解像度画像の画素と同位相の画素を高解像度画像に対応した参照画像として出力することができる。そのため、このフィールドモード用動き補償装置５１では、高速な処理を行うことができる。また、トップフィールドとボトムフィールドとの間で位相ずれが生じず、いわゆるフィールド反転やフィールドミックスを防ぐことができ、画質の劣化を防止することができる。また、このフレームモード用動き補償装置５２では、以上の処理を１つの行列を用いて演算してもよく、また、４倍補間フィルタを用いて整数精度の画素から１／４精度の画素を生成しても良い。
【０２２６】
以上のように本発明の第３の実施の形態の画像復号装置５０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行うとともに位相ずれを補正した標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い位相ずれを補正した標準解像度画像を復号する。この画像復号装置５０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置５０では、動き補償に起因する画質の劣化を防止する。また、この画像復号装置５０では、動き補償の際に、２倍補間フィルタを用いてフレームメモリ１７に記憶した画像の補間をすることで、タップ数に応じた積和演算を行うことなく、高速に処理ができる。
【０２２７】
なお、この画像復号装置５０では、入力されたビットストリーム中の動きベクトルの値に応じて、必要な画素のみを生成しても良い。また、水平方向と垂直方向の動きベクトルの値に応じたフィルタ係数を予め用意しておき、垂直方向と水平方向の補間を１度に行っても良い。
【０２２８】
ところで、この第４の実施の形態の画像復号装置５０のフレームモード用動き補償装置５２は、以下に説明するように垂直方向の画素に対して、トップフィールドとボトムフィールドとを区別せずに補間処理を行っても良い。
【０２２９】
まず、図３２（ａ）に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が３／２、７／２・・・となるような、トップフィールドとボトムフィールドとのフィールド間で位相ずれが無い標準解像度画像の整数精度の画素を、フレームメモリ１７から取り出す。なお、この図３２には、トップフィールドとボトムフィールドとを区別せずに画素値を記載している。
【０２３０】
続いて、垂直方向の画素に対して、ハーフバンドフィルタ等の２倍補間フィルタ等を用いて、トップフィールドとボトムフィールドとの間で補間を行い、図３２（ｂ）に示すような１／２画素精度の画素を生成する。このハーフバンドフィルタ等を用いることにより、フレームメモリ１７から取り出された画素をそのまま出力する場合には、演算を行う必要がなく、処理を高速化することができる。
【０２３１】
続いて、２倍補間をした画素を、フィールド間で線形補間フィルタを用いて補間を行い、図３２（ｃ）に示すような１／４画素精度の画素を生成する。
【０２３２】
フレームモード用動き補償装置５２は、このような２段階のフィルタ処理に相当する係数を予め用意しておき、その係数をフレームメモリ１７から取り出した画素値に直接演算することにより、動き補償の処理を高速化することができる。
【０２３３】
また、フレームモード用動き補償装置５２は、１／４補間フィルタを用いて、図３２（ａ）に示す整数精度の画素から、図３２（ｃ）に示す１／４画素精度の画素を直接生成してもよい。
【０２３４】
また、 フレームモード用動き補償装置５２は、図３１で示したフィールド内で２倍補間を行う補間処理と、図３２で示したフィールドを区別せずに行う補間処理とを、所定の条件で切り換えて、画像の内容等に応じた最適な補間処理を行っても良い。
【０２３５】
（第５の実施の形態）
つぎに、本発明の第５の実施の形態の画像復号装置について説明する。
【０２３６】
図３３に示すように、本発明の第５の実施の形態の画像復号装置６０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【０２３７】
この画像復号装置６０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置１４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置１５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置６１と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置６２と、フィールドモード用動き補償装置６１のフィルタリングのタップ数を決定するフィールドモード用フィルタ決定装置６３と、フレームモード用動き補償装置６２のフィルタリングのタップ数を決定するフレームモード用フィルタ決定装置６４と、フレームメモリ１７に記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【０２３８】
フィールドモード用縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置１４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図３８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０２３９】
フレームモード用縮小逆離散コサイン変換装置１５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置１５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置１５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置１４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置１５で復号された画像データの各画素の位相は、図２に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【０２４０】
フィールドモード用動き補償装置６１は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置６１は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置６１により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。このフィールドモード用動き補償装置６１は、所定のタップ数のフィルタリングをして補間処理を行うが、このフィルタリングのタップ数は、フィールドモード用フィルタ決定装置６３により決定される。
【０２４１】
フレームモード用動き補償装置６２は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置６２は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置６２により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。このフレームモード用動き補償装置６２は、所定のタップ数のフィルタリングをして補間処理を行うが、このフィルタリングのタップ数は、フレームモード用フィルタ決定装置６４により決定される。
【０２４２】
フィールドモード用フィルタ決定装置６３は、入力された高解像度画像のビットストリームの中のマクロブロックに関する情報に基づき、上記フィールドモード用動き補償装置６１がフィルタリングをする際のタップ数を決定する。
【０２４３】
ここで、高解像度画像を標準解像度の画像に縮小する場合、出力する標準解像度画像の画質と、フィルタリングを行う際のタップ数とは、トレードオフの関係が成り立つ。すなわち、フィルタリングのタップ数を増やすことにより出力する標準解像度画像の画質は向上するが、フィルタリングのタップ数を増やすことにより演算量が増加する。つまり、演算能力の低いフィールドモード用動き補償装置６１を用いている場合には、フィルタリングのタップ数を増やして画質を向上させると、リアルタイムに動作しなくなる可能性が生じる。反対に、フィルタリングのタップ数を減らしてリアルタイム性を確保している場合には、画質が劣化する。
【０２４４】
このフィールドモード用フィルタ決定装置６３では、マクロブロックに関する情報に基づき、フィールドモード用動き補償装置６１のタップ数を切り換え、出力する標準解像度画像の画質を向上させるとともにリアルタイム性も確保している。
【０２４５】
フレームモード用フィルタ決定装置６４は、入力された高解像度画像のビットストリームの中のマクロブロックに関する情報に基づき、上記フレームモード用動き補償装置６２がフィルタリングをする際のタップ数を決定する。
【０２４６】
このフレームモード用フィルタ決定装置６４では、マクロブロックに関する情報に基づき、フィールドモード用フィルタ決定装置６３のタップ数を切り換え、出力する標準解像度画像の画質を向上させるとともにリアルタイム性も確保している。
【０２４７】
本発明の第５の実施の形態の画像復号装置６０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【０２４８】
つぎに、フィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４により行われるフィルタのタップ数の決定処理について説明する。フィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４は、例えば、例えば、ビットストリーム解析装置１１により解析された入力されたビットストリーム中の情報を基に、フィルタのタップ数を決定する。
【０２４９】
フィルタのタップ数の決定のための情報は、例えば、次の６通りの情報及びこれらの組み合わせとなる。
【０２５０】
第１に、処理されるデータが輝度信号であるか、色差信号であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２５１】
画質の主観的な評価は、輝度信号により大きく影響する。また、デジタルテレビジョン放送で用いられる４２０フォーマットにおいては、輝度信号は色差信号の４倍の情報を持つ。さらに、ＭＰＥＧ２では、符号化時に、輝度信号を用いて検出された動きベクトルが色差信号にも用いられる。このため、輝度信号のための動き補償には多くのタップ数を用いたフィルタリングを施し、色差信号のための動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、見た目の画質を落とすことなく演算量を減らすことが可能である。
【０２５２】
第２に、処理されるデータが、Ｐピクチャに属するものであるか、Ｂピクチャに属するものであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２５３】
上記画像復号装置６０のようなＭＰＥＧ等のビットストリームのＤＣＴ係数の低域のみを復号する装置においては、動き補償に起因する誤差の蓄積による画質の劣化が生じる。Ｐピクチャにおける誤差は、次のＰピクチャ及びＢピクチャに影響を及ぼす。しかしながら、Ｂピクチャにおける誤差は、伝搬しない。このため、Ｐピクチャに属する画素の動き補償には多くのタップ数を用いたフィルタリングを施し、Ｂピクチャに属する画素の動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２５４】
第３に、処理されるデータの動き補償モードが、前方向予測モード／後方向予測モードであるか、双方向予測モードであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２５５】
第２の場合と同様の理由により、前方向予測モード若しくは後方向予測モードの場合の動き補償には多くのタップ数を用いたフィルタリングを施し、双方向予測モードの場合の動き補償には線形補間、若しくは、それに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２５６】
第４に、処理されるデータを含むマクロブロックの動きベクトルの値がどのような値であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２５７】
例えば、動き補償装置が、動きベクトルの値により１／２画素精度の位相に相当する画素値を出力する場合に比べて、１／４画素精度の位相に相当する画素値を出力する場合の方が、少ないタップ数で補間を行っても画質劣化が目立ちにくい。そのため、動きベクトルの値に応じてフィルタのタップ数を切り換えることで、画質を落とすことなく演算量を減らすことが可能である。
【０２５８】
第５に、水平方向の補間処理であるか、垂直方向の補間処理であるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２５９】
特に飛び越し走査画像の場合、フィルタのタップ数の減少による画質の劣化は、水平方向よりも垂直方向により顕著である。そのため、垂直方向に対する動き補償には多くのタップ数を用いたフィルタリングを施し、水平方向に対する動き補償には線形補間、若しくはそれに近い、少ないタップ数によるフィルタリングを施すことで、画質を落とすことなく演算量を減らすことが可能である。
【０２６０】
第６に、処理されるデータが、フィールド動き補償モードであるか、フレーム動き補償モードであるかによりフィルタのタップ数を決定する。この理由は、以下の通りである。
【０２６１】
一般的な画像符号化装置においては。フィールド間の差分の大きいマクロブロックに対してはフィールド動き補償モードで処理が施され、小さいマクロブロックに対してはフレーム動き補償モードで処理が施される。そのため、フィールド動き補償モードに多くのタップ数を割り当て、フレーム動き補償モードに少ないタップ数を割り当てることで画質を落とすことなく演算量を減らすことが可能である。
【０２６２】
以上のように本発明の第５の実施の形態の画像復号装置６０では、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置６０では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとでそれぞれで処理を行うため飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。さらに、この画像復号装置６０では、マクロブロックに関する情報に基づき、フィールドモード用フィルタ決定装置６３のタップ数を切り換えることにより、動き補償に起因する画質の劣化を防止するとともに、動き補償の演算量を削減することができる。
【０２６３】
なお、この本発明の第５の実施の形態の画像復号装置６０のフィールドモード用フィルタ決定装置６３及びフレームモード用フィルタ決定装置６４を、上述した第３、第４の実施の形態の画像復号装置４０，５０に適用しても良い。
【０２６４】
以上本発明の第１〜第５の実施の形態の画像復号装置について説明したが、本発明で処理されるデータは、ＭＰＥＧ２方式の画像データに限られない。すなわち、所定の画素ブロック単位で動き予測をすることによる予測符号化、及び、所定の画素ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データであればどのようなデータであってもよい。例えば、ウェーブレット方式等を用いた圧縮画像データであってもよい。
【０２６５】
【発明の効果】
本発明では、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。そして、この画像復号方法では、第１の解像度より低い第２の解像度の動画像データを出力する。
【０２６６】
このことにより、本発明では、復号に必要な演算量及び記憶容量を少なくすることができ、フィールド動き予測モードとフレーム動き予測モードとによる動き補償の際の画素の位相ずれをなくし、動き補償に起因する画質の劣化を防止することができる。
【０２６７】
本発明では、フィルタのタップ数を切り換えて、記憶している参照画像データのマクロブロックの各画素に対して補間をして、１／４画素精度の画素から構成されるマクロブロックを生成する。
【０２６８】
このことにより、本発明では、画質を劣化させずに動き補償の際の演算量を少なくすることができ、処理の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像復号装置のブロック図である。
【図２】上記第１の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図３】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図４】上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図５】４２０フォーマットのマクロブロック内の輝度成分及び色差成分のＤＣＴブロックについて説明をする図である。
【図６】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図７】Ｗａｎｇのアルゴリズムを上記第１の実施の形態の画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理に適用した場合の演算フローを示す図である。
【図８】本発明の第２の実施の形態の画像復号装置のブロック図である。
【図９】上記第２の実施の形態の画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１０】上記第２の実施の形態の画像復号装置のフィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図１１】１つの行列により処理を行う場合の上記フィールドモード用位相補正縮小逆離散コサイン変換装置の処理内容を説明するための図である。
【図１２】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図１３】上記４×８位相補正ＩＤＣＴ行列の設計に必要となるプロトタイプフィルタの周波数特性を説明するための図である。
【図１４】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図１５】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図１６】ポリフェイズフィルタを説明するための図である。
【図１７】入力信号に対して１／４位相ずれた信号を出力するポリフェイズフィルタを説明するための図である。
【図１８】上記フィールドモード用位相補正縮小逆離散コサイン変換装置により演算が行われる４×８位相補正ＩＤＣＴ行列を説明するための図である。
【図１９】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図２０】フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列の設計手順を説明するためのフローチャートである。
【図２１】ナイキスト周波数以下を等間隔に｛（Ｎ−１）／２｝分割し、その周波数サンプルから作成されたゲインのリストを説明するための図である。
【図２２】上記ゲインリストを逆離散フーリエ変換して作成されたインパルス応答を説明するための図である。
【図２３】上記フレームモード用位相補正縮小逆離散コサイン変換装置により演算が行われる２×４位相補正ＩＤＣＴ行列を説明するための図である。
【図２４】上記第２の実施の形態の画像復号装置のフレームモード用位相補正縮小逆離散コサイン変換装置の２ブロック処理の内容を説明するための図である。
【図２５】本発明の第３の実施の形態の画像復号装置のブロック図である。
【図２６】上記第３の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図２７】上記第３の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図２８】上記第３の実施の形態の画像復号装置のフレームモード用動き補償装置における他の補間処理を説明するための図である。
【図２９】本発明の第４の実施の形態の画像復号装置のブロック図である。
【図３０】上記第４の実施の形態の画像復号装置のフィールドモード用動き補償装置における補間処理を説明するための図である。
【図３１】上記第４の実施の形態の画像復号装置のフレームモード用動き補償装置における補間処理を説明するための図である。
【図３２】上記第４の実施の形態の画像復号装置のフレームモード用動き補償装置における他の補間処理を説明するための図である。
【図３３】本発明の第５の実施の形態の画像復号装置のブロック図である。
【図３４】従来の第１のダウンデコーダを示すブロック図である。
【図３５】従来の第２のダウンデコーダを示すブロック図である。
【図３６】従来の第３のダウンデコーダを示すブロック図である。
【図３７】従来の画像復号装置のブロック図である。
【図３８】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図３９】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図４０】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図４１】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図４２】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図４３】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【符号の説明】
１０，３０，４０，５０，６０ 画像復号装置、１４ フィールドモード用縮小逆離散コサイン変換装置、１５ フレームモード用縮小逆離散コサイン変換装置、１６ 加算装置、１７ フレームメモリ、１８，４１，６１ フィールドモード用動き補償装置、１９，４２，６２ フレームモード用動き補償装置、２０画枠変換・位相ずれ補正装置、３１ フィールドモード用位相補正縮小逆離散コサイン変換装置、３２ フレームモード用位相補正縮小逆離散コサイン変換装置、３３ 画枠変換装置[0001]
BACKGROUND OF THE INVENTION
In the present invention, the first encoding is performed by predictive coding by performing motion prediction in units of predetermined pixel blocks (macroblocks), and compression encoding by performing orthogonal transform in units of predetermined pixel blocks (orthogonal transform blocks). The present invention relates to an image decoding apparatus and an image decoding method for decoding compressed image data having a resolution, and in particular, decoding compressed image data having a first resolution to moving image data having a second resolution lower than the first resolution. The present invention relates to an image decoding apparatus and an image decoding method for reduction.
[0002]
[Prior art]
The standardization of digital television broadcasting using an image compression method such as MPEG2 (Moving Picture Experts Group phase 2) is underway. Standards for digital television broadcasting include standards corresponding to standard resolution images (for example, 576 effective lines in the vertical direction), standards corresponding to high resolution images (for example, 1152 effective lines in the vertical direction), and the like. is there. Therefore, in recent years, by decoding compressed image data of a high resolution image and reducing the compressed image data to 1/2 resolution, image data of a standard resolution image is generated, and this image data corresponds to the standard resolution. There is a need for a down decoder for display on a television monitor.
[0003]
A down-decoder that decodes a bit stream such as MPEG2 that has been subjected to predictive coding by motion prediction and compression coding by discrete cosine transform on a high-resolution image and down-samples it into a standard-resolution image is described in the document “No low frequency drift” "Scalable Decoder" (Iwahashi, Kamibayashi, Takaya: IEICE Tech. Reports CS94-186, DSP94-108, 1995-01) (hereinafter referred to as Document 1). The document 1 shows the following first to third down decoders.
[0004]
As shown in FIG. 34, the first down decoder performs 8 (the number of coefficients counted from the DC component in the horizontal direction) × 8 (the number of coefficients counted from the DC component in the vertical direction) for the bit stream of the high resolution image. The inverse discrete cosine transform device 1001 that performs inverse discrete cosine transform, an adder 1002 that adds the high-resolution image that has been subjected to discrete cosine transform and the reference image that has undergone motion compensation, and a frame that temporarily stores the reference image A memory 1003, a motion compensation device 1004 that performs motion compensation on the reference image stored in the frame memory 1003 with 1/2 pixel accuracy, and a downsampling device 1005 that converts the reference image stored in the frame memory 1003 into a standard resolution image. It has.
[0005]
In the first down decoder, an output image obtained by performing inverse discrete cosine transform and decoded as a high-resolution image is reduced by a down-sampling device 1005 to output standard-resolution image data.
[0006]
As shown in FIG. 35, the second down decoder replaces the coefficient of the high frequency component of the DCT (Discrete Cosine Transform) block of the bit stream of the high resolution image with 0 and performs inverse discrete cosine transform of 8 × 8. A cosine transform device 1011; an adder 1012 that adds a high-resolution image that has undergone discrete cosine transform and a reference image that has undergone motion compensation; a frame memory 1013 that temporarily stores the reference image; and a reference that is stored in the frame memory 1013 A motion compensation device 1014 that performs motion compensation on an image with 1/2 pixel accuracy and a downsampling device 1015 that converts a reference image stored in the frame memory 1013 into a standard resolution image are provided.
[0007]
In this second down decoder, the output image decoded as a high resolution image by performing inverse discrete cosine transform by replacing the coefficient of the high frequency component among all the coefficients of the DCT block with 0 is reduced by the downsampling device 1005 and standardized. Output resolution image data.
[0008]
As shown in FIG. 36, the third down decoder performs, for example, 4 × 4 inverse discrete cosine transform using only the low-frequency component coefficient of the DCT block of the bit stream of the high-resolution image and decodes it to the standard-resolution image. A reduced inverse discrete cosine transform device 1021, an addition device 1022 for adding the standard resolution image subjected to the reduced inverse discrete cosine transform and the motion compensated reference image, a frame memory 1023 for temporarily storing the reference image, and a frame A motion compensation device 1024 that performs motion compensation on the reference image stored in the memory 1023 with 1/4 pixel accuracy is provided.
[0009]
In the third down decoder, inverse discrete cosine transform is performed using only the coefficients of the low frequency component among all the coefficients of the DCT block, and the high resolution image is decoded as the standard resolution image.
[0010]
Here, since the first down-decoder performs inverse discrete cosine transform on all the coefficients in the DCT block and decodes the high-resolution image, the first down-decoder and the inverse discrete cosine transform apparatus 1001 having high arithmetic processing capability and the high resolution image are decoded. The frame memory 1003 having a capacity is required. In the second down decoder, the high-frequency component of the coefficients in the DCT block is set to 0 to perform discrete cosine transform and a high-resolution image is decoded. Therefore, the inverse discrete cosine transform apparatus 1011 has low arithmetic processing capability. Although it is good, a high-capacity frame memory 1013 is still necessary. In contrast to the first and second down decoders, the third down decoder performs inverse discrete cosine transform using only the coefficients of the low frequency component among all the coefficients in the DCT block, and thus the inverse discrete cosine transform apparatus. The calculation processing capacity of 1021 may be low, and further, since the reference image of the standard resolution image is decoded, the capacity of the frame memory 1023 can be reduced.
[0011]
By the way, there are a sequential scanning method and an interlaced scanning method as a moving image display method such as television broadcasting. The sequential scanning method is a display method that sequentially displays images obtained by sampling all pixels in a frame at the same timing. The interlaced scanning method is a display method that alternately displays images obtained by sampling pixels in a frame at different timings for each line in the horizontal direction.
[0012]
In this interlaced scanning method, one of images obtained by sampling pixels in a frame at different timings for each line is called a top field (also called a first field), and the other is called a bottom field (also called a second field). Say.) An image including the top line in the horizontal direction of the frame is a top field, and an image including the second line in the horizontal direction of the frame is a bottom field. Therefore, in the interlace scanning method, one frame is composed of two fields.
[0013]
In MPEG2, in order to efficiently compress a moving image signal corresponding to the interlace scanning method, not only can a frame be assigned to a picture, which is a compression unit of a screen, but also a field can be assigned to a picture for encoding. .
[0014]
In MPEG2, when a field is assigned to a picture, the structure of the bit stream is called a field structure, and when a frame is assigned to a picture, the structure of the bit stream is called a frame structure. In the field structure, a DCT block is formed from pixels in the field, and discrete cosine transform is performed on a field basis. A processing mode in which discrete cosine transform is performed on a field basis is called a field DCT mode. In the frame structure, a DCT block is formed from pixels in the frame, and discrete cosine transform is performed on a frame basis. A processing mode in which discrete cosine transformation is performed in units of frames is called a frame DCT mode. Furthermore, in the field structure, a macroblock is formed from pixels in the field, and motion prediction is performed in field units. A processing mode in which motion prediction is performed in units of fields is referred to as field motion prediction mode. In the frame structure, a macro block is formed from pixels in the frame, and motion prediction is performed on a frame basis. A processing mode in which motion prediction is performed in units of frames is called a frame motion prediction mode.
[0015]
[Problems to be solved by the invention]
By the way, an image decoding apparatus that decodes compressed image data corresponding to the interlace scanning method using the third down decoder shown in the above-mentioned document 1 is disclosed in, for example, the document “A Compensation Method of Drift Errors in Scalability” (N OBIKANE, K. TAHARA and J. YONEMITSU, HDTV Work Shop '93) (hereinafter referred to as Document 2).
[0016]
As shown in FIG. 37, the conventional image decoding device shown in this document 2 is supplied with a bitstream obtained by compressing a high-resolution image with MPEG2, and analyzes a bitstream analysis device 1031 for analyzing the bitstream. A variable-length code decoding apparatus 1032 that decodes a variable-length-encoded bitstream that assigns a code length according to the frequency of occurrence, an inverse quantization apparatus 1033 that multiplies each coefficient of the DCT block, and a DCT block A reduced inverse discrete cosine transform apparatus 1034 that decodes a standard resolution image by performing, for example, 4 × 4 inverse discrete cosine transform using only the low frequency component coefficients among all the coefficients, and a standard that has been subjected to reduced inverse discrete cosine transform An adder 1035 for adding the resolution image and the motion-compensated reference image, and a frame for temporarily storing the reference image. A frame memory 1036, and a motion compensation unit 1037 for motion compensation in 1/4 pixel precision in the reference picture frame memory 1036 and stored.
[0017]
The reduced inverse discrete cosine transform device 1034 of the conventional image decoding device shown in this document 2 performs inverse discrete cosine transform using only the coefficients of the low frequency component among all the coefficients in the DCT block. The position of the coefficient for performing the inverse discrete cosine transform differs between the mode and the field DCT mode.
[0018]
Specifically, in the case of the field DCT mode, the reduced inverse discrete cosine transform apparatus 1034, as shown in FIG. 38, only 4 × 4 coefficients in the low band among 8 × 8 in the DCT block. Perform inverse discrete cosine transform on. On the other hand, in the frame DCT mode, the reduced inverse discrete cosine transform apparatus 1034 has 4 × 2 coefficients + 4 × 2 coefficients among 8 × 8 coefficients in the DCT block, as shown in FIG. Only the inverse discrete cosine transform is performed.
[0019]
Also, the motion compensation device 1037 of the conventional image decoding device shown in this document 2 is based on the information (motion vector) of motion prediction performed on the high resolution image, and the field motion prediction mode and the frame motion prediction mode. The motion compensation with 1/4 pixel accuracy corresponding to each of the above is performed. In other words, in normal MPEG2, it is determined that motion compensation is performed with 1/2 pixel accuracy, but when decoding a standard resolution image from a high resolution image, the number of pixels in the picture is reduced to 1/2. Therefore, the motion compensation apparatus 1037 performs motion compensation with the pixel accuracy of motion compensation being ¼ pixel accuracy.
[0020]
Therefore, in order to perform motion compensation corresponding to a high-resolution image, the motion compensation device 1037 performs linear interpolation on the reference image pixels stored in the frame memory 1036 as a standard-resolution image, and has a 1/4 pixel accuracy. A pixel is generated.
[0021]
Specifically, linear interpolation processing of pixels in the vertical direction in the field motion prediction mode and the frame motion prediction mode will be described with reference to FIGS. 40 and 41. FIG. In the drawing, the phase of pixels in the vertical direction is shown in the vertical direction, and the phase in which each pixel of the display image is located is shown as an integer.
[0022]
First, an interpolation process for an image subjected to motion prediction in the field motion prediction mode will be described with reference to FIG. For a high-resolution image (upper layer), as shown in FIG. 40A, motion compensation is performed with ½ pixel accuracy independently for each field. On the other hand, for a standard resolution image (lower layer), as shown in FIG. 40 (b), linear interpolation is performed in the field based on integer precision pixels, and 1/4 pixel, 1 / 2 pixels and 3/4 pixels out of phase are generated and motion compensation is performed. In other words, in the standard resolution image (lower layer), each pixel having the ¼ pixel accuracy of the top field is generated by linear interpolation based on each pixel having the integer accuracy of the top field, and the bottom of each pixel having the integer accuracy of the bottom field is generated. Each pixel with 1/4 pixel accuracy of the field is generated by linear interpolation. For example, the value of the pixel in the top field where the vertical phase is 0 is a, and the value of the pixel in the top field where the vertical phase is 1 is b. In this case, the top field pixel whose vertical phase is 1/4 is (3a + b) / 4, and the top field pixel whose vertical phase is 1/2 is (a + b) / 2. The pixel in the top field at the position where the vertical phase is 3/4 is (a + 3b) / 4.
[0023]
Subsequently, an interpolation process for an image subjected to motion prediction in the frame motion prediction mode will be described with reference to FIG. For a high-resolution image (upper layer), as shown in FIG. 41A, interpolation processing is performed between the fields, that is, interpolation processing is performed between the bottom field and the top field. Motion compensation is performed with pixel accuracy. For the standard resolution image (lower layer), as shown in FIG. 41 (b), based on the integer precision pixels of the two fields of the top field and the bottom field, 1/4 pixel, 1 / Pixels whose phases are shifted by 2 pixels and 3/4 pixels are generated by linear interpolation, and motion compensation is performed. For example, the value of the bottom field pixel whose vertical phase is -1 is set to a, the value of the top field pixel whose vertical phase is 0 is set to b, and the vertical phase is set to 1 Let c be the value of a pixel in a certain bottom field, d be the value of a pixel in the top field where the vertical phase is at position 2, and e be the value of the pixel in the bottom field where the vertical phase is at position 3. In this case, each pixel with 1/4 pixel accuracy whose vertical phase is between 0 and 2 is obtained as follows.
[0024]
The pixel whose vertical phase is ¼ is (a + 4b + 3c) / 8. A pixel having a vertical phase of 1/2 is (a + 3c) / 4. A pixel whose vertical phase is 3/4 is (a + 2b + 3c + 2d) / 8. A pixel having a vertical phase of 5/4 is (2b + 3c + 2d + e) / 8. A pixel whose vertical phase is 3/2 is (3c + e) / 4. A pixel whose vertical phase is 7/4 is (3c + 4d + e) / 8.
[0025]
As described above, the conventional image decoding apparatus disclosed in Document 2 can decode compressed image data of a high resolution image corresponding to the interlace scanning method into standard resolution image data.
[0026]
However, in the conventional image decoding device shown in the above-mentioned document 2, the phase of each pixel of the standard resolution image obtained in the field DCT mode is shifted from that of each pixel of the standard resolution obtained in the frame DCT mode. Specifically, in the field DCT mode, as shown in FIG. 42, the vertical phase of each pixel in the top field of the lower layer is 1/2, 5/2. The vertical phase of the pixels is 1, 3,. On the other hand, in the frame DCT mode, as shown in FIG. 43, the vertical phase of each pixel in the top field of the lower layer is 0, 2,. The phase is 1, 3,. Therefore, images having different phases are mixed in the frame memory 1036, and the image quality of the output image is deteriorated.
[0027]
Further, in the conventional image decoding device disclosed in the above-mentioned document 2, the phase shift is not corrected in the field motion prediction mode and the frame motion prediction mode. Therefore, the image quality of the output image is deteriorated.
[0028]
The present invention has been made in view of such circumstances, and can reduce the amount of computation and storage capacity necessary for decoding, and can perform pixel compensation in motion compensation in the field motion prediction mode and the frame motion prediction mode. The present invention provides an image decoding apparatus and an image decoding method for decoding standard resolution image data from compressed image data of a high resolution image, which can eliminate the phase shift of the image and prevent deterioration in image quality due to motion compensation. Objective.
[0029]
[Means for Solving the Problems]
The present invention Prediction coding by performing motion prediction in units of predetermined pixel blocks (macroblocks), and compression of the first resolution by compression encoding by performing orthogonal transform in units of predetermined pixel blocks (orthogonal transform blocks) In an image decoding apparatus for decoding moving image data having a second resolution lower than the first resolution from image data, Inverse orthogonal transformation means for performing inverse orthogonal transformation on the coefficients of the low frequency component among the coefficients of the orthogonal transformation block of the compressed image data subjected to orthogonal transformation, and compression obtained by inverse orthogonal transformation by the inverse orthogonal transformation means Addition means for adding image data and motion compensated reference image data to output moving image data of the second resolution, and storage for storing the moving image data output from the addition means as reference image data Means, First motion compensation means for performing motion compensation on a macroblock of reference image data that has been motion-predicted by a motion prediction method (field motion prediction mode) that supports interlaced scanning, and a motion prediction method that supports sequential scanning ( Second motion compensation means for performing motion compensation on the macroblock of the reference image data subjected to motion prediction in the frame motion prediction mode); Post-filtering is performed on the moving image data output from the adding means to convert the image frame of the screen constituting the moving image, and to correct the phase shift between the top field and the bottom field. Means and The first motion compensation means and the second motion compensation means interpolate each pixel of the macroblock of the reference image data stored in the storage means, and the storage means stores The present invention is characterized in that a macro block composed of 1/4 pixel precision pixels is generated for the reference image data, and motion compensation is performed on the generated macro block.
[0033]
The present invention Prediction encoding by performing motion prediction in units of a predetermined pixel block (macroblock), and compression of the first resolution by compression encoding by performing orthogonal transform in units of a predetermined pixel block (orthogonal transform block) In an image decoding method for decoding moving image data having a second resolution lower than the first resolution from image data, Of the coefficients of the orthogonal transform block of the compressed image data subjected to the orthogonal transform, the low frequency component coefficient is subjected to inverse orthogonal transform, and the compressed image data subjected to the inverse orthogonal transform and the motion compensated reference image The moving image data of the second resolution is generated by adding the data, the generated moving image data of the second resolution is stored as reference image data, and the generated moving image data of the second resolution Post-filtering is performed, the frame of the screen composing the moving image is converted, and the phase shift between the top field and the bottom field is corrected, Motion compensation is performed on the macroblocks of the reference image data that has been motion-predicted using the motion prediction method (field motion prediction mode) that supports interlaced scanning, and motion is performed using the motion prediction method (frame motion prediction mode) that supports sequential scanning. Motion compensation is performed on the predicted macroblock of the reference image data, the above Field motion prediction mode or frame motion prediction mode Remembered in motion compensation Interpolate each pixel of the macroblock of the reference image data, the above The present invention is characterized in that a macroblock composed of pixels with 1/4 pixel precision is generated for reference image data, and motion compensation is performed on the generated macroblock.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, as an embodiment of the present invention, an image decoding device to which the present invention is applied will be described with reference to the drawings.
[0038]
(First embodiment)
First, the image decoding apparatus according to the first embodiment of the present invention will be described.
[0039]
As shown in FIG. 1, the image decoding apparatus 10 according to the first embodiment of the present invention receives a bitstream obtained by compressing a high-resolution image having, for example, 1152 effective lines in the vertical direction using MPEG2. This is a device that decodes an input bit stream and reduces the resolution to ½, and outputs a standard resolution image having, for example, 576 effective lines in the vertical direction.
[0040]
In the following description of embodiments of the present invention, a high resolution image is also referred to as an upper layer, and a standard resolution image is also referred to as a lower layer. In general, when a DCT block having 8 × 8 discrete cosine coefficients is subjected to inverse discrete cosine transform, decoded data composed of 8 × 8 pixels can be obtained. For example, 8 × 8 discrete cosine coefficients are The process of performing inverse discrete cosine transform and reducing the resolution so as to obtain decoded data composed of 4 × 4 pixels by decoding is called reduced inverse discrete cosine transform.
[0041]
The image decoding apparatus 10 is supplied with a bit stream of a compressed high-resolution image, and performs a variable-length encoding that assigns a code length according to the frequency of data generation, and a bit stream analysis apparatus 11 that analyzes the bit stream. Further, the variable length code decoding device 12 that decodes the bit stream, the inverse quantization device 13 that applies a quantization step to each coefficient of the DCT block, and the reduced inverse of the DCT block that has been subjected to discrete cosine transform in the field DCT mode. A reduced inverse discrete cosine transform device for field mode 14 that generates a standard resolution image by performing discrete cosine transform, and a standard resolution image by performing a reduced inverse discrete cosine transform on a DCT block that has undergone discrete cosine transform in the frame DCT mode. A reduced inverse discrete cosine transform device 15 for frame mode for generating An adder 16 for adding the standard resolution image subjected to the small inverse discrete cosine transform and the reference image subjected to motion compensation, a frame memory 17 for temporarily storing the reference image, and a field motion in the reference image stored in the frame memory 17. A field mode motion compensation device 18 that performs motion compensation corresponding to the prediction mode, a frame mode motion compensation device 19 that performs motion compensation corresponding to the frame motion prediction mode on the reference image stored in the frame memory 17, and a frame memory 17 Post-filtering the image stored in the image frame to convert the image frame, correct the phase shift of the pixel, and output the standard resolution image data for display on a television monitor etc. And a deviation correction device 20.
[0042]
The reduced inverse discrete cosine transform device 14 for field mode is used when the macroblock of the input bit stream is subjected to discrete cosine transform in the field DCT mode. The reduced inverse cosine transform device 14 for field mode uses a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the field DCT mode are shown, as shown in FIG. Inverse discrete cosine transform is performed only on low-frequency 4 × 4 coefficients. That is, the reduced inverse discrete cosine transform is performed based on the four discrete cosine coefficients in the horizontal and vertical low bands. The reduced inverse discrete cosine transform device 14 for field mode can decode a standard resolution image in which one DCT block is composed of 4 × 4 pixels by performing the reduced inverse discrete cosine transform as described above. . As shown in FIG. 2, the phase of each pixel of the decoded image data is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is vertical. The phase of the direction is 1, 3,. That is, in the decoded top layer of the lower layer, the first pixel (the pixel whose phase is ½) is the first and second pixels (the pixels whose phase is 0 and 2) from the top of the top field of the upper layer. The phase of the second pixel from the top (pixel having a phase of 5/2) is the middle phase of the third and fourth pixels from the top of the top field of the upper layer (pixels having a phase of 4 and 6). It becomes. In the bottom layer of the decoded lower layer, the phase of the first pixel (pixel having a phase of 1) is intermediate between the first and second pixels (pixels having a phase of 1 and 3) from the top of the bottom field of the upper layer. The phase of the second pixel from the top (pixel having a phase of 3) is an intermediate phase between the third and fourth pixels (pixels having a phase of 5 and 7) from the top of the bottom field of the upper layer.
[0043]
The frame mode reduced inverse discrete cosine transform device 15 is used when a macroblock of an input bit stream is subjected to discrete cosine transform in the frame DCT mode. The frame mode reduced inverse discrete cosine transform device 15 performs a reduced inverse discrete cosine transform on a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the frame DCT mode are indicated. The reduced inverse discrete cosine transform device 15 for frame mode decodes a resolution image in which one DCT block is composed of 4 × 4 pixels, and the standard resolution generated by the reduced inverse discrete cosine transform device 14 for field mode. An image having the same phase as the pixel phase of the image is generated. That is, as shown in FIG. 2, the phase of each pixel of the image data decoded by the reduced inverse discrete cosine transform device 15 for frame mode is 1/2, 5/2. The vertical phase of each pixel in the bottom field is 1, 3,.
[0044]
Details of the processing of the reduced inverse discrete cosine transform device 15 for frame mode will be described later.
[0045]
When the macroblock subjected to the reduced inverse discrete cosine transform 14 by the field mode reduced inverse discrete cosine transform device 14 or the frame mode reduced inverse discrete cosine transform device 15 is an intra image, the adder 16 directly converts the intra image into a frame. Store in the memory 17. Further, when the macroblock subjected to the reduced inverse discrete cosine transform by the field mode reduced inverse discrete cosine transform device 14 or the frame mode reduced inverse discrete cosine transform device 15 is an inter image, the adder 16 also performs the inter image. In addition, the reference image subjected to motion compensation by the field mode motion compensation device 18 or the frame mode motion compensation device 19 is synthesized and stored in the frame memory 17.
[0046]
The field mode motion compensation device 18 is used when the motion prediction mode of the macroblock is the field motion prediction mode. The field mode motion compensator 18 has a 1/4 pixel accuracy with respect to the reference image of the standard resolution image stored in the frame memory 17 in consideration of the phase shift component between the top field and the bottom field. Interpolation processing is performed, and motion compensation corresponding to the field motion prediction mode is performed. The reference image that has been subjected to motion compensation by the field mode motion compensation device 18 is supplied to the adder 16 and is combined with the inter image.
[0047]
The frame mode motion compensation device 19 is used when the macroblock motion prediction mode is the frame motion prediction mode. The frame mode motion compensator 19 has a 1/4 pixel accuracy with respect to the reference image of the standard resolution image stored in the frame memory 17 in consideration of the phase shift component between the top field and the bottom field. Interpolation processing is performed, and motion compensation corresponding to the frame motion prediction mode is performed. The reference image that has been subjected to motion compensation by the frame mode motion compensation device 19 is supplied to the addition device 16 and synthesized with the inter image.
[0048]
The frame conversion / phase shift correction device 20 is supplied with a standard resolution reference image stored in the frame memory 17 or an image synthesized by the addition device 16, and post-filtering this image between the top field and the bottom field. The phase shift component is corrected and the image frame is converted so as to conform to the standard definition television standard. That is, in the image frame conversion / phase shift correction device 20, the vertical phase of each pixel in the top field is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is 1, 3 For example, the vertical phase of each pixel in the top field is 0, 2, 4,..., And the vertical phase of each pixel in the bottom field is 1, 3, 5,. -Correct so that Further, the image frame conversion / phase shift correction device 20 reduces the image frame of the high-resolution television standard to 1/4 and converts it to the standard-definition television standard image frame.
[0049]
The image decoding apparatus 10 according to the first embodiment of the present invention has the above-described configuration, thereby decoding a bitstream obtained by compressing a high-resolution image with MPEG2 and reducing the resolution to ½. Thus, a standard resolution image can be output.
[0050]
Next, the processing contents of the reduced inverse discrete cosine transform device 15 for frame mode will be described in more detail.
[0051]
The reduced inverse discrete cosine transform device 15 for frame mode can perform either one or both of the one-block processing and the two-block processing described below. The frame mode reduced inverse discrete cosine transform device 15 may switch between 1-block processing and 2-block processing as necessary, or may perform only one of the processing.
[0052]
First, one-block processing will be described. FIG. 3 shows a diagram for explaining the contents of the one-block process.
[0053]
As shown in FIG. 3, the reduced inverse discrete cosine transform device 15 for frame mode receives a bit stream obtained by compressing and encoding a high resolution image in units of one DCT block.
[0054]
First, in step S1, the discrete cosine coefficient y of this one DCT block (the coefficient in the vertical direction of all the discrete cosine coefficients of the DCT block is expressed as y ₁ ~ Y ₈ As shown in the figure. ) Is subjected to 8 × 8 inverse discrete cosine transform (IDCT 8 × 8). By performing inverse discrete cosine transform, 8 × 8 decoded pixel data x (vertical pixel data of all the pixel data of the DCT block is converted to x ₁ ~ X ₈ As shown in the figure. ) Can be obtained.
[0055]
Subsequently, in step S2, the 8 × 8 pixel data x is alternately extracted for each line in the vertical direction, and a 4 × 4 top field pixel block corresponding to interlaced scanning and 4 corresponding to interlaced scanning. The pixel block of the x4 bottom field is separated into two pixel blocks. That is, the pixel data x of the first line in the vertical direction ₁ And pixel data x on the third line _Three And pixel data x on the fifth line _Five And pixel data x of the seventh line ₇ And a pixel block corresponding to the top field is generated. Also, pixel data x of the second line in the vertical direction ₂ And pixel data x on the fourth line _Four And pixel data x of the sixth line ₆ And pixel data x of the eighth line ₈ And a pixel block corresponding to the bottom field is generated. The process of separating each pixel of the DCT block into two pixel blocks corresponding to interlaced scanning is hereinafter referred to as field separation.
[0056]
Subsequently, in step S3, 4 × 4 discrete cosine transform (DCT4 × 4) is performed on each of the two pixel blocks separated in the field.
[0057]
Subsequently, in step S4, the discrete cosine coefficient z of the pixel block corresponding to the top field obtained by performing the 4 × 4 discrete cosine transform (the discrete in the vertical direction among all the coefficients of the pixel block corresponding to the top field) The cosine coefficient is z ₁ , Z _Three , Z _Five , Z ₇ As shown in the figure. ) Is a pixel block composed of 2 × 2 discrete cosine coefficients. Also, the discrete cosine coefficient z of the pixel block corresponding to the bottom field obtained by the 4 × 4 discrete cosine transform (the discrete cosine coefficient in the vertical direction among all the coefficients of the pixel block corresponding to the bottom field is z ₂ , Z _Four , Z ₆ , Z ₈ As shown in the figure. ) Is a pixel block composed of 2 × 2 discrete cosine coefficients.
[0058]
Subsequently, in step S5, 2 × 2 inverse discrete cosine transform (IDCT2 × 2) is performed on the pixel block obtained by thinning out the discrete cosine coefficients of the high frequency components. By performing 2 × 2 inverse discrete cosine transform, 2 × 2 decoded pixel data x ′ (vertical pixel data of all pixel data of the top field pixel block is converted to x ′ ₁ , X ′ _Three In the figure, the pixel data in the vertical direction among all the pixel data of the pixel block corresponding to the bottom field is x ′. ₂ , X ′ _Four As shown in the figure. ) Can be obtained.
[0059]
Subsequently, in step S6, the pixel data of the pixel block corresponding to the top field and the pixel data of the pixel block corresponding to the bottom field are alternately synthesized one line at a time in the vertical direction to obtain 4 × 4 pixel data. A DCT block having a reduced inverse discrete cosine transform composed of The process of alternately synthesizing the pixels of the two pixel blocks corresponding to the top field and the bottom field in the vertical direction is hereinafter referred to as frame synthesis.
[0060]
By performing the one-block processing shown in steps S1 to S6 above, the reduced inverse discrete cosine transform device 15 for frame mode generates the reduced inverse discrete cosine transform device 14 for field mode as shown in FIG. A 4 × 4 DCT block composed of pixels having the same phase as the pixels of the standard resolution image can be generated.
[0061]
In the reduced inverse discrete cosine transform device 15 for frame mode, the one block processing from the above step S1 to step S6 is calculated using one matrix. Specifically, in the reduced inverse discrete cosine transform device 15 for frame mode, a matrix [FS ′] shown in the following equation 1 obtained by performing expansion calculation on the above processing using the addition theorem, and one DCT block Discrete cosine coefficient y (y ₁ ~ Y ₈ ) And the pixel data x ′ (x ′) of the DCT block subjected to the reduced inverse discrete cosine transform. ₁ ~ X ' _Four ) Can be obtained.
[0062]
[Expression 1]

[0063]
However, in this formula (1), A to J are as follows.
[0064]
[Expression 2]

[0065]
Next, the 2-block process will be described. FIG. 4 shows a diagram for explaining the contents of the two-block process.
[0066]
As shown in FIG. 4, the reduced inverse discrete cosine transform device 15 for frame mode receives a bit stream obtained by compression-coding a high-resolution image in units of two DCT blocks. For example, when the macro block is composed of a so-called 420 format composed of four luminance component DCT blocks and two chrominance component DCT blocks, two luminance component (Y) DCT blocks adjacent in the vertical direction are included. Entered. When the macro block is configured as shown in FIG. 5, the DCT block 0 and the DCT block 2 of the luminance component (Y) are inputted as a pair, and the DCT block 1 and the DCT block 3 are inputted. Input in pairs.
[0067]
First, in step S11, the discrete cosine coefficients y of two DCT blocks (vertical coefficients among all the discrete cosine coefficients of the previous DCT block are expressed as y ₁ ~ Y ₈ As shown in the figure, the vertical coefficient among all the discrete cosine coefficients of the DCT block later in time is represented by y. ₉ ~ Y ₁₆ As shown in the figure. ), 8 × 8 inverse discrete cosine transform (IDCT 8 × 8) is performed independently. By performing inverse discrete cosine transform, 8 × 8 decoded pixel data x (vertical pixel data of all pixel data of the previous DCT block is converted to x ₁ ~ X ₈ As shown in the figure, the pixel data in the vertical direction among all the pixel data of the DCT block later in time is x ₉ ~ X ₁₆ As shown in the figure. ) Can be obtained.
[0068]
Subsequently, in step S12, 8 × 8 pixel data x of the two DCT blocks are alternately extracted for each line in the vertical direction, and the top field 8 × 8 pixel block corresponding to the interlaced scan and the interlaced scan. Is divided into two pixel blocks of an 8 × 8 pixel block corresponding to the bottom field. That is, the pixel data x of the first line in the vertical direction from the previous DCT block in time. ₁ And pixel data x on the third line _Three And pixel data x on the fifth line _Five And pixel data x of the seventh line ₇ And the pixel data x of the first line in the vertical direction from the later DCT block ₉ And pixel data x on the third line ₁₁ And pixel data x on the fifth line ₁₃ And pixel data x of the seventh line ₁₅ And 8 × 8 pixel block corresponding to the top field is generated. Also, the pixel data x of the second line in the vertical direction from the previous DCT block in time. ₂ And pixel data x on the fourth line _Four And pixel data x of the sixth line ₆ And pixel data x of the eighth line ₈ And the pixel data x of the second line in the vertical direction from the later DCT block _Ten And pixel data x on the fourth line ₁₂ And pixel data x of the sixth line ₁₄ And pixel data x of the eighth line ₁₆ And a pixel block corresponding to the bottom field is generated.
[0069]
Subsequently, in step S13, 8 × 8 discrete cosine transform (DCT8 × 8) is performed on each of the two 8 × 8 pixel blocks separated in the field.
[0070]
Subsequently, in step S14, the discrete cosine coefficient z of the pixel block corresponding to the top field obtained by performing the 8 × 8 discrete cosine transform (the discrete value in the vertical direction among all the coefficients of the pixel block corresponding to the top field). The cosine coefficient is z ₁ , Z _Three , Z _Five , Z ₇ , Z ₉ , Z ₁₁ , Z ₁₃ , Z ₁₅ As shown in the figure. ) Is thinned out to obtain a pixel block composed of 4 × 4 discrete cosine coefficients. Also, the discrete cosine coefficient z of the pixel block corresponding to the bottom field obtained by 8 × 8 discrete cosine transform (the discrete cosine coefficient in the vertical direction among all the coefficients of the pixel block corresponding to the bottom field is z ₂ , Z _Four , Z ₆ , Z ₈ , Z _Ten , Z ₁₂ , Z ₁₄ , Z ₁₆ As shown in the figure. ) Is a pixel block composed of 4 × 4 discrete cosine coefficients.
[0071]
Subsequently, in step S15, 4 × 4 inverse discrete cosine transform (IDCT 4 × 4) is performed on each 4 × 4 pixel block obtained by thinning out the high frequency component discrete cosine coefficients. By performing 4 × 4 inverse discrete cosine transform, 4 × 4 decoded pixel data x ′ (vertical pixel data of all pixel data of the pixel block corresponding to the top field is converted to x ′ ₁ , X ′ _Three , X ′ _Five , X ′ ₇ In the figure, the pixel data in the vertical direction among all the pixel data of the pixel block corresponding to the bottom field is x ′. ₂ , X ′ _Four , X ′ ₆ , X ′ ₈ As shown in the figure. ) Can be obtained.
[0072]
Subsequently, in step S16, the pixel data of the pixel block corresponding to the top field and the pixel data of the pixel block corresponding to the bottom field are alternately frame-combined one line at a time in the vertical direction to obtain an 8 × 8 pixel. A DCT block having reduced inverse discrete cosine transform composed of data is generated.
[0073]
By performing the two-block processing shown in steps S11 to S16, the reduced inverse discrete cosine transform unit 15 for frame mode generates the reduced inverse discrete cosine transform device 14 for field mode as shown in FIG. A DCT block composed of pixels having the same phase as the pixels of the standard resolution image can be generated.
[0074]
In the reduced inverse discrete cosine transform device 15 for frame mode, the above two-block processing from step S11 to step S16 is calculated using one matrix. Specifically, in the reduced inverse discrete cosine transform device 15 for frame mode, a matrix [FS ′] shown in the following equation (2) obtained by performing expansion calculation of the above processing using the addition theorem, 2 Discrete cosine coefficients y (y ₁ ~ Y ₁₆ ) And the pixel data x ′ (x ′) of the DCT block subjected to the reduced inverse discrete cosine transform. ₁ ~ X ' ₈ ) Can be obtained.
[0075]
[Equation 3]

[0076]
However, in this formula (2), A to D are as follows.
[0077]
[Expression 4]

[0078]
[Equation 5]

[0079]
[Formula 6]

[0080]
[Expression 7]

[0081]
Moreover, in this Formula (2), ag is as follows.
[0082]
[Equation 8]

[0083]
When the so-called 420-format macroblock shown in FIG. 5 is input to the reduced inverse discrete cosine transform device 15 for frame mode, the luminance component 2 shown in steps S11 to S16 is used. Block processing may be performed to perform reduced inverse discrete cosine transform, and for the color difference component, the reduced inverse discrete cosine transform may be performed by performing the one block processing shown in steps S1 to S6.
[0084]
As described above, in the image decoding apparatus 10 according to the first embodiment of the present invention, in the field DCT mode, 4 × 4 reduced inverse discrete cosine transform is performed on each of the top field and the bottom field to decode a standard resolution image. In the frame DCT mode, the standard resolution image is decoded by performing the frame separation and performing the reduced inverse discrete cosine transform. Since the image decoding apparatus 10 performs different processing in the field DCT mode and the frame DCT mode in this way, decoding is performed in the field DCT mode and the frame DCT mode without impairing the interlaced property of the interlaced scanning image. The phase of the output image can be made the same, and the image quality of the output image is not deteriorated.
[0085]
In the image decoding device 10, the 4 × 4 reduced inverse discrete cosine transform process of the field mode reduced inverse discrete cosine transform device 14 and the step S 1 to step S 6 of the frame mode reduced inverse discrete cosine transform device 15. The reduced inverse discrete cosine transform processing by one block processing according to may be processed using a high-speed algorithm.
[0086]
For example, Wang's algorithm (reference: Zhong DE Wang., “Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform”, IEEE Tr.ASSP-32, NO.4, pp.803-816, Aug.1984. ) Can be used to speed up the processing.
[0087]
When the matrix operated by the reduced inverse cosine transform device 14 for field mode is decomposed using the Wang algorithm, it is decomposed as shown in the following equation (3).
[0088]
[Equation 9]

[0089]
FIG. 6 shows a processing flow when the Wang algorithm is applied to the processing of the reduced inverse discrete cosine transform device 14 for field mode. As shown in this processing flow, the first to fifth multipliers 14a to 14e and the first to ninth adders 14f to 14n can be used to increase the speed.
[0090]
When the matrix [FS ′] calculated by the reduced inverse discrete cosine transform device 15 for frame mode is decomposed using the Wang algorithm, it is decomposed as shown in the following equation (4).
[0091]
[Expression 10]

[0092]
However, in this formula (4), A to J are as follows.
[0093]
[Expression 11]

[0094]
FIG. 7 shows a processing flow when the Wang algorithm is applied to the processing of the reduced inverse discrete cosine transform device 15 for frame mode. As shown in this processing flow, the first to tenth multipliers 15a to 15j and the first to thirteenth adders 15k to 15w can be used to increase the speed.
[0095]
(Second Embodiment)
Next, an image decoding apparatus according to the second embodiment of the present invention will be described. In the description of the image decoding apparatus according to the second embodiment, the same components as those in the first image decoding apparatus 10 are denoted by the same reference numerals in the drawing, and detailed description thereof is omitted. In the third and subsequent embodiments, the same components as those in the previous embodiments are denoted by the same reference numerals in the drawings, and detailed description thereof is omitted.
[0096]
As shown in FIG. 8, the image decoding apparatus 30 according to the second embodiment of the present invention receives a bitstream obtained by compressing a high-resolution image having 1152 effective lines in the vertical direction by MPEG2, for example. This is a device that decodes an input bit stream and reduces the resolution to ½, and outputs a standard resolution image having, for example, 576 effective lines in the vertical direction.
[0097]
The image decoding device 30 is supplied with a bit stream of a compressed high-resolution image, and performs a variable length encoding that assigns a code length according to the frequency of data generation, and a bit stream analysis device 11 that analyzes the bit stream. Further, the variable length code decoding device 12 for decoding the bit stream, the inverse quantization device 13 for multiplying each coefficient of the DCT block by a quantization step, and the reduced inverse of the DCT block subjected to discrete cosine transform in the field DCT mode. Field mode phase-corrected reduced inverse discrete cosine transform device 31 for generating a standard resolution image by performing discrete cosine transform, and reduced inverse discrete cosine transform for a DCT block subjected to discrete cosine transform in the frame DCT mode and performing standard Phase corrected reduced inverse discrete cosine for frame mode to generate resolution image The conversion device 32, the addition device 16 for adding the standard resolution image subjected to the reduced inverse discrete cosine transform and the motion compensated reference image, the frame memory 17 for temporarily storing the reference image, and the frame memory 17 are stored. A field mode motion compensation device 18 that performs motion compensation corresponding to the field motion prediction mode on the reference image, and a frame mode motion compensation device 19 that performs motion compensation corresponding to the frame motion prediction mode on the reference image stored in the frame memory 17. And an image frame conversion device 33 for converting the image frame from the image stored in the frame memory 17 and outputting standard resolution image data for display on a monitor or the like.
[0098]
The field mode phase correction reduced inverse discrete cosine transform device 31 is used when a macroblock of an input bit stream is subjected to discrete cosine transform in the field DCT mode. The phase correction reduced inverse discrete cosine transform device 31 for field mode uses 4 × 8 of all the coefficients of the DCT block in which 8 × 8 coefficients in the macroblock subjected to the discrete cosine transform in the field DCT mode are shown. For only the coefficients, inverse discrete cosine transform is performed by correcting the phase shift of the pixels in the vertical direction of the top field and the bottom field. That is, inverse discrete cosine transformation is performed based on four discrete cosine coefficients in the low frequency range in the horizontal direction, and inverse discrete cosine transformation is performed in the vertical direction with phase deviation corrected based on eight discrete cosine coefficients. Specifically, phase correction for 1/4 pixel is performed for each pixel in the vertical direction of the top field, and phase correction for 3/4 pixel is performed for each pixel in the vertical direction of the bottom field. I do. Then, by performing the reduced inverse discrete cosine transform as described above, the vertical phase of each pixel in the top field becomes 1/4, 9/4... As shown in FIG. A standard resolution image (lower layer) in which the vertical phase of the pixels is 5/4, 13/4... Is generated.
[0099]
The frame mode phase correction reduced inverse discrete cosine transform device 32 is used when a macroblock of the input bit stream is subjected to discrete cosine transform in the frame DCT mode. The phase correction reduced inverse discrete cosine transform device 32 for the frame mode is a block that will be described in detail later with respect to the DCT block in which 8 × 8 coefficients are indicated in the macroblock subjected to the discrete cosine transform in the frame DCT mode. The reduced inverse discrete cosine transform is performed by correcting the phase shift of the pixels in the vertical direction of the top field and the bottom field by the process or the two-block process. Then, an image having the same phase as the pixel phase of the standard resolution image generated by the field mode phase correction reduced inverse discrete cosine transform device 31 is generated. That is, by performing the reduced inverse discrete cosine transform in one block processing or two block processing, the vertical phase of each pixel in the top field becomes 1/4, 9/4... A standard resolution image (lower layer) in which the vertical phase of each pixel in the bottom field is 5/4, 13/4... Is generated.
[0100]
The field mode motion compensation device 18 is used when the motion prediction mode of the macroblock is the field motion prediction mode. The field mode motion compensation device 18 performs interpolation processing on the reference image of the standard resolution image stored in the frame memory 17 with 1/4 pixel accuracy, and performs motion compensation corresponding to the field motion prediction mode. The reference image that has been subjected to motion compensation by the field mode motion compensation device 18 is supplied to the adder 16 and is combined with the inter image.
[0101]
The frame mode motion compensation device 19 is used when the macroblock motion prediction mode is the frame motion prediction mode. The frame mode motion compensation device 19 performs an interpolation process on the reference image of the standard resolution image stored in the frame memory 17 with 1/4 pixel accuracy, and performs motion compensation corresponding to the frame motion prediction mode. The reference image that has been subjected to motion compensation by the frame mode motion compensation device 19 is supplied to the addition device 16 and synthesized with the inter image.
[0102]
The image frame conversion device 33 is supplied with the standard resolution reference image stored in the frame memory 17, and converts the reference image to match the standard resolution television standard by post-filtering. That is, the image frame conversion device 33 converts the image frame of the high resolution television standard into the image frame of the standard resolution television standard reduced to ¼. Since the image stored in the frame memory 17 does not cause a phase shift between the top field and the bottom field, the image frame conversion device 33 does not have the image frame conversion / conversion of the first embodiment described above. Unlike the phase shift correction device 20, it is not necessary to correct the phase shift of the pixel.
[0103]
The image decoding apparatus 30 according to the second embodiment of the present invention has the above-described configuration, thereby decoding a bit stream obtained by compressing a high-resolution image with MPEG2 and reducing the bit stream to 1/2 resolution. Thus, a standard resolution image can be output.
[0104]
Next, the processing contents of the field mode phase correction reduced inverse discrete cosine transform device 31 will be described in more detail.
[0105]
As shown in FIG. 10, a bit stream obtained by compressing and encoding a high resolution image is input to the field mode phase correction reduced inverse discrete cosine transform device 31 in units of one DCT block.
[0106]
First, in step S21, the discrete cosine coefficient y of this one DCT block (the vertical coefficient of all the discrete cosine coefficients of the DCT block is expressed as y ₁ ~ Y ₈ As shown in the figure. ) Is subjected to 8 × 8 inverse discrete cosine transform (IDCT 8 × 8). By performing inverse discrete cosine transform, 8 × 8 decoded pixel data x (vertical pixel data of all the pixel data of the DCT block is converted to x ₁ ~ X ₈ As shown in the figure. ) Can be obtained.
[0107]
Subsequently, in step S22, the 8 × 8 pixel data is transformed by being closed in the DCT block by the 4 × 8 phase correction filter matrix, and the phase corrected pixel data x ′ (vertical out of all the pixel data). X ' ₁ , X ′ ₂ , X ′ _Three , X ′ _Four As shown in the figure. )
[0108]
By performing the processes in steps S21 to S22 described above, the field mode phase correction reduced inverse discrete cosine transform device 31 can generate an image having no pixel phase shift between the top field and the bottom field. it can.
[0109]
In the field mode phase correction reduced inverse discrete cosine transform device 31, as shown in FIG. 11, the above processing may be performed using one matrix (4 × 8 phase correction IDCT matrix).
[0110]
Next, FIG. 12 shows a design procedure of a 4 × 8 phase correction IDCT matrix that is calculated by the field mode phase correction reduced inverse discrete cosine transform device 31. This 4 × 8 phase correction IDCT matrix will be described. This 4 × 8 phase correction IDCT matrix is created by polyphase decomposition of a prototype filter.
[0111]
Here, in the image decoding device 30, a high-resolution image having a frequency characteristic as shown in FIG. 13A is converted into a 1 / F of the frequency characteristic in which the signal band as shown in FIG. Down-decode into a standard resolution image of 2 resolution. Therefore, the frequency characteristics required for the prototype filter are the frequency characteristics obtained by performing oversampling four times as shown in FIG. 13C so that a 1/4 phase pixel value of the standard resolution image can be obtained. Become.
[0112]
First, in step S31, the Nyquist frequency or lower is divided {(N−1) / 2} at equal intervals, and a gain list is created from the frequency samples. For example, as shown in FIG. 14, 29 gain lists are created by dividing a frequency equal to or lower than the Nyquist frequency by (57-1) / 2 = 28 at equal intervals.
[0113]
Subsequently, in step S32, 57 impulse responses are created by the frequency sampling method. That is, the 29 gain lists are subjected to inverse discrete Fourier transform to generate 57 FIR filter impulse responses. The 57 impulse responses are shown in FIG.
[0114]
In step S33, a 57-tap filter coefficient c1 to c57 is created by multiplying the impulse response by a window function.
[0115]
The filter created in step S33 is a prototype filter.
[0116]
Subsequently, in step S34, the prototype filter having 57 filter coefficients c1 to c57 is subjected to polyphase decomposition, and only 14 filter coefficients c′1 to c′14 having ¼ phase correction characteristics are extracted, Create a polyphase filter.
[0117]
Here, as shown in FIG. 16, the polyphase filter oversamples the input signal N times, performs polyphase decomposition that extracts pixels at intervals of N pixels from the signal obtained by oversampling, and performs input signal processing. And a signal that outputs a signal having a 1 / N phase shift. For example, in order to obtain a signal that is 1/4 phase shifted from the input signal, as shown in FIG. 17, the input signal is oversampled 4 times, and a signal that is 1/4 phase shifted can be extracted from this signal. That's fine.
[0118]
Specifically, the 14 filter coefficients c′1 to c′14 created from the prototype filters c1 to c57 having 57 coefficients are, for example, coefficients as shown in the following equation (5).
[0119]
[Expression 12]

[0120]
After creating the polyphase filter in this way, the design process is divided into a 4 × 8 phase correction IDCT matrix for the top field and a 4 × 8 phase correction IDCT matrix for the bottom field.
[0121]
First, when creating a top field 4 × 8 phase correction IDCT matrix, in step S35, 14 filter coefficients c ′ subjected to polyphase decomposition so that the filter coefficients have ¼ phase correction characteristics. Eight coefficients having group delays of ¼, 9/4, 17/4, and 25/4 phases are extracted from 1 to c′14, and a 4 × 8 phase correction filter matrix is created. The 4 × 8 phase correction filter created in this way is shown in FIG.
[0122]
For example, coefficients as shown in the following expression (6) are extracted from the 14 filter coefficients c′1 to c′14 in the expression (5).
[0123]
[Formula 13]

[0124]
When a 4 × 8 phase correction filter matrix is obtained from the coefficient of Expression (6), the matrix is as shown in Expression (7) below.
[0125]
[Expression 14]

[0126]
When the 4 × 8 phase correction filter matrix shown in the equation (7) is normalized, a matrix as shown in the following equation (8) is obtained.
[0127]
[Expression 15]

[0128]
In step S36, the 8 × 8 IDCT matrix and the 4 × 8 phase correction filter matrix are multiplied to create a top field 4 × 8 phase correction IDCT matrix.
[0129]
The 4 × 8 phase correction IDCT matrix obtained by multiplying the 8 × 8 IDCT matrix and the 4 × 8 phase correction filter shown in the above equation (8) is a matrix as shown in the following equation (9).
[0130]
[Expression 16]

[0131]
On the other hand, when creating a 4 × 8 phase correction IDCT matrix for the bottom field, in step S37, 14 filter coefficients c ′ subjected to polyphase decomposition so that the filter coefficients have a 3/4 phase correction characteristic. 1 to c'14 are reversed left and right.
[0132]
Subsequently, in step S38, eight coefficients having group delays of 3/4, 11/4, 19/4, and 27/4 phases are obtained from the 14 filter coefficients c'1 to c'14 that are reversed left and right. And a 4 × 8 phase correction filter matrix is created.
[0133]
In step S39, the 8 × 8 IDCT matrix is multiplied by this 4 × 8 phase correction filter matrix to create a 4 × 8 phase correction IDCT matrix for the bottom field.
[0134]
Thus, by performing each processing of step S31 to step S39, it is possible to create a 4 × 8 phase correction IDCT matrix on which the field mode phase correction reduced inverse discrete cosine transform device 31 performs an operation.
[0135]
As described above, the field mode phase correction reduced inverse discrete cosine transform device 31 performs a matrix operation on the 4 × 8 phase correction IDCT matrix and the coefficient of the DCT block subjected to the discrete cosine transform in the input field DCT mode. By doing so, it is possible to decode a standard resolution image with no phase shift between the top field and the bottom field. That is, in this field mode phase correction reduced inverse discrete cosine transform device 31, as shown in FIG. 9, the vertical phase of each pixel in the top field becomes 1/4, 9/4. A standard resolution image (lower layer) in which the vertical phase of each pixel is 5/4, 13/4... Can be generated.
[0136]
Next, the processing contents of the frame mode phase correction reduced inverse discrete cosine transform device 32 will be described in more detail.
[0137]
The frame mode phase correction reduced inverse discrete cosine transform device 32 can perform either one or both of the one-block processing and the two-block processing described below. If necessary, one block processing or two block processing may be switched and used, or only one of the processing may be performed.
[0138]
First, one-block processing will be described. FIG. 19 is a diagram for explaining the contents of one block processing.
[0139]
As shown in FIG. 19, a bit stream obtained by compressing and encoding a high-resolution image is input to the frame mode phase correction reduced inverse discrete cosine transform device 32 in units of one DCT block.
[0140]
First, in step S41, 8 × 8 inverse discrete cosine transformation is performed on the discrete cosine coefficient y of this one DCT block. In step S42, the 8 × 8 pixel data is field-separated. Subsequently, in step S43, 4 × 4 discrete cosine transform is performed on each of the two pixel blocks separated in the field. Subsequently, in step S44, the high frequency component of the discrete cosine coefficient z of each pixel block is thinned out to be a pixel block composed of 2 × 2 discrete cosine coefficients. The processing from step S41 to step S44 is the same as the processing from step S1 to step S4 in the one-block processing shown in FIG.
[0141]
Subsequently, in step S45, for the pixel block corresponding to the top field, the phase shift of the pixels in the vertical direction is corrected using a 2 × 4 phase correction IDCT matrix that corrects the phase for ¼ pixel. Perform inverse discrete cosine transform. For the pixel block corresponding to the bottom field, inverse discrete cosine transform is performed by correcting the phase shift of the pixels in the vertical direction using a 2 × 4 phase correction IDCT matrix that performs phase correction for 3/4 pixels. Do. By performing the reduced inverse discrete cosine transform as described above, 2 × 2 pixel data x ′ (vertical pixel data among all pixel data of the pixel block corresponding to the top field is converted to x ′. ₁ , X ′ _Three In the figure, the pixel data in the vertical direction among all the pixel data of the pixel block corresponding to the bottom field is x ′. ₂ , X ′ _Four As shown in the figure. ) Can be obtained. The pixel data x ′ is a standard resolution image in which the vertical phase of each pixel in the top field is 1/4 and 9/4, and the vertical phase of each pixel in the bottom field is 5/4 and 13/4. (Lower layer) is generated. Details of the design method of the 2 × 4 phase correction IDCT matrix will be described later.
[0142]
Subsequently, in step S46, the pixel data of the pixel block corresponding to the top field and the pixel data of the image block of the bottom field are frame-synthesized. The process of step S46 is the same as the process of step S6 in the one-block process shown in FIG.
[0143]
By performing the processes in steps S41 to S46, the frame mode phase correction reduced inverse discrete cosine transform device 32 can generate an image having no phase shift between pixels. In addition, it is possible to generate an image in which no phase shift occurs from the image decoded by the field mode phase correction reduced inverse discrete cosine transform device 31.
[0144]
Further, in the frame mode phase correction reduced inverse discrete cosine transform device 32, the processing from step S41 to step S46 may be calculated using one matrix.
[0145]
Next, FIG. 20 shows a design procedure of the 2 × 4 phase correction IDCT matrix which is calculated in step S45 of the phase correction reduced inverse discrete cosine transform device 32 for frame mode, and this 2 × 8 phase correction IDCT matrix will be described. .
[0146]
First, in step S51, the Nyquist frequency or lower is divided {(N-1) / 2} at equal intervals, and a gain list is created from the frequency samples. For example, as shown in FIG. 21, 13 gain lists are created by dividing a frequency equal to or lower than the Nyquist frequency by equal intervals (25-1) / 2 = 12.
[0147]
Subsequently, in step S52, 25 impulse responses are created by the frequency sampling method. That is, the 13 gain lists are subjected to inverse discrete Fourier transform to generate impulse responses of 25 FIR filters. These 25 impulse responses are shown in FIG.
[0148]
Subsequently, in step S53, a 25-tap filter coefficient c1 to c25 is created by multiplying the impulse response by a window function.
[0149]
The filter created in step S53 is a prototype filter.
[0150]
Subsequently, in step S54, the prototype filter having 25 filter coefficients c1 to c25 is subjected to polyphase decomposition, and only 6 filter coefficients c′1 to c′6 having a ¼ phase correction characteristic are extracted. Create a polyphase filter.
[0151]
Specifically, the 14 filter coefficients c′1 to c′6 created from the prototype filters c1 to c25 having 57 coefficients are, for example, coefficients as shown in the following formula (10).
[0152]
[Expression 17]

[0153]
After creating the polyphase filter in this way, the design process is divided into a 2 × 4 phase correction IDCT matrix for the top field and a 2 × 4 phase correction IDCT matrix for the bottom field.
[0154]
First, when creating a 2 × 4 phase correction IDCT matrix for the top field, in step S55, the group delay is ¼ from the six filter coefficients c′1 to c′6 subjected to polyphase decomposition, Two coefficients are extracted for each of the 9/4 phases, and a 2 × 4 phase correction filter matrix is created. The 2 × 4 phase correction filter created in this way is shown in FIG.
[0155]
For example, coefficients as shown in the following expression (11) are extracted from the six filter coefficients c′1 to c′6 in the expression (10).
[0156]
[Expression 18]

[0157]
When a 2 × 4 phase correction filter matrix is obtained from the coefficient of Expression (11), the matrix is as shown by Expression (12) below.
[0158]
[Equation 19]

[0159]
When the 2 × 4 phase correction filter matrix shown in the equation (12) is normalized, a matrix as shown in the following equation (13) is obtained.
[0160]
[Expression 20]

[0161]
In step S56, the 4 × 4 IDCT matrix is multiplied by this 2 × 4 phase correction filter matrix to create a 2 × 4 phase correction IDCT matrix for the top field.
[0162]
The 2 × 4 phase correction IDCT matrix obtained by multiplying the 2 × 4 IDCT matrix by the 2 × 4 phase correction filter represented by the above equation (13) is a matrix as shown in the following equation (14).
[0163]
[Expression 21]

[0164]
On the other hand, when the 2 × 4 phase correction IDCT matrix for the bottom field is created, in step S57, six filter coefficients c ′ subjected to polyphase decomposition so that the filter coefficients have a 3/4 phase correction characteristic. 1 to c'6 are reversed left and right.
[0165]
In step S58, two coefficients are extracted from the six left-right inverted filter coefficients c'1 to c'6 so that the group delay becomes 3/4 and 11/4 phases, respectively. A x4 phase correction filter matrix is created.
[0166]
In step S59, the 4 × 4 IDCT matrix and the 2 × 4 phase correction filter matrix are multiplied to create a 2 × 4 phase correction IDCT matrix for the bottom field.
[0167]
As described above, by performing each processing of step S51 to step S59, it is possible to create a 2 × 4 phase correction IDCT matrix in which the frame mode phase correction reduced inverse discrete cosine transform device 32 performs the calculation in step S45. .
[0168]
Next, the 2-block process will be described. FIG. 24 is a diagram for explaining the contents of the two-block process.
[0169]
As shown in FIG. 24, a bit stream obtained by compression-coding a high-resolution image is input to the frame mode phase correction reduced inverse discrete cosine transform device 32 in units of two DCT blocks. For example, when the macroblock is composed of four luminance component DCT blocks and two color difference component DCT blocks, two DCT blocks adjacent in the vertical direction are input. For example, when the macro block is configured as shown in FIG. 5 described above, the DCT block 0 and the DCT block 2 of the luminance component (Y) are input as a pair, and the DCT block 1 and the DCT block are input. Block 3 is input as a pair.
[0170]
First, in step S61, 8 × 8 inverse discrete cosine transform is independently performed on the discrete cosine coefficients y of the two DCT blocks. By performing inverse discrete cosine transform, 8 × 8 decoded pixel data x can be obtained. Subsequently, in step S62, the two 8 × 8 pixel data are field-separated. Subsequently, in step S63, 8 × 8 discrete cosine transform is performed on each of the two 8 × 8 pixel blocks subjected to field separation. Subsequently, in step S64, the high frequency component of the discrete cosine coefficient z of the pixel block corresponding to the top field obtained by the 8 × 8 discrete cosine transform is thinned out to be composed of 4 × 4 discrete cosine coefficients. Pixel block. Further, a high frequency component of the discrete cosine coefficient z of the pixel block corresponding to the bottom field obtained by 8 × 8 discrete cosine transform is thinned out to be a pixel block configured by 4 × 4 discrete cosine coefficients.
[0171]
The above processing from step S61 to step S64 is the same as the processing from step S11 to step S14 in the two-block processing shown in FIG.
[0172]
Subsequently, in step S65, for the top-field pixel block, a 4 × 8 phase correction IDCT matrix that performs phase correction for ¼ pixel is used to perform inverse discrete correction in which the vertical pixel phase shift is corrected. Perform cosine transformation. For the bottom field pixel block, inverse discrete cosine transform is performed by correcting the phase shift of the pixels in the vertical direction using a 4 × 8 phase correction IDCT matrix that performs phase correction for 3/4 pixels. By performing the reduced inverse discrete cosine transformation as described above, 4 × 4 pixel data x ′ (vertical pixel data among all pixel data of the pixel block corresponding to the top field is converted to x ′. ₁ , X ′ _Three , X ′ _Five , X ′ ₇ In the figure, the pixel data in the vertical direction among all the pixel data of the pixel block corresponding to the bottom field is x ′. ₂ , X ′ _Four , X ′ ₆ , X ′ ₈ As shown in the figure. ) Can be obtained. In this pixel data x ′, the vertical phase of each pixel in the top field is 1/4, 9/4..., And the vertical phase of each pixel in the bottom field is 5/4, 13/4. Generate a standard resolution image (lower layer) The 4 × 8 phase correction IDCT matrix design method is the same as the matrix calculated by the field mode phase correction reduced inverse discrete cosine transform device 31 described above.
[0173]
Subsequently, in step S66, the pixel data of the pixel block corresponding to the top field and the pixel data of the pixel block corresponding to the bottom field are alternately frame-combined one line at a time in the vertical direction to obtain an 8 × 8 pixel. A DCT block having reduced inverse discrete cosine transform composed of data is generated.
[0174]
By performing the above-described two-block processing from step S61 to step S66, the frame mode phase correction reduced inverse discrete cosine transform device 32 can generate an image having no phase shift between pixels. In addition, it is possible to generate an image in which no phase shift occurs from the image decoded by the field mode phase correction reduced inverse discrete cosine transform device 31.
[0175]
Further, in the frame mode phase correction reduced inverse discrete cosine transform device 32, the above processing from step S61 to step S66 may be calculated using one matrix.
[0176]
As described above, in the image decoding apparatus 30 according to the second embodiment of the present invention, in the field DCT mode, 4 × 4 reduced inverse discrete cosine transform is performed on each of the top field and the bottom field, and phase correction is performed. The standard resolution image is decoded, and in the frame DCT mode, the frame is separated and the reduced inverse discrete cosine transform is performed and the phase correction is performed to decode the standard resolution image. In this image decoding apparatus 30, processing is performed in the field DCT mode and the frame DCT mode as described above, so that the interlace property of the interlaced scanning image is not impaired and the inverse inverse discrete cosine transform is performed. The phase shift between the top field and the bottom field is eliminated, and the image quality of the output image is not deteriorated. That is, the image decoding apparatus 30 does not need to perform phase correction when outputting the decoded image stored in the frame memory 17, simplifies the process and does not cause deterioration in image quality.
[0177]
(Third embodiment)
Next, an image decoding apparatus according to the third embodiment of the present invention will be described.
[0178]
As shown in FIG. 25, the image decoding apparatus 40 according to the third embodiment of the present invention receives a bitstream obtained by compressing a high-resolution image having, for example, 1152 effective lines in the vertical direction using MPEG2. This is a device that decodes an input bit stream and reduces the resolution to ½, and outputs a standard resolution image having, for example, 576 effective lines in the vertical direction.
[0179]
The image decoding apparatus 40 is supplied with a bit stream of a compressed high-resolution image, and performs a variable length encoding that assigns a code length according to the frequency of data generation, and a bit stream analysis apparatus 11 that analyzes the bit stream. Further, the variable length code decoding device 12 that decodes the bit stream, the inverse quantization device 13 that applies a quantization step to each coefficient of the DCT block, and the reduced inverse of the DCT block that has been subjected to discrete cosine transform in the field DCT mode. A reduced inverse discrete cosine transform device for field mode 14 that generates a standard resolution image by performing discrete cosine transform, and a standard resolution image by performing a reduced inverse discrete cosine transform on a DCT block that has undergone discrete cosine transform in the frame DCT mode. A reduced inverse discrete cosine transform device 15 for frame mode for generating An adder 16 for adding the standard resolution image subjected to the small inverse discrete cosine transform and the reference image subjected to motion compensation, a frame memory 17 for temporarily storing the reference image, and a field motion in the reference image stored in the frame memory 17. A field mode motion compensation device 41 that performs motion compensation corresponding to the prediction mode, a frame mode motion compensation device 42 that performs motion compensation corresponding to the frame motion prediction mode on the reference image stored in the frame memory 17, and the frame memory 17 Post-filtering the image stored in the image to convert the image frame, correct the phase shift of the pixel and output image data of standard resolution for display on a television monitor etc. And a deviation correction device 20.
[0180]
The reduced inverse discrete cosine transform device 14 for field mode is used when the macroblock of the input bit stream is subjected to discrete cosine transform in the field DCT mode. The reduced inverse cosine transform device 14 for field mode uses a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the field DCT mode are shown, as shown in FIG. Inverse discrete cosine transform is performed only on low-frequency 4 × 4 coefficients. That is, the reduced inverse discrete cosine transform is performed based on the four discrete cosine coefficients in the horizontal and vertical low bands. The reduced inverse discrete cosine transform device 14 for field mode can decode a standard resolution image in which one DCT block is composed of 4 × 4 pixels by performing the reduced inverse discrete cosine transform as described above. . As shown in FIG. 2, the phase of each pixel of the decoded image data is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is vertical. The phase of the direction is 1, 3,.
[0181]
The frame mode reduced inverse discrete cosine transform device 15 is used when a macroblock of an input bit stream is subjected to discrete cosine transform in the frame DCT mode. The frame mode reduced inverse discrete cosine transform device 15 performs a reduced inverse discrete cosine transform on a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the frame DCT mode are indicated. The reduced inverse discrete cosine transform device 15 for frame mode decodes a resolution image in which one DCT block is composed of 4 × 4 pixels, and the standard resolution generated by the reduced inverse discrete cosine transform device 14 for field mode. An image having the same phase as the pixel phase of the image is generated. That is, as shown in FIG. 2, the phase of each pixel of the image data decoded by the reduced inverse discrete cosine transform device 15 for frame mode is 1/2, 5/2. The vertical phase of each pixel in the bottom field is 1, 3,.
[0182]
The field mode motion compensation device 41 is used when the motion prediction mode of the macroblock is the field motion prediction mode. The field mode motion compensator 41 has a 1/4 pixel accuracy with respect to the reference image of the standard resolution image stored in the frame memory 17 in consideration of the phase shift component between the top field and the bottom field. Interpolation processing is performed, and motion compensation corresponding to the field motion prediction mode is performed. The reference image subjected to motion compensation by the field mode motion compensation device 41 is supplied to the adding device 16 and is synthesized with the inter image.
[0183]
The frame mode motion compensation device 42 is used when the motion prediction mode of the macroblock is the frame motion prediction mode. The motion compensation device for frame mode 42 has a 1/4 pixel accuracy with respect to the reference image of the standard resolution image stored in the frame memory 17 in consideration of the phase shift component between the top field and the bottom field. Interpolation processing is performed, and motion compensation corresponding to the frame motion prediction mode is performed. The reference image that has been subjected to motion compensation by the frame mode motion compensation device 42 is supplied to the adder 16 and is combined with the inter image.
[0184]
The image decoding apparatus 40 according to the third embodiment of the present invention has the above-described configuration, thereby decoding a bitstream obtained by compressing a high-resolution image with MPEG2 and reducing the resolution to ½. Thus, a standard resolution image can be output.
[0185]
Next, the field mode motion compensation device 41 and the frame mode motion compensation device 42 will be described in more detail.
[0186]
First, an interpolation process performed by the field mode motion compensation device 41 will be described. In the field mode motion compensator 41, as will be described below, the pixels of the standard resolution image stored in the frame memory 17 are interpolated so as to correspond to the motion compensation of the 1/2 pixel accuracy of the high resolution image. Thus, a pixel with 1/4 pixel accuracy is generated.
[0187]
For the pixels in the horizontal direction, first, a ½ pixel precision pixel is generated from the integer precision pixels stored in the frame memory 17 using a double interpolation filter. For example, the field mode motion compensation device 41 generates half-pixel precision pixels using a half-band filter. Subsequently, using a linear interpolation filter, a ¼ pixel precision pixel is generated from a ½ pixel precision pixel generated using the double interpolation filter. The field mode motion compensation device 41 uses a double interpolation filter such as a half-band filter, so that the same as the pixels of the standard resolution image stored in the frame memory 17 without performing a product-sum operation according to the number of taps. Phase pixels can be output as a reference image corresponding to a high-resolution image. Therefore, the field mode motion compensation device 41 can perform high-speed processing. In the field mode motion compensation device 41, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0188]
For the pixels in the vertical direction, first, as shown in FIG. 26A, the vertical phase of each pixel in the top field is 1/2, 5/2. The pixels of integer resolution of the standard resolution image including the phase shift between the top field and the bottom field so that the vertical phase is 1, 3,... Are extracted from the frame memory 17.
[0189]
Subsequently, for pixels in the vertical direction, as shown in FIG. 26 (b), an integer precision pixel extracted from the frame memory 17 in the field using a double interpolation filter such as a half-band filter. A pixel with 1/2 pixel accuracy is generated. In other words, a half-field precision pixel of the top field is generated based on the top-field integer precision pixel, and a bottom-field half-pixel precision pixel is generated based on the bottom field integer precision pixel. For example, as shown in FIG. 26 (b), the top-field pixels having a vertical phase position of 7/2 are: 1/2, 5/2, 9/2, 13/2 · Generated by double interpolation from the top field pixel at the position. Also, the bottom field pixels whose vertical phase is at position 4 are generated by performing double interpolation from the bottom field pixels at positions 1, 3, 5, 7,.
[0190]
Subsequently, for the pixels in the vertical direction, as shown in FIG. 26 (c), from the pixels with half-pixel accuracy generated using the linear interpolation filter and using the double interpolation filter in the field. A pixel with 1/4 pixel accuracy is generated. That is, a pixel having a ¼ pixel accuracy in the top field is generated based on the pixel having a ½ pixel accuracy in the top field, and a pixel having a ¼ pixel accuracy in the bottom field is generated based on the ½ pixel accuracy pixel in the bottom field. Is generated. For example, as shown in FIG. 26 (c), a top-field pixel whose vertical phase is 9/4 is linearly interpolated from a top-field pixel whose position is 2/5/2. Generated. Also, the bottom field pixel whose vertical phase is at the position of 10/4 is generated by linear interpolation from the bottom field pixel at the position of 9/4, 11/4.
[0191]
By performing interpolation in the vertical direction in this way, the field mode motion compensation device 41 uses a double interpolation filter such as a half-band filter, so that a frame memory can be obtained without performing a product-sum operation according to the number of taps. The pixels having the same phase as the pixels of the standard resolution image stored in 17 can be output as a reference image corresponding to the high resolution image. Therefore, the field mode motion compensation device 41 can perform high-speed processing. In the field mode motion compensation device 41, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0192]
Next, an interpolation process performed by the frame mode motion compensation device 42 will be described. In the frame mode motion compensation device 42, as described below, the pixels of the standard resolution image stored in the frame memory 17 are interpolated so as to correspond to the motion compensation of 1/2 pixel accuracy of the high resolution image. Thus, a pixel with 1/4 pixel accuracy is generated.
[0193]
For the pixels in the horizontal direction, first, a ½ pixel precision pixel is generated from the integer precision pixels stored in the frame memory 17 using a double interpolation filter. The frame mode motion compensator 42 generates a pixel with ½ pixel accuracy using, for example, a half-band filter. Subsequently, using a linear interpolation filter, a ¼ pixel precision pixel is generated from a ½ pixel precision pixel generated using the double interpolation filter. The frame mode motion compensator 42 uses a double interpolation filter such as a half-band filter, so that the same as the pixels of the standard resolution image stored in the frame memory 17 without performing a product-sum operation according to the number of taps. Phase pixels can be output as a reference image corresponding to a high-resolution image. Therefore, the frame mode motion compensation device 42 can perform high-speed processing. Further, in the frame mode motion compensation device 42, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0194]
For the pixels in the vertical direction, first, as shown in FIG. 27A, the vertical phase of each pixel in the top field is 1/2, 5/2. The pixels of integer resolution of the standard resolution image including the phase shift between the top field and the bottom field so that the vertical phase is 1, 3,... Are extracted from the frame memory 17.
[0195]
Subsequently, with respect to the pixels in the vertical direction, as shown in FIG. 27B, a double interpolation filter such as a half-band filter is used to extract integer precision pixels extracted from the frame memory 17 within the field. A pixel with 1/2 pixel accuracy is generated. In other words, a half-field precision pixel of the top field is generated based on the top-field integer precision pixel, and a bottom-field half-pixel precision pixel is generated based on the bottom field integer precision pixel. For example, as shown in FIG. 27 (b), the top-field pixels whose vertical phase is 7/2 are: 1/2, 5/2, 9/2, 13/2 · Generated by double interpolation from the top field pixel at the position. Also, the bottom field pixels whose vertical phase is at position 4 are generated by performing double interpolation from the bottom field pixels at positions 1, 3, 5, 7,.
[0196]
Subsequently, as shown in FIG. 27C, the vertical pixels are generated by using the linear interpolation filter and the double interpolation filter between the two fields of the top field and the bottom field. A pixel with 1/4 pixel accuracy is generated from a pixel with 1/2 pixel accuracy. For example, as shown in FIG. 27 (c), a pixel whose vertical phase is ¼ is a top field pixel at 0 position and a bottom field pixel at ½ position. Is generated by linear interpolation. Also, a pixel whose vertical phase is 3/4 is generated by linear interpolation from a bottom field pixel at 1/2 position and a top field pixel at 1 position.
[0197]
By performing interpolation in the vertical direction in this way, the frame mode motion compensation device 42 uses a double interpolation filter such as a half-band filter, so that a frame memory can be obtained without performing a product-sum operation according to the number of taps. The pixels having the same phase as the pixels of the standard resolution image stored in 17 can be output as a reference image corresponding to the high resolution image. Therefore, the field mode motion compensation device 41 can perform high-speed processing. Further, no phase shift occurs between the top field and the bottom field, so that so-called field inversion and field mixing can be prevented, and deterioration of image quality can be prevented. Further, in the frame mode motion compensation device 42, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0198]
As described above, in the image decoding device 40 according to the third embodiment of the present invention, in the field DCT mode, 4 × 4 reduced inverse discrete cosine transform is performed on each of the top field and the bottom field to decode the standard resolution image. In the frame DCT mode, the standard resolution image is decoded by performing the frame separation and performing the reduced inverse discrete cosine transform. Since the image decoding apparatus 40 performs processing in the field DCT mode and the frame DCT mode as described above, the image decoding apparatus 40 performs decoding in the field DCT mode and the frame DCT mode without impairing the interlaced property of the interlaced scanning image. The phase of the output image can be made the same, and the image quality of the output image is not deteriorated. Further, the image decoding device 40 prevents image quality deterioration due to motion compensation. Further, in this image decoding apparatus 40, by interpolating the image stored in the frame memory 17 using a double interpolation filter at the time of motion compensation, the product decoding operation according to the number of taps can be performed at high speed. Can be processed.
[0199]
In the image decoding device 40, only necessary pixels may be generated according to the value of the motion vector in the input bit stream. Further, filter coefficients corresponding to the values of the motion vectors in the horizontal direction and the vertical direction may be prepared in advance, and the interpolation in the vertical direction and the horizontal direction may be performed at a time.
[0200]
By the way, the frame mode motion compensation device 42 of the image decoding device 40 according to the third embodiment interpolates the vertical pixels without distinguishing between the top field and the bottom field as described below. Processing may be performed.
[0201]
First, as shown in FIG. 28A, the vertical phase of each pixel in the top field is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is 1, 3,. Extracting from the frame memory 17 integer precision pixels of a standard resolution image including a phase shift between the top field and the bottom field such that In FIG. 28, pixel values are described without distinguishing between the top field and the bottom field.
[0202]
Subsequently, interpolation is performed between the top field and the bottom field using a filter that generates interpolation values from sampling points at unequal intervals with respect to the pixels in the vertical direction, as shown in FIG. A pixel with 1/4 pixel accuracy is generated. A filter that generates an interpolation value from sampling points at unequal intervals can be designed using, for example, an N-dimensional curve approximation method. By using a filter designed using N-dimensional curve approximation or the like, when the pixels extracted from the frame memory 17 are output as they are, it is not necessary to perform an operation, and the processing can be speeded up.
[0203]
As for the pixels in the vertical direction, as shown in FIG. 28 (b), the pixels are interpolated between the top field and the bottom field to generate pixels with 1/2 pixel accuracy. As shown in FIG. 5B, a pixel having a 1/4 pixel accuracy may be generated between two fields of the top field and the bottom field using a linear interpolation filter. In this case, it is possible to speed up the motion compensation process by preparing in advance a coefficient corresponding to the two-stage filter process and directly calculating the coefficient on the pixel value extracted from the frame memory 17.
[0204]
The motion compensation device for frame mode 42 switches between interpolation processing for performing double interpolation in the field shown in FIG. 27 and interpolation processing performed without distinguishing the field shown in FIG. 28 under a predetermined condition. You may perform the optimal interpolation process according to the content etc. of the image.
[0205]
(Fourth embodiment)
Next, an image decoding apparatus according to the fourth embodiment of the present invention will be described.
[0206]
As shown in FIG. 29, the image decoding apparatus 50 according to the fourth embodiment of the present invention receives a bitstream obtained by compressing a high-resolution image having, for example, 1152 effective lines in the vertical direction using MPEG2. This is a device that decodes an input bit stream and reduces the resolution to ½, and outputs a standard resolution image having, for example, 576 effective lines in the vertical direction.
[0207]
The image decoding device 50 is supplied with a compressed bit stream of a high-resolution image, and performs a variable-length encoding that assigns a code length according to the frequency of data generation, and a bit stream analysis device 11 that analyzes the bit stream. Further, the variable length code decoding device 12 that decodes the bit stream, the inverse quantization device 13 that applies a quantization step to each coefficient of the DCT block, and the reduced inverse of the DCT block that has been subjected to discrete cosine transform in the field DCT mode. Field-mode phase-corrected reduced inverse discrete cosine transform device 31 that generates a standard resolution image by performing discrete cosine transform, and a standard by performing reduced inverse discrete cosine transform on a DCT block that has undergone discrete cosine transform in a frame DCT mode Phase corrected reduced inverse discrete cosine for frame mode to generate resolution image The conversion device 32, the addition device 16 that adds the standard-resolution image subjected to the reduced inverse discrete cosine transform and the motion-compensated reference image, the frame memory 17 that temporarily stores the reference image, and the frame memory 17 store the reference image. A field mode motion compensation device 51 that performs motion compensation corresponding to the field motion prediction mode on the reference image, and a frame mode motion compensation device 52 that performs motion compensation corresponding to the frame motion prediction mode on the reference image stored in the frame memory 17. And an image frame conversion device 33 for converting the image frame from the image stored in the frame memory 17 and outputting standard resolution image data for display on a monitor or the like.
[0208]
The field mode phase correction reduced inverse discrete cosine transform device 31 is used when a macroblock of an input bit stream is subjected to discrete cosine transform in the field DCT mode. The phase correction reduced inverse discrete cosine transform device 31 for field mode uses 4 × 8 of all the coefficients of the DCT block in which 8 × 8 coefficients in the macroblock subjected to the discrete cosine transform in the field DCT mode are shown. For only the coefficients, inverse discrete cosine transform is performed by correcting the phase shift of the pixels in the vertical direction between the top field and the bottom field. That is, inverse discrete cosine transformation is performed based on four discrete cosine coefficients in the low frequency range in the horizontal direction, and inverse discrete cosine transformation is performed in the vertical direction with phase deviation corrected based on eight discrete cosine coefficients. Specifically, phase correction for 1/4 pixel is performed for each pixel in the vertical direction of the top field, and phase correction for 3/4 pixel is performed for each pixel in the vertical direction of the bottom field. I do. Then, by performing the reduced inverse discrete cosine transform as described above, the vertical phase of each pixel in the top field becomes 1/4, 9/4... As shown in FIG. A standard resolution image (lower layer) in which the vertical phase of the pixels is 5/4, 13/4... Is generated.
[0209]
The frame mode phase correction reduced inverse discrete cosine transform device 32 is used when a macroblock of the input bit stream is subjected to discrete cosine transform in the frame DCT mode. The phase correction reduced inverse discrete cosine transform device 32 for the frame mode performs one block processing or two blocks on the DCT block in which 8 × 8 coefficients in the macroblock subjected to the discrete cosine transform in the frame DCT mode are indicated. By the processing, a reduced inverse discrete cosine transform is performed by correcting a vertical pixel phase shift between the top field and the bottom field. Then, an image having the same phase as the pixel phase of the standard resolution image generated by the field mode phase correction reduced inverse discrete cosine transform device 31 is generated. That is, by performing the reduced inverse discrete cosine transform in one block processing or two block processing, the vertical phase of each pixel in the top field becomes 1/4, 9/4... A standard resolution image (lower layer) in which the vertical phase of each pixel in the bottom field is 5/4, 13/4... Is generated.
[0210]
The field mode motion compensation device 51 is used when the motion prediction mode of the macroblock is the field motion prediction mode. The field mode motion compensation device 51 performs interpolation processing with a 1/4 pixel accuracy on the reference image of the standard resolution image stored in the frame memory 17 to perform motion compensation corresponding to the field motion prediction mode. The reference image that has been subjected to motion compensation by the field mode motion compensation device 51 is supplied to the adder 16 and is combined with the inter image.
[0211]
The frame mode motion compensation device 52 is used when the motion prediction mode of the macroblock is the frame motion prediction mode. The motion compensation device for frame mode 52 performs interpolation processing with a 1/4 pixel accuracy on the reference image of the standard resolution image stored in the frame memory 17, and performs motion compensation corresponding to the frame motion prediction mode. The reference image that has been subjected to motion compensation by the frame mode motion compensation device 52 is supplied to the adder 16 and is combined with the inter image.
[0212]
In the image decoding apparatus 50 according to the fourth embodiment of the present invention, the bit stream obtained by compressing a high-resolution image with MPEG2 is decoded and reduced to 1/2 resolution by having the above-described configuration. Thus, a standard resolution image can be output.
[0213]
Next, the field mode motion compensation device 51 and the frame mode motion compensation device 52 will be described in more detail.
[0214]
First, an interpolation process performed by the frame mode motion compensation device 52 will be described. In the frame mode motion compensation device 52, as described below, the pixels of the standard resolution image stored in the frame memory 17 are interpolated so as to correspond to the motion compensation of the ½ pixel accuracy of the high resolution image. Thus, a pixel with 1/4 pixel accuracy is generated.
[0215]
For the pixels in the horizontal direction, first, a ½ pixel precision pixel is generated from the integer precision pixels stored in the frame memory 17 using a double interpolation filter. For example, the field mode motion compensation device 51 generates half-pixel precision pixels using a half-band filter. Subsequently, using a linear interpolation filter, a ¼ pixel precision pixel is generated from a ½ pixel precision pixel generated using the double interpolation filter. The field mode motion compensation device 51 uses a double interpolation filter such as a half-band filter, so that the same as the pixels of the standard resolution image stored in the frame memory 17 without performing a product-sum operation according to the number of taps. Phase pixels can be output as a reference image corresponding to a high-resolution image. Therefore, the field mode motion compensation device 51 can perform high-speed processing. In the field mode motion compensation apparatus 51, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0216]
For vertical pixels, first, as shown in FIG. 30A, the vertical phase of each pixel in the top field is 1/2, 5/2, 9/2. Integer resolution of a standard resolution image in which the phase shift is corrected between the top field and the bottom field so that the vertical phase of each pixel is 3/2, 7/2, 11/2. Are extracted from the frame memory 17.
[0217]
Subsequently, with respect to the pixels in the vertical direction, as shown in FIG. 30 (b), an integer precision pixel extracted from the frame memory 17 in the field using a double interpolation filter such as a half-band filter. A pixel with 1/2 pixel accuracy is generated. That is, a half-field precision pixel of the top field is generated based on the top-field integer precision pixel, and a bottom-field half-pixel precision pixel is generated based on the bottom field integer precision pixel. For example, as shown in FIG. 30 (b), the top-field pixels whose vertical phase is 7/2 are: 1/2, 5/2, 9/2, 13/2 · Generated by double interpolation from the top field pixel at the position. Also, the bottom field pixels whose vertical phase is 9/2 are ... from the bottom field pixels at 3/2, 7/2, 11/2, 15/2 ... It is generated by double interpolation.
[0218]
Subsequently, with respect to the pixels in the vertical direction, as shown in FIG. 30C, from the pixels with 1/2 pixel accuracy generated by using the double interpolation filter in the field using the linear interpolation filter. A pixel with 1/4 pixel accuracy is generated. That is, a pixel having a ¼ pixel accuracy in the top field is generated based on the pixel having a ½ pixel accuracy in the top field, and a pixel having a ¼ pixel accuracy in the bottom field is generated based on the ½ pixel accuracy pixel in the bottom field. Is generated. For example, as shown in FIG. 30C, the top field pixel whose vertical phase is at 9/4 is linearly interpolated from the top field pixel at 2, 5/2. Generated. Also, the bottom-field pixel whose vertical phase is 11/4 is generated by linear interpolation from the bottom-field pixels 10/4 and 3.
[0219]
By performing interpolation in the vertical direction in this way, the field mode motion compensation device 51 uses a double interpolation filter such as a half-band filter, so that a frame memory can be obtained without performing a product-sum operation according to the number of taps. The pixels having the same phase as the pixels of the standard resolution image stored in 17 can be output as a reference image corresponding to the high resolution image. Therefore, the field mode motion compensation device 51 can perform high-speed processing. In the field mode motion compensation apparatus 51, the above processing may be performed using one matrix, and a quarter precision pixel is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0220]
Next, an interpolation process performed by the frame mode motion compensation device 52 will be described. In the frame mode motion compensation device 52, as described below, the pixels of the standard resolution image stored in the frame memory 17 are interpolated so as to correspond to the motion compensation of the ½ pixel accuracy of the high resolution image. Thus, a pixel with 1/4 pixel accuracy is generated.
[0221]
For the pixels in the horizontal direction, first, a ½ pixel precision pixel is generated from the integer precision pixels stored in the frame memory 17 using a double interpolation filter. For example, the frame mode motion compensation device 52 generates half-pixel precision pixels using a half-band filter. Subsequently, using a linear interpolation filter, a ¼ pixel precision pixel is generated from a ½ pixel precision pixel generated using the double interpolation filter. The frame mode motion compensation device 52 uses a double interpolation filter such as a half-band filter, so that the same as the pixel of the standard resolution image stored in the frame memory 17 without performing a product-sum operation according to the number of taps. Phase pixels can be output as a reference image corresponding to a high-resolution image. Therefore, this frame mode motion compensation device 52 can perform high-speed processing. In the frame mode motion compensation device 52, the above processing may be performed using a single matrix, and a quarter precision filter is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0222]
For the pixels in the vertical direction, first, as shown in FIG. 31A, the vertical phase of each pixel in the top field is 1/2, 5/2, 9/2. Pixels of standard resolution images with no phase shift between the top field and the bottom field such that the vertical phase of each pixel is 3/2, 7/2, 11/2... Are taken out from the frame memory 17.
[0223]
Subsequently, as shown in FIG. 31B, the pixels in the vertical direction are taken out from the frame memory 17 using a double interpolation filter such as a half-band filter for one field. A pixel with half pixel accuracy is generated from the pixel with integer accuracy. For the other field, a filter is used to generate ¼ and ¾ phase shifted pixels from integer precision pixels extracted from the frame memory 17. For example, a half-field precision pixel of the top field is generated based on the integer precision pixel of the top field, and the phase of 1/4 or 3/4 pixel of the bottom field is shifted based on the integer precision pixel of the bottom field. Generated pixels. Specifically, as shown in FIG. 31 (b), the top-field pixels whose vertical phase is 7/2 are: 1/2, 5/2, 9/2, 13 ... Is generated from the top field pixel at the position of. Also, the bottom field pixels whose vertical phase is at positions 4 and 5 are ... from the bottom field pixels at the positions 3/2, 7/2, 11/2, 15/2. Interpolated with a phase shift of 1/4 or 3/4.
[0224]
Subsequently, with respect to the pixels in the vertical direction, as shown in FIG. 31 (c), the generated pixels with 1/2 pixel accuracy between the two fields of the top field and the bottom field using a linear interpolation filter. To generate a pixel accuracy of 1/4 pixel. For example, as shown in FIG. 31 (c), a pixel whose vertical phase is ¼ is a top field pixel at a 0 position and a bottom field pixel at a ½ position. Is generated by linear interpolation. Also, a pixel whose vertical phase is 3/4 is generated by linear interpolation from a bottom field pixel at 1/2 position and a top field pixel at 1 position.
[0225]
By performing interpolation in the vertical direction in this way, the frame mode motion compensation device 52 uses a double interpolation filter such as a half-band filter, so that a frame memory can be obtained without performing a product-sum operation according to the number of taps. The pixels having the same phase as the pixels of the standard resolution image stored in 17 can be output as a reference image corresponding to the high resolution image. Therefore, the field mode motion compensation device 51 can perform high-speed processing. Further, no phase shift occurs between the top field and the bottom field, so that so-called field inversion and field mixing can be prevented, and deterioration of image quality can be prevented. In the frame mode motion compensation device 52, the above processing may be performed using a single matrix, and a quarter precision filter is used to generate a quarter precision pixel from an integer precision pixel. You may do it.
[0226]
As described above, in the image decoding apparatus 50 according to the third embodiment of the present invention, in the field DCT mode, the 4 × 4 reduced inverse discrete cosine transform is performed on each of the top field and the bottom field and the phase shift is corrected. In the frame DCT mode, the standard resolution image obtained by performing frame separation and performing the reduced inverse discrete cosine transform and correcting the phase shift is decoded. Since the image decoding apparatus 50 performs processing in the field DCT mode and the frame DCT mode as described above, the image decoding apparatus 50 performs decoding in the field DCT mode and the frame DCT mode without impairing the interlaced property of the interlaced scanning image. The phase of the output image can be made the same, and the image quality of the output image is not deteriorated. Further, the image decoding device 50 prevents image quality deterioration due to motion compensation. Further, in this image decoding device 50, by interpolating the image stored in the frame memory 17 using a double interpolation filter at the time of motion compensation, the product decoding operation according to the number of taps can be performed at high speed. Can be processed.
[0227]
In the image decoding device 50, only necessary pixels may be generated according to the value of the motion vector in the input bit stream. Further, filter coefficients corresponding to the values of the motion vectors in the horizontal direction and the vertical direction may be prepared in advance, and the interpolation in the vertical direction and the horizontal direction may be performed at a time.
[0228]
By the way, the frame mode motion compensation device 52 of the image decoding device 50 according to the fourth embodiment interpolates the vertical pixels without distinguishing the top field and the bottom field as described below. Processing may be performed.
[0229]
First, as shown in FIG. 32A, the vertical phase of each pixel in the top field is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is 3/2. The integer precision pixels of the standard resolution image having no phase shift between the top field and the bottom field, such as 7/2... Are extracted from the frame memory 17. In FIG. 32, pixel values are described without distinguishing between the top field and the bottom field.
[0230]
Subsequently, interpolation is performed between the top field and the bottom field by using a double interpolation filter such as a half-band filter for the pixels in the vertical direction, and 1/2 as shown in FIG. Generate pixels with pixel accuracy. By using this half-band filter or the like, when the pixels extracted from the frame memory 17 are output as they are, it is not necessary to perform an operation, and the processing can be speeded up.
[0231]
Subsequently, the pixel subjected to the double interpolation is interpolated between the fields by using a linear interpolation filter to generate a pixel having a 1/4 pixel accuracy as shown in FIG.
[0232]
The motion compensation device for frame mode 52 prepares a coefficient corresponding to such a two-stage filter process in advance, and directly calculates the coefficient to the pixel value extracted from the frame memory 17, thereby performing motion compensation processing. Can be speeded up.
[0233]
In addition, the frame mode motion compensation device 52 directly generates a pixel with 1/4 pixel accuracy shown in FIG. 32C from the integer accuracy pixel shown in FIG. 32A using a 1/4 interpolation filter. May be.
[0234]
Also, the frame mode motion compensation device 52 switches between interpolation processing for performing double interpolation within the field shown in FIG. 31 and interpolation processing performed without distinguishing the field shown in FIG. 32 under a predetermined condition. Thus, an optimal interpolation process according to the content of the image may be performed.
[0235]
(Fifth embodiment)
Next, an image decoding apparatus according to the fifth embodiment of the present invention will be described.
[0236]
As shown in FIG. 33, the image decoding apparatus 60 according to the fifth embodiment of the present invention receives a bitstream obtained by compressing a high-resolution image having 1152 effective lines in the vertical direction by MPEG2, for example. This is a device that decodes an input bit stream and reduces the resolution to ½, and outputs a standard resolution image having, for example, 576 effective lines in the vertical direction.
[0237]
The image decoding device 60 is supplied with a bit stream of a compressed high-resolution image, and performs a variable-length encoding that assigns a code length according to the frequency of data generation, and a bit stream analysis device 11 that analyzes the bit stream. Further, the variable length code decoding device 12 that decodes the bit stream, the inverse quantization device 13 that applies a quantization step to each coefficient of the DCT block, and the reduced inverse of the DCT block that has been subjected to discrete cosine transform in the field DCT mode. A reduced inverse discrete cosine transform device for field mode 14 that generates a standard resolution image by performing discrete cosine transform, and a standard resolution image by performing a reduced inverse discrete cosine transform on a DCT block that has undergone discrete cosine transform in the frame DCT mode. A reduced inverse discrete cosine transform device 15 for frame mode for generating An adder 16 for adding the standard resolution image subjected to the small inverse discrete cosine transform and the reference image subjected to motion compensation, a frame memory 17 for temporarily storing the reference image, and a field motion in the reference image stored in the frame memory 17. Field mode motion compensation device 61 that performs motion compensation corresponding to the prediction mode, frame mode motion compensation device 62 that performs motion compensation corresponding to the frame motion prediction mode on the reference image stored in the frame memory 17, and field mode use The field mode filter determination device 63 that determines the number of filtering taps of the motion compensation device 61, the frame mode filter determination device 64 that determines the number of filtering taps of the frame mode motion compensation device 62, and the frame memory 17. Post filtering on selected images By, and a picture frame conversion and phase shift correcting device 20 that corrects the phase shift of the pixels outputting a standard resolution picture data for display on a television monitor or the like as well as a picture frame conversion.
[0238]
The reduced inverse discrete cosine transform device 14 for field mode is used when the macroblock of the input bit stream is subjected to discrete cosine transform in the field DCT mode. The reduced inverse cosine transform device 14 for field mode uses a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the field DCT mode are shown, as shown in FIG. Inverse discrete cosine transform is performed only on low-frequency 4 × 4 coefficients. That is, the reduced inverse discrete cosine transform is performed based on the four discrete cosine coefficients in the horizontal and vertical low bands. The reduced inverse discrete cosine transform device 14 for field mode can decode a standard resolution image in which one DCT block is composed of 4 × 4 pixels by performing the reduced inverse discrete cosine transform as described above. . As shown in FIG. 2, the phase of each pixel of the decoded image data is 1/2, 5/2..., And the vertical phase of each pixel in the bottom field is vertical. The phase of the direction is 1, 3,.
[0239]
The frame mode reduced inverse discrete cosine transform device 15 is used when a macroblock of an input bit stream is subjected to discrete cosine transform in the frame DCT mode. The frame mode reduced inverse discrete cosine transform device 15 performs a reduced inverse discrete cosine transform on a DCT block in which 8 × 8 coefficients in a macroblock subjected to discrete cosine transform in the frame DCT mode are indicated. The reduced inverse discrete cosine transform device 15 for frame mode decodes a resolution image in which one DCT block is composed of 4 × 4 pixels, and the standard resolution generated by the reduced inverse discrete cosine transform device 14 for field mode. An image having the same phase as the pixel phase of the image is generated. That is, as shown in FIG. 2, the phase of each pixel of the image data decoded by the reduced inverse discrete cosine transform device 15 for frame mode is 1/2, 5/2. The vertical phase of each pixel in the bottom field is 1, 3,.
[0240]
The field mode motion compensation device 61 is used when the motion prediction mode of the macroblock is the field motion prediction mode. The field mode motion compensator 61 interpolates the reference image of the standard resolution image stored in the frame memory 17 with a 1/4 pixel accuracy in consideration of the phase shift component, and performs the field motion prediction mode. Compensate for motion. The reference image subjected to motion compensation by the field mode motion compensator 61 is supplied to the adder 16 and synthesized with the inter image. The field mode motion compensation device 61 performs interpolation processing by filtering a predetermined number of taps, and the field mode filter determination device 63 determines the number of taps for the filtering.
[0241]
The frame mode motion compensation device 62 is used when the macroblock motion prediction mode is the frame motion prediction mode. The frame mode motion compensator 62 interpolates the reference image of the standard resolution image stored in the frame memory 17 with a 1/4 pixel accuracy in consideration of the phase shift component, thereby obtaining a frame motion prediction mode. Compensate for motion. The reference image that has undergone motion compensation by the frame mode motion compensator 62 is supplied to the adder 16 and is combined with the inter image. The frame mode motion compensation device 62 performs interpolation processing by filtering a predetermined number of taps. The number of taps for filtering is determined by the frame mode filter determination device 64.
[0242]
The field mode filter determination device 63 determines the number of taps when the field mode motion compensation device 61 performs filtering based on the information regarding the macroblock in the bit stream of the input high resolution image.
[0243]
Here, when a high resolution image is reduced to a standard resolution image, there is a trade-off relationship between the image quality of the standard resolution image to be output and the number of taps when filtering is performed. That is, the image quality of the standard resolution image to be output is improved by increasing the number of filtering taps, but the amount of calculation increases by increasing the number of filtering taps. In other words, when the field mode motion compensation device 61 having a low calculation capability is used, if the number of filtering taps is increased to improve the image quality, there is a possibility that the operation may not be performed in real time. On the other hand, when the number of filtering taps is reduced to ensure real-time performance, the image quality deteriorates.
[0244]
In the field mode filter determination device 63, the number of taps of the field mode motion compensation device 61 is switched based on the information about the macroblock, thereby improving the image quality of the standard resolution image to be output and securing the real time property.
[0245]
The frame mode filter determination device 64 determines the number of taps when the frame mode motion compensation device 62 performs filtering based on information on macroblocks in the input high-resolution image bitstream.
[0246]
In this frame mode filter determination device 64, the number of taps of the field mode filter determination device 63 is switched based on the information about the macroblock, thereby improving the image quality of the standard resolution image to be output and ensuring the real time property.
[0247]
The image decoding apparatus 60 according to the fifth embodiment of the present invention has the above-described configuration, thereby decoding a bit stream obtained by compressing a high-resolution image with MPEG2 and reducing the resolution to ½. Thus, a standard resolution image can be output.
[0248]
Next, the filter tap number determination processing performed by the field mode filter determination device 63 and the frame mode filter determination device 64 will be described. The field mode filter determination device 63 and the frame mode filter determination device 64 determine the number of filter taps based on, for example, information in the input bitstream analyzed by the bitstream analysis device 11.
[0249]
Information for determining the number of taps of the filter is, for example, the following six types of information and combinations thereof.
[0250]
First, the number of taps of the filter is determined depending on whether the data to be processed is a luminance signal or a color difference signal. The reason for this is as follows.
[0251]
Subjective evaluation of image quality is greatly influenced by the luminance signal. In the 420 format used in digital television broadcasting, the luminance signal has information four times that of the color difference signal. Further, in MPEG2, a motion vector detected using a luminance signal at the time of encoding is also used for a color difference signal. For this reason, filtering with a large number of taps is performed for motion compensation for luminance signals, and linear interpolation or a filtering with a small number of taps, which is similar to that, is performed for motion compensation for color difference signals. It is possible to reduce the amount of calculation without degrading the image quality.
[0252]
Second, the number of filter taps is determined depending on whether the data to be processed belongs to a P picture or a B picture. The reason for this is as follows.
[0253]
In an apparatus such as the image decoding apparatus 60 that decodes only a low frequency region of a DCT coefficient of a bit stream such as MPEG, image quality is deteriorated due to accumulation of errors due to motion compensation. An error in a P picture affects the next P picture and B picture. However, the error in the B picture does not propagate. For this reason, filtering using a large number of taps is performed for motion compensation of pixels belonging to the P picture, and linear interpolation or a filtering with a small number of taps, which is close thereto, is performed for motion compensation of the pixels belonging to the B picture. It is possible to reduce the amount of calculation without degrading the image quality.
[0254]
Third, the number of taps of the filter is determined depending on whether the motion compensation mode of the data to be processed is the forward prediction mode / backward prediction mode or the bidirectional prediction mode. The reason for this is as follows.
[0255]
For the same reason as in the second case, filtering using a large number of taps is performed for motion compensation in the forward prediction mode or backward prediction mode, and linear interpolation is performed for motion compensation in the bidirectional prediction mode. Alternatively, by performing filtering with a small number of taps, which is close to that, it is possible to reduce the amount of calculation without degrading the image quality.
[0256]
Fourth, the number of taps of the filter is determined depending on the value of the motion vector value of the macroblock including the data to be processed. The reason for this is as follows.
[0257]
For example, the case where the motion compensator outputs a pixel value corresponding to a phase with ¼ pixel accuracy as compared with a case where the motion vector value outputs a pixel value corresponding to a phase with ½ pixel accuracy. However, even when interpolation is performed with a small number of taps, image quality deterioration is not noticeable. Therefore, by switching the number of filter taps according to the value of the motion vector, it is possible to reduce the amount of calculation without degrading the image quality.
[0258]
Fifth, the number of taps of the filter is determined depending on whether the interpolation process is in the horizontal direction or the interpolation process in the vertical direction. The reason for this is as follows.
[0259]
In particular, in the case of an interlaced scanned image, image quality degradation due to a decrease in the number of filter taps is more noticeable in the vertical direction than in the horizontal direction. For this reason, filtering with a large number of taps is performed for motion compensation in the vertical direction, and linear interpolation or filtering with a small number of taps, which is similar to linear interpolation, is performed for motion compensation in the horizontal direction, without reducing the image quality. It is possible to reduce the amount.
[0260]
Sixth, the number of taps of the filter is determined depending on whether the data to be processed is in the field motion compensation mode or the frame motion compensation mode. The reason for this is as follows.
[0261]
In a general image encoding device. A macroblock having a large difference between fields is processed in the field motion compensation mode, and a macroblock having a small difference is processed in the frame motion compensation mode. Therefore, by assigning a large number of taps to the field motion compensation mode and assigning a small number of taps to the frame motion compensation mode, it is possible to reduce the amount of calculation without degrading the image quality.
[0262]
As described above, in the image decoding device 60 according to the fifth embodiment of the present invention, in the field DCT mode, 4 × 4 reduced inverse discrete cosine transform is performed on each of the top field and the bottom field to decode the standard resolution image. In the frame DCT mode, the standard resolution image is decoded by performing the frame separation and performing the reduced inverse discrete cosine transform. Since the image decoding apparatus 60 performs processing in the field DCT mode and the frame DCT mode as described above, the image decoding apparatus 60 performs decoding in the field DCT mode and the frame DCT mode without impairing the interlaced property of the interlaced scanning image. The phase of the output image can be made the same, and the image quality of the output image is not deteriorated. Further, in this image decoding device 60, the number of taps of the field mode filter determination device 63 is switched based on the information about the macroblock, thereby preventing image quality deterioration due to motion compensation and reducing the amount of motion compensation calculation. Can be reduced.
[0263]
The field mode filter determination device 63 and the frame mode filter determination device 64 of the image decoding device 60 according to the fifth embodiment of the present invention are the same as the image decoding devices according to the third and fourth embodiments described above. You may apply to 40,50.
[0264]
Although the image decoding apparatus according to the first to fifth embodiments of the present invention has been described above, the data processed by the present invention is not limited to the image data of the MPEG2 system. That is, any compression image data of the first resolution that has been subjected to predictive coding by performing motion prediction in units of predetermined pixel blocks and compression encoded by performing orthogonal transform in units of predetermined pixel blocks It may be data. For example, it may be compressed image data using a wavelet method or the like.
[0265]
【The invention's effect】
In the present invention, interpolation is performed on each pixel of the macroblock of the stored reference image data to generate a macroblock composed of 1/4 pixel precision pixels. In this image decoding method, moving image data having a second resolution lower than the first resolution is output.
[0266]
As a result, the present invention can reduce the amount of computation and the storage capacity required for decoding, eliminate the phase shift of the pixels in the motion compensation between the field motion prediction mode and the frame motion prediction mode, and achieve motion compensation. It is possible to prevent the deterioration of the image quality caused by it.
[0267]
In the present invention, the number of taps of the filter is switched, and interpolation is performed on each pixel of the macroblock of the stored reference image data to generate a macroblock composed of pixels with ¼ pixel accuracy.
[0268]
As a result, in the present invention, the amount of calculation in motion compensation can be reduced without degrading the image quality, and the processing speed can be increased.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image decoding apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a phase of a pixel in a vertical direction of a reference image stored in a frame memory of the image decoding apparatus according to the first embodiment.
FIG. 3 is a diagram for explaining the contents of one block processing of the frame mode reduced inverse discrete cosine transform device of the image decoding device according to the first embodiment;
FIG. 4 is a diagram for explaining the contents of 2-block processing of the reduced inverse discrete cosine transform device for frame mode of the image decoding device according to the first embodiment.
FIG. 5 is a diagram illustrating a DCT block of luminance components and color difference components in a 420 format macroblock.
FIG. 6 is a diagram illustrating a calculation flow when the Wang algorithm is applied to processing of the reduced inverse discrete cosine transform device for field mode of the image decoding device according to the first embodiment.
FIG. 7 is a diagram illustrating a calculation flow when the Wang algorithm is applied to one-block processing of the frame mode reduced inverse discrete cosine transform device of the image decoding device according to the first embodiment.
FIG. 8 is a block diagram of an image decoding apparatus according to a second embodiment of the present invention.
FIG. 9 is a diagram for explaining a phase of a pixel in a vertical direction of a reference image stored in a frame memory of the image decoding apparatus according to the second embodiment.
FIG. 10 is a diagram for explaining processing contents of the field mode phase correction reduced inverse discrete cosine transform device of the image decoding device according to the second embodiment;
FIG. 11 is a diagram for explaining the processing contents of the field mode phase correction reduced inverse discrete cosine transform device when processing is performed with one matrix;
FIG. 12 is a flowchart for explaining a design procedure of a 4 × 8 phase correction IDCT matrix that is calculated by the field mode phase correction reduced inverse discrete cosine transform device.
FIG. 13 is a diagram for explaining frequency characteristics of a prototype filter necessary for designing the 4 × 8 phase correction IDCT matrix.
FIG. 14 is a diagram for explaining a list of gains generated by dividing {(N−1) / 2} equal to or lower than the Nyquist frequency at equal intervals;
FIG. 15 is a diagram for explaining an impulse response created by performing inverse discrete Fourier transform on the gain list.
FIG. 16 is a diagram for explaining a polyphase filter;
FIG. 17 is a diagram for explaining a polyphase filter that outputs a signal having a phase shift of ¼ with respect to an input signal;
FIG. 18 is a diagram for explaining a 4 × 8 phase correction IDCT matrix that is calculated by the field mode phase correction reduced inverse discrete cosine transform device.
FIG. 19 is a diagram for explaining the contents of one block processing of the frame mode phase correction reduced inverse discrete cosine transform device of the image decoding device according to the second embodiment;
FIG. 20 is a flowchart for explaining a design procedure of a 2 × 4 phase correction IDCT matrix that is calculated by the frame mode phase correction reduced inverse discrete cosine transform device;
FIG. 21 is a diagram for explaining a list of gains created by dividing {(N−1) / 2} equal to or lower than the Nyquist frequency at equal intervals;
FIG. 22 is a diagram for explaining an impulse response created by inverse discrete Fourier transform of the gain list.
FIG. 23 is a diagram for explaining a 2 × 4 phase correction IDCT matrix which is calculated by the frame mode phase correction reduced inverse discrete cosine transform device.
FIG. 24 is a diagram for explaining the contents of 2-block processing of the frame mode phase correction reduced inverse discrete cosine transform device of the image decoding device according to the second embodiment;
FIG. 25 is a block diagram of an image decoding apparatus according to a third embodiment of the present invention.
FIG. 26 is a diagram for explaining interpolation processing in the field mode motion compensation device of the image decoding device according to the third embodiment.
FIG. 27 is a diagram for explaining interpolation processing in the frame mode motion compensation device of the image decoding device according to the third embodiment;
FIG. 28 is a diagram for explaining another interpolation process in the frame mode motion compensation device of the image decoding device according to the third embodiment.
FIG. 29 is a block diagram of an image decoding apparatus according to a fourth embodiment of the present invention.
FIG. 30 is a diagram for explaining interpolation processing in the field mode motion compensation device of the image decoding device according to the fourth embodiment.
FIG. 31 is a diagram for explaining interpolation processing in the frame mode motion compensation device of the image decoding device according to the fourth embodiment;
FIG. 32 is a diagram for explaining another interpolation process in the frame mode motion compensation device of the image decoding device according to the fourth embodiment;
FIG. 33 is a block diagram of an image decoding apparatus according to a fifth embodiment of the present invention.
FIG. 34 is a block diagram showing a conventional first down decoder.
FIG. 35 is a block diagram showing a conventional second down decoder.
FIG. 36 is a block diagram showing a conventional third down decoder.
FIG. 37 is a block diagram of a conventional image decoding device.
FIG. 38 is a diagram for explaining a reduced inverse discrete cosine transform process in a field DCT mode of the conventional image decoding apparatus.
FIG. 39 is a diagram for explaining a reduced inverse discrete cosine transform process in a field DCT mode of the conventional image decoding apparatus.
FIG. 40 is a diagram for describing linear interpolation processing in a field motion prediction mode of the conventional image decoding device.
FIG. 41 is a diagram for describing linear interpolation processing in a frame motion prediction mode of the conventional image decoding device.
FIG. 42 is a diagram for explaining a phase of a pixel obtained as a result of a field DCT mode of the conventional image decoding device.
FIG. 43 is a diagram for explaining a phase of a pixel obtained as a result of the frame DCT mode of the conventional image decoding device.
[Explanation of symbols]
10, 30, 40, 50, 60 Image decoding device, 14 field mode reduced inverse discrete cosine transform device, 15 frame mode reduced inverse discrete cosine transform device, 16 adder, 17 frame memory, 18, 41, 61 field mode Motion compensation device, 19, 42, 62 frame mode motion compensation device, 20-frame conversion / phase shift correction device, 31 field mode phase correction reduced inverse discrete cosine transform device, 32 frame mode phase correction reduced inverse discrete cosine Conversion device, 33 Image frame conversion device

Claims (2)

Prediction coding by performing motion prediction in units of predetermined pixel blocks (macroblocks), and compression of the first resolution by compression encoding by performing orthogonal transform in units of predetermined pixel blocks (orthogonal transform blocks) In an image decoding apparatus for decoding moving image data having a second resolution lower than the first resolution from image data,
An inverse orthogonal transform means for performing an inverse orthogonal transform on the coefficient of the low frequency component among the coefficients of the orthogonal transform block of the compressed image data subjected to the orthogonal transform;
Adding means for adding the compressed image data subjected to inverse orthogonal transform by the inverse orthogonal transform means and the reference image data subjected to motion compensation to output moving image data of the second resolution;
Storage means for storing moving image data output from the adding means as reference image data;
First motion compensation means for performing motion compensation on a macroblock of reference image data subjected to motion prediction by a motion prediction method (field motion prediction mode) corresponding to interlaced scanning;
Second motion compensation means for performing motion compensation on the macroblock of the reference image data subjected to motion prediction by a motion prediction method (frame motion prediction mode) corresponding to progressive scanning;
Post-filtering is performed on the moving image data output from the adding means to convert the image frame of the screen constituting the moving image, and to correct the phase shift between the top field and the bottom field. Means and
The first motion compensation unit and the second motion compensation unit interpolate each pixel of the macroblock of the reference image data stored in the storage unit, and the reference stored in the storage unit An image decoding apparatus characterized by generating a macroblock composed of pixels of 1/4 pixel precision for image data and performing motion compensation on the generated macroblock.   Prediction encoding by performing motion prediction in units of a predetermined pixel block (macroblock), and compression of the first resolution by compression encoding by performing orthogonal transform in units of a predetermined pixel block (orthogonal transform block) In an image decoding method for decoding moving image data having a second resolution lower than the first resolution from image data,
  The orthogonal transform is performed on the low frequency component coefficients among the coefficients of the orthogonal transform block of the compressed image data subjected to the orthogonal transform,
  Generating moving image data of the second resolution by adding the compressed image data subjected to the inverse orthogonal transform and the reference image data subjected to motion compensation;
  Storing the generated moving image data of the second resolution as reference image data;
  Post-filtering is performed on the generated moving image data of the second resolution, the image frame of the screen constituting the moving image is converted, and the phase shift between the top field and the bottom field is corrected,
  Motion compensation is performed on the macroblock of the reference image data subjected to motion prediction by the motion prediction method (field motion prediction mode) corresponding to interlaced scanning,
  Motion compensation is performed on macroblocks of reference image data subjected to motion prediction by a motion prediction method (frame motion prediction mode) corresponding to progressive scanning,
  In the motion compensation in the field motion prediction mode or the frame motion prediction mode, interpolation is performed for each pixel of the macroblock of the stored reference image data, and the pixel having a 1/4 pixel accuracy is obtained for the reference image data. An image decoding method comprising: generating a macroblock comprising: motion compensation for the generated macroblock.

Images