JP2002518916A

JP2002518916A - 第１の解像度を有する符号化された形式の画像を第２の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法

Info

Publication number: JP2002518916A
Application number: JP2000555203A
Authority: JP
Inventors: ラマチャンドランナタラジャン、; ティージョージキャンベル、
Original assignee: イクエーターテクノロジーズインコーポレイテッド
Priority date: 1998-06-19
Filing date: 1999-06-18
Publication date: 2002-06-25
Also published as: CN1306649A; US6690836B2; US20100111433A1; KR20010071519A; US20020009145A1; US20050265610A1; TW501065B; US6990241B2; US7630583B2; AU4701999A; WO1999066449A1; US8031976B2; EP1114395A1; US20040136601A1

Abstract

(57)【要約】【課題】ある解像度を有する符号化された形式の画像を他の解像度を有するデコードされた形式の画像に直接に変換する回路及び方法を提供すること【解決手段】画像処理回路は、第１の形式の画像の符号化された部分を受け取る処理装置を含む。前記処理装置は、この符号化された部分を、前記第１の形式の解像度とは異なる解像度を有する第２の形式の画像のデコードされた部分に直接にデコードする。それゆえ、そのような画像処理回路は、符号化されたハイレス形式の画像をデコードされたローレス形式の画像に直接に変換することができる。選択的に、前記画像処理回路は、第１の形式の第１の画像の部分に関係づけられた動きベクトルを変更する処理装置を含む。前記処理装置は、前記第１の形式の第１の画像とは異なる解像度を有する第２の画像の部分を、変更された動きベクトルが指向する部分と同一視する。次に、前記処理装置は、前記第２の画像と同じ解像度を有する第２の形式の第１の画像の部分を、前記第２の画像の前記同一視された部分から生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

本発明は、一般に画像処理回路及び方法に関し、特に、ある解像度を有する符
号化された形式の画像（映像）を他の解像度を有するデコードされた形式の画像
（映像）に直接に変換する回路及び方法に関する。たとえば、そのような回路は
、符号化（エンコード化）された高解像度（以下「ハイレス」（hi-res）という
。）形式の画像を、デコードされたハイレス形式の画像を生成するような中間の
ステップを用いることなく、デコードされた低解像度（以下「ローレス」（lo-r
es）という。）形式の画像に直接に下位変換することができる。

【０００２】

【従来の技術】

電子画像の解像度を変更することは時には望ましい。たとえば、テレビジョン
受信装置またはコンピュータ用モニタのような電子表示装置はある最大表示解像
度を有している。それゆえ、ある画像が装置の最大表示解像度より高い解像度を
有する場合は、前記装置の最大表示解像度より低い又は等しい解像度に前記画像
を下位変換することが望まれる。明確化のために、以下においては、これを、あ
る画像について、ハイレス形式の画像をローレス形式の画像に下位変換する、と
記載する。

【０００３】図１は、ハイレス形式１０の画像の画素図及びローレス形式１２の同じ画像の
画素図である。ハイレス形式１０は、幅がｎ画素及び高さがｔ画素であり、した
がって、ｎ×ｔ画素のＰ_0,0−Ｐ_t,nを有する。しかし、表示装置（図示しない）
が幅が［ｎ×ｇ］画素及び高さが［ｔ×ｈ］画素（ｇ及びｈは１より小さい）の
最大表示解像度を有する場合には、表示目的のために、一般に、ハイレス形式１
０は、前記最大表示解像度より小さい又は等しい解像度を有するローレス形式１
２に変換される。それゆえ、可能な最も高い解像度で画像を表示装置上に表示す
るために、ローレス形式１２は、（ｎ×ｇ）×（ｔ×ｈ）画素のＰ_0,0−Ｐ_(t _× _h _),(n _× _g) を有する。たとえば、ハイレス形式１０を幅がｎ＝１９２０画素及び高
さがｔ＝１０８８画素であると仮定する。さらに、表示装置は、幅がｎ×ｇ＝７
２０画素及び高さがｔ×ｈ＝５４４画素の最大解像度を有するとする。それゆえ
、ローレス形式１２は、ハイレス形式１０の水平解像度のｇ＝３／８である最大
水平解像度を有し、ハイレス形式１０の垂直解像度のｈ＝１／２である垂直解像
度を有する。

【０００４】図２を参照するに、図１の形式１０のような多くの画像の形式は、それらの形
式が送信又は保管される前に、従来のブロックに基づく圧縮方法を用いて符号化
されている。それゆえ、これらの画像形式のために、図１に関連して前記した解
像度の低減は、しばしば、ブロックごとに基づいて実行された。具体的に、図２
は、図１に関連して前記した、ｇ＝３／８及びｈ＝１／２のブロックレベルに関
する下位変換の例を示している。ハイレス形式１０（図１）の画像ブロック１４
は幅が８画素及び高さが８画素であり、ローレス形式１２（図１）の画像ブロッ
ク１６は幅が８×３／８＝３画素及び高さが８×１／２＝４画素である。ブロッ
ク１６の画素は、しばしば副次標本化された画素と呼ばれ、ブロック１６の内部
に等間隔で、かつローレス形式１２の隣接のブロック（図示しない）の境界を越
えて配置されている。たとえば、ブロック１６を参照するに、副次標本化された
画素Ｐ_0,2は、ブロック１６の右側に接近して、ブロック（図示しない）におい
て画素Ｐ_0,1が画素Ｐ_0,0から離れているのと同じ距離だけＰ_0,1から離れている
。同様に、Ｐ_3,0は、ブロック１６の基部に接近して、ブロック（図示しない）
において画素Ｐ_0,0から離れているのと同じ距離だけＰ_2,0から離れている。

【０００５】不都合なことに、符号化されたハイレス形式の画像をデコードされたローレス
形式の画像にデコードするアルゴリズムは能率が悪いことから、これらのアルゴ
リズムを実行する画像処理回路は、しばしば相対的に高性能な処理装置及び大容
量の記憶装置を必要とし、したがってしばしば相対的に高価なものとなる。

【０００６】たとえば、米国特許第５，２６２，８５４号公報には、符号化されたハイレス
形式の画像をその最大の解像度でデコードし、デコードされたハイレス形式をデ
コードされたローレス形式に変換するアルゴリズムが記載されている。それゆえ
、デコードされたローレス形式のみが表示されるので、デコードされたハイレス
形式の画像を生成することは不必要かつ無駄なステップである。

【０００７】さらに、前記のようにデコード及び下位変換された符号化済みビデオ画像に関
して、動き補償のアルゴリズムはしばしば能率が悪く、この非能率さがさらに、
画像処理回路の処理能力及び記録容量の要求、したがってその費用を増加させて
いる。たとえば、米国特許第５，２６２，８５４号公報には、以下のような方法
が記載されている。最初に、ローレス形式の基準フレームは、ハイレス形式の基
準フレームから従来方法で生成され、基準フレーム用の緩衝装置に保管される。
次に、基準フレームのマクロブロックに指向する動きベクトルを有する符号化済
みのハイレス形式の動き補償フレームは、その最大の解像度でデコードされる。
しかし、ハイレス形式の基準フレームに関して生成された動きベクトルは、ロー
レス形式の基準フレームには非互換性である。それゆえ、処理回路は、ローレス
形式の基準フレームの指向されたマクロブロックを、動きベクトルと互換性のあ
るハイレスマクロブロックに上位変換する。処理回路は、この上位変換を実行す
るために補間を用いる。次に、処理回路は、動き補償フレームのデコードされた
マクロブロックを生成するために、残りとハイレス基準マクロブロックとを結び
つける。それから、全動き補償フレームがデコードされたハイレス形式の動き補
償フレームにデコードされた後、処理回路は、デコードされたハイレス形式をデ
コードされたローレス形式に下位変換する。それゆえ、基準マクロブロックは、
保管及び表示のために下位変換され、動き補償のために上位変換されるので、こ
の方法は非常に非能率的である。

【０００８】不都合なことに、前記の下位変換及び動き補償方法を実行する画像処理回路は
、多くの消費者の利用に関して高価すぎるものである。たとえば、高品位テレビ
（ＨＤＴＶ）の出現で、多くの消費者は彼らの標準のテレビとＨＤＴＶ受信装置
／表示装置とを交換することができないと予測される。それゆえ、大きな消費者
市場は、標準のテレビジョン受信装置での表示のために、ＨＤＴＶ映像フレーム
を標準の解像度の映像フレームに下位変換するＨＤＴＶデコーダを予測している
。しかし、これらのデコーダが前記の相対的に高価な画像処理回路を組み入れて
いる場合には、ＨＤＴＶ受信装置を買う余裕のない多くの消費者は、ＨＤＴＶデ
コーダを買う余裕もない。

【０００９】従来の画像圧縮方法の概観

【００１０】明細書において前記及び以下の概念を読み手がより容易に理解することを助ける
ために、以下において、従来の画像圧縮方法の基本的な概観を示す。

【００１１】相対的に高解像度の画像を相対的に低帯域幅のチャネルを経て電子的に送信す
るために、又はそのような画像を相対的に小容量空間に電子的に保管するために
、画像を表すデジタルデータを圧縮する必要がある。そのような画像圧縮は、一
般に、画像を表すために必要な多くのデータビットを減少させることを含む。た
とえば、高品位テレビ（ＨＤＴＶ）のビデオ画像は、現存のテレビチャネルを経
る送信を可能にするために圧縮される。圧縮を行わない場合には、ＨＤＴＶビデ
オ画像は、現存のテレビチャネルの帯域幅より非常に大きな帯域幅を有する送信
チャネルを必要とする。さらに、データ送信量及び送信時間を容認できるレベル
に減少させるために、画像はインターネットを経て送られる前に圧縮される。又
は、ＣＤ−ＲＯＭ又はサーバの画像保管容量を増加させるために、画像はそれら
に保管される前に圧縮される。

【００１２】図３(A)から図９を参照するに、ＭＰＥＧ−１及びＭＰＥＧ−２を含む、普及
しているブロックに基づく動画標準化作業グループ（ＭＰＥＧ）による圧縮規格
の基礎について説明する。図の目的のために、この説明は、Ｙ、Ｃ_B及びＣ_Rの色
空間で表されたビデオ画像を圧縮するために、ＭＰＥＧ４：２：０フォーマット
を用いることに基づく。しかし、また、説明した概念は、他のＭＰＥＧフォーマ
ット、他の色空間で表された画像、及び静止画像を圧縮するのにしばしば用いら
れる合同写真標準化作業グループ（ＪＰＥＧ）による規格にような他のブロック
に基づく圧縮規格に当てはまる。さらに、多くのＭＰＥＧ規格やＹ、Ｃ_B及びＣ_R の色空間の詳細は簡潔さのために省略するが、これらの詳細は、非常に多くの入
手可能な文献においてよく知られ、かつ開示されている。

【００１３】さらに、図３(A)から図９を参照するに、ＭＰＥＧ規格は、テレビ放送におい
て見いだされるような時間的に連続した画像（この説明の目的のための複数の映
像フレーム）を圧縮するのにしばしば用いられる。各映像フレームは、マクロブ
ロックと呼ばれる、各々が１又はそれ以上の画素を含む部分領域に分割される。
図３(A)は、２５６の画素３２を有する１６画素×１６画素のマクロブロックを
示す（寸法は図示しない。）。他の圧縮規格は他の規模を有するマクロブロック
を用いるが、ＭＰＥＧ規格においてはマクロブロックは常に１６×１６画素であ
る。たとえば圧縮前のフレームのような、原映像フレームにおいて、各画素３２
は、それぞれ輝度値Ｙ、及びそれぞれ１組の色、たとえば彩度の異なる値のＣ_B
及びＣ_Rを有する。

【００１４】図３(A)から図３(D)を参照するに、フレームの圧縮前に、たとえば予備圧縮値
のような圧縮のために用いられる、デジタル輝度（Ｙ）及び彩度の異なる（Ｃ_B
及びＣ_R）値は、原フレームの原Ｙ、Ｃ_B及びＣ_Rの値から生成される。ＭＰＥＧ
４：２：０フォーマットにおいて、予備圧縮のＹ値は原Ｙ値と同じである。した
がって、各画素３２は、単にその原輝度値Ｙを保持するにすぎない。しかし、圧
縮されたデータの総量を減少させるために、ＭＰＥＧ４：２：０フォーマットは
、各群３４の４つの画素３２のために、１つの予備圧縮のＣ_B値及び１つの予備
圧縮のＣ_R値を可能にするのみである。各予備圧縮のＣ_B値及びＣ_R値は、各群３
４における４つの画素３２の原Ｃ_B値及びＣ_R値からそれぞれ分割される。たとえ
ば、予備圧縮のＣ_B値は、各群３４の４つの画素３２の原Ｃ_B値の平均に等しい。
したがって、図３(B)から図３(D)を参照するに、マクロブロック１０から生成さ
れた予備圧縮のＹ、Ｃ_B及びＣ_Rの値は、１つの１６×１６行列３６の予備圧縮の
Ｙ値（それぞれ各画素３２の原Ｙ値に等しい）、１つの８×８行列３８の予備圧
縮のＣ_B値（各群３４の４つの画素３２のための１つの取り出されたＣ_B値に等し
い）、及び１つの８×８行列４０の予備圧縮のＣ_R値（各群３４の４つの画素３
２のための１つの取り出されたＣ_R値に等しい）にように配置される。行列３６
，３８及び４０は、しばしば「ブロック」の値と呼ばれる。さらに、１６×１６
ブロックの代わりに８×８ブロックの画素値に圧縮変換を実行することは好都合
なので、予備圧縮のＹ値のブロック３６は、マクロブロック３０の８×８ブロッ
クＡからＤの画素にそれぞれ対応する４つの８×８ブロック４２ａから４２ｄに
細分される。したがって、図３(A)から図３(D)を参照するに、６つの８×８ブロ
ックの予備圧縮の画素データは各マクロブロック３０、すなわち、４つの８×８
ブロック４２ａから４２ｄの予備圧縮のＹ値、１つの８×８行列３８の予備圧縮
のＣ_B値、及び１つの８×８行列４０の予備圧縮のＣ_R値のために生成される。

【００１５】図４は、より一般にはエンコーダと呼ばれる、ＭＰＥＧ圧縮装置５０のブロッ
ク図である。一般に、エンコーダ５０は、１つのフレーム又は連続したフレーム
のための予備圧縮データを、前記予備圧縮データよりかなり少ないデータビット
で同じフレーム又は複数のフレームを表すエンコードされたデータに変換する。
この変換を実行するために、エンコーダ５０は、前記予備圧縮データにおける余
剰物を減少又は除去し、効率的な変換及び符号化方法を用いて残りのデータを再
フォーマットする。

【００１６】特に、エンコーダ５０はフレーム再整列用の緩衝装置５２を含み、該緩衝装置
５２は、１又はそれ以上の連続したフレームのための予備圧縮データを受け取り
、符号化のためにフレームを適当に連続して再整列させる。したがって、再整列
された一続きは、フレームが生成され、表示される一続きとはしばしば異なる。
エンコーダ５０は、保管された各フレームを、画像群（ＧＯＰ）と呼ばれるそれ
ぞれの群に割り当て、各フレームを内部（Ｉ）フレーム又は非内部（非Ｉ）フレ
ームとしてラベル付けする。たとえば、各ＧＯＰは、１５の全フレームのために
３つのＩフレームと１２の非Ｉフレームとを含む。エンコーダ５０は、常に他の
フレームを参照することなくＩフレームを符号化するが、ＧＯＰの他の１又はそ
れ以上のフレームを参照して非Ｉフレームを符号化することが可能であり、また
しばしば符号化を行う。しかし、エンコーダ５０は、異なったＧＯＰのフレーム
を参照して非Ｉフレームを符号化することは行わない。

【００１７】図４及び５を参照するに、Ｉフレームの符号化のあいだ、Ｉフレームを表す８
×８ブロック（図３(B)から図３(D)）の予備圧縮のＹ値、Ｃ_B値及びＣ_R値は、加
算装置５４を経て離散コサイン変換装置（ＤＣＴ）５６へ通り、離散コサイン変
換装置５６は、これらのブロックの値を、８×８ブロックの１つのＤＣ（ゼロ周
波数）変換値と６３のＡＣ（非ゼロ周波数）変換値とにそれぞれ変換する。図５
は、ブロック５７の輝度変換値Ｙ−ＤＣＴ_(0,0)aからＹ−ＤＣＴ_(7,7)aを示し、
この輝度変換値は、図３(B)のブロック３６における予備圧縮の輝度画素値Ｙ_(0, _0)a からＹ_(7,7)aに対応する。したがって、ブロック５７は、ブロック３６が有
する輝度画素値Ｙと同じ数の輝度変換値Ｙ−ＤＣＴを有する。同様に、彩度変換
値Ｃ_B−ＤＣＴ及びＣ_R−ＤＣＴ（図示しない）のブロックのこれらの値は、ブロ
ック３８及び４０における彩度画素値に対応する。さらに、エンコーダ５０がＩ
フレームを符号化するときは加算装置５４は必要でないので、予備圧縮のＹ値、
Ｃ_B値及びＣ_R値は、いかなる他の値と加算されることなく加算装置５４を経る。
しかし、以下のように、エンコーダ５０が非Ｉフレームを符号化するときは加算
装置５４はしばしば必要である。

【００１８】図４、図６を参照するに、量子化装置及びジグザグ走査装置５８は、ＤＣＴ５
６からの各変換値を各最大値への制限をし、各経路６０及び６２に量子化された
ＡＣおよびＤＣ変換値を供給する。図６は、量子化装置及びジグザグ走査装置５
８が実行したジグザグ走査パターン６３の一例を示している。具体的に、量子化
装置及び走査装置５８は、示された順番で（図５の変換ブロック５７のような）
変換ブロックの変換値を読む。したがって、量子化装置及び走査装置５８は、第
１番目に「０」位置の変換値を、第２番目に「１」位置の変換値を、第３番目に
「２」位置の変換値を、そして、最後の「６３」位置の変換値を読むまで、その
ように読む。量子化装置及びジグザグ走査装置５８は、よく知られているように
、符号化の能率を向上させるためにこのジグザグ走査パターンの変換値を読む。
もちろん、符号化の方法及び符号化される画像の型に依存して、量子化装置及び
ジグザグ走査装置５８は、他の走査パターンを実行してもよい。

【００１９】再び図４を参照するに、予測エンコーダ６４は、ＤＣ変換値を予測的に変換し
、可変長コーダ６６は、量子化されたＡＣ変換値と量子化及び予測的に符号化さ
れたＤＣ変換値とを、ハフマン符号（Huffman code）にような可変長符号に変換
する。これらの符号は、符号化されたＩフレームの画素値を表す符号化されたデ
ータを形成する。その後、送信用の緩衝装置６８は、符号化されたデータのデコ
ーダへの同調された送信を可能にするために、これらの符号を一時的に保管する
（以下に図８に関連して説明する。）。選択的に、符号化されたデータが送信の
代わりに保管されたときは、コーダ６６は、ＣＤ−ＲＯＭのような記憶媒体に可
変長符号を直接に供給する。

【００２０】Ｉフレームが、ＧＯＰの１又はそれ以上の非Ｉフレームのための基準として（
しばしば用いられるように）用いられるとき、以下の理由のために、デコーダに
よって用いられるデコード方法に類似又は同一の符号化方法で符号化されたＩフ
レームをデコードすることによって、エンコーダ５０は対応する基準フレームを
生成する（図８）。Ｉフレームに参照される非Ｉフレームをデコードするとき、
デコーダは、選択肢を有せず、デコードされたＩフレームを基準フレームとして
用いる。ＭＰＥＧ規格による符号化及びデコード化は損失性を有する（ある情報
はＡＣ及びＤＣ変換値の量子化により失われる）ので、デコードされたＩフレー
ムの画素値は、しばしば原型のＩフレームの予備圧縮の画素値とは異なっている
。それゆえ、デコード化のために用いられる基準フレーム（デコードされたＩフ
レーム）は符号化のために用いられる基準フレーム（予備圧縮のＩフレーム）と
は異なることから、符号化のあいだ予備圧縮のＩフレームを基準フレームとして
用いることは、デコードされた非Ｉフレームにおいて付加的なアーティファクト
を生むことになる。

【００２１】それゆえ、デコーダのための基準フレームとして類似又は同一であるエンコー
ダのための基準フレームを生成するために、エンコーダ５０は、逆量子化装置及
び逆ジグザグ走査装置７０と、逆量子化装置及び逆ジグザグ走査装置及びデコー
ダの逆ＤＣＴ（図８）に類似して設計された逆ＤＣＴ７２とを含む。逆量子化装
置及び逆ジグザグ走査装置７０は、最初に、ＤＣＴ値が各デコードされた変換ブ
ロック内に正しく配置されるように、量子化装置５８によって実行されたジグザ
グ走査経路の逆を実行する。次に、逆量子化装置及び逆走査装置７０は、量子化
されたＤＣＴ値を逆量子化し、逆ＤＣＴ７２は、これらの逆量子化されたＤＣＴ
値を、対応する８×８ブロックのデコードされた、ともに基準フレームを構成す
るＹ、Ｃ_B及びＣ_Rの画素値に変換する。しかし、量子化のあいだに発生した損失
の理由から、これらのデコードされた画素値のいくつか又は全部はそれらの対応
する予備圧縮の画素値とは異なり、したがって、基準フレームは、前記したよう
に、その対応する予備圧縮のフレームとは異なる。その後、デコードされた画素
値は、（以下に示すように、非Ｉフレームから基準フレームを生成するときに用
いられる）加算装置７４を経て、基準フレームを保管する基準フレーム用の緩衝
装置７６へ通る。

【００２２】非Ｉフレームの符号化のあいだ、エンコーダ５０は、初めに、少なくとも２つ
の方法で各マクロブロックの非Ｉフレームを符号化する。１つの方法は、Ｉフレ
ームのために前記した方法であり、他の方法は、以下に示す、動き予測を用いる
方法である。エンコーダ５０は、その後、最少のビットを有する生じた符号を保
存かつ送信する。この方法は、マクロブロックの非Ｉフレームは、最少のビット
を用いて符号化されることを確実にする。

【００２３】動き予測に関して、物体の相対的な位置が先行又は次のフレームにおいて変化
するときには、フレームにおける物体は動きを呈する。たとえば、馬が画面を横
切ってギャロップで走るときは、馬は相対的な動きを呈する。または、カメラが
馬を追うときは、背景が馬に関して相対的な動きを呈する。一般に、物体が現れ
る次に来る各フレームは、同じマクロブロックの画素の少なくともいくつかを先
行のフレームとして含む。しかし、先行のフレームにおいて整合するマクロブロ
ックのようなマクロブロックは、しばしば、先行のフレームにおいて占有する各
フレーム位置とは異なる各フレーム位置を占有する。選択的に、静止の物体（た
とえば木）又は背景画面（たとえば空）の部分を含むマクロブロックは、一連の
フレームのそれぞれにおいて同じフレーム位置を占有し、したがって、「ゼロ動
き」を呈する。どちらの場合においても、各フレームを独立に符号化する代わり
に、「マクロブロックＲ及びＺのフレーム１（非Ｉフレーム）は、位置Ｓ及びＴ
にあるマクロブロックの各フレーム０（基準フレーム）と同じである。」ことを
デコーダに告げるために、より少ないデータビットが用いられる。この「声明」
（statement）は、動きベクトルとして符号化される。相対的に速く動いている
物体に関して、動きベクトルの位置の値は、相対的に大きい。逆に、相対的に遅
く動いている物体又は背景画面に関して、動きベクトルの位置の値は、相対的に
小さい又はゼロに等しい。

【００２４】図７は、前記の非Ｉフレーム１及び基準フレーム０に関して動きベクトルの概
念を示している。動きベクトルＭＶＲは、位置Ｒのフレーム１におけるマクロブ
ロックのための整合は、基準フレーム０の位置Ｓにおいて見いだされることを示
している。ＭＶＲは３つの成分を有する。第１の成分は、ここでは０であり、整
合マクロブロックが見いだされるフレーム（ここではフレーム０）を示す。次の
２つの成分Ｘ_R及びＹ_Rは共に、フレーム０において整合マクロブロックが位置さ
れている位置を示す２次元の位置の値を含む。したがって、この例において、フ
レーム０の位置Ｓは、フレーム１における位置Ｒと同じＸ−Ｙ座標を有するので
、Ｘ_R＝Ｙ_R＝０である。逆に、位置Ｔにおけるマクロブロックは、位置Ｔとは異
なるＸ−Ｙ座標を有する位置Ｚにおけるマクロブロックと整合する。それゆえに
、Ｘ_Z及びＹ_Zは、位置Ｚに関して位置Ｔを表す。たとえば、位置Ｔを、位置Ｚの
左方（負のＸ方向）に１０画素及び位置Ｚから下方（負のＹ方向）に７画素の位
置であると仮定する。これによって、ＭＶＺ＝（０，−１０，−７）である。可
能な多くの他の動きベクトル案があるが、それらはすべて同じ一般的な概念に基
づいている。たとえば、位置Ｒは両方向に符号化される。すなわち、位置Ｒは、
フレーム１とは異なる、フレーム１に先行する１つのフレーム及びフレーム１に
後続する他のフレームにおける各整合位置を指向する２つの動きベクトルを有す
る。デコード化のあいだ、これらの整合位置の画素値は、その位置の画素値を計
算するために平均される又は別の方法で結びつけられる。

【００２５】再び図４を参照するに、動き予測は、今詳細に説明する。非Ｉフレームの符号
化のあいだ、動き予測装置７８は、非Ｉフレームにおけるマクロブロックの予備
圧縮のＹ値を、基準Ｉフレームにおける各マクロブロックのデコードされたＹ値
と比較し（Ｃ_B値及びＣ_R値は、動き予測のあいだ用いられない。）、整合するマ
クロブロックを確認する。整合がＩ基準フレームにおいて見いだされる非Ｉフレ
ームにおける各マクロブロックのために、動き予測装置７８は、基準フレームと
基準フレーム内の整合するマクロブロックの位置とを同一化する動きベクトルを
生成する。したがって、図８に関連して以下に説明するように、これらの動き符
号化されたマクロブロックの非Ｉフレームをデコードするあいだ、デコーダは、
動き符号化されたマクロブロックの画素値を、基準フレームにおける整合するマ
クロブロックから得るために、動きベクトルを用いる。予測エンコーダ６４は動
きベクトルを予測的に符号化し、コーダ６６は、符号化された動きベクトルのた
めの各符号を生成し、これらの符号を送信用の緩衝装置４８に供給する。

【００２６】さらに、非Ｉフレームにおけるマクロブロック及び基準Ｉフレームにおける整
合するマクロブロックはしばしば類似かつ非同一であるので、エンコーダ５０は
、これらの差を動きベクトルといっしょに符号化し、デコーダがそれらを計算で
きるようにする。特に、動き予測装置７８は、画素ごとの原理に基づいて、整合
するマクロブロックの基準フレームのデコードされたＹ値を加算装置５４に供給
し、これらのＹ値を、整合するマクロブロックの非Ｉフレームの予備圧縮のＹ値
から効果的に減じる。残りのブロックの量子化されたＤＣ変換値が経路６０を経
てコーダ６６に直接に結合され、予測エンコーダ４４によって予測的に符号化さ
れることがないこと以外は、残りと呼ばれるこれらの差は、８×８ブロックに配
置され、前記した方法と同様の方法で、ＤＣＴ５６、量子化装置及び走査装置５
８、コーダ６６及び緩衝装置６８によって処理される。

【００２７】加えて、非Ｉフレームを基準フレームとして用いることが可能である。非Ｉフ
レームが基準フレームと用いられるとき、前記の理由からこの非Ｉフレームがデ
コーダによって用いられるフレームと同じであるように、量子化装置及びジグザ
グ走査装置５８からの量子化された残りはそれぞれ量子化され、逆量子化装置及
び逆走査装置７０及び逆ＤＣＴ７２によってそれぞれ逆変換される。動き予測装
置７８は、残りが生成された基準フレームのデコードされたＹ値を加算装置７４
に供給する。加算装置７４は、非Ｉフレームの各Ｙ値を生成するために、逆ＤＣ
Ｔ７２からの各残りを基準フレームのこれらのデコードされたＹ値に加える。基
準フレーム用の緩衝装置７６は、その後、後続の非Ｉフレームを動き符号化する
ことに用いるために、基準フレームといっしょに基準非Ｉフレームを保管する。

【００２８】回路５８及び７０はそれぞれジグザグ及び逆ジグザグ走査を実行するとして説
明したが、他の実施例において、他の回路がジグザ走査を実行し、逆ジグザグ走
査を省略してもよい。たとえば、コーダ６６はジグザグ走査を実行し、回路５８
は量子化のみを実行するようにすることができる。ジグザグ走査は、基準フレー
ムループの外側にあるので、逆量子化装置７０は逆ジグザグ走査を省略できる。
これは、処理能力及び処理時間を節約する。

【００２９】さらに図４を参照するに、エンコーダ５０は、また、符号化されたフレームデ
ータを固定された速度で典型的に送信する送信用の緩衝装置６８は、オーバーフ
ロー又は空たとえばアンダーフローにならないことを確実にするために速度制御
装置８０を含む。これらの条件のいずれかが生じれば、符号化されたデータの流
れにエラーが発生する。たとえば、緩衝装置６８がオーバーフローすると、コー
ダ６６からのデータは失われる。したがって、速度制御装置８０は、送信用の緩
衝装置６８の最大容量度合に基づいて量子化装置／走査装置５８によって用いら
れる量子化換算係数を調整するためにフィードバックを用いる。具体的に、緩衝
装置６８が満たされれば満たされるほど、制御装置８０は換算係数をより大きく
させ、コーダ６６はデータビットをより少なく生成する。逆に、緩衝装置６８が
より空になればなるほど、制御装置８０は換算係数を小さくさせ、コーダ６６は
データビットをより多く生成する。この連続的な調整は、緩衝装置６８がオーバ
ーフローにもアンダーフローにもならないことを確実にする。

【００３０】図８は、一般にデコーダと呼ばれ、図４のエンコーダ６０によって符号化され
たフレームをデコードすることができる、従来のＭＰＥＧ逆圧縮装置８２のブロ
ック図である。

【００３１】図８、図９を参照するに、動き予測されていないＩフレーム及びマクロブロッ
クの非Ｉフレームのために、可変長デコーダ８４は、エンコーダ５０から受け取
った可変長符号をデコードする。予測デコーダ８６は予測的にデコードされたＤ
Ｃ変換値をデコードし、図４の逆量子化装置及び逆ジグザグ走査装置７０と類似
又は同一である逆量子化装置及び逆ジグザグ走査装置８７は、デコードされたＡ
Ｃ及びＤＣ変換値を逆量子化し、再配列する。選択的に、デコーダ８４のような
他の回路は、逆ジグザグ走査を実行する。図４の逆ＤＣＴ７２に類似又は同一で
ある逆ＤＣＴ８８は、逆量子化された変換値を画素値に変換する。たとえば、図
９は、たとえばデコードされた輝度画素値のような輝度逆変換値Ｙ−ＩＤＣＴの
ブロック８９を示し、このような画素値は、図５のブロック５７における輝度変
換値Ｙ−ＤＣＴにそれぞれ対応し、図３(B)のブロック４２ａの予備圧縮の輝度
画素値Ｙ_aにそれぞれ対応している。しかし、エンコーダ５０（図４）及びデコ
ーダ８２によってそれぞれ実行された量子化及び逆量子化に依存する損失の理由
から、ブロック８９におけるデコードされた画素値は、ブロック４２ａにおける
各画素値とはしばしば異なっている。

【００３２】さらに図８を参照するに、逆ＤＣＴ８８からのデコードされた画素値は、（以
下に示すように、動き予測されたマクロブロックの非Ｉフレームをデコードする
あいだに用いられる）加算装置９０を経てフレーム再整列用の緩衝装置９２へ通
る。この緩衝装置９２は、デコードされたフレームを保管し、ビデオ表示装置９
４への表示のために正しく整列させてそれらを配列する。デコードされたフレー
ムが基準フレームとして用いられたとき、そのフレームは基準フレーム用の緩衝
装置９６に保管される。

【００３３】動き予測されたマクロブロックの非Ｉフレームのために、デコーダ８４、逆量
子化装置及び逆走査装置８７及び逆ＤＣＴ８８は、Ｉフレームの変換値のために
前記したように残りの変換値を処理する。予測デコーダ８６は動きベクトルをデ
コードし、動きベクトルが指向する基準フレームのマクロブロックからの画素値
を加算装置９０に供給する。加算装置９０は、デコードされたマクロブロックの
画素値を生成するために、これらの基準画素値を残りの画素値に加え、これらの
デコードされた画素値をフレーム再整列用の緩衝装置９２に供給する。エンコー
ダ５０（図４）がデコードされた非Ｉフレームを基準フレームとして用いるとき
は、このデコードされた非Ｉフレームは、基準フレーム用の緩衝装置９６に保管
される。

【００３４】図４、図８を参照するに、多機能の回路ブロックを含むとして説明したが、エ
ンコーダ５０及びデコーダ８３は、ハードウェア、ソフトウェア、又は双方の組
み合わせにおいて実行してもよい。たとえば、エンコーダ５０及びデコーダ８２
は、回路ブロックのそれぞれの機能を実行するそれぞれの１又はそれ以上の処理
装置によって、しばしば実行される。

【００３５】図４及び図８のＭＰＥＧエンコーダ５０及びＭＰＥＧデコーダ８２及び一般の
ＭＰＥＧ規格のさらに詳細な説明は、参考文献として組み入れられている、１９
９８年マグロウヒル（McGraw-Hill）社刊のピーター・ディー・シメス（Peter D
. Symes）著作の「ビデオ圧縮」（Video Compression）を含む多くの刊行物にお
いて入手可能である。

【００３６】

【課題を解決するための手段】

本発明の一面において、画像処理回路は、第１の形式の画像の符号化された部
分を受け取る処理装置を含む。前記処理装置は、この符号化された部分を前記第
１の形式の解像度とは異なった解像度を有する第２の形式の画像のデコードされ
た部分に直接にデコードする。

【００３７】それゆえ、そのような画像処理回路は、符号化されたハイレス形式の画像をデ
コードされたローレス形式の画像に直接にデコードすることができる。すなわち
、そのような回路は、ローレス形式に下位変換する前に符号化されたハイレス形
式を最大解像度でデコードする非能率的なステップを除く。したがって、そのよ
うな画像処理回路は、画像をデコード及び下位変換する従来の回路より、しばし
ば速く、複雑さがより少なく、及び高価でない。

【００３８】本発明の他の面において、画像処理回路は、第１の形式の第１の画像の部分に
関係づけられた動きベクトルを変更する処理装置を含む。前記処理装置は、前記
第１の形式の第１の画像とは異なった解像度を有する変更された動きベクトルが
指向する第２の画像の部分と同一視する。次に、前記処理装置は、前記第２の画
像と同じ解像度を有する第２の形式の第１の画像の部分を前記第２の画像の前記
同一視された部分から生成する。

【００３９】したがって、そのような画像処理装置は、動き予測されたマクロブロックを符
号化するのに用いられる形式の基準フレームとは異なった解像度を有する形式の
基準フレームを用いて、動き予測されたマクロブロックをデコードすることがで
きる。したがって、そのような画像処理回路は、動き予測された画像を下位変換
する従来の回路より、しばしば速く、複雑さがより少なく、及び高価でない。

【００４０】

【発明の実施の形態】

図１０は、本発明の一実施例による画像デコーダ及び処理回路１１０のブロッ
ク図である。回路１１０は、ハイレス形式の符号化（エンコード化）された各画
像（映像）を受け取り、保管する、ランディング用の緩衝装置１１２を含む。可
変長デコーダ１１４は、ランディング用の緩衝装置１１２からの符号化された画
像データを受け取り、画像データに伴う制御データからの画像を表すデータブロ
ックを分離する。状態制御装置１１６は、制御データを受け取り、符号化された
画像が飛び越し走査又は順次走査される位置を示す信号、今デコードされている
ブロックが動き予測される位置を示す信号、及びデコードされた動きベクトルを
、経路１１８，１２０及び１２２にそれぞれ供給する。変換値選出及び逆ジグザ
グ回路１２４は、各画像ブロックから所望の変換値を選出し、それらを所望の逆
ジグザグパターンによって走査する。選択的に、デコーダ１１４のような他の回
路が逆ジグザグ走査を実行してもよい。逆量子化装置１２６は、選出された変換
値を逆量子化し、逆ＤＣＴ及び副次標本回路１２８は、ハイレス形式の画像の逆
量子化された変換値をローレス形式の同じ画像の画素値に直接に変換する。

【００４１】Ｉ符号化されたブロックのために、回路１２８からの副次標本化された画素値
は、加算装置１３０を経て、デコードされたローレス形式の画像を保管する画像
用の緩衝装置１３２へ通る。

【００４２】動き予測されたブロックのために、動きベクトル調整回路１３４は、状態制御
装置１１６からの動きベクトルを、緩衝装置１３２に保管されたローレス形式の
画像と同じ解像度へ調整する。動き補償回路１３６は、緩衝装置１３６に保管さ
れかつ調整済みの動きベクトルによって指向された整合マクロブロックにおける
画素の値を決定する。経路１２０に関する信号に応じて、スイッチ１３７は、こ
れらの画素値を回路１３６から加算装置１３０へ繋ぎ、それらを回路１２８から
のデコードされ副次標本化された残りへそれぞれ加える。結果として生じる合計
は、フレーム用の緩衝装置１３２に保管されるデコードされたマクロブロックの
画素値である。フレーム用の緩衝装置１３２は、デコードされたローレス形式の
画像を表示順に保管し、そのローレス形式をＨＤＴＶ受信装置／表示装置１３８
に供給する。

【００４３】図１１は、本発明の一実施例による順次走査された画像に関する図１０のＩＤ
ＣＴ及び副次標本回路２８によって実行された解像度低減を示す図である。回路
１２８は、符号化されたハイレス形式の順序走査された画像を、デコードされた
ローレス形式の画像に直接に変換するが、明確化のために、図１１は、画素領域
におけるこの解像度低減を示している。具体的に、ハイレス形式の画像からの８
×８ブロック１４０の画素は、４×３ブロック１４２の副次標本化された画素Ｓ
に下位変換される。それゆえ、この例において、ブロック１４２の水平解像度は
ブロック１４０の水平解像度の３／８であり、ブロック１４２の垂直解像度はブ
ロック１４０の垂直解像度の１／２である。ブロック１４２における副次標本化
された画素Ｓ₀₀の値は、ブロック１４０のサブブロック１４４における画素Ｐの
重みをかけられた画素（重みをつけられた画素）を組み合わせたものから決定さ
れる。すなわち、Ｓ₀₀は、ｗ₀₀Ｐ₀₀，ｗ₀₁Ｐ₀₁，ｗ₀₂Ｐ₀₂，ｗ₀₃Ｐ₀₃，ｗ₁₀Ｐ₁₀ ，ｗ₁₁Ｐ₁₁，ｗ₁₂Ｐ₁₂及びｗ₁₃Ｐ₁₃を組み合わせたものであり、ここで、ｗ₀₀か
らｗ₁₃は、Ｐ₀₀からＰ₁₃のための画素の各重みである。重みｗの計算は、図１３
(a)及び１３(b)に関連して以下のようになる。同様に、副次標本化された画素Ｓ ₀₁ の値は、サブブロック１４６における画素Ｐの重みをかけられた画素を組み合
わせたものから決定され、副次標本化された画素Ｓ₀₂の値は、サブブロック１４
８における画素Ｐの重みをかけられた画素を組み合わせたものから決定され、以
下同じである。さらに、ブロック１４０，１４２及びサブブロック１４４，１４
６及び１４８は特定の大きさを有して示しているが、それらは、本発明の他の実
施例における他の大きさを有してもよい。

【００４４】図１２は、本発明の一実施例による飛び越し走査された画像に関する図１０の
ＩＤＣＴ及び副次標本回路１２８によって実行された解像度低減を示している。
回路１２８は、符号化されたハイレス形式の飛び越し走査された画像を、デコー
ドされたローレス形式の画像に直接に変換するが、明確化のために、図１２は、
画素領域におけるこの解像度低減を示している。具体的に、８×８ブロック１５
０のハイレス形式の画像の画素Ｐは、４×３ブロック１５２の副次標本化された
画素Ｓに下位変換される。それゆえ、この例において、ブロック１５２の水平解
像度はブロック１５０の水平解像度の３／８であり、ブロック１５２の垂直解像
度はブロック１５０の垂直解像度の１／２である。ブロック１５２における副次
標本化された画素Ｓ₀₀の値は、ブロック１５０のサブブロック１５４における画
素Ｐの重みをかけられた画素を組み合わせたものから決定される。すなわち、Ｓ ₀₀ は、ｗ₀₀Ｐ₀₀，ｗ₀₁Ｐ₀₁，ｗ₀₂Ｐ₀₂，ｗ₀₃Ｐ₀₃，ｗ₂₀Ｐ₂₀，ｗ₂₁Ｐ₂₁，ｗ₂₂Ｐ ₂₂ 及びｗ₂₃Ｐ₂₃を組み合わせたものであり、ここで、ｗ₀₀からｗ₂₃は、Ｐ₀₀から
Ｐ₂₃のための画素の各重みである。同様に、副次標本化された画素Ｓ₀₁の値は、
サブブロック１５６における画素Ｐの重みをかけられた画素を組み合わせたもの
から決定され、副次標本化された画素Ｓ₀₂の値は、サブブロック１５８における
画素Ｐの重みをかけられた画素を組み合わせたものから決定され、以下同じであ
る。さらに、ブロック１５０，１５２及びサブブロック１５４，１５６及び１５
８は特定の大きさを有して示しているが、それらは、本発明の他の実施例におけ
る他の大きさを有してもよい。

【００４５】図１３(A)は、本発明の一実施例による図１１のハイレスブロック１４０を上
重ねしている図１１のローレスブロック１４２を示している。ブロック境界１６
０は上置きブロック１４０及び１４２の双方のための境界であり、副次標本化さ
れた画素ＰはＸとして印され、画素Ｐはドットで印されている。副次標本化され
たＳは、ブロック境界１６０の内部に及びまたがって、水平距離Ｄｓｈ及び垂直
距離Ｄｓｖの間隔で配置されている。同様に、画素Ｐは、水平距離Ｄｐｈ及び垂
直距離Ｄｐｖの間隔で配置されている。図示の例において、Ｄｓｈ＝８／３（Ｄ
ｐｈ）及びＤｓｖ＝２（Ｄｐｖ）である。Ｓ₀₀は、画素Ｐ₀₁及びＰ₁₁と水平に一
直線上に配置され、したがって画素Ｐ₀₁及びＰ₁₁に水平に最も近く位置されるの
で、これらの画素の値は、より水平方向に離れた画素Ｐ₀₀，Ｐ₁₀，Ｐ₀₂，Ｐ₁₂，
Ｐ₀₃及びＰ₁₃の値ほど、Ｓ₀₀の値を決定することにおいてより重く重みをかけら
れる。さらに、Ｓ₀₀は、画素Ｐの列０（たとえばＰ₀₀，Ｐ₀₁，Ｐ₀₂及びＰ₀₃）及
び列１（たとえばＰ₁₀，Ｐ₁₁，Ｐ₁₂及びＰ₁₃）との間の中間であるので、列０及
び列１におけるすべての画素Ｐは、垂直方向において等しく重みをかけられてい
る。たとえば、一実施例において、画素Ｐ₀₀，Ｐ₀₂，Ｐ₀₃，Ｐ₁₀，Ｐ₁₂及びＰ₁₃ の値は、ｗ＝０で重みをかけられていて、それらはＳ₀₀の値になにごとも寄与し
ないように、かつＰ₀₁及びＰ₁₁の値はＳ₀₀の値を得るために共に平均されるよう
になっている。Ｓ₀₁及びＳ₀₂の値は、サブブロック１４６及び１４８（図１１）
の重みをかけられた画素Ｐの値を用いて同様の方法でそれぞれ計算される。しか
し、副次標本化された画素Ｓ₀₀，Ｓ₀₁及びＳ₀₂はそれらの各サブブロック１４４
，１４６及び１４８内に異なる水平位置に配置されているので、Ｓ₀₀，Ｓ₀₁及び
Ｓ₀₂の値を計算するのに用いられる複数組の重みｗは、互いに異なっている。残
りの副次標本化された画素Ｓの値は、同様の方法で計算される。

【００４６】図１３(B)は、本発明の他の実施例による図１１のハイレスブロック１４０を
上置きしている図１１のローレスブロック１４２を示している。図１３(A)及び
図１３(B)の上置き部間の主な相違は、図１３(B)の上置き層において、副次標本
化された画素Ｓは、図１３(A)のそれらの位置に関して左側へ水平に位置を移動
されていることである。この移動の理由から、画素重みｗは、図１３(A)に用い
られる画素重みとは別のものである。しかし、この別の重みとは異なる、副次標
本化された画素Ｓの値は、図１３(A)に関連して前記した同様の方法で計算され
る。

【００４７】図１４は、本発明の一実施例による図１２のハイレスブロック１５０を上置き
している図１２のローレスブロック１５２を示している。図１３(A)に示すのと
同様の位置を有する副次標本化された画素Ｓは、したがって、水平方向の重みは
、図１３(A)のそれらと同じである。しかし、画素Ｐ及び副次標本化された画素
Ｓは飛び越し走査されるので、画素Ｓは、サブブロック１５４の列０（たとえば
Ｐ₀₀，Ｐ₀₁，Ｐ₀₂及びＰ₀₃）及び列１（たとえばＰ₂₀，Ｐ₂₁，Ｐ₂₂及びＰ₂₃）と
の間の中間ではない。それゆえ、列０における画素Ｐは、列１における各画素Ｐ
よりさらに重く重みをかけられている。たとえば、一実施例において、画素Ｐ₀₀ ，Ｐ₀₂，Ｐ₀₃，Ｐ₂₀，Ｐ₂₂及びＰ₂₃の値は、ｗ＝０で重みをかけられていて、そ
れらはＳ₀₀の値になにごとも寄与しないように、かつＰ₀₁の値は、Ｐ₂₁の値より
さらに重く重みをかけられる。たとえば、Ｓ₀₀の値は、Ｐ₀₁及びＰ₂₁の値の間の
たとえばバイリニア・フィルタ処理のような直線補間によって計算することがで
きる。

【００４８】図１３(A)、１３(B)及び図１４に関連して説明した前記方法は、副次標本化さ
れた画素Ｓの輝度又は彩度の値を計算するのに用いることができる。

【００４９】図１０、図１５(A)を参照するに、可変長デコーダ１１４は、あるブロックの
符号化された順次走査された画像を表すブロック１６０の変換値（ドットで示し
ている。）を、選出及び逆ジグザグ回路１２４に供給する。回路１２４は、図１
１，１３(A)及び１３(B)の順次走査された副次標本化された画素Ｓの値を生成す
るために、サブブロック１６２の変換値のみを選出し、用いる。回路１００は、
受け取った画像を低い解像度へデコードかつ下位変換するので、発明者は、たと
えば多くの変換値のような符号化された多くの情報は、逆ＤＣＴ及び副次標本回
路１２８が符号化されたマクロブロックをデコード及び下位変換する前に評価可
能であることを発見した。この情報を評価することは、デコーダ１１０が符号化
された画像をデコード及び下位変換するために必要とする処理能力及び時間を実
質的に低減させる。具体的に、ローレス形式の画像はハイレス形式の優れた詳細
を欠き、この画像ブロックの優れた詳細は、対応する変換ブロックにおける高周
波数の変換値によって表される。これらの高周波数の変換値は、前方に配置され
、変換ブロックの下方右側の四分の一区画に位置される。逆に、低い周波数の変
換値は、前方に配置され、変換ブロック１６２と同等である上方左側の四分の一
区画に位置される。それゆえ、サブブロック１６２における１６の低周波数の変
換値を用い、ブロック１６０における残りの４８の高周波数の変換値を捨てるこ
とによって、回路１２８は、デコード及び下位変換するアルゴリズムに高周波数
の変換値を組み入れることにおいて処理能力及び時間を浪費しない。これらの捨
てられた高周波数の変換値は、デコードされたローレス形式画像にほとんど又は
全然寄与しないので、これらの変換値を捨てることは、ローレス形式の品質にほ
とんど又は全然影響しない。

【００５０】図１５(A)は、符号化された飛び越し走査された画像を表すブロック１６４の
変換値と、図１２及び１４の飛び越し走査された副次標本化された画素Ｓの値を
生成するために回路１２４が用いるサブブロック１６６の変換値とを示している
。発明者は、サブブロック１６６における変換値は優れたデコード及び優れた下
位変換の結果を与えることを、発見した。サブブロック１６６が行列形式ではな
いので、回路１２４の逆ジグザグ走査パターンは、回路１２４がサブブロック１
６６から４×４行列のような行列に変換値を走査することができるように、変更
可能である。

【００５１】図１０から図１５(B)を参照するに、デコーダ１１０によって実行されたデコ
ード及び副次標本化アルゴリズムの数学的な詳細について説明する。実施例の目
的のために、これらのアルゴリズムは、輝度値がＹ（図５）である順次走査され
たブロック５７の図１５(B)のサブブロック１６２と同じサブブロックに関して
走査することにより説明する。

【００５２】８×８ブロックの変換値ｆ（ｕ，ｖ）のために、逆ＤＣＴ（ＩＤＣＴ）変換は
、以下のようになる。

【００５３】

【数１】

【００５４】ここで、Ｆ（ｘ，ｙ）は、８×８ＩＤＣＴ行列の位置ｘ，ｙでのたとえば画素
値のようなＩＤＣＴ値である。定数Ｃ_u及びＣ_vは既知であり、それらの具体的な
値はこの説明においては重要ではない。式１は、以下のように行列形式で書くこ
とができる。

【００５５】

【数２】

【００５６】ここで、Ｐ（ｘ，ｙ）は、計算された画素値であり、行列Ｙ_DCTは、Ｐ（ｘ，
ｙ）が属する対応するブロックのデコードされた画素値のための変換値Ｙ_DCT(u, _v) であり、行列Ｄ（ｘ，ｙ）は、変換値ｆ（ｕ，ｖ）とは異なる式(1)の左辺に
関する値を表す定数係数の行列である。それゆえ、各画素値Ｐ（ｘ，ｙ）のため
に式(2)のように解かれ、行列Ｙ_DCTは同じまま残り、ｘ及びｙの関数である行列
Ｄ（ｘ，ｙ）は、計算された各画素値Ｐのために異なる。

【００５７】１次元のＩＤＣＴアルゴリズムは、以下のように表される。

【００５８】

【数３】

【００５９】ここで、Ｆ（ｘ）は逆変換値の単一の列であり、ｆ（ｕ）は変換値の単一の列
である。行列形式において、式(3)以下のように書くことができる。

【００６０】

【数４】

【００６１】ここで、各デコードされた画素値Ｐは、変換値Ｙ_DCT0からＹ_DCT7の列と行列Ｄ
の各個々の列との内積に等しい。すなわち、たとえば、Ｐ₀＝［Ｙ_DCT0，・・・，Ｙ _DCT7 ］・［Ｄ₀₀，・・・，Ｄ₀₇］、以下同様である。したがって、１次元の場合に
おいて、より一般的には、画素値Ｐ_xは、以下の式により得られる。

【００６２】

【数５】

【００６３】ここで、Ｄ_iは、式(4)の行列Ｄのｉ番目の列である。いま、図１１に関連して
前記したように、サブブロック１４４の第１及び第２の列における複数の画素の
値は、副次標本化された画素Ｓ₀₀を生成するために組み入れられる。しかし、い
ま、画素Ｐの列０のみがあるとし、副次標本化された画素Ｓ₀，Ｓ₁及びＳ₂の１
つの列のみが計算されると仮定する。式(4)及び(5)の１次のＩＤＣＴを列０のよ
うな単一の列に適用することにより、以下の式を得る。

【００６４】

【数６】

【００６５】ここで、Ｓｚは、副次標本化された画素の値であり、Ｗ_iは、画素Ｐ_iの値のた
めの重み係数であり、ｉ＝０からｎは、Ｓ_zの値に寄与する列内の特定の画素Ｐ
の位置を表す。たとえば、さらに、画素Ｐの列０のみがサブブロック１４４にあ
ると仮定すれば、Ｓ₀のために以下のように得る。

【００６６】

【数７】

【００６７】ここで、Ｐ_iは、ｉ＝０から３のためのＰ₀，Ｐ₁，Ｐ₂及びＰ₃の画素値に等し
い。いま、Ｐの代わりに式(5)を用いることによって、以下のように得る。

【００６８】

【数８】

【００６９】ここで、ｒ_z＝ｗ_Iの合計。Ｄ_iは、ｉ＝０からｎのためである。それゆえ、副
次標本化された画素値Ｓ_zに関係する１次元の式を、対応する１次元の行列Ｙ_DCT の変換値と各列の係数Ｄ_iとに直接に分離できる。すなわち、この式は、Ｐ_iの値
を最初に計算しなければならないことを有することなく、Ｓ_zの値を計算するこ
とを可能にする。

【００７０】いま、２次元の式(1)及び(2)を参照するに、式(5)は、以下のように、２次元
に拡張することができる。

【００７１】

【数９】

【００７２】ここで、アスタリスクは、行列間の内積を示す。内積は、行列Ｄ_x,yの各要素
が行列Ｙ_DCTのそれぞれの要素に乗じられることを意味し、これらの内積の合計
はＰ_x,yの値に等しい。式(8)は、また、以下のように、２次元に変換することが
できる。

【００７３】

【数１０】

【００７４】それゆえ、行列Ｒ_yzは、Ｉ＝０からｎより重みをかけられた行列Ｄ_iの合計である。たとえば、再び図１１を参照するに、副次標本化された画素Ｓ₀₀の
値は、以下のように与えられる。

【００７５】

【数１１】

【００７６】ここで、ｉ＝０から７は、Ｐ₀₀，Ｐ₀₁，Ｐ₀₂，Ｐ₀₃，Ｐ₁₀，Ｐ₁₁，Ｐ₁₂及びＰ ₁₃ の値それぞれに対応する。したがって、図１０の回路１２４は、副次標本化さ
れた画素Ｓ₀₀の値を、変換値及び関係する変換係数行列から直接に計算する。そ
れゆえ、回路１２４は、画素値Ｐへの中間の変換を実行する必要がない。

【００７７】式(11)は、図１５(A)に関連して前記したようにサブブロック１６２における
１６の変換値のみが式(11)に用いられるので、さらに簡潔化されている。それゆ
え、内積を用いて行うことから、行列Ｒ_yzは、サブブロック１６２における１６
の変換値に対応する１６の要素を有するのみである。これは、計算の実行数及び
処理時間を約４分の１ほど減少させる。

【００７８】前記の例において行列Ｒ_YZ及びＹ_DCTのいずれにおいても１６の要素があるこ
とから、処理装置は、内積計算をするために、これらの各行列を１６の要素を有
する単一の次元として整えることができる。選択的に、処理回路が、各々が４つ
の要素を有する１次元のベクトルでより効率的に処理する場合には、両行列Ｒ_YZ 及びＹ_DCTは４つのそれぞれの１次元の４つにベクトルに整えられ、したがって
、副次標本化された画素Ｓ_yzの値は、４つの内積計算を用いて計算することがで
きる。図１５(b)に関連して前記したように、飛び越し走査された画像又は有効
行列を最初に生じさせないいかなる変換値サブブロックのために、図１０のブロ
ック１２４の逆ジグザグ走査アルゴリズムは、有効行列形式における選出された
変換値を配置するために変更することができる。

【００７９】図１６を参照するに、本発明の他の実施例において、副次標本化された画素Ｓ _YZ の値は、単一の２次元の計算を用いる代わりに、一連の１次元のＩＤＣＴの計
算を用いて計算することができる。具体的に、図１６は、サブブロック１６２の
変換値のためのそのような一連の１次元のＩＤＣＴの計算を実行することを示し
ている。しかし、この方法は、図１５(B)のサブブロック１６６のような他のサ
ブブロックの変換値を用いて行うことができる。この１次元の方法の一般的な原
理はよく知られており、この方法のさらなる説明を行わない。

【００８０】次に、重みをかける値Ｗ_iの計算について、本発明の一実施例による図１１及
び図１３(A)に関連して前記した副次標本の例のために、説明する。図１３(A)に
関連して前記したように、副次標本化された画素Ｓ₀₀−Ｓ₀₂は画素Ｐの第１及び
第２の列の間の中間であることから、第１の列の画素の値のための重みをかける
値Ｗは、第２の列の画素の値のための各重みをかける値Ｗと同じである。それゆ
え、サブブロック１４４における８つの画素値のために、４つの重みをかける値
Ｗを計算することが必要とされるのみである。重みづけを実行するために、一実
施例においては、副次標本化された画素値Ｓ₀₀−Ｓ₀₂のための、１，１−２／３
及び１−１／２のわずかな遅延を有した、４つのタップ（４つの各画素値にため
に１つのタップ）のラグランジュ型補間である。一実施例において、重みをかけ
る値ｗは、以下の式により、割り当てられる。

【００８１】

【数１２】

【００８２】

【数１３】

【００８３】

【数１４】

【００８４】

【数１５】

【００８５】図１３(A)を参照するに、最初の２つの遅延１及び１−２／３は、副次標本化
された画素値Ｓ₀₀及びＳ₀₁に対応している。具体的に、遅延は、それぞれのサブ
グループ１４４及び１４６（図１１）の画素Ｐにおいて第１のたとえば最も左の
画素Ｐに関して副次標本化された画素Ｓ₀₀及びＳ₀₁の位置を示す。たとえば、Ｓ ₀₀ は、Ｐ₀₁及びＰ₁₁と直線に整列されるので、それは、水平方向において第１の
画素Ｐ₀₁及びＰ₁₁からの１つの画素分離Ｄ_phである。それゆえ、遅延値１が式１
２から１５に代入されたとき、非ゼロ値の重みｗのみが、画素値Ｐ₀₁及びＰ₁₁に
対応するｗ₁である。画素Ｓ₀₀がＰ₀₁及びＰ₁₁と直接に直線に整列されることか
ら、これは理に適っており、それゆえ、他の画素Ｐのための重み値はゼロに設定
することができる。同様に、図１１及び１３(A)を参照するに、副次標本化され
た画素Ｓ₁は、サブブロック１４６における第１の画素Ｐ₀₂及びＰ₁₂からの１−
２／３の画素分離Ｄ_phである。それゆえ、Ｓ₀₁はいかなる画素Ｐとも直線上にな
らないので、どの重み値ｗもゼロに等しい。したがって、副次標本化された画素
Ｓ₀₁のために、Ｗ₀は、Ｐ₀₂及びＰ₁₂の画素値のための重み値であり、Ｗ₁は、Ｐ ₀₃ 及びＰ₁₃の画素値のための重み値であり、Ｗ₂は、Ｐ₀₄及びＰ₁₄の画素値のた
めの重み値であり、Ｗ₀₃、Ｐ₀₅及びＰ₁₅の画素値のための重み値である。

【００８６】一実施例において、副次標本化された画素Ｓ₀₂の遅延は、副次標本化された画
素Ｓ₀₀及びＳ₀₁とは異なって計算される。ラグランジュ型フィルタの設計をもっ
と最適に行うために、１−１／３のＳ₀₂のための遅延を用いることは好ましい。
逆に、遅延がＳ₀₀及びＳ₀₁のための遅延と同様な方法で計算されたときは、Ｓ₀₂ が、サブグループ１４８における第１の画素Ｐ₀₄からの２−１／３画素分離Ｄ_ph であることから、遅延は２−１／３であることになる。しかし、１−１／３の最
適な遅延が用いられるように、画素Ｐ₀₅及びＰ₁₅がサブグループ１４８における
第１の画素であるかのように遅延を計算し、Ｐ₀₇及びＰ₁₇として同じ値がそれぞ
れ与えられる２つの仮想の画素Ｐ₀₈及びＰ₁₈を加える。それゆえ、重み関数ｗ₀
−ｗ₃は、画素Ｐ₀₅，Ｐ₁₅，Ｐ₀₆及びＰ₁₆、Ｐ₀₇及びＰ₁₇、及び仮想の画素Ｐ₀₈
及びＰ₁₈に、それぞれ対応する。Ｓ₀₂のための遅延を計算するこの方法は、２−
１／３の遅延を用いた場合と比べて正確ではないが、１−１／３の遅延を用いる
ことによって生じたラグランジュ型フィルタの効率における増加は、この可能性
のある不正確さを補って完全にする。

【００８７】さらに、前記したように、副次標本化された画素Ｓ₀₀−Ｓ₀₂のすべては、列０
及び１の画素Ｐ間の中間に位置するので、１／２の係数は、列０における画素Ｐ
の重みをかけられた値を列１における画素Ｐの重みをかけらた値と効果的に平均
するように、各重み値に含めることができる。もちろん、副次標本化された画素
Ｓ₀₀−Ｓ₀₂が列間の中央に位置されないときは、水平方向のための前記した方法
と同様な方法で、第２のラグランジュ型フィルタが垂直方向において実行される
。または、水平及び垂直のラグランジュ型フィルタが、２次元のラグランジュ型
フィルタに組み入れられることが可能である。

【００８８】図１２及び図１４を参照するに、飛び越し走査されたブロック１５０のために
、副次標本化された画素Ｓ₀₀−Ｓ₀₂は、画素の列０及び列２間の４分の１下方に
垂直に位置されている。それゆえ、それぞれの重み値ｗ_iによって乗じられるこ
とに加え、それぞれのサブブロックにおける画素Ｐの値は、バイリニアに重みを
かけられる。すなわち、列０における画素の値は３／４だけ垂直に重みをかけら
れ、列２における画素の値は、垂直方向の不均等の整列のために、１／４だけ垂
直に重みをかけられる。選択的に、ブロックからブロックへの副次標本化された
画素Ｓが画素Ｐに関して一定の垂直方向の整列性を有しないときは、垂直方向に
おいてラグランジュ型フィルタが用いられる。

【００８９】副次標本化された画素Ｓの値を計算するための前記した方法は、画素Ｐの輝度
及び彩度のいずれの値をの計算するのに用いることができる。

【００９０】図７を参照するに、図１０のデコーダ１１０によって実行された動き補償は、
本発明の一実施例によって説明する。実施例の目的のために、符号化された形式
の画像は順次走査され、８×８ブロックの変換値を含むと仮定し、かつ、図１０
の回路１２４は、これらの符号化されたブロックを、図１１のブロック１４２に
ような４×３ブロックの副次標本化された画素Ｓに、デコード及び下位変換する
と仮定する。さらに、符号化された動きベクトルは、水平方向において１／２画
素の解像度を有し、垂直方向において１／２画素の解像度を有すると仮定する。
それゆえ、ローレス形式の画像はハイレス形式の画像の３／８の水平解像度と１
／２の垂直解像度とを有することから、回路１３４（図１０）からの大きさを調
整された動きベクトルは、３／８×１／２＝（３／１６）Ｄ_shの水平解像度と、
１／２×１／２＝（１／４）Ｄ_svの垂直解像度とを有する。したがって、水平方
向のわずかな遅延は１／１６の倍数であり、垂直方向のわずかな遅延は１／４の
倍数である。符号化された動きベクトルは、また、水平方向に２．５の値を有し
、垂直方向に１．５の値を有するとする。それゆえ、この例の大きさの調整され
た動きベクトルは、水平方向において２−１／２×３／８＝１５／１６、垂直方
向において１−１／２×１／２に等しい。したがって、この大きさの調整された
動きベクトルは、画素Ｓが「ｘ」で表された整合マクロブロック１７０を指向す
る。

【００９１】しかし、ブロック１７０の画素は、基準マクロブロック１７２の画素Ｓ（ドッ
トで示されている）と整列されていない。基準ブロック１７２は、ブロック１７
０が置かれる範囲内の面積を含むように、整合ブロック１７０より大きい。たと
えば、画素Ｓ₀₀は、基準画素Ｓ_I，Ｓ_J，Ｓ_M及びＳ_N間に又はその上のいずれの場
所にも置くことができる。それゆえ、ブロック１４２（図１１）の画素Ｓのため
の前記した方法と同様の方法で、整合ブロック１７０の各画素Ｓは、ブロック１
７０及び１７２を含むフィルタブロック１７４におけるそれぞれの画素Ｓの重み
をかけられた値から計算される。図示に実施例において、ブロック１７０の各画
素Ｓは、フィルタブロック１７４からの４×４＝１６画素のサブブロックから計
算される。たとえば、Ｓ₀₀の値は、フィルタブロック１７４のサブブロック１７
６における１６の画素Ｓの重みをかけられた値から計算される。

【００９２】一実施例において、各（１／１６）Ｄ_shの遅延を有する４つのタップの多層有
限インパルス応答ＦＩＲフィルタ（たとえばラグランジュ型フィルタ）は水平方
向において用いられ、各（１／４）Ｄ_svの遅延を有する４つのタップのＦＩＲフ
ィルタは垂直方向において用いられる。それゆえ、これら２つのフィルタの組み
合わせを、水平及び垂直方向における各それぞれの相のために、１組の１６×４
＝６４の２次元のフィルタとして考えることができる。この例においては、画素
Ｓ₀₀は、サブブロック１７６における画素（たとえばＳ_a，Ｓ_h，Ｓ_l及びＳ_q）の
第１の縦列から水平方向に（１−１５／１６）Ｄ_shの位置に位置され、それぞれ
の重み値ｗへの水平方向の寄与は、図１３(A)に関連して前記した方法と同様の
方法で計算される。同様に、画素Ｓ₀₀は、サブブロック１７６における画素（た
とえばＳ_a−Ｓ_d）の第１の列から垂直方向に（１−３／４）Ｄ_svの位置に位置さ
れ、それぞれの重み関数の垂直方向の寄与は、水平方向の寄与を計算するのに用
いた方法と同様の方法で計算される。水平方向の寄与と垂直方向の寄与とは、Ｓ ₀₀ に関してサブブロック１７６における各画素のために重み関数を得るために組
み合わされ、Ｓ₀₀の値は、これらの重み関数を用いて計算される。整合ブロック
における他の画素Ｓの値は、同様な方法で計算される。たとえば、画素Ｓ₀₁の値
は、サブブロック１７８における画素の重みをかけられた値を用いて計算され、
画素Ｓ₁₀の値は、サブブロック１８０における画素の値を用いて計算される。

【００９３】それゆえ、動き補償画素Ｓ₀₀−Ｓ₇₅のすべては、整合ブロック１７０の画素値
を計算するために５５２のＭＡＣＳの全体のために、水平方向のフィルタ処理の
ために４つの乗算蓄積（ＭＡＣＳ）×列ごとの６つの画素数×１１の列（フィル
タブロック１７４における）＝２６０の全ＭＡＣＳを、垂直方向のフィルタ処理
のために４つのＭＡＣＳ×縦列ごとの８つの画素数×９つの縦列＝２８８のＭＡ
ＣＳを用いて計算される。１×４のベクトル要素を操作するベクトル画像処理回
路を用いることによって、水平フィルタ処理を２６４÷４＝６６の１×４の内積
に分解することができ、垂直フィルタ処理を２８８÷４＝７２の１×４の内積に
分解することができる。

【００９４】図１０及び図１５を参照するに、動き補償回路１３６が整合ブロック１７０に
おける画素の値を計算すると、加算装置１３０は、デコードされたローレス形式
の画像を生成するために、これらの画素値を逆ＤＣＴ及び副次標本回路１２８か
らのそれぞれの残りに加える。その後、デコードされたマクロブロックは、ＨＤ
ＴＶ受信装置／表示装置１３８上への表示のためにフレーム用の緩衝装置１３２
へ供給される。デコードされたマクロブロックが基準フレームの部分である場合
は、それはまた、他の動き予測されたマクロブロックをデコードすることにおけ
る利用のために動き補償装置１３６へ供給される。

【００９５】画素の彩度値のための動きデコード化は、前記したような同様の方法で実行す
ることが可能である。選択的に、人の目は色の変化に対して輝度の変化より少な
い感受性を有するので、前記したようなより複雑なラグランジュ型の方法の代わ
りにバイリニア・フィルタ処理を用いることができ、さらに良い結果を得ること
ができる。

【００９６】さらに、図７に関連して前記したように、動き予測されたマクロブロックのい
くつかは、異なったフレームにおける整合ブロックにそれぞれ指向する動きベク
トルを有する。そのような場合において、各整合ブロックにおける画素の値は、
図１６に関連して前記したように計算され、デコードされたマクロブロックを生
じさせるために残りが加えられる前に、共に平均される。選択的に、整合ブロッ
クの１つのみをデコードされたマクロブロックに用いることによって、処理時間
及び帯域幅を減少させることができる。これは、デコードする時間における重要
な現象を有して容認できる品質の画像を生じさせるものであることが見いだされ
た。

【００９７】上記のことから、本発明の具体的な実施例を図示の目的のために記載したが、
本発明の精神及び範囲を逸脱することなく種々の変更が可能であることが理解さ
れる。たとえば、低解像度の表示画面上への表示のための画像の下位変換を説明
したが、前記した方法は他に応用することもできる。たとえば、これらの方法は
、他の画像の範囲内での表示のために画像を下位変換することができる。これは
しばしば画像内画像（ＰＩＰ）表示と呼ばれる。付加的に、図１０のデコーダ１
１０は、複数の回路を含むものとして説明したが、これらの回路の機能は、１又
はそれ以上の通常又は専用の処理装置によって実行されてもよく、ハードウェア
で実行されてもよい。

【図面の簡単な説明】

【図１】ハイレス形式及びローレス形式の画像の画素を示す図。

【図２】図１のハイレス及びローレス画像形式それぞれからのマクロブロックの画素を
示す図。

【図３】 (A)は画像における従来のマクロブロックの画素を示す図、(B)は(A)のマクロ
ブロックにおける画素にそれぞれ対応する従来のマクロブロックの予備圧縮の輝
度の画素を示す図、(C)及び(D)は、(A)のマクロブロックにおける画素グループ
にそれぞれ対応する従来のマクロブロックの予備圧縮の彩度の画素を示す図。

【図４】従来のＭＰＥＧエンコーダを示す図。

【図５】図４のエンコーダによって生成され、図３(B)の予備圧縮の輝度の画素値にそ
れぞれ対応する輝度の変換値のブロックを示す図。

【図６】図４の量子化装置及びジグザグ走査装置によって実行された従来のジグザグ標
本パターンを示す図。

【図７】従来の動きベクトルの概念を示す図。

【図８】従来のＭＰＥＧデコーダを示すブロック図。

【図９】図８のデコーダによって生成され、図５の輝度の変換値及び図３(B)の予備圧
縮の輝度の画素値にそれぞれ対応する逆変換値のブロックを示す図。

【図１０】本発明の一実施例によるＭＰＥＧデコーダのブロック図。

【図１１】本発明の一実施例による、ハイレスの順次走査されたブロックの画素値を、ロ
ーレスの順次走査されたブロックの画素値に変換する方法を示す図。

【図１２】本発明の一実施例による、ハイレスの飛び越し走査されたブロックの画素値を
、ローレスの飛び越し走査されたブロックの画素値に変換する方法を示す図。

【図１３】 (A)は本発明の一実施例による図１１のハイレスブロックを上置きしている図
１１のローレスブロックを示す図、(B)は本発明の一実施例による図１１のハイ
レスブロックを上置きしている図１１のローレスブロックを示す図。

【図１４】本発明の一実施例による図１２のハイレスブロックを上置きしている図１２の
ローレスブロックを示す図。

【図１５】 (A)は本発明の一実施例による図１１のハイレスブロックを図１１のローレス
ブロックに直接に下位変換するのに用いられるサブグループの変換値を示す図、
(B)は本発明の一実施例による図１２のハイレスブロックを図１２のローレスブ
ロックに直接に下位変換するのに用いられるサブグループの変換値を示す図。

【図１６】図１５(A)のサブグループの変換値に関して、２次元のＩＤＣＴによる計算の
代わりに一連の１次元ＩＤＣＴによる計算を用いることを示す図。

【図１７】本発明の一実施例による動きデコード化の方法を示す図。

【符号の説明】１１０処理回路１１２，１３２緩衝装置１１４デコーダ１１６状態制御装置１１８，１２０，１２２経路１２４変換値選出及び逆ジグザグ回路１２６逆量子化装置１２８逆ＤＣＴ及び副次標本回路１３０加算装置１３４動きベクトル調整回路１３６動き補償回路１３７スイッチ１３８ＨＤＴＶ受信装置／表示装置１４０，１５０８×８ブロック１４２，１５２４×３ブロック１４４，１４６，１４８，１５４，１５６，１５８，１６２，１６４，１７６
，１７８，１８０サブブロック１６０ブロック境界１６４ブロック１７０整合マクロブロック１７２基準マクロブロック１７４フィルタブロック

【手続補正書】

【提出日】平成１３年１月９日（２００１．１．９）

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者キャンベル、ティージョージアメリカ合衆国 94028 カリフォルニア州ポートラヴァレイタイナンウェイ 108 Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD09 CG05 5C059 KK38 LA05 MA00 MA23 MC01 MC11 MC23 MC38 ME02 NN21 NN28 PP05 PP06 PP07 PP16 SS05 SS26 UA05 UA11

Claims

【特許請求の範囲】

【請求項１】ある解像度を有する第１の形式の画像の符号化された部分を
受け取ること、及び前記符号化された部分を前記第１の形式の解像度とは異なっ
た解像度を有する第２の形式の画像のデコードされた部分に直接に変換すること
を実行可能な処理装置を含む、画像処理回路。
【請求項２】前記第２の形式の画像の解像度は前記第１の形式の画像の解
像度より小さい、請求項１に記載の回路。
【請求項３】前記第１の形式の画像の符号化された部分は変換値として表
され、前記第２の形式の画像のデコードされた部分は画素値として表される、請
求項１に記載の回路。
【請求項４】第１の形式の画像の部分を表す第１群の変換値を受け取るこ
と、前記第１群より少ない変換値を有する第２群の変換値を前記第１群から選び
出すこと、及び前記第２群の変換値を前記第１の形式の画像より少ない画素を有
する第２の形式の画像の部分を表す第１群の画素値に直接に変換することを実行
可能な処理装置を含む、画像処理回路。
【請求項５】前記第１群の各変換値はそれぞれ離散コサイン変換値を含む
、請求項４に記載の回路。
【請求項６】前記第１群の変換値は４つの四分の一区画を有する８×８ブ
ロックの変換値を含み、前記第２群の変換値は前記ブロックの四分の一区画から
の変換値を含む、請求項４に記載の回路。
【請求項７】前記第１群の変換値は上方左側の四分の一区画を有する８×
８ブロックの変換値を含み、前記第２群の変換値は前記ブロックの前記上方左側
の四分の一区画からの変換値を含む、請求項４に記載の回路。
【請求項８】前記第１群の変換値は８列×８行ブロックの変換値を含み、
前記第２群の変換値は前記ブロックの最初の４列それぞれからの最初の３つの変
換値と前記ブロックの最後の４列それぞれからの最初の変換値とを含む、請求項
４に記載の回路。
【請求項９】前記画像は映像フレームを含み、前記第１の形式の映像フレ
ームの部分は順次走査され、前記第２の形式の映像フレームの部分は順次走査さ
れる、請求項４に記載の回路。
【請求項１０】前記画像は映像フレームを含み、前記第１の形式の映像フ
レームの部分は飛び越し走査され、前記第２の形式の映像フレームの部分は飛び
越し走査される、請求項４に記載の回路。
【請求項１１】前記第１の形式の画像は幅が１９２０画素及び高さが１０
８８画素であり、前記第２の形式の画像は幅が７２０画素及び高さが５４４画素
である、請求項４に記載の回路。
【請求項１２】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記処理装置は、前記第２群の画素値の複数の画素値に
関係づけられた変換係数を数学的に結びつけることによって前記第２群の変換値
を前記第１群の画素値のある画素値に直接に変換することを実行可能である、請
求項４に記載の回路。
【請求項１３】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記処理装置は、前記第２群の画素値の複数の画素値に
関係づけられた変換係数に重みをつけ、該重みをつけられた変換係数を数学的に
結びつけることによって前記第２群の変換値を前記第１群の画素値のある画素値
に直接に変換することを実行可能である、請求項４に記載の回路。
【請求項１４】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記処理装置は、前記第２群の画素値の複数の画素値に
関係づけられた変換係数に重みをつけ、該重みをつけられた変換係数の対応する
変換係数を合計することによって前記第２群の変換値を前記第１群の画素値のあ
る画素値に直接に変換することを実行可能である、請求項４に記載の回路。
【請求項１５】前記第１群の変換値の各変換値はそれぞれ離散コサイン変
換値を含み、前記第１群の変換値は前記第１の形式の画像の部分を表す第２群の
画素値を表し、前記処理装置は、前記第２群の画素値の複数の画素値に関係づけ
られた逆離散コサイン変換係数に重みをつけ、該重みをつけられた係数の対応す
る係数を合計し、逆離散コサイン変換アルゴリズムにしたがって前記第２群の変
換値と前記重みをつけられた係数とを数学的に結びつけることによって前記第２
群の変換値を前記第１群の画素値のある画素値に直接に変換することを実行可能
である、請求項４に記載の回路。
【請求項１６】第１の形式の第１の画像の部分に関係づけられた動きベク
トルを変更すること、前記第１の形式の第１の画像とは異なった解像度を有する
第２の画像の部分を前記変更された動きベクトルが指すものと同一視すること、
及び前記第２の画像と同じ解像度を有する第２の形式の第１の画像の部分を前記
第２の画像の同一視された部分から生成することを実行可能な処理装置を含む、
画像処理回路。
【請求項１７】前記第２の画像は前記第１の形式の第１の画像より低い解
像度を有する、請求項１６に記載の回路。
【請求項１８】前記動きベクトルは前記第１の形式の第１の画像と互換性
を有し、前記処理装置は前記動きベクトルを前記第２の画像と互換性を有するよ
うに変更することを実行可能である、請求項１６に記載の回路。
【請求項１９】第１の形式の第１の画像の部分に関係づけられた動きベク
トルを前記第１の形式の第１の画像とは異なる解像度を有する第２の画像と互換
性を有するように変更すること、前記第２の画像の部分を前記変更された動きベ
クトルが指すものと同一視すること、前記第１の形式の第１の画像の部分を表す
第１群の残りを前記第２の画像と同じ解像度を有する第２の形式の第１の画像の
部分を表す第２群の残りに変換すること、前記第２の形式の第１の画像の部分を
表す画素値を生成するために前記第２群の残りと前記第２の画像の同一視された
部分を表す画素値とを数学的に結びつけることを実行可能な処理装置を含む、画
像処理回路。
【請求項２０】前記第２の画像及び前記第２の形式の第１の画像は前記第
１の形式の第１の画像より低い解像度を有する、請求項１９に記載の回路。
【請求項２１】前記第２の画像及び前記第２の形式の第１の画像は前記第
１の形式の第１の画像より低い解像度を有し、前記第２群の残りは前記第１群の
残りより少ない残りを有する、請求項１９に記載の回路。
【請求項２２】前記処理装置は、前記第１の形式の第１の画像と第２の画
像との間の換算係数を前記動きベクトルに乗じることによって前記動きベクトル
を変更することを実行可能である、請求項１９に記載の回路。
【請求項２３】前記変更された動きベクトルは、少なくとも１次元におい
て１／２画素より小さい解像度を有する、請求項１９に記載の回路。
【請求項２４】前記処理装置は、前記第２の画像の同一視された部分を表
す画素値を計算することを実行可能である、請求項１９に記載の回路。
【請求項２５】前記処理装置は、前記第２の画像の同一視された部分を表
す画素値それぞれで前記第２群の各残りを合計することによって数学的に結びつ
けることを実行可能である、請求項１９に記載の装置。
【請求項２６】前記第２の画像の同一視された部分を表す画素値は、前記
第２の画像の実際の画素から相殺された補間済みの画素に対応している、請求項
１９に記載の回路。
【請求項２７】前記処理装置は、前記第１群の残りを表す第２群の変換値
から前記第２群の変換値より小さい第１群の変換値を選び出し、前記第１群の変
換値を前記第２群の残りに変換することによって前記第１群の残りを直接に変換
することを実行可能である、請求項１９に記載の回路。
【請求項２８】ある解像度を有する第１の形式の画像の符号化された部分
を受け取るステップと、前記符号化された部分を前記第１の形式の解像度とは異
なる解像度を有する第２の形式の画像のデコードされた部分に直接に変換するス
テップとを含む、画像処理方法。
【請求項２９】前記第１の形式の画像の解像度は前記第２の形式の画像の
解像度より高い、請求項２８に記載の方法。
【請求項３０】前記受け取るステップは前記第１の形式の画像の符号化さ
れた部分を表す変換値を受け取るステップを含み、前記変換するステップは、前
記変換値を前記第２の形式の画像のデコードされた部分を表す画素値に変換する
ステップを含む、請求項２８に記載の方法。
【請求項３１】第１の形式の画像の部分を表す第１群の変換値を受け取る
ステップと、前記第１群より小さい第２群の変換値を前記第１群から選び出すス
テップと、前記第２群の変換値を前記第１の形式より少ない画素を有する第２の
形式の画像の部分を表す第１群の画素値に直接に変換するステップとを含む、画
像処理方法。
【請求項３２】前記画像は映像フレームを含み、前記第１の形式の映像フ
レームの部分は順次走査され、前記第２の形式の映像フレームの部分は順次走査
され、前記第１群の変換値は上方左側の四分の一区画を有する８×８ブロックの
変換値を含み、前記第２群の変換値は前記ブロックの前記上方左側の四分の一区
画からの変換値を含む、請求項３１に記載の方法。
【請求項３３】前記画像は映像フレームを含み、前記第１の形式の映像フ
レームの部分は飛び越し走査され、前記第２の形式の映像フレームの部分は飛び
越し走査され、前記第１群の変換値は８列×８行ブロックの変換値を含み、前記
第２群の変換値は前記ブロックの最初の４列それぞれからの最初の３つの変換値
と前記ブロックの最後の４列それぞれからの最初の変換値とを含む、請求項３１
に記載の方法。
【請求項３４】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記変換するステップは、前記第１群の画素値の各画素
値を生成するために前記第２群の画素値の各下位群の画素値に関係づけられた変
換係数を数学的に結びつけるステップを含む、請求項３１に記載の方法。
【請求項３５】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記変換するステップは、前記第２群の画素値からの各
下位群の画素値に関係づけられた複数群の変換係数に重みをつけるステップと、
該重みをつけられた変換係数を各群の変換係数で数学的に結びつけるステップと
を含む、請求項３１に記載の方法。
【請求項３６】前記第１群の変換値は前記第１の形式の画像の部分を表す
第２群の画素値を表し、前記変換するステップは、前記第２群の画素値からの各
下位群の画素値に関係づけられた複数群の変換係数に重みをつけるステップと、
該重みをつけられた変換係数の対応する変換係数を各群の変換係数で合計するス
テップとを含む、請求項３１に記載の方法。
【請求項３７】前記第１群の変換値の各変換値はそれぞれ離散コサイン変
換値を含み、前記第１群の変換値は前記第１の形式の画像の部分を表す第２群の
画素値を表し、前記変換するステップは、前記第２群の画素値からの各下位群の
画素値に関係づけられた複数群の逆離散コサイン変換係数に重みをつけるステッ
プと、各群の合計されたを係数生成するために前記重みをつけられた係数の対応
する係数を各群の係数で合計するステップと、逆離散コサイン変換アルゴリズム
にしたがって前記第２群の変換値と前記複数の群の合計された係数とを数学的に
結びつけるステップとを含む、請求項３１に記載の方法。
【請求項３８】第１の形式の第１の画像の部分に関係づけられた動きベク
トルを変更するステップと、前記第１の形式の第１の画像とは異なった解像度を
有する第２の画像の部分を前記変更された動きベクトルが指すものと同一視する
ステップと、前記第２の画像と同じ解像度を有する第２の形式の第１の画像の部
分を前記第２の画像の同一視された部分から生成するステップとを含む、画像処
理方法。
【請求項３９】前記第２の画像は前記第１の形式の第１の画像より低い解
像度を有する、請求項３８に記載の方法。
【請求項４０】前記変更するステップは、前記第２の画像と互換性を有す
るように前記第１の形式の第１の画像と互換性を有することから前記動きベクト
ルを変更するステップを含む、請求項３８に記載の方法。
【請求項４１】第１の形式の第１の画像の部分に関係づけられた動きベク
トルを前記第１の形式の第１の画像とは異なる解像度を有する第２の画像と互換
性を有するように変更するステップと、前記第２の画像の部分を前記変更された
動きベクトルが指すものと同一視するステップと、前記第１の形式の第１の画像
の部分を表す第１群の残りを前記第２の画像と同じ解像度を有する第２の形式の
第１の画像の部分を表す第２群の残りに変換するステップと、前記第２の形式の
第１の画像の部分を表す画素値を生成するために前記第２群の残りと前記第２の
画像の同一視された部分を表す画素値とを数学的に結びつけるステップとを含む
、画像処理方法。
【請求項４２】前記第２の画像及び前記第２の形式の第１の画像は前記第
１の形式の第１の画像より低い解像度を有する、請求項４１に記載の方法。
【請求項４３】前記第２の画像及び前記第２の形式の第１の画像は前記第
１の形式の第１の画像より低い解像度を有し、前記第２群の残りは前記第１群の
残りより少ない残りを有する、請求項４１に記載の方法。
【請求項４４】前記変更するステップは、前記第１の形式の第１の画像と
第２の画像との間の換算係数を前記動きベクトルに乗じるステップを含む、請求
項４１に記載の方法。
【請求項４５】前記変更するステップは、前記動きベクトルが少なくとも
１次元において１／２画素より小さい解像度を有するように変更するステップを
含む、請求項４１に記載の方法。
【請求項４６】さらに、前記第２の画像の同一視された部分を表す画素値
を計算するステップを含む、請求項４１に記載の方法。
【請求項４７】前記数学的に結びつけるステップは、前記第２の画像の同
一視された部分を表す画素値それぞれで前記第２群の各残りを合計するステップ
を含む、請求項４１に記載の方法。
【請求項４８】さらに、前記第２の画像の実際の画素間で補間することに
よって前記第２の画像の同一視された部分を表す画素値を計算するステップを含
む、請求項４１に記載の方法。
【請求項４９】前記変換するステップは、前記第２群の変換値より小さい
第１群の変換値を前記第１群の残りを表す第２群の変換値から選び出すステップ
と、前記第１群の変換値を前記第２群の残りに直接に変換するステップとを含む
、請求項４１に記載の方法。