JPH0723389A

JPH0723389A - 画像処理装置

Info

Publication number: JPH0723389A
Application number: JP5157149A
Authority: JP
Inventors: Kazukuni Kitagaki; 和邦北垣; Tatsuhiko Demura; 達彦出村; Goichi Otomo; 吾一大友
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-06-28
Filing date: 1993-06-28
Publication date: 1995-01-24
Also published as: EP0896478B1; EP0896478A2; US6035322A; DE69431572D1; KR950703258A; DE69431572T2; EP0660608B1; KR100252838B1; EP0660608A4; DE69425720D1; EP0660608A1; EP0896478A3; WO1995001053A1; DE69425720T2

Abstract

(57)【要約】【構成】フレーム／フィールド変換を伴う動き補償予
測符号化画像伸長において、１／２精度の動きベクトル
から参照画像を構成する際の内挿計算と、参照画像と差
分データとの加算処理を同一の加算手段を用いて時分割
で処理する。【効果】フレーム／フィールド変換を伴う動き補償予
測符号化画像伸長を行う画像伸長装置の加算器の回路規
模をほぼ１／２に削減できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補償予測符号化を用
いた画像処理装置、及び符号圧縮された画像を復号する
ための画像処理装置に関する。

【０００２】

【従来の技術】近年、情報処理機器の発展はめざまし
く、テレビ電話、テレビ会議の装置も数多く提案されて
いる。テレビ会議、テレビ電話などの画像伝送の分野に
於いて、基盤技術となるのが画像圧縮伸長の技術であ
る。現在、画像圧縮の国際標準化作業がＩＳＯ（Intern
ational Standerd Organization ）のＭＰＥＧ１（Moti
on Picture Expart Group part 1），ＭＥＰＥＧ２（同
part 2）で行われている。ＭＰＥＧ１規格は比較的ビッ
トレートのノンインターレース画像の伝送規格で、ＭＰ
ＥＧ２は比較的高ビットレートのノンインターレースあ
るいはインターレース画像の伝送規格である。

【０００３】画像圧縮伸長の方式にはさまざまな方式が
提案されているが、その一つに動き補償予測符号化方式
がある。まず、フレーム間予測符号化方式について説明
する。フレーム間予測符号化は画像の時間的相関を利用
した符号化で、送信側では前画面と現画面差分のみを伝
送し、受信側では蓄えておいて前画面に、伝送された差
分値を加算することより、現画像を再構成する。その処
理を（１）式に示す。

【０００４】 D(x,y,t)=D（x,y,t-1)+ ΔD(x,y,t) …… （１）この方式では変化、あるいは動きの少ない画像（時間的
に相関が高い画像）については伝送ビット幅が削減でき
る。しかし、動きがある画像ではむしろビット幅が増加
してしまう。そのため、動きがある画像に対しては、動
き補償という処理を追加することにより、ビット幅を削
減する。動き補償処理では、送信側で前画面と現画面の
動き量を評価し、その量（動きベクトル）を差分値と共
に伝送する。受信側では前画面から動きベクトル分だけ
遷移した位置の値に差分値を加えて現画面の値を再構成
する。その処理を（２）式に示す。

【０００５】 D(x,y,t)=D（x+mvx,y+mvx,t-1)+ ΔD(x,y,t) …… （２）ここで、ｍｖｘ，ｍｖｙはそれぞれｘ方向，ｙ方向の動
きベクトルである。

【０００６】動きベクトルの取り方にはいくつかの方式
がある。動きベクトルの精度が画素単位の場合は動きベ
クトルの指し示す位置の画素の値Ｄ（ｘ＋ｍｖｘ，ｙ＋
ｍｖｙ，ｔ−１）は存在する（図９（ａ）参照）。しか
し、動きベクトルの精度が１／２単位の場合は動きベク
トルの指し示す位置に画素が存在しない場合がある（図
９（ｂ）参照）。その場合には近傍の２点もしくは４点
から内挿してその点の値を得る（図９（ｂ）参照）。４
点からの内挿処理を（３）式に示す。

【０００７】 D(x,y,t)={D([x+mvx],[y+mvy],t-1)+D([x+mvx]+1,[y+mvy],t-1) +D([x+mvx],[y+mvy]+1,t-1)+D([x+mvx]+1,[y+mvy]+1,t-1)}/4 +ΔD(x,y,t) ………（３）ここで、［ｘ］は有理数ｘに対してｘを越えない最大の
整数を表す。

【０００８】以上のように、動き補償予測符号化による
画像伸長装置に於いては、参照画像の内挿処理と差分値
との加算（以後復元処理という）が必要である。

【０００９】伝送される画像の構造にはフレーム構造と
フィールド構造がある。フレーム構造では図１０（ａ）
のように走査線を１ライン毎に順次伝送する。フィール
ド構造では、図１０（ｂ）のように飛び越し走査を行
い、第１フィールドでは偶数ラインを、第２フィールド
では奇数ラインを伝送する。

【００１０】また、動きベクトルの計算の方法にも、フ
レーム予測とフィールド予測がある。フレーム予測では
参照画像をフレーム構造として扱い、フィールド予測で
は参照画像をフィールド構造として（参照画像がフレー
ム構造の場合は、偶数ラインあるいは奇数ラインのみの
画像として）扱う。

【００１１】ＭＰＥＧ１規格では、フレーム構造しか対
応していない。その場合の動き補償予測符号化の伸長回
路の例を図１１に示す。図１１に於いて、加算器２が参
照画像の内挿処理を行うブロックであり、加算器３が復
元処理を行うブロックである。参照画像メモリはフレー
ムメモリである。図１２に処理のタイミングチャートを
示す。随時伝送されてくる差分データに対して、対応す
る参照画像を随時アクセスし、読みだしと同時に内挿を
行い、内挿終了と同時に復元処理を行う。図１２に示す
ように、これらの処理は連続して行われるので、内挿処
理と復元処理は同時刻に行われる。差分データについて
は、演算器６で逆量子化、逆コサイン変換などの処理が
行われ、そこで相当数の遅れが生じる。そのため、それ
らの処理の結果の出力に合わせて、参照画像をアクセス
するタイミングを調整しなければならない。

【００１２】ＭＰＥＧ２規格の信号で伝送される画像に
は、伝送される差分の画像構造、予測方式ともにフレー
ムとフィールドの両方をとり得る。ＭＰＥＧ２の様な画
像構造、予測方式ともにフレームとフィールドの両方を
とり得る信号を扱う画像圧縮伸長装置に於いては、復元
処理の前にフレーム／フィールド変換装置を設けて、差
分の画像の構造と予測方式を合わせなければならない。
その場合の動き補償予測符号化の伸長回路の例を図１３
に示す。図１３に於いて、加算器２が参照画像の内挿処
理を行うブロックであり、加算器３が復元処理を行うブ
ロックである。また、中間メモリでフレーム／フィール
ド変換を行う。参照画像メモリはフレームメモリであ
る。フレーム全体を小画面（たとえば８×８のブロッ
ク）に分割して処理する場合の処理内容を図１４のタイ
ミングチャートを用いて説明する。参照画像メモリ５か
ら、小画面とその周辺画素を読みだし、加算器２で内挿
し、その結果を中間メモリ４に書き込む。差分データは
演算器６で逆量子化、逆コサイン変換などの処理が行わ
れる。これらの処理は図１４の（１）の期間に同時に行
われる。小画面についてそれらの処理が終了すると、続
いて、中間メモリ４から差分データと同じフレーム／フ
ィールド構造で参照画像を読みだし、外部から入力され
た差分データと加算器３で加算され、復元処理が行われ
る。これらの処理は図１４の（２）の期間に同時に行わ
れる。

【００１３】このように中間メモリを持たず、差分デー
タの処理に合わせて参照画像を読み込んで来て内挿処
理、復元処理を行う画像伸長装置では内挿用の加算器と
復元処理用の加算器とが必要で、ハードウェア量が多量
なものになっていた。また、中間メモリを持っていて、
フレーム／フィールド変換処理を行う動き補償予測符号
化画像伸長装置では、ハードウェアの量が多量なものに
なるばかりでなく、中間メモリの前後の加算器の動作す
る時間はオーバーラップが無く、一方が処理を行ってい
る間、他方が使用されない時間が存在するので、非常に
効率の悪いシステムとなると言う欠点があった。

【００１４】一方、近年、ディジタル信号処理によりデ
ィジタル符号の圧縮／伸長を行なう装置が開発されてい
る。特に符号量が多いディジタル画像を伝送／蓄積する
ためにＭＰＥＧ，ＪＰＥＧ，Ｈ２６１などの世界規格が
定められ、これらの規格に準じた圧縮／伸長装置が多く
開発されている。これらの規格では符号圧縮の方法とし
て可変長符号と時間軸方向の相関を利用した動き補償、
離散コサイン変換を利用している。復号装置としては可
変長符号を利用することに伴い、画像と圧縮された符号
の同期を取るために圧縮されている入力コードを一時貯
えておくためのコード入力バッファが必要となる。ま
た、動き補償を利用することに伴い、過去又は未来のフ
レーム画像を参照画像メモリとして保持しておく必要が
ある。また、入力符号は出力がインターレース／ノンイ
ンターレースに関係なく２次元ＤＣＴを行なうブロック
単位で送られてくるので復号した画像をインターレース
またはノンインターレースで出力するためのフレームメ
モリが必要となる。

【００１５】すなわち、同期を取るためのコード入力バ
ッファ、動き補償用参照画像フレームメモリ、フレーム
／フィールド変換用表示画像フレームメモリの３種類の
メモリ装置が必要である。デコード装置を１つのＬＳＩ
で構成するとき、現在のＬＳＩの集積度ではこれらのメ
モリはデコード装置と同じ１つのＬＳＩに集積すること
が難しいため、外部メモリとしてＬＳＩの外に設定しな
ければならない。しかし、それぞれの用途に別々のメモ
リを割り当てていては配線数、回路規模、メモリ量が大
きくなってしまうので外部メモリとして１つのメモリを
上記参照画像、表示画像、コード入力バッファに分割し
て共用して用いる方法が多く使われている。

【００１６】通常、動画を圧縮した符号列デコードする
場合には入力符号のコード入力バッファへの書き込み、
コード入力バッファからの読み出し、動き補償にともな
う参照画像の読み出し、デコード後に参照画面を再構成
する参照画像への書き込み、デコードした画像を表示す
るための表示画像読み出し、の５種類のメモリアクセス
が発生するが、間断なくデータが流れてくる入力符号の
コード入力バッファへの書き込み、常時画像を表示しな
ければならない表示画像読み出しはバッファがあふれた
り、なくなることはできず、また処理のオーバーヘッド
の関係から参照画像の読み出しと書き込みは一度行なっ
たら途中で止めることも難しい。

【００１７】１つの外部メモリに対するこれらのメモリ
アクセス要求を処理するため、従来は２つの方式が取ら
れている。１つはメモリアクセスの必要が発生するごと
にアクセス要求をバス調停装置に送り、バス調停装置は
各ブロックから発生する要求信号を優先順位にしたがっ
て調停を行うポーリング方式である。また、もう１つの
方式としてそれぞれの要求を優先順位なしで順番に処理
する優先順位方法がある。前者の方式の場合、メモリの
バンド幅に対しメモリアクセスが少ないときには問題は
ないがメモリアクセス量が多くなると優先順位が低いメ
モリアクセスは行われず待ち状態が多くなる。そのため
処理のオーバーヘッドが多くなり、１フレームの画像の
復号が１フレーム表示時間に行なえなくなり、入力符号
と出力画像の同期が取れなくなってしまうという問題点
があった。また、後者の方式の場合、連続したメモリア
クセスが行なえないため、外部メモリにＤＲＡＭを用い
たときはページ切り換えのオーバーヘッドが多くなり、
メモリバント幅の不足が発生する。

【００１８】また一方、動画像の冗長性としては、（１）空間軸方向隣の画素とよく似ている、人間の
目は細かいものはよく見えない。

【００１９】（２）時間軸方向連続している画像は
よく似ている。

【００２０】の２つがある。

【００２１】この（１），（２）の冗長性を圧縮するた
め、（１）・ある大きさのブロックを単位として、離散コサ
イン変換（ＤＣＴ）をおこない周波数成分に変換し、量
子化をおこない高い周波数成分を削減する。

【００２２】・隣のブロックとの差分（ＤＰＣＭ）のみ
データとする。

【００２３】（２）・ある大きさのブロックを単位とし
て、動き補償をおこない、動きベクトルと誤差成分のみ
をデータとする。

【００２４】という方法が用いられる。

【００２５】これを、一般の画像に適用すると、比較的
空間軸方向の冗長性の多い部分（動きの激しい画像）は
動き補償が適用しにくいので、空間軸方法の冗長性を圧
縮するため、ＤＣＴ＋量子化、ＤＰＣＭをおこなう。こ
の場合、ＤＰＣＭは隣のブロックと最も相関の高いＤＣ
成分のみおこなう。

【００２６】一方、比較的時間軸方向の冗長性の多い部
分（あまり動いていない画像）は動き補償を適用し、動
きベクトルと誤差成分のみをデータとする。また、さら
に空間軸方法の冗長性を削減するため、誤差成分に対し
てもある大きさのブロック単位でＤＣＴ＋量子化をおこ
なう。但し、誤差成分は隣のブロックとの空間的な相関
は高くないと考えられるためＤＰＣＭはおこなわない。

【００２７】以上をまとめると、（１）動きが激しい画像ＤＣＴ係数のＤＣ成分ＤＰＣＭＤＣＴ係数のＡＣ成分ＤＴＣ＋量子化（２）動きの少ない画像動き補償＋ＤＴＣ＋量子化となる。

【００２８】以上のように符号化されたデータを画像へ
復元する従来の画像処理装置を図１５に示す。まず初め
に、符号解読回路３０で可変長符号の解読を行い、フラ
グやＤＴＣ係数を求める。次に、動き補償を行ったブロ
ックの場合は、逆量子化（ＩＱ）・逆離散コサイン変換
（ＩＤＣＴ）回路３１で差分データのＤＣＴ係数をＩＤ
ＣＴして差分データを求め、同時に動きベクトル再構成
回路３２で図１６に示されるようなアルゴリズムで動き
ベクトルを再構成し、その動きベクトルを用いて動き補
償回路３３で画像メモリ３４から前方または後方または
両方の画像データを取り出し、加算回路３５で差分デー
タと加算して復元画素データを作成する。

【００２９】動き補償を行わないで画素データそのもの
をＤＣＴしたブロックの場合は、ＤＣＴ係数のＤＣ成分
のみＤＰＣＭ処理回路３６で図１７に示されるようなＤ
ＰＣＭ処理を行い、他のＤＣＴ係数と併せてＩＱ・ＩＤ
ＣＴ回路３１でＩＤＣＴを行い復元画素データを作成す
る。以上が符号化された画像データを画像データへ復元
する従来の方法である。なお、図１６，１７で示した各
コマンドの意味を図１８に示す。

【００３０】

【発明が解決しようとする課題】以上のように、従来の
中間メモリを持たず、差分データの処理に合わせて参照
画像を読み込んで来て内挿処理、復元処理を行う画像伸
長装置では回路規模が多大なものになっていた、さら
に、中間メモリを持ち、フレーム／フィールド変換を伴
う動き補償予測符号化画像伸長を行う画像伸長装置で
は、加算器の回路規格が大きくなり、しかも、その加算
器が使用されない時間が存在するという問題点があっ
た。

【００３１】また、前述したように、従来の一般的なバ
ス調停機能では、外部メモリへアクセスする際に多大な
オーバーヘッドが発生するという欠点があった。

【００３２】さらに、上記したように、動きベクトル再
構成やＤＣＴ係数のＤＣ成分のＤＣＰＭ処理は、解読し
たフラグを用いて図１６，１７のような条件判断、各種
演算を行うためなんらかのシーケンサが必要であり、ハ
ードウエアとして大きなものとなる。また、いろいろな
規格や応用が考えられる画像データの圧縮・伸張技術で
はフラグの解釈や演算の仕方が異なる可能性があるため
上記シーケンサはソフトウェア制御可能なものの方が適
応性・拡張性が良くなるが、命令メモリなどが必要とな
りさらにハードウェア量が大きくなる。従来の画像処理
装置は、シーケンサが２つも必要なため、ハードウェア
量が多くなる傾向があった。

【００３３】本発明はこの点を鑑みてなされたもので、
第１の発明の目的は、少ない回路規模で動き補償予測符
号化画像伸長を行う画像処理装置を提供することにあ
る。

【００３４】また、第２の発明の目的とするところは、
外部メモリの読み出し／書き込みの内部バッファを用途
別にもつことにより、外部メモリへのアクセスを効率良
く行なうことができる画像処理装置を提供することにあ
る。

【００３５】さらに、第３の発明の目的は、ハードウェ
アの使用効率の良い画像処理装置を提供することであ
る。

【００３６】

【課題を解決するための手段】以上の目的を達成するた
め、第１の発明の画像処理装置では動き補償を行う処理
領域分の画像メモリと加算器からなり、時間的にオーバ
ーラップの無い内挿処理と復元処理を同一の加算器を時
間多重で用いて処理する。

【００３７】また、第２の発明は、入力符号を解読し、
画像を復元するデコード手段と、外部から入力される符
号列を受け取って外部メモリに符号列を書き込む入力符
号書き込み手段と、外部メモリに蓄積された符号列を読
み出し、その符号列を前記デコード手段に転送する入力
符号読み出し手段と、外部メモリに保存されている参照
画像を読み出し、前記デコード手段で復元された画像と
加えることにより表示画像を作成する画像再構成手段
と、前記画像再構成手段で作成された画像を外部メモリ
に書き込む画像書き込み手段と、外部に画像を表示する
ために前記画像書き込み手段により書き込まれた画像を
外部メモリより読み出す表示画像読み出し手段と、外部
メモリと前記画像再構成手段、前記画像書き込み手段、
前記入力符号書き込み手段、前記入力符号読み出し手
段、前記表示画像読み出し手段を接続する接続手段と、
前記入力符号書き込み手段、前記入力符号読み出し手
段、前記表示画像読み出し手段が外部メモリから読み出
したデータをそれぞれ一時蓄積するデータ蓄積手段と、
前記画像再構成手段、前記画像書き込み手段、前記入力
符号書き込み手段、前記入力符号書き込み手段、前記入
力符号読み出し手段、前記表示画像読み出し手段の中か
ら前記接続手段と接続する手段を選択するメモリバス調
停手段とで構成し、前記メモリバス調停手段は前述した
入力符号のコード入力バッファへの書き込み、コード入
力バッファからの読み出し、動き補償にともなう参照画
像の読み出し、デコード後に参照画像を再構成する参照
画像への書き込み、デコードした画像を表示するための
表示画像読み出し、の５種類のメモリアクセスをアクセ
ス優先順位の高い入力符号のコード入力バッファへ書き
込み、コード入力バッファからの読み出し、デコードし
た画像を表示するための表示画像読み出しの第１のグル
ープと優先順位は低いが連続して行ないたい動き補償に
ともなう参照画像の読み出し、デコード後に参照画像を
再構成する参照画像への書き込みの第２のグループに分
け、第１のグループ内はポーリング方式によりある決ま
った期間だけアクセス権を与え、第１のグループの要求
がすべて終了したところで、第２のグループへアクセス
権が移り、第２のグループへアクセス権が移ったとき、
第２のグループ内にアクセス要求があるとそのメモリア
クセスを行ない、第２のグループ内のメモリアクセスは
１度アクセス権を与えるとその一連のメモリアクセスが
終了するまで他のアクセス要求は却下されるようにした
ものである。

【００３８】さらに、第３の発明は、離散コサイン変換
と動き補償を用い、動き補償を行わない部分の離散コサ
イン変換係数のみ、その一部をＤＰＣＭ化することによ
って画像データを圧縮・符号化する方式の符号から画像
データを復元する装置において、離散コサイン変換係数
のＤＰＣＭの処理と動きベクトルの再構成の双方の処理
を行うことができるプログラム制御可能なシーケンサを
備えたものである。

【００３９】

【作用】以上のような構成により、第１の発明では、動
き補償予測符号化画像伸長を行う画像処理装置の加算器
の回路規模をほぼ１／２に削減することができる。

【００４０】また、第２の発明は、コード入力バッファ
の書き込み用バッファ、コード入力バッファの読み出し
用バッファ、表示画像読み出し用バッファがそれぞれあ
る一定量になったらのそれぞれメモリアクセスをメモリ
バス調停装置に要求し、参照画像の読み出し、参照画像
の書き込みは内部の復号に伴う処理が参照画像の読み出
し、参照画像の書き込みが必要になったところでバス調
停装置に要求する。メモリバス調停装置はコード入力バ
ッファの書き込み、コード入力バッファの読み出し、表
示画像の読み出しのメモリアクセス要求は一定の順序で
要求の処理を行なう。参照画像の書き込み、参照画像の
読み出しはコード入力バッファの書き込み、コード入力
バッファの読み出し、表示画像読み出しのメモリアクセ
ス要求がなくなったとき処理を行なう。このようなメモ
リバスの調停を行なうことにより、優先順位方式と比較
した場合、参照画像の読み出し、書き込みを連続して行
なうことができるため参照画像の読み出し、書き込み後
に行なうべき処理を速やかに行なうことができるため、
処理のオーバーヘッドが少なくなり、より大きな画像ま
で扱うことができる。また、優先順位方式と比較した場
合内部バッファを大きくすることなくＤＲＡＭへのアク
セスに伴うページ切り替えを少なくすることができ、高
価な高速のメモリを使用することなく、より大きな画像
を扱うことができる。

【００４１】さらに、第３の発明の画像処理装置は、解
読後の各種フラグを１つのソフトウェア制御可能なシー
ケンサで処理してＩＱ・ＩＤＣＴ回路や動き補償回路に
ＤＣＴ係数や動きベクトルを与える構成である。シーケ
ンサが１つであるため、ＤＣＴ係数のＤＣ成分のＤＰＣ
Ｍ処理と動きベクトルの再構成は時分割で実行すること
になる。しかし、従来技術で説明したように、ＤＣＴ係
数のＤＣ成分がＤＰＣＭで符号化されている場合、動き
補償を行わなかったブロックであるため、動きベクトル
の再構成を行う必要がなく、また動き補償を行ったブロ
ックでは、ＤＣＴ係数のＤＰＣＭ化されていないためＤ
ＰＣＭ処理の必要がない。従って、第３の発明の画像処
理装置はＤＣＴ係数のＤＣ成分がＤＰＣＭ処理と動きベ
クトルの再構成は時分割でおこなうことになるが、処理
時間の損失はなく、シーケンサが１つであるのでハード
ウェアの量を必要最小限にすることができる。

【００４２】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。第１の発明第１の発明にかかる画像処理装置の例を図１に示す。図
１に於いて、１は内挿処理、復元処理を行う加算器、４
は小画面（たとえば８×８のブロック）を保持しておく
中間メモリ、５は１フレーム分の参照画像を保持してお
くフレームメモリである。

【００４３】第一の実施例の処理のタイミングチャート
を図２に示す。フレーム全体を小画面（たとえば８×８
のブロック）に分割して処理する場合の処理内容を図２
のタイミングチャートを用いて説明する。５の参照画像
メモリから、小画面とその周辺画素を読みだし、１の加
算器で内挿し、その結果を４の中間メモリに書き込む。
差分データは６の演算器で逆コサイン変換などの処理が
行われる。これらの処理は図２の（１）の期間に同時に
行われる。小画面についてそれらの処理が終了すると、
続いて、４の中間メモリから参照画像を読みだし、外部
から入力された差分データと内挿処理で用いたものと同
じ１の加算器で加算され、復元処理が行われる。これら
の処理は図２の（２）の期間に同時に行われる。

【００４４】第一の実施例によると、差分データの逆コ
サイン変換などの処理の間に参照画像の内挿処理が行わ
れ、同一の加算器を内挿処理と復元処理に使うので、加
算器の回路規模がほぼ１／２に削減され、無駄の無い効
率的なシステムを実現できる。

【００４５】第二の実施例の処理のタイミングチャート
を図３に示す。第二の実施例では４の中間メモリを用い
てフレーム／フィールド変換を行う。第一の実施例と同
様に、フレーム全体を小画面（たとえば８×８のブロッ
ク）に分割して処理する場合の処理内容を図３のタイミ
ングチャートを用いて説明する。５の参照画像メモリか
ら、小画面とその周辺画素を読みだし、１の加算器で内
挿し、その結果を４の中間メモリに書き込む。差分デー
タは６の演算器で逆コサイン変換などの処理が行われ
る。これらの処理は図３の（１）の期間に同時に行われ
る。小画面についてそれらの処理が終了すると、続い
て、４の中間メモリから差分データと同じフレーム／フ
ィールド構造で参照画像を読みだし、外部から入力され
た差分データと内挿処理で用いたものと同じ１の加算器
で加算され、復元処理が行われる。これらの処理は図３
の（２）の期間に同時に行われる。

【００４６】第二の実施例について、処理の詳細を、図
４，５を用いて説明する。この例の場合、４×４のブロ
ックて処理を行う。一つの動きベクトルで４×４のブロ
ック全体の動き補償を行い、４×４のブロック内でフレ
ーム／フィールド変換行う。動き補償は縦横共に１／２
精度とし、４点の内挿を行う。図４の（ａ）はフィール
ド予測の時の参照画像の構造を示している。ａ１からａ
２０は画素に相当する。実線で結ばれた画素は第一フィ
ールド、点線で結ばれた画素は第二フィールドに相当す
る。

【００４７】図３の（１）期間では、参照画像メモリか
らフィールド単位でａ１，ａ２，ａ３，ａ４，ａ５，ａ
６，ａ７，ａ８，・・・の順に読み出されて図５に示す
内挿フィルタに入力される。内挿フィルタでは現画素７
と右どなりの画素６、１ライン上の画素１とその右どな
りの画素２で平均を取る。内挿結果は中間メモリに書き
込む。中間メモリの書き込みデータの構造を図４（ｂ）
に示す。以上の処理を図４（ａ），（ｂ）で示された記
号を用いて示すと、ｂ１＝（ａ１＋ａ２＋ａ６＋ａ７）／４となる。同様の処理を第一フィールドのｂ１〜ｂ８まで
行い、続いて第二フィールドのｂ９〜ｂ１６まで行う。

【００４８】図３の（２）の期間ではフィールド単位で
書き込まれたデータをフレーム単位で読み出す。すなわ
ち、ｂａ，ｂ２，ｂ３，ｂ４，ｂ９，ｂ１０，ｂ１１，
ｂ１２，ｂ５，ｂ６，・・・の順で読みだし、フレーム
構造で伝送された差分データｃ１，ｃ２，ｃ３，ｃ４，
ｃ５，ｃ６，ｃ７，ｃ８，ｃ９，ｃ１０，・・・（図４
（ｃ））加算され、復元されたｄ１，ｄ２，ｄ３，ｄ
４，ｄ５，ｄ６，ｄ７，ｄ８，ｄ９，ｄ１０，・・・
（図４（ｄ））を得る。

【００４９】ｄ１＝ｂ１＋ｃ１，ｄ２＝・・・ｄ５＝ｂ９＋ｃ５，ｄ６＝・・・中間メモリからデータを読みだしている間、内挿フィル
タで加算が行われないので、復元処理の加算は図５の内
挿フィルタの加算器を用いることができる。

【００５０】第二の実施例によると、差分データの逆コ
サイン変換などの処理の間に参照画像の内挿処理が行わ
れ、同一の加算器を内挿処理と復元処理に使うので、加
算器の回路規模は削減することができるとともに、中間
メモリでフレーム／フィールドの変換も行われるので、
メモリの増加も無く、予測方式が前方と後方の双方向の
予測の場合には回路規模は従来例のほぼ１／２に削減で
きる。

【００５１】第２の発明図６は、第２の発明の画像処理装置に係る一実施例の構
成を示すブロック図である。

【００５２】図６において、この復号装置１０１はデコ
ード処理部１０２、入力符号書き込み部１０３、入力符
号読み出し部１０４、表示画像読み出し部１０５、参照
画像再構成部１０６、参照画像書き込み部１０７、メモ
リバス調停部１０８、バッファ１０９〜１１１、アドレ
ス発生部１１２、メモリバス１１３から構成される。ま
た、この復号装置１０１の外部にメモリ装置１１４が接
続されている。

【００５３】外部からの入力符号は入力符号書き込み部
１０３に入力され、バッファ１０９に蓄積される。バッ
ファ１０９に蓄積された符号がある一定量以上になると
メモリバス調停部１０８に書き込み要求を送り、メモリ
バス調停部１０８からメモリアクセス許可信号が返って
きたらメモリバス１１３とアドレス発生部１１２により
メモリ装置１１４へバッファ１０９内のデータを決まっ
た量だけ書き込む。

【００５４】符号読み出し部はバッファ１１０の蓄積量
がある一定量以下になるとメモリバス調停部１０８に読
み出し要求を送り、メモリバス調停部１０８からメモリ
アクセス許可信号が返ってきたらメモリバス１１３とア
ドレス発生部１１２によりメモリ装置１１４からデータ
を決まった量だけ読み込み、バッファ１１０へ蓄積す
る。符号読み出し部はバッファ１１０に蓄積されている
データをデコード処理部１０２に順次入力する。

【００５５】参照画像再構成部１０６はデコード処理部
１０２で画像が復号されたら、メモリバス調停部１０８
に読み出し要求を送り、メモリバス調停部１０８からメ
モリアクセス許可信号が返ってきたらメモリバス１１３
とアドレス発生部１１２によりメモリ装置１１４から必
要なデータをすべて読み込み、読み込んだデータとデコ
ード処理部で復号されたデータとで予測に伴う画像の再
構成を行なう。

【００５６】参照画像書き込み部１０７は参照画像再構
成部で画像データが再構成されたら、メモリバス調停部
１０８に書き込み要求を送り、メモリバス調停部１０８
からメモリアクセス許可信号が返ってきたらメモリバス
１１３とアドレス発生部１１２によりメモリ装置１１４
に再構成された画像データを書き込む。

【００５７】表示画像読み出し部１０５はバッファ１１
１に蓄積されたデータを読み出し、必要な処理を施して
外部に出力する。バッファ１１１に蓄積されたデータが
ある一定量以下になるとメモリバス調停部１０８に読み
出し要求を送り、メモリバス調停部１０８からメモリア
クセス許可信号が返ってきたらメモリバス１１３とアド
レス発生部１１２によりメモリ装置１１４からデータを
決まった量だけ読み込み、バッファ１１１へ蓄積する。

【００５８】メモリバス調停部は表示画像読み出し部１
０５、入力符号書き込み部１０３、入力符号読み出し部
１０４のメモリアクセス要求は一定の順序で要求の処理
を行なう。参照画像の書き込み参照画像の読み出しは表
示画像読み出し部１０５、入力符号書き込み部１０３、
入力符号読み出し部１０４のメモリアクセス要求がなく
なったときにメモリアクセス許可信号を発生する。

【００５９】このような構成により、表示画像読み出し
部１０５、入力符号書き込み部１０３、入力符号読み出
し部１０４のバッファ１０９〜１１１のデータは空また
はいっぱいになってデータが途切れて処理が中断するよ
うなことはなく、加えて参照画像の書き込み、参照画像
の読み出しを連続して行なうことができるため、デコー
ド処理とメモリアクセスに伴うオーバーヘッドを少なく
することができる。

【００６０】第３の発明図７に、第３の発明の画像処理装置の実施例を示す。こ
の画像処理装置は、１つのソフトウェア制御可能なシー
ケンサで解読後の各種フラグを処理してＩＱ・ＩＤＣＴ
回路や動き補償用回路にＤＣＴ係数や動きベクトルを与
える構成である。

【００６１】まず初めに、符号解読回路１０で可変長符
号の解読をおこない、フラグやＤＣＴ係数を求める。次
に、動き補償をおこなったブロックの場合は、ＩＱ・Ｉ
ＤＣＴ回路１１で差分データのＤＣＴ係数をＩＤＣＴし
て差分データを求め、同時にプログラムで制御可能なシ
ーケンサ１２で動きベクトルを再構成し、その動きベク
トルを用いて動き補償回路１３で画像メモリ１４から前
方または後方または両方の画像データを取り出し、加算
回路１５で差分データと加算して復元画素データを作成
する。動き補償をおこなわないで画素データそのものを
ＤＣＴしたブロックの場合は、ＤＣＴ係数のＤＣ成分の
みシーケンサ１２でＤＰＣＭ処理をおこない、他のＤＣ
Ｔ係数と併せてＩＱ・ＩＤＣＴ回路１１でＩＤＣＴをお
こない復元画素データを作成する。第３の発明の画像処
理装置に用いているシーケンサ１２は、図８に示すよう
なプログラムが実行でき、動きベクトルの再構成やＤＣ
Ｔ係数のＤＣ成分のＤＰＣＭ処理を時分割で実行でき
る。

【００６２】以上が符号化された画像データを画像デー
タへ復元する第３の発明の画像処理装置の動作である。

【００６３】

【発明の効果】以上の説明のように、第１の発明による
と、動き補償予測符号化画像伸長を行う画像処理装置の
加算器の回路規模をほぼ１／２に削減することができ、
無駄の無い効率的なシステムを構成できる。

【００６４】また、第２の発明の画像処理装置では外部
メモリの読み出し／書き込みの内部バッファを用途別に
持ち、参照画像の読み出し／書き込みを連続して行なっ
ている。これにより、外部メモリへのアクセスに伴うオ
ーバーヘッドが増大することなく、メモリアクセスを効
率良く行なうことができる。

【００６５】さらに、第３の発明で提案する画像処理装
置は、シーケンサが１つの構成であるので、ハードウェ
アを必要最小に抑えることができる。さらに様々な規格
や応用に対して、ハードウェアの増加なしに、ソフトウ
ェアの開発のみで対応することができ、ハードウェアの
使用効率のよい画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】第１の発明の実施例にかかる画像処理装置の構
成図。

【図２】第１の発明の第一の実施例にかかる画像処理装
置の処理内容を示すタイミングチャート。

【図３】第１の発明の第二の実施例にかかる画像処理装
置の処理内容を示すタイミングチャート。

【図４】第１の発明に係わる内挿、復元処理の過程の画
像構造を説明する図。

【図５】第１の発明に係わる内挿フィルタの例を示す
図。

【図６】第２の発明の一実施例に係る画像処理装置の構
成を示すブロック図である。

【図７】第３の発明の一実施例に係わる画像処理装置の
構成図。

【図８】第３の発明に係わる画像処理装置のプログラム
例。

【図９】第１の発明に係わる動きベクトルの精度を説明
する図。

【図１０】第１の発明に係わる画像のフレーム構造、フ
ィールド構造を説明する図。

【図１１】第１の発明に対する従来のフレーム／フィー
ルド変換のない画像処理装置の構成図。

【図１２】第１の発明に対する従来のフレーム／フィー
ルド変換のない画像処理装置の処理内容を示すタイミン
グチャート。

【図１３】第１の発明に対する従来のフレーム／フィー
ルド変換のある画像処理装置の構成図。

【図１４】第１の発明に対する従来のフレーム／フィー
ルド変換のある画像処理装置の処理内容を示すタイミン
グチャート。

【図１５】第３の発明に対する従来の画像処理装置の構
成図。

【図１６】第３の発明に係わる動きベクトル再構成のア
ルゴリズムの説明図。

【図１７】第３の発明に係わるＤＣＴ係数のＤＣ成分の
ＤＰＣＭ処理のアルゴリズムの説明図。

【図１８】図８，１６，１７で示した各コマンドの意味
を説明する図。

【符号の説明】

１加算器４中間メモリ５参照画像メモリ６演算器７１画素分遅延素子１０１復号装置１０２デコード処理部１０３入力符号書き込み部１０４入力符号読み出し部１０５表示画像読み出し部１０６参照画像再構成部１０７参照画像書き込み部１０８メモリバス調停部１０９〜１１１バッファ１１２アドレス発生部１１３メモリバス１１４メモリ装置１０符号解読装置１１逆量子化・逆ＤＣＴ回路１２汎用ソフトウェアシーケンサ１３動き補償回路１４画像メモリ１５加算回路

Claims

【特許請求の範囲】

【請求項１】動き補償予測符号化画像伸長を行う画像
処理装置であって、動き補償を行う処理領域分の画像メ
モリと加算器からなり、前記加算器で、１／２精度の動
きベクトルから参照画像を構成する際の内挿計算を行
い、その結果を前記画像メモリに記憶し、同一の前記加
算器で参照画像と差分データとの加算処理も時分割で処
理することを特徴とする画像処理装置。
【請求項２】フレーム／フィールド変換を伴う動き補
償予測符号化画像伸長を行う画像処理装置であって、動
き補償を行う処理領域分の画像メモリと加算器からな
り、前記加算器で、１／２精度の動きベクトルから参照
画像を構成する際の内挿計算を行い、前記画像メモリで
フレーム／フィールド変換を行い、同一の前記加算器で
参照画像と差分データとの加算処理も時分割で処理する
ことを特徴とする画像処理装置。
【請求項３】入力符号を解読し、画像を復元するデコ
ード手段と、外部から入力される符号列を受け取って外部メモリに符
号列を書き込む入力符号書き込み手段と、外部メモリに蓄積された符号列を読み出し、その符号列
を前記デコード手段に転送する入力符号読み出し手段
と、外部メモリに保存されている参照画像を読み出し、前記
デコード手段で復元された画像と加えることにより表示
画像を作成する画像再構成手段と、前記画像再構成手段で作成された画像を外部メモリに書
き込む画像書き込み手段と、外部に画像を表示するために前記画像書き込み手段によ
り書き込まれた画像を外部メモリより読み出す表示画像
読み出し手段と、外部メモリと前記画像再構成手段、前記画像書き込み手
段、前記入力符号書き込み手段、前記入力符号読み出し
手段、前記表示画像読み出し手段を接続する接続手段
と、前記入力符号書き込み手段、前記入力符号読み出し手段
前記表示画像読み出し手段が外部メモリから読み出した
データをそれぞれ一時蓄積するデータ蓄積手段と、前記画像再構成手段、前記画像書き込み手段、前記入力
府号書き込み手段、前記入力符号前記入力符号書きみ手
段、前記入力符号読み出し手段、前記表示画像読み出し
手段の中から前記接続手段と接続する手段を選択するメ
モリバス調停手段とを備え、前記メモリバス調停手段は前述した入力符号書き込み、
入力符号読み出し、画像再構成に伴う読み出し、画像書
き込み、表示画像読み出し、の５種類のメモリアクセス
をアクセス優先順位の高い入力符号書き込み、入力符号
読み出し、表示画像読み出しの第１のグループと優先順
位は低いが連続して行ないたい画像再構成に伴う読み出
し、画像書き込み、の第２のグループに分け、第１のグ
ループ内はポーリング方式によりある決まった期間だけ
アクセス権を与え、第１のグループの要求がすべて終了
したところで、第２のグループへアクセス権が移り、第
２のグループへアクセス権が移ったとき、第２のグルー
プ内にアクセス要求があるとそのメモリアクセスを行
い、第２のグループ内のメモリアクセスは１度アクセス
権を与えるとその一連のメモリアクセスが終了するまで
他のアクセス要求は却下されるようにしたことを特徴と
する画像処理装置。
【請求項４】離散コサイン変換と動き補償を用い、動
き補償をおこなわない部分の離散コサイン変換係数の
み、その一部をＤＰＣＭ化することによって画像データ
を圧縮・符号化する方式の符号から画像データを復元す
る装置において、離散コサイン変換係数のＤＰＣＭの処
理と動きベクトルの再構成を同一の処理回路でおこなう
ことを特徴とする画像処理装置。