JPS6075184A - 動画像信号の符号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 大きな動きを含オない動画像信号の能率良いすなわち大
幅々圧縮率でかつ画質が良い符号化方法としては、代表
的な動画像信−号でちるテレビジョン信号の場合フレー
ム間ね９化が，第げられる。１，かしこのフレーム間符
号化は大面積の動きや激しｂ動きに対しては符号化能率
が低下する弱点がある。

この弱点をカバーするために動き部分をも高い能率で符
号化できる動き補償が考案された。

動き補償には大別すると２種ある。一つけ符号化済みの
画素のみを用いて画素単位で動きを検出し、動き補償予
測符号化する。他の一つは入力された符号化すべき動画
像信号に対して複数個の画素からなるブロック単位に動
きを検出し、ブロック単位で動き補償予測符号化する。

このブロック単位で動き補償予測符号化を行う方法とし
ては、たとえば古閑他による「会議テレビ信号の動き補
償フレーム間符号化」と題する論文（電子通信学会通信
方式研究会資料ＣＳ８］−８７。

１９８１年７月２２日）に記載された方法を用ｂること
ができる。この方法においては、ブロックに分割された
現フレームのテレビジョン信号に対［７て、テレビジョ
ン画面上の同一位置を基準として種々の変位量（試行ベ
クトルと称する）だりずれた位置の前フレームのブロソ
ク内のテレビジョン信号と現フレームのブロック内のデ
レビジ，ン信号との類似度を示す評価値をめ、最も類φ
度の高い前フレームのブロックの信号を現フレームのブ
ロックに対する予測信号として、予測符号化を行う。

この後者のブロック単位で動き補償を行なう符号化装置
を構成する場合には通例は符号化を行なう冒頭に第１図
に示すようにブ０．７りを形成する走在変換回路（ＳＣ
）が設けられる。走査変換の例として、たとえば第４図
に示すａ。、ａ，、町，、、、。

３丁　＋ｉＴｓ　ｌ”’ａｎｌｌ　ｂ，　、ｂＩ　ｒｂ
ｔ　＋　、、、ｒｂｔ　＋ｂＡ　＋＋　、。

’）Ｉｎ＋ｃｏ　＋　ＣＩ　ｒｃ２　１＋＋＋，Ｃｙ　
＋ＣＢ　＋”’＋Ｃ’Ｉｎ＋ｄＯ　＋　ｄｌ　＋ｄ，，
．．．，ｄ７，ｄｌｌ，．．、、（ｌｍ，、、、々る時
系列（時系列Ａ）で入力される画像信号が、ブロックサ
イズを４ライン×８画素どするとき ａｏｌａｌ＋ａｔ＋・’・＋ａ７，ｂｏｊ）、＋ｂ２＋
ｌｌＨＨＪ７＋ｃＯ＋ＣＩ＋Ｃ２＋・リ＋Ｃ？＋（’Ｏ
ｌｄｌ，（１２，＋＋＋＋ｄ７＋ａ８＋ａＯ＋・”＋’
ｌｌ５ｌｂ８＋ｌ）９　＋”’＋）’Ｉｆｆｉ＋ｃ８　
＋Ｃｏ　＋”’＋ＣＩｌｌ＋ｄＡ　、ｔｉ，　＋”、＋
ｄ＋５’、、、なる異なった時系列（時系列Ｂ　）　Ｉ
ｃ変換される。ただし、１走査紳は（ｍ−４−１　）　
ｉｉｊｉ素からなるものとする。このようにすると、一
たん走査変換し７てしまえばあとけ画素単位に順次に信
号処理を行なっても４ｘｓ＝３２（画素）毎にプロ，り
単位の処理が完了するという利点がある。

送信側では動き検出部（Ｖｌ））にて検出された動き情
報を用いて、たとえば前記文献に記載されているように
プロ，り単位で動き補償予測符号化（ＣＯＤ）を行なめ
１受信側ではやけシ動き情報を用いて予測復号化（ＤＥ
Ｃ）を行なう。そして最後に走査変換された動画像再生
信号を走査逆変換（ＳＩ）して、もとのラスター走査に
戻す。

しかしながらこのように冒頭でブロック化すると反対に
不都合なことが起ることがある。これについて第５図を
参照して説明する。第５図においてブロックの大きさを
Ｎライン×Ｍ画素、動き補償可能な範囲を垂直方向に±
Ｖライン、水平方向に±Ｈ画素とする。いオ入力動画像
信号内の符号化しようとするブロックが図中Ｎライン単
位で区切られた領域２に対応する位置にあるものとする
と、Ｖ＞Ｎならば動き補償範Ｉｌｌ１１ｅま士■ライン
すなわち領域０４，２，３．４　にまたかることに斤る
。入力動画像信号内の動きを実時間にて検出タ゛るため
ニハ、現フロノクを含むＮラインについて動キを検出す
るのに並行して新たにＮラインを次の動き検出のため虻
、メモｌ）　Ｋ補充してやらねばならない。たとえば、
かりに、領域２に含壕オしるあるブロックＡ（Ｍ画素×
Ｎライン）について動き検出を行なうとすると第５区中
に示すように２Ｎ＞ＶＡＮの場合に目領域５に動画像信
号を補充する必要がある。この場合には領域０と４　Ｖ
Ｃおい℃いずれもＣ２Ｎ−Ｖ）　ライン分相肖のメモリ
は実質的には使用さね２ず無駄であるが、ブロック単位
で補充を行なうＶ上とれは避けられない。つきに＠きを
検出すべきブロック（たと乏−ばＢ）が領域３にある時
の動き検出範囲は領域１〜５にまだがり、補充される場
所は領域５のつぎの領域であるが、この時には領域Ｏが
もけや使用済みであるのでこれに補充すれば良い。さら
に、領域４内にあるブロック（たとえばＣ）に対し２て
動き検出を行なう時の検出範囲は領域２　、３　、４　
、５　、０　に甘たかり、補充する場所は領域１とすれ
ばよい。以上のように動き検出、補充を実行するために
は合計６個の領域す庁わち６Ｎライン分のメモリが必要
となり、この中の２Ｘ（２Ｎ−Ｖ）ラインは実効的Ｉｃ
　ｔ：を無駄になっている。またこの６Ｎラインの中Ｎ
ライフ分を減少させるだめの一つの方法としてたとえば
領域２内のブロックについて動き検出を行なっている時
に領域Ｏ内ですでに動き検出に使用されなくなった場所
に補充することも可能ではある。すなわちブロック人に
ついて現在勤き検出が行ガわれており、水平方向の検出
範囲が±Ｈ画素とすると、領域０内にあってブロックＡ
と同位置にくるブロックよりＨ以上左方（走査は図面上
屋か５右にな妊れているとする）にある場所に補充する
ようにすると領域５は不要となり所要領域数は０〜４の
５個、すなわち５Ｎラインとなる。しかしながら、この
ようにしてもなお２ｘ（２Ｎ−Ｖ）ラインの無駄なメモ
リが用いられており、かつ読み出し、書き込みのアドレ
ス制御が複雑となる。

これらの所要メモリの無駄あるいはアドレス制御の複雑
さも結局はあらかしめＮライン×ＭｌｌＩｉｉ素にブロ
ック化したことによる。したがってこのような無駄を省
くためには、■の大きさをＮに等しいかＮの倍数にとら
ざるを得なくなる。

本発明は勧き補償における垂直方向の補償範囲とブロッ
クの垂直方向の大きさとの間に発生する制約を解除する
ことを目的とする。

本発明によれば時系列に従って入力される動画像信号に
対して複数の走査線にまたかる複数個の入力動画像信号
と同一の時系列に並びかえ、との並びかえられた動きを
示す情報に従って前記時系列で供給される局部復号信号
を用いて予測信号を発生することにより前記入力動画像
信号を時系列を変更することなく予測符号化することを
特徴とする動画像信号の符号化方式が得らｉＬる。

甘だ本発明によれば時系列として入力された動画像信号
の予測符号化におして、該入力動画像信号を時系列を変
更することなく入力し、複数の走査線にまたがる複数個
の画素からなるブロック毎に前記動画像信号内の動きを
検出する手段、該検出された動きを示す情報を前記時系
列に従って出力する手段、該出力された動き情報に従っ
て前記時系列で予測信号を発生する手段、該予測信号と
前記動画像信号とから前記時系列で局部復号信号を得る
手段、該局部復号信号をおよそ】フレーム時間遅延し前
記予測信号を発生する手段に前記時系列で供給する手段
、とを含むことを特徴とする動画像信号の符号化装置が
得られる。

さらに本発明によれば、時系列として入力された動画像
信号に対して、複数の走査線にまたがる複数個の画素か
らガるブロック毎に前記動画像信号内に含まれる動きを
検出し、検出された動きを用する予測符号化を行なって
得られる動きを表わす情報と予測誤差信号を少なくとも
含む、圧縮符号化された動画像信号の予測復号化にあた
シ、圧縮された動きを表わす情報と予測誤差信号を伸長
し、前記動画像信号と同じ時系列に従って出力する手段
、該出力された動き情報に応じて前記時系列に従って予
測信号を発生する手段、前記予測誤差信号と該予測信号
とを用いて前記時系列で復号信号を得る手段、該復号イ
バ号をおよそ１フレ一ム時間遅延し前記予測信号を発生
する手段に前記時系列で供給する手段、とを少なくとも
含むことを特徴とする動画像信号の復号化装置が得られ
る。

次に本発明の原理について説明する。もし動き検出部（
ＶＤ）ＦＦ第５図に示したような動き検出の領域を用意
した場合に、Ｎライン×Ｍ画素にブロック化した動画像
信号でもって補充を行なうＫは２Ｘ（Ｖ−Ｎ）ライン分
のメモリが実効的に無駄とたることを述べた。ここでも
し補充かもとの入力動画像信号と同じ時系列で行なわ力
、るものとすると複数の領域にだとえオたがる場合でも
、まだがらなり場合と同様に補充を実行することができ
る。

すなわち走査変換を行寿っていないため１走査線の動画
像信号をＮ回補充すれば良いので領域の区切り方が種々
変化し℃も一向（（差しつかえない。

これが走査変換を行なっていないシｂ画像信号をＶＤに
補充することにより得られる犬き々利点である。

つぎにこのようなＶＤを用いた時の動き補償予測符号化
の例を示す。

第２図にはブロック単位でめられた動き情報を、入力動
画像信号と同じ時系列Ａに並びかえ（ＶＩ）だ後で、動
き補償予測符号化（ＣＯＤ）を性力う。この時には受信
側における動き補償予測復号化（ＤＥＣ）において得ら
れる復号された動画像信号はもとの入力動画像信号の時
系列（Ａ）と同じである。

第３図には走査変換した場合の符号化例を示す。

ＶＤは前述のとう多走査変換をしてない時系列Ａで補充
を受け、検出した動き情報は並びかえ（ＶＩ）を行なわ
ずに時系列ＢＶｃ対応してＣＯＤに送られるが、入力動
画像信号も走査変換（ＳＣ）され、時系列Ｅ　Ｋ　”ｒ
　ＣＯＤ　に送られるので、ＣＯＤ　では時系列ＢＫ従
って符号化が行なわれる。復号化された動画像信号は時
系列Ｂであるため走査逆変換（ＳＩ）により時系列Ａの
動画像信号とされる。

ここで動き情報の並びかえ（ＶＩ　）について説明する
。

動き情報の並びかえは基本的には第４図を用いて散切し
た走査変換と類イリしている。すなわち、ブロックの大
きさは前と同様に４ラインＸ８ｉ１ｉｉ素とし１、第６
図に示すように（ｍ＋１）個のブロックに対応する■。

−ＶＩｎなる動き情報がＶＤにて検出されてｂるとする
と、各ブロック内の第１走育線（すなわち第４図中の第
ｉ走査線）上に示されている動き情報を１走査線分だけ
続けて読み出し、以下同様に第（ｉ＋１）、（ｉ＋２）
、（ｉ＋３）走査線九ついて行なう。第４図の例でけ第
ｉ走査線においてｖｌ。

がまず８画素分連続して読み出され、ついで■、。

Ｖ！＋・・・、ｖｇ、・・・＋７ｍ−１１ｖ□　が各々
８画素時間づつ連続して読み出される。そしてつぎの第
（ｉ＋１）走査線でけ同様”１１　＋■ｌ　＋Ｖ２　ｒ
　’　”　、Ｖ（ｌｒ　”　’　１７ｍ−１＋■□が各
々８画素時間づつ連続して読み出される。

第（１−１−２）　、　（ｉ＋３　）走査線についても
まったく同様である。第（ｉ＋４）走査線以下について
も第■〜（ｉ＋３）走査線についてと同様の並びかえが
行なわれる。

このように本発明を用いると垂直方向に関するブロック
の大きさと動き補償範囲が何ら互いに制限を受けること
なく選べるため装置構成を簡単化することができる。ま
だブロック単位に検出された動き情報は入力動画像信号
と同じ時系列に表わすことにより、予測符号化／復号化
は走査変換をしないｔまで実行できる。

以下図面を参照しながら本発明について詳細に説明する
。第７図に本発ＢＡＫ係る符号化・復号化装置の一実施
例を示す。送信側（符号化装置）ＶＣおいて、入力され
た動画像信号は線１０００　Ｋよυ遅延回路２０と動き
検出回路１１に供給され、ここで動きがブロック単位で
検出される。

動き検出回路１１　については後に詳しく説明する。ブ
ロック毎に検出された動き情報は並びかえ回路１２にお
いて線１０００を介して供給される入力動画像信号と同
じ時系列ＡＫなるように並びかえが行なわれた後、紳１
２００を介して可変遅延回路１３と符号圧縮回路１８へ
同時に供給される。

可変遅延回路１３は、この動き情報に応じてフレームメ
モリ】４から供給される動画像信号の遅延時間を変化さ
せて動きを補償した予測信号を発生し、これを線１３０
０を介し減算器１５　と加算器１７へ供給する。減算器
１５は、可変遅延回路工３の出力動画像信号と遅延回路
２０において動き検出に要する時間を補償した入力動画
像信号との間で差分をとね、その差すなわち予測誤差を
量子化器１６へ供給する。量子化器１６は予測誤差を量
子化して線１６００を介して加算器１７と符号圧縮回路
１８に供給する。加算器１７はこの量子化された予測誤
差と線１３００を介して供給される予測信号を用いて局
部復号信号を発生する。この局部復号信号けｌｌＪＪ両
像信号のおよそＪフレームを記憶するフレームメモリ１
４に供給される。なお、動き情報が静止すなわち動き無
しを表わし７ている場合には、フレームメモリ１４　と
可変遅延回路１３の遅延時間の和は、減尊器】５、量子
化器１６および加算器１７の遅延が無いものと、丁度］
／Ｌ／−ム時間となる。

符号圧縮回路１８によ？いては、線１６００を介して供
給さねる量子化さｔまた予測誤差と、動き情報がいずれ
もだとえげハフマン符号化などに代表される不等長符号
化により同期、制御情報とともに符号化される。圧縮符
号化された動画像信号は、メ゛ バッファメモリ１９におりて伝送路２０００に履ける伝
送速度との速度整合の後に伝送路２０００へ送り出され
る。なお、伝送路２０００の代りにだとえは磁気、光学
等記録媒体を用いることもできる。

ここでは伝送路２０００を通すこととして説明をつづけ
る。

受信側（復号化装置）においては、まず、受信した圧縮
された動画像信号を−たん速度整合用のバッファメモリ
５９に記憶し、復号化の速さに応じて符号伸長回路５８
へ供給する。符号伸長回路５８は送信号の符号圧縮回路
】８の逆の操作によυ出線符号化する前の動き情報、量
子化された予測誤差、同期、制御情報などが再生される
。再生された予測誤差は紳５８５７　′ｆ介して加算器
５７へ、動き情報は線５８５３を介して可変遅延回路５
３へ、それぞれ供給される。可変遅延回路５３け供給さ
れた動き情報に応じてフレームメモリ５４より供給され
る動画像信号の遅延時間を変化させて予測て実現するこ
とができる。加算器５７はこの予測信号と線５８５７を
介して供給される予測誤差を用いて動画像信号を復号し
、線３０００を介してフレームメモリ５４　に供給する
が、この動画像信号が復号信号として復号化装置の外へ
出力される。送信側（符号化装置）の場合と同じく、フ
レートメ→？す５４と可変遅延回路５３における遅延時
間の和は靜止すガわち動きが無い場合にｄ加算器５７の
遅延は蕪いものとすると１フレ一ム時間である。

ここで動き検出回路】１について第８図をｍ−て詳細に
説明する。

線１０００　を介して供給さノ］、る入力動ｉｉｆ；ｌ
像イを号はおよそ１フレームの画１８！を配憶できるフ
レームメモリ１】１と時系列Ａから時系列Ｂへ走査変換
するブロックメモリ１１３へ入力芒ねる。動き検出制御
回路Ｂｌｊ：線１１００を介して試行ベクトルを次々に
出力しアドレス変換回路１１８と最適ベクトル決定回路
１１７へ供給する。アドレス変換回路１１８日供給され
た試行ベクトルだけブロックの位置を空［ｔ）１的に変
位したメモリ・アドレス変換回路し、可変回路１１２の
遅延時ｍ１のオｌｉｄ丁１用１ル−人となっている。試
行ベクトルたり空ＩＨｉ的に変位したブロック内の画像
信号は線１１２０を介して減算器１１４へ供給され、こ
こで線１１３０を介して供給されるブロックメモリ１１
３の出力画像信号との間で減算が行なわれる。ブロック
メモリ１１３はＮ２１７分のメモリを２個持っており、
一方のメモリに線１０００を介して供給される入力動画
像信号を時系列Ａに従ってＷき込んでいる間に、他方の
メモリから時系列Ｂに従って読み出し、線１１３０を介
して出力する機能を有する。またＮライン毎に読み出し
と書き込みが入れかわる。減算結果は線１１４０を介し
て累積加算器】１５へ供給される。累積加算価値に対応
する）を蕪簗セ、比較回路１１６へ１１１力する。比較
回路１１６では動き検出制御回路１１０から次々と出力
される試行ベクトルの各々に対する累積結果を順次比較
［７、たとえばより小さな累積結果を発生した試行ベク
トルを最適ベクトル決定回路１１７に仮の最適ベクトル
として一時記憶しておくように切換信号を発する。最適
ベクトル決定回路１１７はこの切換信号に従って試行ベ
クトルの一時記憶を行かい、線１】１７により供給させ
るフロック毎の所定タイミングにおいて保持さねている
仮の最適ベクトルをこの最適ベクトル検出回路１１７に
おける検出結果（動き情報）として出力する。この出力
は第７図における並びかえ回路１２へ供給される。

つぎに可変遅延回路１１２について説明する。この可変
遅延回路１１２には第５図に示したよう々動き補償範囲
を含むのに必要な容量のメモリを含んでいるものとする
。このとき、フレームメモリ１、１．１から供給される
およそ１フレ一ム時間遅延した入力動画像信号は時系列
人すなわちラスクー走だブロック（ＭｉｉＩｉｉ素×Ｎ
ライン）がある試行ベクトルに対応して読み出されてい
る間に、領域４内の計Ｎラインが走査線毎に上から下へ
と順次補充されており、領域２のＮラインにわたって形
成されたブロックの全てについて動き情報が検出さね。

わち、この可変遅延回路１１２への書き込みはラスター
走査に従い、読み出しはブロック単位に、たとえば第４
図に関して説明した走査変換後の時系列Ｂに従って行な
われる。しかしながら、実時間で動き情報を計算するの
が、使用論理回路素子の動作スピードなどにより困難で
ある場合には、可変遅延回路１１２、ブロックメモリ】
】３を並列出力可能な構成とし、同時に減４器１】４、
累積加算器１１５１−を並列入力、並列演算が可能な構
成とすると等節約に高速演算が実行できるようになる。

なお本実施例の説明九おいて、動き情報の符号化は必ず
しも画素即位に行なう必要はない。なぜなら、ブロック
の大きさが前述と同様に４ライン×８（７ｉｉｌ素であ
るとすると、各動き情報は走査線方向に必ず８画素連続
すること、さらに後続の３走査線は同じ情報の繰り返し
であるためブロック単位と画素即位の符号化の−ずれも
本質的には差異と はない。またこのこｆけブロックの大きさＫは左右され
ない。

以上詳しく説明したように本発明を実施するとブロック
単位で動きを検出する符号化能率がきわめて高１／−１
動き補償符号化が、通常のテレビジョン信号と同じラス
ター走査に従って実現され、まだ動き検出回路ｊ１への
動画像信号の稲光もゾロツクの大きさには制約されない
ため符号化能率が高くかつ構成の簡単な符号化方式を実
現でき、本発明の実用に供するその効果に極めて大であ
る。

【図面の簡単な説明】

第１図は従来の符号化・復号化装置−“を説明するだめ
のブロック図、第２図は本発明に関る符号化・復号化装
置を説明するための）＋ｊ　、り図、ら１□３図は動画
像信号の走査変換を説明する１こめのノ°ロック図、第
４．６同は動き情報の並びがえを説明−する図、第５図
は動画像信号の補充の方υ、を説明Ｊる図、第７，８図
は本発明に関る一実ｈ１６例を説明するだめのフロック
図である。 図中、１１は動き検出回路、１２は並びかえ回路、１３
．５３は可変遅延回路、１４．５４−７レームメモリ、
１５は減算器、１Ｇは量子化器、１７゜５７は加算器、
Ｉ８は祠号圧縮回路、１９．５９けバッファメモリ、２
０は遅延回路、５Ｂは符号伸長回路をそね、ぞれ示す。 序　１　図 停　２　ロ イ云女ツ（「７シ 享　３　図 仏ンテを語 ギ　４　図 第　ろ　図 會 蔓　５　図 一←Ｍ−メーＭ−７１＋−Ｍ−ポーＭ÷亭　７　口 ５沙Ｓ３

Claims (3)

【特許請求の範囲】
1. （１）　時系列として入力される動画像信号内対して複
   数の走査線にまたがる複数個の画素からガるブロック毎
   に該動画像信号内の動きを検出し、該検出された動きを
   用いて予測符号化を行なうＫあたシ、前記入力動画像信
   号と同一の時系列に並びかえられた前記ブロック単位に
   検出された動きを示す情報に従って前記時系列で供給さ
   れる局部復号信号を用いて予測信号を発生することによ
   り、前記入力動画像信号を時系列を変更することなく予
   測符号化することを特徴とする動画像信号の符号化方式
   。
2. （２）　時系列として入力された動画像信号の予測符号
   化において、該入力動画像信号を時系列を変更すること
   なく入力し、複数の走査線にまたがる複数個の画素から
   なるブロック毎に前記動画像信号内の動きを検出する出
   段、該検出された動きを示す情報を前記時系列に従って
   出力する手段、該出力された動き情報に従っ℃前記時系
   列で予測信号を発生する手段、該予測信号と前記動画像
   信号とから前記時系列で局部４号信号を得る手段、該局
   部復号信号をおよそ１フレ一ム時間遅延し前記予測信号
   を発生ずる手段に前記時系列で供給する手段Ｉとを含む
   ことを特命とする動画像信号の符号化装置。
3. （３）　時系列として入力された動画像信号にｉｌ　し
   て、複数の走斉紳ＶＸせたがる複数個の画素からなるブ
   ロック毎に前記動画像信号内に含−５ｈる動きを検出し
   、検出された動きを用いる予測ね号化を行なって得られ
   る動きを表わす情報と予測誤差信号を少なくとも含む、
   圧縮符号化された動画像信号の予測復号化にあたり、圧
   縮された動きを表わす情報と予測誤差信号を伸長し、前
   記動画イ８！信号と同じ時系列に従って出力する手段、
   該出力された動き情報に応じて前記時系列に従って予測
   信号を発生する手段、前記予測誤差信号と該予測信号と
   を用いて前記時系列で復号信号を得る手段、該復号信号
   をおよそ１フレ一ム時間遅延し前記予測信号を発生する
   手段に前記時系列で供給する手段、とを少なくとも含む
   ことを特徴とする動画像信号の符号化装置。