JP3071579B2 - 二画面多重化動画像の符号化装置及び復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、異なる絵柄からなる２
種類の動画像信号を多重化して、符号化する動画像符号
化装置およびこの動画像符号化装置によって符号化した
画像データを受信して復号化する動画像復号化装置に関
し、特に、１つの符号化器で２種類の動画像信号をフレ
ーム時間分割多重した二画面画像データに符号化する動
画像符号化装置および１つの復号器でフレーム時間分割
多重された二画面画像データを２種類の動画像信号に復
号化する動画像復号化装置に関する。

【０００２】

【従来の技術】図１１に示すように、一画面に２種類の
動画像を表示するシステムがある。ここでは、２種類の
動画像の一方をＡ画面、他方をＢ画面と呼ぶことにす
る。このようなシステムは、送信側に動画像符号化装置
を有し、受信側に動画像復号化装置を有する。従来のシ
ステムにおいては、動画像符号化装置は２種類の動画像
を１種類の動画像とみなして符号化処理を行い、動画像
復号化装置は２種類の動画像を１種類の動画像とみなし
て復号化処理を行っていた。

【０００３】図１０（Ａ）に従来の動画像符号化装置と
してフレーム間予測を用いた予測符号化装置の例を示
し、図１０（Ｂ）に従来の動画像復号化装置としてフレ
ーム間予測を用いた予測復号化装置の例を示す。

【０００４】図１０（Ａ）を参照して、従来の動画像符
号化装置は、符号化回路１００と、バッファメモリ１０
７と、符号化制御回路１０８とから構成されている。符
号化制御回路１０８は、バッファメモリ１０７のオーバ
ーフロー、アンダーフローが発生しないように、その占
有率に応じて符号化回路１００の量子化特性等を制御す
る。符号化回路１００において、セレクタ１０２は、符
号化制御回路１０８の制御にしたがい、通常は入力端子
１０１からの画像信号を選択し、バッファメモリ１０７
の占有率が高い時はフレームメモリ１０５の出力を選択
してフレーム間引きを行う。セレクタ１０２の出力信号
は、減算器１１０においてフレームメモリ１０５からの
予測値を減算される。量子化器１０３は、減算器１１０
からの予測誤差信号を量子化する。量子化された予測誤
差信号は、可変長符号化回路１０６で可変長符号化され
た後、バッファメモリ１０７へ書き込まれる。バッファ
メモリ１０７に蓄積された符号化画像信号は出力端子１
０９を介して出力され、図示しない音声情報を多重化さ
れる。また、量子化器１０３の出力は逆量子化器１０４
で逆量子化され、加算器１１１の一方の入力端子に供給
される。加算器１１１の他方の入力端子には、フレーム
メモリ１０５からの予測信号が供給されており、加算器
１１１は局部復号化信号を発生する。局部復号化信号
は、フレームメモリ１０５に書き込まれる。量子化器１
０３および逆量子化器１０４の量子化特性は、符号化制
御回路１０８により制御され、バッファメモリ１０７の
占有率が高いときは粗く量子化を行い、低いときは細か
く量子化を行う。このように、従来の符号化装置は、１
画面に二種類の画像があっても１画面単位のフレーム間
予測符号化を行っていた。

【０００５】図１０（Ｂ）を参照すると、従来の動画像
復号化装置は、復号化回路２００と、バッファメモリ２
０２から構成されている。バッファメモリ２０２は、入
力端子２０１からの受信画像データが十分復号化できる
まで、書き込まれたデータを蓄積し、復号化できると判
断されたとき、１フレーム分の画像データを読み出して
出力する。復号化回路２００において、可変長復号化回
路２０３は、バッファメモリ２０２から出力された画像
データの可変長符号から元の予測誤差信号に復元する。
予測誤差信号は、逆量子化器２０４で逆量子化され、加
算器２０５の一方の入力端子に供給される。加算器２０
５の他方の入力端子には、フレームメモリ２０６からの
予測信号が供給されており、加算器２０５は復号化画像
信号を発生する。復号化画像信号は、出力端子２０７よ
り出力され、また、フレームメモリ２０６に書き込まれ
る。このように、従来の復号化装置は、１画面に２種類
の画像が合成された画面を１画面単位にフレーム間予測
復号化を行っていた。

【０００６】

【発明が解決しようとする課題】このように、従来の符
号化装置では、１画面が２種類の動画像から構成されて
いても、１種類の動画像を符号化する場合と同様の符号
化を行うため、２つの動画像が互いに他の動画像の符号
化に影響を与える。すなわち、量子化特性をバッファメ
モリの占有率、すなわち１画面当たりの符号化信号の情
報量の増減で決定しており、各動画像の符号化信号情報
量の差は考慮されていない。このため、一方の動画像の
みが大きく動いたとしても、画面全体の量子化特性が粗
く制御されてしまうという問題がある。

【０００７】また、従来の復号化装置では、１画面が２
種類の動画像から構成されていても、１種類の動画像を
符号化したときと同様の復号化を行うため、２つの動画
像が互いに他の動画像の復号化に影響を与える。すなわ
ち、送信側の符号化装置において、量子化特性を送信側
のバッファメモリの占有率、すなわち１画面当たりの符
号化信号の情報量の増減で決定しており、各動画像の符
号化信号情報量の差は考慮されていない。このため、受
信側の復号化装置においても、同様に一方の動画像のみ
が大きく動いたとしても、画面全体の量子化特性が粗く
復号化されてしまうという問題がある。

【０００８】そこで本発明の技術的課題は、２種類の異
なる絵柄の動画像を多重化して符号化する場合に、フレ
ーム単位に２つの動画像を交互に効率良く符号化できる
符号化装置を提供することにある。

【０００９】本発明の他の技術的課題は、２種類の異な
る絵柄の動画像を多重化し、符号化したデジタル信号を
受信して復号化する場合に、受信した信号に従って２つ
の画像データを交互に効率よく復号化し、元の２つの動
画像を得ることができる復号化装置を提供することにあ
る。

【００１０】

【課題を解決するための手段】請求項１記載の発明の二
画面多重化動画像の符号化装置は、第１の画面と第２の
画面との二画面から成る２種類の異なる絵柄の画像信号
を多重化して符号化する動画像符号化装置であって、フ
ィールド時間毎に第１の画面と第２の画面とが交互に多
重化されたデジタル画像信号を入力し、フレーム時間毎
に交互に多重化した二画面多重化画像データに変換し、
この二画面多重化画像データと多重化された二画面を識
別する二画面識別信号とを出力するフォーマット変換回
路と、このフォーマット変換回路から出力される二画面
多重化画像データと符号化許可信号とを入力し、この符
号化許可信号入力時には、符号化画像識別信号に応じて
前記二画面多重化画像データを符号化パラメータに従っ
て符号化し、符号化画像データとこの符号化画像データ
の符号長情報とを出力する符号化回路と、この符号化回
路から出力される符号化画像データを一旦記憶し一定速
度で出力すると共に、データの占有量情報を出力するバ
ッファメモリと、符号化回路から出力される符号長情報
を入力し、符号化された直後のフレームの発生情報量を
算出する発生情報量算出回路と、この発生情報量算出回
路から出力された発生情報量に基づいて、符号化回路で
の符号化に必要な符号化パラメータを制御する符号化パ
ラメータ制御回路と、バッファメモリから出力される符
号化開始直前の占有量情報によって次のフレームが符号
化できるか否かを判定し、フォーマット変換回路から出
力される二画面識別信号に基づいて、符号化回路におい
て第１の画面のフレームと第２の画面のフレームとを交
互に符号化するように、符号化すべき画面を識別するた
めの符号化画像識別信号および符号化許可信号を発生す
る符号化タイミング制御手段と備えている。

【００１１】請求項２記載の発明の二画面多重化動画像
の符号化装置では、請求項１の構成に加え、符号化回路
は、第１の画面に対応する第１の局部復号画像データを
記憶する第１のフレームメモリと、第２の画面に対応す
る第２の局部復号画像データを記憶する第２のフレーム
メモリと、符号化タイミング制御手段によって得られた
符号化画像識別信号に従って、第１及び第２のフレーム
メモリからの符号化予測値をフレーム単位に選択する符
号化予測値選択手段と、符号化予測値選択手段によって
選択された予測値と符号化パラメータ制御回路から出力
される符号化パラメータに従って二画面多重化画像デー
タを符号化して符号化データを出力する符号化手段と、
符号化データと第１の画面と２の画面のどちらかのフレ
ームが符号化されたかを示す識別信号と符号化パラメー
タとを多重化して、符号化画像データを出力する多重化
手段とを含むものである。

【００１２】請求項３記載の発明の二画面多重化動画像
の符号化装置では、請求項１の構成に加え、符号化パラ
メータ制御回路が、発生情報量算出回路で算出された発
生情報量を第１の画面、第２の画面別に一旦保持し、こ
の保持された発生情報量と前回符号化したときの符号化
パラメータに基づいて、第１の画面と第２の画面別々に
符号化パラメータを決定する符号化パラメータ制御手段
と、次に符号化されるフレームが第１の画面か第２の画
面かによって符号化パラメータ制御手段で決定されたそ
れぞれの符号化パラメータのどちらかを選択する符号化
パラメータ選択手段とを含むものである。

【００１３】請求項４記載の発明の二画面多重化動画像
の復号化装置は、第１の画面と第２の画面との二画面か
ら成る２種類の異なる絵柄の画像信号を多重化して符号
化したデジタル信号を受信し、画像信号に復号する動画
像復号化装置であって、入力された符号化画像データを
一定速度で書き込み、一旦記憶した後、符号化画像デー
タと画像同期信号とを出力するバッファメモリと、この
バッファメモリから出力される符号化画像データを入力
して復号化し、多重化された二画面を識別する二画面識
別信号と復号化された画像データとを出力する復号化回
路と、この復号化回路から出力される画像データを入力
し、第１の画面と第２の画面とを復号化タイミング信号
に従って交互に多重化整形し、第１の画面と第２の画面
とがフレーム時間毎に交互に多重化された二画面多重化
画像データを出力する二画面多重化整形メモリと、この
二画面多重化整形メモリから出力される二画面多重化画
像データを入力し、当該二画面多重化画像データを、フ
ィールド時間毎に交互に多重化された画像信号に逆変換
するフォーマット逆変換回路と、バッファメモリから出
力される画像同期信号と復号化回路から出力される二画
面識別信号とを入力し、二画面識別信号に基づいて第１
の画面のフレームと第２の画面のフレームとを交互に復
号化するように、復号化タイミング信号を発生する復号
化タイミング制御手段とを備えている。

【００１４】請求項５記載の発明の二画面多重化動画像
の復号化装置では、請求項４記載の構成に加え、復号化
回路は、第１の画面用の第１の復号画像データを記憶す
る第１のフレームメモリと、第２の画面用の第２の復号
画像データを記憶する第２のフレームメモリと、符号化
画像データから、第１の画面と第２の画面のどちらかの
フレームを示す識別信号と符号化に使用された符号化パ
ラメータと符号化データとを分離する手段と、識別信号
に従って、第１及び第２のフレームメモリからの復号化
予測値をフレーム単位に選択する復号化予測値選択手段
と、復号化予測値選択手段によって選択された予測値と
符号化パラメータとに従って符号化データを復号化する
手段とを含むものである。

【００１５】請求項６記載の発明の二画面多重化動画像
の復号化装置では、請求項４記載の構成に加え、二画面
多重化整形メモリは、復号化タイミング制御信号によっ
て得られた復号化タイミング信号に従って、第１の画面
と第２の画面をそれぞれ別々の第１及び第２のフレーム
メモリに一旦書き込み、第１及び第２のフレームメモリ
から読み出された第１の画面と第２の画面とが交互に多
重化されるように選択する手段を含むものである。

【００１６】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。

【００１７】図１（Ａ）は本発明の一実施例による二画
面多重化動画像用符号化装置を示すブロック図であり、
図１（Ｂ）は本発明の一実施例による二画面多重化動画
像用復号化装置を示すブロック図である。

【００１８】図１（Ａ）を参照して、この符号化装置
は、入力端子１から入力されるフィールド時間毎に２種
類の画面が多重化されたデジタル動画像信号ａをフレー
ム時間毎に二画面多重化した画像データｂに変換すると
ともに、二画面（Ａ画面、Ｂ画面とする）のどちらかを
示す二画面識別信号ｃを出力するフォーマット変換回路
２と、この二画面多重化画像データｂを符号化し、符号
化データｄとこの符号化データｄの符号長ｅとを出力す
る符号化回路３と、この符号化回路３から出力される符
号化データｄを一旦記憶し、一定速度で符号化データｆ
として出力端子８に出力するバッファメモリ４とを備え
ている。このバッファメモリ４はメモリに蓄積されてい
るデータの占有量ｇも出力する。

【００１９】また、符号化装置は、更に、符号化タイミ
ング制御手段を含む符号化タイミング発生回路５と、符
号化パラメータ制御手段と符号化パラメータ選択手段と
を含む符号化パラメータ制御回路６と、発生情報量算出
回路７とを備えている。発生情報量算出回路７は、符号
化回路３から出力される符号長ｅを入力し、各フレーム
期間に発生した符号長ｅを加算して発生情報量ｈを算出
し、符号化パラメータ制御回路６に出力する。符号化タ
イミング発生回路５は、フォーマット変換回路２から出
力される二画面識別信号ｃとバッファメモリ４から出力
されるバッファメモリ占有量ｇとを入力して、符号化許
可信号ｉを符号化回路３に出力し、Ａ画面選択信号ｋと
Ｂ画面選択信号ｌと符号化画面識別信号ｍとを符号化回
路３および符号化パラメータ制御回路６に出力する。そ
して、符号化パラメータ制御回路６は、発生情報量ｈと
フレームの符号化パラメータとに基づいて、符号化パラ
メータを制御し、Ａ画面選択信号ｋとＢ画面選択信号ｌ
と符号化画面識別信号ｍとに従って、次に符号化するＡ
画面かＢ画面のフレームの符号化パラメータｎを決定
し、符号化回路３に出力する。

【００２０】符号化タイミング発生回路５は、バッファ
メモリ４から出力される符号化開始直前のバッファメモ
リ占有量ｇと判定しきい値とを比較して、まず次のフレ
ームが符号化できるか否かを判定し、さらに、フォーマ
ット変換回路２から出力される二画面識別信号ｃに基づ
いて、Ａ画面のフレームとＢ画面のフレームとを交互に
符号化するように符号化許可信号ｉを制御し、また、Ａ
画面選択信号ｋとＢ画面選択信号ｌと符号化画面識別信
号ｍとをも制御するようになっている。符号化回路３
は、符号化許可信号ｉがオン状態になったＡ画面かＢ画
面のフレームの画像データｂを符号化パラメータｎに従
って符号化する。

【００２１】図１（Ｂ）を参照して、入力端子１０から
入力される符号化画像受信信号ｐを一定速度で書き込
み、一旦記憶した後、受信した符号化データｑとこの符
号化データｑの先頭を示す同期信号ｒを出力するバッフ
ァメモリ１１と、符号化データｑを入力して復号化し、
復号画像データｓと二画面（Ａ画面、Ｂ画面とする）の
どちらかを示す二画面識別信号ｖを出力する復号化回路
１２と、この復号化回路１２から出力される復号化画像
データｓをＡ画面とＢ画面それぞれ別々に一旦記憶し、
Ａ画面とＢ画面が１フレーム毎に交互に多重化された二
画面多重化画像データｔを出力する二画面多重化整形メ
モリ１４と、この二画面多重化整形メモリ１４から出力
される二画面多重化画像データｔを入力し、フレーム時
間毎に多重化されている二画面（Ａ画面、Ｂ画面）をフ
ィールド時間毎に２種類の画像が多重化されたデジタル
動画像信号ｕに変換するフォーマット逆変換回路１５
と、復号化タイミング制御手段を含む復号化タイミング
発生回路１３とを備えている。復号化タイミング発生回
路１３は、バッファメモリ１１から出力される同期信号
ｒと、復号化回路１２から出力される二画面識別信号ｖ
とを入力し、Ａ画面選択信号ｗとＢ画面選択信号ｙとを
復号化回路１２および二画面多重化整形メモリ１４に出
力する。

【００２２】図２は、図１における符号化タイミング発
生回路５の構成例を示すブロック図である。この符号化
タイミング発生回路５は比較器５１、セレクタ５２、排
他的論理和（ＥＸＯＲ）ゲート５３、第１および第２の
レジスタ５４および５５、パターン発生器５６、第１お
よび第２のアンドゲート５７および５８によって構成さ
れている。

【００２３】図２において、比較器５１はバッファメモ
リ占有量ｇを予め定めたしきい値と比較し、たとえばバ
ッファメモリ占有量ｇがしきい値よりも小さいとき論理
“１”レベル、それ以外は論理“０”レベルの比較結果
５ａを出力する。第１のレジスタ５４は二画面識別信号
ｃを第１のレジスタクロック５ｄのタイミングで保持
し、前符号化画面識別信号５ｂとして出力する。ＥＸＯ
Ｒゲート５３は、その一方の入力端子に二画面識別信号
ｃを、前符号化画面識別信号５ｂを他方の入力端子に受
け、排他的論理和結果を符号化許可選択信号５ｃとして
セレクタ５２の選択端子に供給する。すなわち、符号化
許可選択信号５ｃは二画面識別信号ｃと前符号化画面識
別信号５ｂの両者が異なる値のときには論理“１”レベ
ル、同じ値のときには論理“０”レベルとなる。セレク
タ５２は、符号化許可選択信号５ｃが論理“１”レベル
のとき比較器５１の出力を、論理“０”レベルのとき０
の値を選択し、符号化許可信号ｉとして出力する。この
結果、Ａ画面（二画面識別信号ｃが論理“０”レベル）
とＢ画面（二画面識別信号ｃが論理“１”レベル）が交
互に符号化されるように符号化許可信号ｉで制御でき
る。

【００２４】パターン発生器５６は、二画面識別信号
ｃ、画像データｂおよび符号化許可信号ｉを受け、それ
ぞれ各フレームの先頭画素および最終画素に対応する第
１および第２のパルス信号と、Ａ画面選択信号ｋおよび
Ｂ画面選択信号ｌとを発生する。

【００２５】符号化許可信号ｉは、第１および第２のア
ンドゲート５７および５８の一方の入力端子に入力され
る。これらアンドゲートの他方の入力端子にはパターン
発生器５６からの第１および第２のパルス信号がそれぞ
れ入力されており、第１のアンドゲート５７の出力は第
１のレジスタクロック５ｄとして、第２のアンドケード
５８の出力は第２のレジスタクロック５ｅとして、それ
ぞれ第１および第２のレジスタ５４および５５へ供給さ
れる。第２のレジスタ５５は、第２のレジスタクロック
５ｅのタイミングで二画面識別信号ｃを保持し、符号化
画面識別信号ｍとして出力する。

【００２６】図３は、図１（Ａ）における符号化パラメ
ータ制御回路６の構成例を示すブロック図である。この
符号化パラメータ制御回路６は、第３および第４のレジ
スタ６１および６３、パラメータＲＯＭ（Ａ）６２、パ
ラメータＲＯＭ（Ｂ）６４および第２のセレクタ６５か
ら構成される。

【００２７】図３において、第３のレジスタ６１は、発
生情報量算出回路７からの発生情報量ｈとパラメータＲ
ＯＭ（Ａ）６２から出力されるＡ画面の符号化パラメー
タ６ｂをＢ画面選択信号ｌによって保持する。同様に、
第４のレジスタ６３は、発生情報量ｈとパラメータＲＯ
Ｍ（Ｂ）６４から出力されるＢ画面の符号化パラメータ
６ｅをＡ画面選択信号ｋによって保持する。パラメータ
ＲＯＭ（Ａ）６２は、第３のレジスタ６１から出力され
る前回符号化したＡ画面に対する発生情報量６ａと符号
化パラメータ６ｃとに基づき、次に符号化するＡ画面の
符号化パラメータ６ｂを出力する。同様に、パラメータ
ＲＯＭ（Ｂ）６４は、第４のレジスタ６３から出力され
る前回符号化したＢ画面に対する発生情報量６ｄと符号
化パラメータ６ｆとに基づき、次に符号化するＢ画面の
符号化パラメータ６ｅを出力する。第２のセレクタ６５
は、符号化画面識別信号ｍに従ってＡ画面の符号化パラ
メータ６ｂとＢ画面の符号化パラメータ６ｅの一方を選
択し、選択したパラメータを符号化パラメータｎとして
出力する。この符号化パラメータｎは各Ａ・Ｂ画面に対
して、それぞれの発生情報量が大きいときには前回のパ
ラメータよりも粗く、例えば、量子化のステップ幅は粗
くされ、逆に、発生情報量が少ないときは前回のパラメ
ータよりも細かくされるよう、予めパラメータＲＯＭ
（Ａ）６２およびパラメータＲＯＭ（Ｂ）６４に書き込
まれている。

【００２８】図４は、図１（Ａ）における符号化回路３
の構成例を示すブロック図である。符号化回路３は、第
３のセレクタ３１、量子化器３２、逆量子化器３３、可
変長符号化回路３４、フレームメモリ（Ａ）３５、フレ
ームメモリ（Ｂ）３６、第４のセレクタ３７、多重化回
路３８、減算器３９および加算器４０から構成される。

【００２９】図４において、第３のセレクタ３１は符号
化許可信号ｉによって、二画面多重化画像データｂと予
測信号３ｂの一方を選択する。本実施例では符号化する
とき、すなわち符号化許可信号ｉが論理“１”レベルの
とき、第３のセレクタ３１は二画面多重化画像データｂ
を選択する。選択された信号３ａは減算器３９の一方の
入力端子に入力される。減算器３９は選択された信号３
ａと予測信号３ｂとの差をとり、減算結果を予測誤差信
号として量子化器３２に入力する。量子化器３２は符号
化パラメータｎに従い予測誤差信号を量子化し、量子化
結果を量子化レベル番号３ｃとして逆量子化器３３およ
び可変長符号化回路３４へ供給する。逆量子化器３３は
量子化レベル番号３ｃを予測誤差信号に逆量子化し、加
算器４０に出力する。加算器４０は予測信号３ｂと逆量
子化された予測誤差信号とを加算し、加算結果を局部復
号画像データ３ｄとして出力する。局部復号画像データ
３ｄはフレームメモリ（Ａ）３５およびフレームメモリ
（Ｂ）３６に入力される。可変長符号化回路３４では量
子化レベル番号３ｃをエントロピー符号化によるコード
変換を行って圧縮符号化し、コード変換したときの符号
長ｅと符号化データ３ｇとを出力する。多重化回路３８
は符号化データ３ｇに符号化パラメータｎと符号化画面
識別信号ｍとを多重化し、多重化したデータを符号化デ
ータｄとして出力する。

【００３０】フレームメモリ（Ａ）３５に対する局部復
号画像データ３ｄの書き込みはＡ画面選択信号ｋが論理
“１”レベルのときに行われる。同様に、フレームメモ
リ（Ｂ）３６に対する局部復号画像データ３ｄの書き込
みはＢ画面選択信号ｌが論理“１”レベルのときに行わ
れる。そして、フレームメモリ（Ａ）３５から読み出さ
れるＡ画面予測信号３ｅとフレームメモリ（Ｂ）３６か
ら読み出されるＢ画面予測信号３ｆとはセレクタ３７に
おいて、符号化画像識別信号ｍに応じて一方が選択さ
れ、選択された信号は次の符号化フレームに対する予測
信号３ｂとして減算器３９へ供給される。本実施例で
は、セレクタ３７は、符号化画面識別信号ｍが論理
“０”レベルのときＡ画面予測信号３ｅを、論理“１”
レベルのときＢ画面予測信号３ｆを選ぶとしている。

【００３１】次に、図５に示したタイミングチャートを
参照して、図１（Ａ）に示した符号化装置の動作につい
て説明する。

【００３２】図５（１）はフィールド二画面多重化デジ
タル画像信号ａを示し、“Ａ”、“Ｂ”はそれぞれフィ
ールド多重されたＡ画面、Ｂ画面を示す。二画面多重化
デジタル画像信号ａはフォーマット変換回路２で１フレ
ーム間引きされ、図５（２）に示すようにフレーム単位
にＡ画面とＢ画面とを多重化した二画面多重化データｂ
に変換される。フォーマット変換回路２はまた、二画面
多重化画像データｂがＡ画面かＢ画面かを示す二画面識
別信号ｃを図５（３）のように出力する。

【００３３】図５の（４）はバッファメモリ占有量ｇを
示し、符号化により増加し、符号化しない期間では一定
速度で減少する。このときの符号化許可信号ｉは図５
（５）のように判定される。図５（５）において破線部
分はＡ画面とＢ画面とを交互に符号化するように修正さ
れたことを示している。

【００３４】符号化タイミング発生回路５において、図
５（６）は、レジスタクロック５ｄの波形を示し、図５
（７）は、レジスタクロック５ｅの波形を示している。
図５（８）は、二画面識別信号ｃをレジスタクロック５
ｄでサンプリングした前符号画面識別信号５ｂを示して
いる。図５（９）は、二画面識別信号ｃをレジスタクロ
ック５ｅでサンプリングした符号画面識別信号ｍを示し
ている。図５（１０）は、二画面識別信号ｃと前符号画
面識別信号５ｂとの排他的論理和をとったときの出力で
あり、符号化許可信号の修正のために使用する符号化許
可選択信号５ｃを示している。

【００３５】図５（１１）は、符号化フレームの発生情
報量ｈを示している。符号化回路３から出力される符号
長ｅを入力して、符号長ｅを１フレーム累積加算した結
果から発生情報量ｈ（図において、Ｉ_A0、Ｉ_B0、Ｉ_A1、
Ｉ_B1で示す）が得られる。

【００３６】図５（１２）は、符号化タイミング発生回
路５から出力されるＢ画面選択信号ｌを示し、符号化パ
ラメータ制御回路６と符号化回路３とに入力される。図
５（１３）は、符号化タイミング発生回路５から出力さ
れるＡ画面選択信号ｋを示し、符号化パラメータ制御回
路６と符号化回路３とに入力される。

【００３７】符号化パラメータ制御回路６において、図
５（１４）は、発生情報量ｈをＢ画面選択信号ｌでサン
プリングしたＡ画面の発生情報量６ａ（図において、Ｉ
_A0、Ｉ_A1で示す）を示す。図５（１５）は、発生情報量
ｈをＡ画面選択信号ｋでサンプリングしたＢ画面の発生
情報量６ｄ（図において、Ｉ_B-1 、Ｉ_B0、Ｉ_B1で示す）
を示す。図５（１６）は、前回Ａ画面を符号化したとき
の符号化パラメータ６ｂをＢ画面選択信号ｌでサンプリ
ングしたＡ画面符号化パラメータ６ｃ（図において、Ｐ
_A0、Ｐ_A1で示す）を示す。図５（１７）は、前回Ｂ画面
を符号化したときの符号化パラメータ６ｅをＡ画面選択
信号ｋでサンプリングしたＢ画面符号化パラメータ６ｆ
（図において、Ｐ_B-1 、Ｐ_B0、Ｐ_B1で示す）を示す。図
５（１８）は、Ａ画面の発生情報量６ａとＡ画面符号化
パラメータ６ｃをパラメータＲＯＭ（Ａ）６２に入力
し、出力される次に符号化するフレームの符号化パラメ
ータ６ｂ（図において、Ｐ_A1、Ｐ_A2で示す）と、Ｂ画面
の発生情報量６ｄとＢ画面符号化パラメータ６ｆをパラ
メータＲＯＭ（Ｂ）６４に入力し、出力される次に符号
化するフレームの符号化パラメータ６ｅ（図において、
Ｐ_B0、Ｐ_B1で示す）とをセレクタ６５に入力し、符号化
画面識別信号ｍで選択されて出力される符号化パラメー
タｎを示している。

【００３８】図６は、図１（Ｂ）における復号化タイミ
ング発生回路１３の構成例を示すブロック図である。復
号化タイミング発生回路１３はフレーム同期発生回路１
３１、ゲート回路（Ａ）１３２、ゲート回路（Ｂ）１３
３、および反転ゲート１３４によって構成されている。

【００３９】図６において、フレーム同期発生回路１３
１は、バッファメモリ１１から出力された同期信号ｒを
入力し、画像のフレーム周期に同期し、また受信した符
号化データが復号化される有効期間だけフレーム同期信
号１３ａを発生し出力する。このフレーム同期信号１３
ａは、ゲート回路（Ａ）１３２とゲート回路（Ｂ）１３
３とに入力する。復号化回路１２から出力された二画面
識別信号ｖは、反転ゲート１３４に入力し、ここで二画
面識別反転信号１３ｂとされる。ゲート回路（Ａ）１３
２は、フレーム同期信号１３ａと二画面識別反転信号１
３ｂとを入力し、二画面識別反転信号１３ｂが論理
“１”レベルのときはフレーム同期信号１３ａそのまま
の信号を、論理“０”レベルのときは論理“０”レベル
の信号を、Ａ画面選択信号ｗとして出力する。同様に、
ゲート回路（Ｂ）１３３は、フレーム同期信号１３ａと
二画面識別信号ｖとを入力し、二画面識別信号ｖが論理
“１”レベルのときはフレーム同期信号１３ａそのまま
の信号を、論理“０”レベルのときは論理“０”レベル
の信号を、Ｂ画面選択信号ｙとして出力する。

【００４０】図７は、図１（Ｂ）における復号化回路１
２の構成例を示すブロック図である。復号化回路１２
は、分離回路１２１、可変長復号化回路１２２、逆量子
化器１２３、加算器１２４、フレームメモリ（Ａ）１２
５、フレームメモリ（Ｂ）１２６、およびセレクタ１２
７から構成される。

【００４１】図７において、分離回路１２１は、符号化
データｑから二画面識別信号ｖと符号化パラメータ１２
ｇを分離し、符号化データｑと二画面識別信号ｖと符号
化パラメータ１２ｇとを出力する。可変長復号化回路１
２２は、エントロピー符号化によるコード変換を行って
圧縮符号化された符号化データ１２ａを、逆に伸長復号
化し、量子化レベル番号１２ｂを出力する。逆量子化器
１２３は、符号化パラメータ１２ｇに従って量子化レベ
ル番号１２ｂを予測誤差信号１２ｃに逆量子化し、予測
誤差信号１２ｃを加算器１２４の一方の入力端子へ供給
する。加算器１２４の他方の入力端子には、セレクタ１
２７から出力される予測信号１２ｄが供給され、加算器
１２４は復号画像データｓを発生する。復号画像データ
ｓは、フレームメモリ（Ａ）１２５およびフレームメモ
リ（Ｂ）１２６に入力する。

【００４２】フレームメモリ（Ａ）１２５に対する復号
画像データｓの書き込みはＡ画像選択信号ｗが論理
“１”レベルのときに行われる。同様に、フレームメモ
リ（Ｂ）１２６に対する復号画像データｓの書き込みは
Ｂ画像選択信号ｙが論理“１”レベルのときに行われ
る。そして、フレームメモリ（Ａ）１２５から読み出さ
れるＡ画面予測信号１２ｅとフレームメモリ（Ｂ）１２
６から読み出されるＢ画面予測信号１２ｆとは、セレク
タ１２７へ供給される。セレクタ１２７は、二画面識別
信号ｖに応じてＡ画面予測信号１２ｅかＢ画面予測信号
１２ｆのいずれか一方を選択し、選択した信号を次に復
号化するフレームの予測信号１２ｄとして出力する。本
実施例では、セレクタ１２７は、二画面識別信号ｖが論
理“０”レベルのときＡ画面予測信号１２ｅを、論理
“１”レベルのときＢ画面予測信号１２ｆを選ぶとして
いる。

【００４３】図８は、図１（Ｂ）における二画面多重化
整形メモリ１４の構成例を示すブロック図である。二画
面多重化整形メモリ１４は、フレームメモリ（Ｃ）１４
１、フレームメモリ（Ｄ）１４２、選択回路１４３およ
び選択信号発生回路１４４から構成される。

【００４４】図８において、復号画像データｓは、フレ
ームメモリ（Ｃ）１４１とフレームメモリ（Ｄ）１４２
とに入力する。Ａ画面選択信号ｗが論理“１”レベルの
とき、復号画像データｓ中のＡ画面のデータがフレーム
メモリ（Ｃ）１４１に書き込まれながら、そのまま出力
される。Ａ画面選択信号ｗが論理“０”レベルのとき
は、フレーム毎に書き込まれたＡ画面のデータがフレー
ムメモリ（Ｃ）１４１から繰り返し読み出される。同様
に、Ｂ画面選択信号ｙが論理“１”レベルのとき、復号
画像データｓ中のＢ画面のデータがフレームメモリ
（Ｄ）１４２に書き込まれながら、そのまま出力され
る。Ｂ画面選択信号ｙが論理“０”レベルのときは、フ
レーム毎に書き込まれたＢ画面のデータがフレームメモ
リ（Ｄ）１４２から繰り返し読み出される。フレームメ
モリ（Ｃ）１４１から読み出されたＡ画面の復号画像デ
ータ１４ａとフレームメモリ（Ｄ）１４２から読み出さ
れたＢ画面の復号画像データ１４ｂとは選択回路１４３
に供給される。選択信号発生回路１４４はＢ画面選択信
号ｙを入力し、Ａ画面とＢ画面とをフレーム毎に交互に
選択する画面切替信号１４ｃを出力する。選択回路１４
３は画面切替信号１４ｃに従ってＡ画面の復号画像デー
タ１４ａとＢ画面の復号画像データ１４ｂとをフレーム
毎に選択し、新たに二画面多重化画像データｔを出力す
る。本実施例では、選択信号発生回路１４４にＢ画面選
択信号ｙを入力しているが、Ａ画面選択信号ｗを入力し
てもよい。

【００４５】次に、図９に示したタイミングチャートを
参照して、図１（Ｂ）に示した復号化装置の動作につい
て説明する。

【００４６】図９（１）は入力される符号化データｐを
示し、“Ａ₁ ”と“Ａ₂ ”はＡ画面、“Ｂ₀ ”と
“Ｂ₁ ”はＢ画面を示す。図９（２）はバッファメモリ
占有量を示し、符号化データｐが一定速度で入力される
につれて増加し、バッファメモリ１１からデータを読み
出してアンダーフローしないと判断されたとき、１フレ
ーム分読み出されて減少する。バッファメモリ１１から
符号化データが読み出されるとき、バッファメモリ１１
は符号化データの先頭を示す同期信号ｒを図９（３）の
ように出力する。

【００４７】復号化タイミング発生回路１３において、
図９（４）はフレーム同期信号１３ａの波形を示し、図
９（５）は二画面識別信号ｖを示している。図９（６）
はＡ画面選択信号ｗを示し、二画面識別信号ｖが論理
“０”レベルのときフレーム同期信号が出力される。図
９（７）はＢ画面選択信号ｙを示し、二画面識別信号ｖ
が論理“１”レベルのときフレーム同期信号が出力され
る。

【００４８】図９（８）は復号画像データｓを示す。復
号画像データｓは、Ａ画面選択信号ｗが論理“１”レベ
ルのときＡ画面（図において、Ａ₀ 、Ａ₁ で示す）を示
し、Ｂ画面選択信号ｙが論理“１”レベルのときＢ画面
（図において、Ｂ₀ 、Ｂ₁ で示す）を示す。Ａ画面選択
信号ｗおよびＢ画面選択信号ｙがともに論理“０”レベ
ルのときは、不定データが出力されるか、あるいは復号
化された画面のデータがフレーム毎に繰り返し出力され
る。

【００４９】二画面多重化整形メモリ１４において、図
９（９）は、フレームメモリ（Ｃ）１４１から出力され
るＡ画面の復号画像データ１４ａ（図において、Ａ₀ 、
Ａ₁で示す）を示す。図９（１０）は、フレームメモリ
（Ｄ）１４２から出力されるＢ画面の復号画像データ１
４ｂ（図において、Ｂ_-1、Ｂ₀ 、Ｂ₁ で示す）を示す。
図９（１１）は、選択信号発生回路１４４から出力され
る画面切替信号１４ｃを示す。選択回路１４３は、画面
切替信号１４ｃが論理“０”レベルのときＡ画面を選択
し、論理“１”レベルのときＢ画面を選択する。図９
（１２）は、画面切替信号１４ｃによってＡ画面の復号
画像データ１４ａとＢ画面の復号画像データ１４ｂとが
交互に選択された結果、すなわち、二画面多重化画像デ
ータｔを示す。図９（１３）は、フォーマット逆変換回
路１５によって、フレーム時間単位の二画面多重フォー
マットからフィールド時間単位の二画面多重フォーマッ
トに変換されたデジタル動画像信号ｕを示す。

【００５０】

【発明の効果】以上説明したように、本発明の符号化装
置によれば、バッファメモリから出力される符号化開始
直前の占有量情報によって次のフレームが符号化できる
か否かを判定し、さらにフォーマット変換回路から出力
される二画面識別信号に基づいて、Ａ画面のフレームと
Ｂ画面のフレームとを交互に符号化するように、符号化
タイミング信号および符号化許可信号を制御するので、
二画面（Ａ・Ｂ）それぞれの動きに対する追従性を損な
うことなく効率のよい予測符号化ができるという効果が
ある。

【００５１】また、本発明の復号化装置によれば、送ら
れてきた符号化データから二画面識別信号を分離し、こ
の二画面識別信号に基づいて、Ａ画面のフレームとＢ画
面のフレームとを交互に復号化するように、復号化タイ
ミング信号を制御するので、二画面（Ａ・Ｂ）それぞれ
の動きに対する追従性を損なうことなく効率のよい予測
復号化ができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による二画面多重化動画像の
符号化装置／復号化装置の構成を示すブロック図であ
る。

【図２】図１（Ａ）における符号化タイミング発生回路
の構成を示すブロック図である。

【図３】図１（Ａ）における符号化パラメータ制御回路
の構成を示すブロック図である。

【図４】図１（Ａ）における符号化回路の構成を示すブ
ロック図である。

【図５】図１（Ａ）における二画面多重化動画像の符号
化装置の動作を説明するためのタイミングチャートであ
る。

【図６】図１（Ｂ）における復号化タイミング発生回路
の構成を示すブロック図である。

【図７】図１（Ｂ）における復号化回路の構成を示すブ
ロック図である。

【図８】図１（Ｂ）における二画面多重化整形メモリの
構成を示すブロック図である。

【図９】図１（Ｂ）における二画面多重化動画像の復号
化装置の動作を説明するためのタイミングチャートであ
る。

【図１０】従来の二画面スプリット合成動画像の符号化
装置／復号化装置の構成を示すブロック図である。

【図１１】従来の二画面スプリット合成画面を示す説明
図である。

【符号の説明】

１ 入力端子 ２ フォーマット変換回路 ３ 符号化回路 ４ バッファメモリ ５ 符号化タイミング発生回路 ６ 符号化パラメータ制御回路 ７ 発生情報量算出回路 ８ 出力端子 １０ 入力端子 １１ バッファメモリ １２ 復号化回路 １３ 復号化タイミング発生回路 １４ 二画面多重化整形メモリ １５ フォーマット逆変換回路 １６ 出力端子

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24,7/68 H04N 7/025,7/088 G06T 9/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 第１の画面と第２の画面との二画面から
   成る２種類の異なる絵柄の画像信号を多重化して符号化
   する動画像符号化装置において、 フィールド時間毎に前記第１の画面と前記第２の画面と
   が交互に多重化されたデジタル画像信号を入力し、フレ
   ーム時間毎に交互に多重化した二画面多重化画像データ
   に変換し、この二画面多重化画像データと多重化された
   二画面を識別する二画面識別信号とを出力するフォーマ
   ット変換回路と、 該フォーマット変換回路から出力される二画面多重化画
   像データと符号化許可信号とを入力し、この符号化許可
   信号入力時には、符号化画像識別信号に応じて前記二画
   面多重化画像データを符号化パラメータに従って符号化
   し、符号化画像データとこの符号化画像データの符号長
   情報とを出力する符号化回路と、 該符号化回路から出力される符号化画像データを一旦記
   憶し一定速度で出力すると共に、データの占有量情報を
   出力するバッファメモリと、 前記符号化回路から出力される符号長情報を入力し、符
   号化された直後のフレームの発生情報量を算出する発生
   情報量算出回路と、 該発生情報量算出回路から出力された発生情報量に基づ
   いて、前記符号化回路での符号化に必要な前記符号化パ
   ラメータを制御する符号化パラメータ制御回路と、 前記バッファメモリから出力される符号化開始直前の占
   有量情報によって次のフレームが符号化できるか否かを
   判定し、前記フォーマット変換回路から出力される二画
   面識別信号に基づいて、前記符号化回路において第１の
   画面のフレームと第２の画面のフレームとを交互に符号
   化するように、符号化すべき画面を識別するための前記
   符号化画像識別信号および前記符号化許可信号を発生す
   る符号化タイミング制御手段とを具備したことを特徴と
   する二画面多重化動画像の符号化装置。
2. 【請求項２】 前記符号化回路は、 前記第１の画面に対応する第１の局部復号画像データを
   記憶する第１のフレームメモリと、 前記第２の画面に対応する第２の局部復号画像データを
   記憶する第２のフレー ムメモリと、 前記符号化タイミング制御手段によって得られた前記符
   号化画像識別信号に従って、前記第１及び前記第２のフ
   レームメモリからの符号化予測値をフレーム単位に選択
   する符号化予測値選択手段と、 前記符号化予測値選択手段によって選択された予測値と
   前記符号化パラメータ制御回路から出力される符号化パ
   ラメータに従って前記二画面多重化画像データを符号化
   して符号化データを出力する符号化手段と、 前記符号化データと前記第１の画面と前記２の画面 のど
   ちらかのフレームが符号化されたかを示す識別信号と前
   記符号化パラメータとを多重化して、前記符号化画像デ
   ータを出力する多重化手段とを備えたことを特徴とする
   請求項１記載の二画面多重化動画像の符号化回路。
3. 【請求項３】 前記符号化パラメータ制御回路は、 前記発生情報量算出回路で算出された発生情報量を第１
   の画面、第２の画面別に一旦保持し、この保持された発
   生情報量と前回符号化したときの符号化パラメータに基
   づいて、第１の画面と第２の画面別々に符号化パラメー
   タを決定する符号化パラメータ制御手段と、 次に符号化されるフレームが第１の画面か第２の画面か
   によって前記符号化パラメータ制御手段で決定されたそ
   れぞれの符号化パラメータのどちらかを選択する符号化
   パラメータ選択手段とを具備したことを特徴とする請求
   項１記載の二画面多重化動画像の符号化装置。
4. 【請求項４】 第１の画面と第２の画面との二画面から
   成る２種類の異なる絵柄の画像信号を多重化して符号化
   したデジタル信号を受信し、画像信号に復号する動画像
   復号化装置において、 入力された符号化画像データを一定速度で書き込み、一
   旦記憶した後、符号化画像データと画像同期信号とを出
   力するバッファメモリと、 該バッファメモリから出力される符号化画像データを入
   力して復号化し、多重化された前記二画面を識別する二
   画面識別信号と復号化された画像データとを出力する復
   号化回路と、 該復号化回路から出力される画像データを入力し、第１
   の画面と第２の画面とを復号化タイミング信号に従って
   交互に多重化整形し、前記第１の画面と前記第２の画面
   とがフレーム時間毎に交互に多重化された二画面多重化
   画像データを出力する二画面多重化整形メモリと、 該二画面多重化整形メモリから出力される前記二画面多
   重化画像データを入力し、当該二画面多重化画像データ
   を、フィールド時間毎に交互に多重化された画像信号に
   逆変換するフォーマット逆変換回路と、 前記バッファメモリから出力される画像同期信号と前記
   復号化回路から出力される二画面識別信号とを入力し、
   該二画面識別信号に基づいて第１の画面のフレームと第
   ２の画面のフレームとを交互に復号化するように、前記
   復号化タイミング信号を発生する復号化タイミング制御
   手段とを具備したことを特徴とする二画面多重化動画像
   の復号化装置。
5. 【請求項５】 前記復号化回路は、前記第１の画面用の第１の復号画像データを記憶する第
   １のフレームメモリと、 前記第２の画面用の第２の復号画像データを記憶する第
   ２のフレームメモリと、 前記符号化画像データから、第１の画面と第２の画面の
   どちらかのフレームを示す識別信号と符号化に使用され
   た符号化パラメータと符号化データとを分離する手段
   と、 前記識別信号に従って、前記第１及び前記第２の フレー
   ムメモリからの復号化予測値をフレーム単位に選択する
   復号化予測値選択手段と、 前記復号化予測値選択手段によって選択された予測値と
   前記符号化パラメータとに従って前記符号化データを復
   号化する手段とを具備したことを特徴とする請求項４記
   載の二画面多重化動画像の復号化装置。
6. 【請求項６】 前記二画面多重化整形メモリは、前記復
   号化タイミング制御信号によって得られた前記復号化タ
   イミング信号に従って、第１の画面と第２の画面をそれ
   ぞれ別々の第１及び第２のフレームメモリに一旦書き込
   み、前記第１及び前記第２のフレームメモリから読み出
   された第１の画面と第２の画面とが交互に多重化される
   ように選択する手段を具備したことを特徴とする請求項
   ４記載の二画面多重化動画像の復号化装置。