JPH0870475A - 立体動画像の符号化・復号化方法及び装置 - Google Patents

Abstract

(57)【要約】 右目用及び左目用動画像からなる立体動画像の符号化効
率を高める。 【構成】右目用及び左目用の動画像１，２を合成器Ｍを
用いて１水平走査線毎に合成してフレーム画像３を形成
し、その合成されたフレーム画像３をＭＰＥＧ（Moving
Picture Image Coding Experts Group ）方式のエンコ
ーダ４を用いて符号化するようにした。この方法によれ
ば、合成されたフレーム画像３をＭＰＥＧ方式を利用し
て効率良く符号化することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は右目用及び左目用の動画
像からなる立体動画像信号の符号化・復号化方法及び装
置に関する。

【０００２】

【従来の技術】右目用及び左目用のデジタル動画像から
なる立体動画像を符号化する方法として、例えば、以下
に示す３つの方法がある。第１の方法は、例えば、特開
平６−１５３２３９号において、主画像（右目画像）を
そのまま符号化し、副画像（左目画像）を主画像を参照
しつつ視差の補償を行い、その結果得られる圧縮データ
を符号化する。第２の方法は、主画像をそのまま符号化
し、副画像を主画像または他の副画像を参照して視差補
償及び動き補償を行い、これらの補償の結果得られるデ
ータを符号化する。第３の方法は、ＭＰＥＧ（Moving P
icture Image Coding Experts Group)方式に従い、主画
像及び副画像を独立してそれぞれを符号化する。上記し
た第１〜第３の方法で得られた立体動画像信号の符号化
データを復号する場合、符号化とは逆の処理を行って再
生画像を得る。

【０００３】第３の方法におけるＭＰＥＧは、ＩＳＯ
（International Organization for Standardization)
傘下に設立された画像圧縮の標準化委員会の名称「Movi
ng Picture Experts Group」の略である。ＭＰＥＧに
は、主にエンコードレートの違いにより、現在のところ
ＭＰＥＧ−１，ＭＰＥＧ−２の２つの規格がある。ＭＰ
ＥＧ−１はＩＳＯ／ＩＥＣ １１１７２に標準規格とし
て規定されており、ＭＰＥＧ−２はＩＳＯ／ＩＥＣ １
３８１８に標準規格草案として規定されている。ＵＳＰ
５２３１４８４，ＵＳＰ５２９３２２９及びＵＳＰ５３
２５１２５は，このＭＰＥＧに関する技術を開示してい
る。ＭＰＥＧ規格に従い符号化を行うエンコーダは、ビ
ットストリームシンタクスと呼ばれるフォーマット形式
で画像データを扱う。シンタクスはブロックと、複数の
ブロックを含むマクロブロックと、複数のマクロブロッ
クを含むスライスと、複数のスライスを含むピクチャ
と、複数のピクチャを含むＧＯＰ（Group of Picture)
と、複数のＧＯＰを含むシーケンスからなる階層構造を
もつ。マクロブロックは予測符号化の単位となるデータ
であり、１６×１６画素から成る。

【０００４】ＭＰＥＧ方式のエンコーダは、動き補償付
き予測符号化、離散コサイン変換（ＤＣＴ；Discrete C
osine Transformation) 、適応量子化、ハフマン符号化
を行ってＩピクチャ，Ｐピクチャ，Ｂピクチャを生成す
る。ＭＰＥＧ−１エンコーダは、Ｂピクチャを生成する
ための動き補償付き予測において、まず、現画面と、そ
の現画面に時間的に先行する参照画面内及び／又は時間
的に後続する参照画面とを照らし合わせる。次に、エン
コーダは現画面内のデータ圧縮の対象となる領域の現マ
クロブロックに最も似ている参照画面の領域の参照マク
ロブロックを、その参照画面から探し出す。そして、エ
ンコーダは、探し出された参照マクロブロックと現マク
ロブロックとの差分値を求める。このとき、エンコーダ
は、現マクロブロックの位置から参照マクロブロックの
位置を指示するベクトル（動きベクトルと呼ばれる）を
検出する。例えば、特開平４−１４５７７７号公報、特
開平４−７９４８４号公報、特開平３−４０６８７号公
報、特開平４−２０７７９０号公報、特開平４−２３４
２７６号公報、及び特開平４−４０１９３号公報は動き
ベクトルの検出の技術を開示している。ＭＰＥＧ規格Ｉ
ＳＯ／ＩＥＣ １１１７２には、フルサーチ法、ロガリ
ズミックサーチ法、テレスコピックサーチ法等の動きベ
クトルの検出方法が示されている。

【０００５】エンコーダは、動き補償付き予測により得
られた現マクロブロックと参照マクロブロックの差分デ
ータに対して、ＤＣＴ、量子化、可変長符号化を行いデ
ータを圧縮する。ＭＰＥＧ−１エンコーダは１６×１６
画素（マクロブロック）を４つに分割した８×８画素単
位（ブロック）でＤＣＴを行う。エンコーダは、圧縮さ
れた差分データを伸長して、その伸長された差分データ
に参照マクロブロック（このマクロブロックは動きベク
トルにより参照画面内で指定される。）の画像データを
加算して、現マクロブロックの画像データを再現するこ
とができる。エンコーダは、差分データの伸長の際、可
変長復号化、逆量子化、逆ＤＣＴを行う。エンコーダ
は、現画面に対して時間的に先行する少なくとも１画面
及び時間的に後続する少なくとも１画面のそれぞれの画
像データを自己のメモリ内に記憶する。

【０００６】

【発明が解決しようとする課題】上記した第１及び第２
の方法において主画像及び副画像の処理をそれぞれ別々
に行うことは、両画像の符号化時のタイミングの制御や
両画像の符号量の管理が複雑となるという問題点があ
る。更に、両方法において右目画像と左目画像との画質
を均等にするために、両画像の符号量を管理及び制御す
ることは困難であるという問題点もある。

【０００７】上記した第３の方法において、平均的に右
目動画像と左目動画像が互いに相関性を持っているにも
かかわらず各々を単独に符号化することは、符号化処理
の圧縮効率の向上を妨げる。立体画像は、右目動画像と
左目動画像の差が大きいほど立体感がある。しかし、画
面全体をとおして両画像が全く異なることは少なく、か
つ、このように異なる画面が長時間続くことも少ない。
従って、両画像は類似しており、この類似した両画像を
別々に符号化することは、圧縮効率を低下させることに
なる。

【０００８】本発明は上記問題点を解決するためになさ
れたものであって、その目的は、立体動画像信号の圧縮
効率を高くすることができる符号化方法及び装置を提供
することにある。

【０００９】第２の目的は、前記方法及び装置により符
号化（圧縮）された立体動画像信号を効率良く復号化
（伸長）することができる立体動画像信号の復号化方法
及び装置を提供することにある。

【００１０】

【課題を解決するための手段】上記課題を解決するため
請求項１〜６に記載の発明は、合成器により、フレーム
単位の右目用の動画像信号とフレーム単位の左目用の動
画像信号とを、１水平走査線毎にマージし、このマージ
した動画像信号をＭＰＥＧ２方式のエンコーダによりフ
レーム構造で符号化する。この場合、フレーム単位の動
画像信号とは、ノンインタレース走査の動画像信号又
は、インタレース走査のフィールド画像の２フィールド
を合成したノンインタレース動画像信号であってもよ
い。更に、ノンインタレース動画像信号は、垂直フィル
タを用いて垂直方向のフィルタ処理を行うようにしても
よい。このフィルタ処理は、ノンインタレース動画像信
号の垂直方向の差成分が大きい場合に行われるようにし
てもよい。又、合成器により、フィールド単位の右目用
の動画像信号とフィールド単位の左目用の動画像信号と
を、１水平走査線毎にマージし、このマージした動画像
信号をＭＰＥＧ２方式のエンコーダによりフレーム構造
で符号化してもよい（請求項６〜８は第１の方法に対応
する）。

【００１１】請求項７に記載の発明は、左目用の動画像
信号と右目用の動画像信号とを１画面毎に交互にマージ
し、このマージした動画像信号をＭＰＥＧ２方式のエン
コーダによりフィールド構造で符号化する。又、請求項
８に記載の発明は、フィールド単位の右目用の動画像信
号とフィールド単位の左目用の動画像信号とをフィール
ド毎に合成して合成動画像信号を形成し、その合成動画
像信号をフィールド構造のＭＰＥＧ２方式のエンコーダ
により符号化する（請求項７，８は第２の方法に対応す
る）。

【００１２】請求項９及び１０に記載の発明は、左動画
像と右動画像とを用いた立体動画像信号の符号化方法で
あって、前記左右動画像の各々はピクチャであり、左動
画像におけるピクチャは、インタレース走査された奇数
ライン画像から形成された第１フィールドと、インタレ
ース走査された偶数ライン画像から形成された第２フィ
ールドとを備えており、前記右動画像におけるピクチャ
は、インタレース走査された奇数ライン画像から形成さ
れた第３フィールドと、インタレース走査された偶数ラ
イン画像から形成された第４フィールドとを備えてお
り、前記第１及び第３フィールドにおけるライン画像を
合成して、該第１及び第３フィールドの奇数ラインが交
互に配置された第１合成フィールドを生成するステップ
と、前記第２及び第４フィールドにおけるライン画像を
合成して、該第２及び第４フィールドの偶数ラインが交
互に配置された第２合成フィールドを生成するステップ
と、ＭＰＥＧ−２に適合するエンコーダを用いて、前記
第１及び第２合成フィールドを符号化するステップとを
備えている。この符号化ステップにおいて用いられるエ
ンコーダは、ＭＰＥＧ−２のフレーム構造に適合するエ
ンコーダであってもよい（請求項９及び１０は第３の方
法に対応する）。

【００１３】請求項１１，１２に記載の発明は、上記第
１〜第３の方法において、符号化された立体動画像情報
に立体動画像の符号化に関連する情報を付加する。この
関連情報は、符号化された情報が立体画像情報か否かを
表す情報、前記左右動画像を合成する際の所定単位の仕
様を表す情報、元の画像信号がインタレース走査か否か
を表す情報のうち少なくとも１つを含む。

【００１４】請求項１３及び１４に記載の発明は、第２
の方法に使用する符号化装置であり、その装置は、右目
用の動画像信号と左目用の動画像信号とを、１画面毎に
合成する合成器と、この合成した画像信号を１６×１６
画素のマクロブロック単位で画像圧縮符号化するエンコ
ーダとを備えている。更に、このエンコーダは、合成さ
れた動画像信号を１６×１６画素のマクロブロック単位
で動き補償フィ−ルド間予測符号化により圧縮符号化す
る第１予測符号化手段と、１６×１６画素のマクロブロ
ックを、その上部１６×８画素のアッパ−ブロックと、
下部１６×８画素のロウアーブロックの単位で個別に動
き補償フィールド間予測符号化により圧縮符号化する第
２予測符号化手段と、この第１予測符号化手段による符
号化画像データと、この第２予測符号化手段よる符号化
画像データとの内、符号量が少ないと判定された画像デ
ータを選択的に出力する選択手段とを備える。

【００１５】請求項１５，１６に記載の発明は、更に、
前記符号化装置が符号化した立体動画像情報に立体動画
像の符号化に関連する情報を付加するための挿入器を備
えている。

【００１６】請求項１７に記載の発明は、請求項１に記
載の第１の符号化方法によって符号化された合成動画像
をフレーム構造のＭＰＥＧ２方式のデコーダ（６）によ
り復号化し、その復号化された合成画像を１水平走査線
毎に交互に分離して、フレーム単位の右目用の動画像信
号と、フレーム単位の左目用の動画像信号とを別々に形
成する（第２の復号化方法）。

【００１７】請求項１８に記載の発明は、請求項８に記
載の第２の符号化方法によって符号化された合成動画像
をフィールド構造のＭＰＥＧ２方式のデコーダにより復
号化し、その復号化された合成動画像を１フィールド毎
に交互に分離して、フィールド単位の右目用の動画像信
号とフィールド単位の左目用の動画像信号とを別々に形
成する（第３の復号化方法）。

【００１８】請求項１９に記載の発明は、請求項１７に
記載の第１の復号化方法に使用する復号化装置であっ
て、符号化された合成動画像を復号化するためのフレー
ム構造のＭＰＥＧ２方式のデコーダと、該デコーダによ
り復号化された合成画像を１水平走査線毎に交互に分離
して、フレーム単位の右目用の動画像信号と、フレーム
単位の左目用の動画像信号とを別々に形成するための分
離器とを備えている。

【００１９】請求項２０に記載の発明は、請求項１８に
記載の第２の復号化方法に使用する復号化装置であっ
て、符号化された合成動画像を復号化するためのフィー
ルド構造のＭＰＥＧ２方式のデコーダと、該デコーダに
より復号化された合成動画像を１フィールド毎に交互に
分離して、フィールド単位の右目用の動画像信号とフィ
ールド単位の左目用の動画像信号とを別々に形成するた
めの分離器とを備えている。

【００２０】

【作用】第１の符号化方法によれば、フレーム単位の右
目用の動画像信号と、フレーム単位の左目用の動画像信
号とが１水平走査線毎に合成されることにより、その合
成動画像をフレーム構造のＭＰＥＧ２方式のエンコーダ
により効率良く符号化することが可能となる。

【００２１】第２の符号化方法によれば、左目用の動画
像信号と右目用の動画像信号とが１フィールド毎に合成
されて、左右画面が１セットの合成画面を複数もつ合成
動画像が形成される。従って、その合成動画像をフィ−
ルド構造のＭＰＥＧ２エンコーダにより効率良く符号化
することが可能となる。

【００２２】この第２の符号化方法に用いられる符号化
装置によれば、符号化効率に応じて第１及び第２予測符
号化手段のいずれかが選択的に行われる。第１予測符号
化手段においては、合成された動画像信号が１６×１６
画素のマクロブロック単位で動き補償フィ−ルド間予測
符号化により圧縮される。すなわち、右画像又は左画像
のマクロブロックと、１つの合成画面を形成する右画面
と左画面との間でフィ−ルド間予測符号化が行われる。
従って、例えば、右画像マクロブロックと右画面との同
じ種類の画像間での動き補償予測符号化や、右画像マク
ロブロックと左画面との異なる種類の画像間での視差補
償予測符号化が可能となる。又、第２予測符号化手段に
おいては、１６×１６画素のマクロブロックが、その上
部１６×８画素のアッパ−ブロックと、下部１６×８画
素のロウアーブロックの単位で個別に動き補償フィール
ド間予測符号化により圧縮される。このようなマクロブ
ロックの単位で符号化を行うことは、より高密度の圧縮
が可能となる。

【００２３】第３の符号化方法によれば、フィールド単
位の右目用の動画像信号とフィールド単位の左目用の動
画像信号とが１水平走査線毎に合成されることにより、
その合成動画像信号をフィールド構造のＭＰＥＧ２方式
のエンコーダにより効率良く符号化することが可能とな
る。

【００２４】第１の復号化方法によれば、第１の符号化
方法によって符号化された合成動画像信号がフレーム構
造のＭＰＥＧ２方式のデコーダにより復号化され、その
復号化された画像が１ライン毎に交互に分離されて、左
右動画像を別々に形成される。従って、第１の符号化方
法によって符号化された立体動画像信号が効率良く伸長
される。

【００２５】第２の復号化方法によれば、第２の符号化
方法によって符号化された合成動画像がフィールド構造
のＭＰＥＧ２方式のデコーダにより復号化され、その復
号化された合成画像が１フィールド毎に交互に分離され
て、フレーム単位の右目用の動画像信号と、フレーム単
位の左目用の動画像信号とが別々に形成される。従っ
て、第２の符号化方法によって符号化された立体動画像
信号が効率良く伸長される。

【００２６】

【実施例】

〔第１実施例〕以下、本発明を具体化した第一実施例を
図面を参照しつつ説明する。図１に示すように、左画像
（左目用動画像）１及び右画像（右目用動画像）２は、
ノンインタレース（プログレッシブとも呼ばれる）走査
方式により得られた複数のライン画像により形成される
複数のフレーム（ピクチャ）をもつ。なお、左目用動画
像１及び右右目用動画像２のピクチャがノンインタレー
ス走査ではなく、インタレース走査されたライン画像に
より形成されてもよい。

【００２７】合成器Ｍは、この左画像１及び右画像２を
それぞれ入力し、左画像１の１フレームと右画像２の１
フレームとをマージする。このマージ処理は、左画像１
のラインL1と右画像２のラインL2とを交互にマージし
て、フレーム画像３を形成する。

【００２８】エンコーダ４は、合成器Ｍによりマージさ
れたフレーム画像３を入力し、これを符号化する。エン
コーダ４は、動画像の国際標準方式である公知のＭＰＥ
Ｇ−１又はＭＰＥＧ−２規格に対応している。エンコー
ダ４は、フレーム画像３に示されるフレーム構造の画像
と、奇数フィールド画像及び偶数フィールド画像からな
るフィールド構造の画像との２種類の画像の符号化を行
うことができる。

【００２９】エンコーダは、シンタクスと呼ばれるフォ
ーマット形式で画像データを扱う。シンタクスはブロッ
クと、複数のブロックを含むマクロブロックと、複数の
マクロブロックを含むスライスと、複数のスライスを含
むピクチャと、複数のピクチャを含むＧＯＰ（Group of
Picture) と、複数のＧＯＰを含むシーケンスからなる
階層構造をもつ。マクロブロックは、４つの輝度信号の
ブロックと、２つの色差信号のブロックの計６ブロック
からなる。

【００３０】エンコーダ４は、離散コサイン変換：Disc
rete Cosine Transform(ＤＣＴ) ，，動き補償付きフレ
ーム間予測，量子化，及びハフマン符号化を主に行う。
エンコーダ４はＤＣＴにおいて、画像がもつ輝度信号及
び色差信号を８×８画素のブロック単位で直交変換し
て、画像データの空間方向の冗長性を削減し、その結
果、輝度信号及び色差信号の空間周波数の低域成分が大
きく、高域成分が小さくなる。エンコーダ４は、ＤＣＴ
処理された信号を量子化した後、ハフマン符号化を行
う。

【００３１】エンコーダ４は、動き補償付きフレーム間
予測において、画像データの時間方向の冗長性を取り除
く。すなわち、エンコーダ４は、ある時点でのフレーム
画像（ピクチャ）と、それより数フレーム分だけ前ある
いは後ろのフレーム画像との差分を求め、その差分を符
号化する。このとき、エンコーダ４は、動き補償として
マクロブロック単位でフレーム画像の動きの方向と大き
さ（動きベクトル）を検出し、その動きベクトルに基づ
いて符号化を行う。

【００３２】エンコーダ４は可変長符号化においてハフ
マン符号化方式に従って符号化する。そして、エンコー
ダ４は、符号化されたフレーム画像３を図示しない光ピ
ックアップを備えた記録装置に出力し、その光ピックア
ップ符号化データを記録媒体としての光磁気ディスク５
に記録する。

【００３３】以上、左画像１のラインL1と右画像２のラ
イン2 とを交互にマージして１つのフレーム画像３を形
成することにより、公知のＭＰＥＧ規格に対応したエン
コーダ４を利用して、立体動画像を効率良く符号化する
ことができる。

【００３４】左画像１及び右画像２を再生する場合、図
示しない光ピックアップが光磁気ディスク５に記録され
た符号化データを読み取り、デコ−ダ６がその符号化デ
ータの読取信号を入力し、符号化データの復号を行う。
デコーダ６は、エンコーダ４と同様にＭＰＥＧ−１又は
ＭＰＥＧ−２規格に対応しており、符号化データを、可
変長復号化、逆量子化及び逆ＤＣＴ等の復号化処理を行
って、画像を再生する。

【００３５】デコーダ６は、フレーム間符号化処理で動
き補償を行っている場合、符号化データに含まれる動き
ベクトルを復号し、これと自己がもつリファレンスメモ
リ（図示せず）に蓄えられた復号化参照画像とを用い
て、動き補償がなされた画像を再生する。このようにし
て、デコーダ６は、ＭＰＥＧ規格に従う符号化データの
復号化処理を行って、ラインL1とラインL2とが交互にマ
ージされたフレーム画像３と同じ再生フレーム画像７を
分離器Ｓに出力する。

【００３６】分離器Ｓは再生フレーム画像７を再生左画
像１Ａと再生右画像２Ａとに分離する。分離器Ｓは、再
生フレーム画像７の偶数ラインL1が左画像１を構成し、
奇数ラインL2が右画像２を構成するように、各ラインL
1,L2 を交互に振り分ける。このようにして、光磁気デ
ィスク５に記録された左画像１及び右画像２の復号再生
が完了する。このように、ＭＰＥＧ規格に対応したデコ
ーダ６は、左画像１及び右画像２が合成され、かつエン
コーダ４によりエンコードされたフレーム画像３を効率
良く復号化することができる。

【００３７】〔第２実施例〕次に、本発明を具体化した
第２実施例を説明する。この実施例では、左画像１及び
右画像２はインタレース画像である。図２に示すよう
に、左画像１は、奇数フィールド画像OF1 と偶数フィー
ルド画像EF1 とをもつ。右画像２は、奇数フィールド画
像OF2 と偶数フィールド画像EF2 とをもつ。

【００３８】左画像１及び右画像２を符号化する場合、
合成器Ｍａは奇数フィールド画像OF1 のラインOL1 と、
奇数フィールド画像OF2 のラインOL2 とを交互にマージ
して第１フィールド画像８を形成する。合成器Ｍｂは偶
数フィールド画像EF1 のラインEL1 と、偶数フィールド
画像EF2 のラインEL2 とを交互にマージして第２フィー
ルド画像９を形成する。

【００３９】エンコーダ／デコーダ１０は、エンコーダ
部及びデーコダ部を備え、エンコーダ部は第１及び第２
のフィールド画像８，９をそれぞれ入力して、それらを
符号化する。このエンコーダ／デコーダ１０は、第１フ
ィールド画像８を奇数フレーム画像とし、第２フィール
ド画像９を偶数フレーム画像としてフレーム構造のＭＰ
ＥＧ−２規格で符号化を行う。

【００４０】エンコーダ／デコーダ１０は、符号化の際
に各フレーム画像の個々についてＤＣＴを行うととも
に、このフレーム画像間で適応的にフレーム間動き補償
付き符号化と、フィールド間動き補償付き符号化を行
う。エンコーダ／デコーダ１０は、符号化データを図示
しない光ピックアップを備えた記録装置に出力し、光ピ
ックアップはその符号化データを光磁気ディスクに記録
する。

【００４１】この第２実施例において合成器Ｍａは、左
右画像の各々がもつ２つの奇数フィールド画像OF1,OF2
をマージして第１フィールド画像８を形成し、合成器Ｍ
ｂは、２つの偶数フィールド画像EF1,EF2 をマージして
第２フィールド画像９を形成する。

【００４２】以上、各フィールド画像をＭＰＥＧ−２に
対応したエンコーダ／デコーダ１０を利用して、立体動
画像信号を効率良く符号化することができる。左画像１
及び右画像２を再生する場合、エンコーダ／デコーダ１
０は、図示しない光ピックアップによって読取られた光
磁気ディスクの符号化データを入力し、これをデコーダ
部が復号化して再生第１及び第２フィールド画像１１、
１２を生成する。エンコーダ／デコーダ１０は、これら
の画像データを分離器Ｓ1 に出力する。

【００４３】分離器Ｓ1 は再生第１フィールド画像１１
を奇数フィールド画像OF1 と奇数フィールド画像OF2 と
にそれぞれ分離する。分離器Ｓ1 は、複数のラインOL1
からなる奇数フィールド画像OF1 と、複数のラインOL2
からなる奇数フィールド画像OF2 をそれぞれ形成すべ
く、各ラインOL1,OL2 を振り分ける。分離器Ｓ2 は再生
第２フィールド画像１２を偶数フィールド画像EF1 と偶
数フィールド画像EF2 とにそれぞれ分離する。

【００４４】分離器Ｓ2 は、複数のラインEL1 からなる
偶数フィールド画像EF1 と、複数のラインEL2 からなる
偶数フィールド画像EF2 とをそれぞれ形成すべく、各ラ
インEL1 ，EL2 を振り分ける。このようにして奇数フィ
ールド画像OF1 と偶数フィールド画像EF1 とからなる再
生左画像１Ａ、及び奇数フィールド画像0F2 と偶数フィ
ールド画像EF2 とからなる再生右画像２Ａが得られる。

【００４５】エンコーダ／デコーダ１０はＭＰＥＧ−２
規格に従って復号化を行い再生第１及び第２フィールド
画像１１，１２を得る。分離器Ｓ1 ，Ｓ2 はそれらの画
像を奇数フィールド画像OF1,OF2 及び偶数フィールド画
像EF1,EF2 にそれぞれ分離する。このように、エンコー
ダ／デコーダ１０及び分離器Ｓ1 ，Ｓ2 により、再生左
画像１Ａ及び再生右画像２Ａを容易に得ることができ
る。

【００４６】〔第３実施例〕次に、本発明を具体化した
第３実施例を説明する。この実施例では、左画像１及び
右画像２はそれぞれインタレース画像である。しかし、
各画像１，２の奇数フィールド画像同士及び偶数フィー
ルド画像同士のマージは行われない。

【００４７】図３に示すように、左画像１及び右画像２
を符号化する場合、２つの垂直フィルタ１３は個々の画
像１，２に対してそれぞれ位相のずれを補正して左フィ
ルタ画像１４及び右フィルタ画像１５をそれぞれ生成す
る。垂直フィルタ１３は、各画像１，２の垂直方向の信
号のずれを補正して、それらを擬似的なノンインタレー
ス画像にする。

【００４８】垂直フィルタ１３は、静止画か動画かを判
定し、静止画である場合には位相のずれの補正を行わ
ず、動画である場合には動き検出を行い、その結果得ら
れる動きベクトルの大きさに基づいてずれを補正する。
垂直フィルタ１３がこのような動作を行うことにより、
ノンインタレース画像のフィルタ処理の必要性がなくな
り、その画質劣化を防止することができる。

【００４９】合成器Ｍは第１実施例と同様に、左フィル
タ画像１４のラインL1と右フィルタ画像１５のラインL2
とを交互にマージしてインタレース画像と同等のフレー
ム画像１６を形成する。そして、第１実施例と同様にエ
ンコーダ（図示せず）が、フレーム画像１６を符号化
し、ピックアップ（図示せず）がその符号化データを光
磁気ディスクに記録する。

【００５０】左画像１及び右画像２を再生する場合、光
磁気ディスクから読取られた符号化データを図示しない
デコーダが復号化を行って再生フレーム画像１７を生成
する。分離器Ｓは再生フレーム画像１７を再生左画像１
Ａと再生右画像２Ａに分離する。

【００５１】この第３実施例において、垂直フィルタ１
３を用いて左画像１及び右画像２の擬似的なノンインタ
レース画像を生成することにより、第２実施例のように
各画像１，２をフィールド単位でマージするための合成
器Ｍａ，Ｍｂを用いる必要がなく、マージにかかる手間
を省くことができる。

【００５２】〔第１実施例に対応する第１の例〕次に、
第１実施例に対応するより詳細な第１の例を図４〜図１
４を参照しつつ、説明する。図４は概略的な立体動画像
信号の符号化装置を示し、その装置は、合成器２０，周
知のＭＰＥＧ−１方式のエンコーダ２２を備えている。

【００５３】合成器２０は図５に示すように、右目動画
像ＲＶと左目動画像ＬＶを同時に入力し、これらをライ
ン毎に交互に合成し、垂直方向のライン数が２倍の合成
画像信号ＤＶを生成する。

【００５４】ＭＰＥＧ−１エンコーダ２２は合成器２０
から出力された合成画像信号ＤＶを入力し、これを符号
化する。は、その合成信号ＤＶを符号化し、光ピックア
ップ２４は、ＭＰＥＧ−１エンコーダ２２から出力され
た符号化データを入力して、記録媒体としての光磁気デ
ィスク２６に記録する。

【００５５】図６は合成器２０のブロック回路図を示
す。合成器２０は第１カメラ２８によって撮影された右
目画像信号を格納するための第１ラインメモリ３２と，
第２カメラ３０によって撮影された左目画像信号ＬＶを
格納するための第２ラインメモリ３４と，クロックジェ
ネレータ３６，メモリ制御回路３８を備えている。

【００５６】第１カメラ２８は同期信号ＳＹＮＣを第２
カメラ３０及びクロックジェネレータ３６に出力する。
第２カメラ３０は同期信号ＳＹＮＣに同期して動作す
る。クロックジェネレータ３６は、同期信号ＳＹＮＣに
同期してクロック信号を生成し、これをメモリ制御回路
３８に出力する。

【００５７】メモリ制御回路３８は、クロックジェネレ
ータ３６からのクロック信号に応答して、図７に示す書
き込みクロック信号ｆ₁ を生成し、これを第１及び第２
ラインメモリ３２，３４にそれぞれ出力する。第１ライ
ンメモリ３２は、書き込みクロック信号ｆ₁ に応答して
右画像信号ＲＶを１ライン（Ｒ1-1,Ｒ1-2.... にて図
示）毎に格納する。第２ラインメモリは、同様に左画像
信号ＬＶを１ライン（Ｌ1-1,Ｌ1-2.... にて図示）毎に
格納する。

【００５８】更に、メモリ制御回路３８は、クロック信
号に応答して書き込みクロック信号ｆ₁ に同期し、かつ
その信号ｆ₁ の周波数の２倍の周波数をもつ第１読出し
クロック信号ｆ₂ を生成し、これを第１ラインメモリ３
２に出力する。メモリ制御回路３８は、クロック信号に
応答して第１読出しクロック信号ｆ₂ に遅延し、かつ書
き込みクロック信号ｆ₁ の周波数の２倍の周波数をもつ
第２読出しクロック信号ｆ₃ とを生成し、これを第２ラ
インメモリ３４に出力する。

【００５９】第１ラインメモリ３２は、第１読出しクロ
ック信号ｆ₁ に応答して、１／２に圧縮された右画像信
号ＲＶを１ライン毎にエンコーダ２２に出力する。第２
ラインメモリ３４は、第２読出しクロック信号ｆ₃ に応
答して、同じく１／２に圧縮された右画像信号ＲＶに遅
延する左画像信号ＬＶを１ライン毎にエンコーダ２２に
出力する。この結果、合成器２０は、右左動画像信号を
１ライン毎に交互に合成した合成画像信号ＤＶをエンコ
ーダ２２に出力する。

【００６０】図８は、ＭＰＥＧ１エンコーダ２２のブロ
ック回路図を示す。エンコーダ２２は、画面並べ変え回
路１１０，マクロブロック変換器１１２，減算器１１
４，ブロック変換器１１５，ＤＣＴ１１６，量子化回路
１１８，可変長符号化回路１２０，挿入器１２１，バッ
ファ１２２，ビットレート制御回路１２４，逆量子化回
路１２６，加算器１３０，画像メモリ１３２，動き補償
読出し制御回路１３４，モード判定回路１３６及び動き
検出回路１３８を備えている。

【００６１】画面並び替え回路１１０は、合成器２２か
ら出力された合成画像信号ＤＶを入力し、その合成画像
を構成する画面（ピクチャ）順を並び変える。例えば、
現画面に対して時間的に後続する参照画面を用いて符号
化する場合、並び替え回路１１０は、その後続する参照
画面を先に出力すべく、現画面と参照画面とを並び変え
る。

【００６２】図９に示すように、符号化する画面には３
つのタイプがあり、１つ目は参照画面を用いることなく
フレーム内のみの符号化を行うＩピクチャと呼ばれる画
面である。２つ目はＩピクチャに対して時間的に後続す
る画面で、かつそのＩピクチャを参照画面として用いて
フレーム間予測符号化を行うＰピクチャと呼ばれる画面
である。３つ目はＩピクチャ又はＰピクチャに対して時
間的に先行及び／又は後続する画面で、かつそのＩピク
チャ又はＰピクチャを参照画面として用いてフレーム間
予測符号化を行うＢピクチャと呼ばれる画面である。

【００６３】フレーム間予測符号化は、Ｐ又はＢピクチ
ャを分割したマクロブロック単位が対象である。フレー
ム間予測符号化されるマクロブロックをインターマクロ
ブロック、フレーム間予測符号化しないマクロブロック
をイントラマクロブロックと呼ぶ。

【００６４】マクロブロック変換器１１２は、画面並び
替え回路１１０から出力された各画面を走査変換により
１６×１６画素の複数のマクロブロックに分割し、これ
を動き検出回路１３８及び減算器１１４に出力する。

【００６５】減算器１１４は、マクロブロック変換器１
１２から出力される現画面の現マクロブロックと、画像
メモリ１３２から出力された参照画面の参照マクロブロ
ックを減算して差分データを出力する。（この画像メモ
リ１３２については後述する。） ブロック変換器１１５は図１０に示すように、１６×１
６画素の各マクロブロックを８×８画素の４つのブロッ
クに分割する。ＤＣＴ１１６はブロック単位で離散コサ
イン変換を行い、図１１に示すように各ブロックを、低
周波数項から高周波数項の周波数成分に分解して、各周
波数項の係数Ｃijから成る８行８列の係数行列〔Ｃij〕
に各々変換する（（ａ）→（ｂ）の処理）。量子化回路
１１８は、ＤＣＴ１１６により変換された各係数Ｃijを
除数Ｑij（＝Ｋij×ｑ）で除算して量子化する。Ｋijは
量子化マトリクステーブルで与えられる定数であり、ｑ
はビットレート制御回路１２４から出力される量子化ス
テップ幅である。量子化回路１１８は低周波数項の高周
波数項の順に係数データＣijを順次出力する。

【００６６】可変長符号化回路１２０は、量子化回路１
１８から出力された係数データＣijを可変長符号化して
ビットストリームを生成する。ビットレート制御回路１
２４は、可変長符号化回路１２０を介して挿入器１２１
から出力されるビットストリームのビットレートの値と
目標値とを比較して、そのビットレートの値を目標値に
すべく、量子化ステップ幅ｑを決定する。制御回路１２
４は、ビットレートが目標値より小さいとき、量子化ス
テップ幅ｑを小さくし、目標値より大きいとき量子化ス
テップ幅ｑを大きくする。このビットレートの目標値は
図示しない符号化制御回路から出力される。

【００６７】逆量子化回路１２６及び逆ＤＣＴ１２８
は、量子化回路１１８及びＤＣＴ１１６と逆の動作を行
い、量子化された画像データを元の画像データに復号
し、これを加算器１３０に出力する。

【００６８】加算器１３０は、復号された画像データが
インターマクロブロック（減算器１１４が生成した差分
データ）である場合次の処理を行う。加算器１３０は、
その差分データに画像メモリ１３２から出力された参照
画面のマクロブロックデータ（このデータについては後
述する）を加算して、参照画面を再生する。加算器１３
０は、再生された参照画面を画像メモリ１３２に格納す
る。画像メモリ１３２は、少なくとも２つの参照画面を
蓄えることができる。この参照画面の組み合わせは、Ｉ
ピクチャとＩピクチャ、ＩピクチャとＰピクチャ、又
は、ＰピクチャとＰピクチャである。

【００６９】画像メモリ１３２は読出し制御回路１３４
の制御に従って、参照画面又は参照マクロブロックデー
タを動き検出回路１３８，モード判定回路１３６，減算
器１１４及び加算器１３０に出力する。

【００７０】次に、図１２〜図１４に示す動き検出回路
１３８，モード判定回路１３６及び読出し制御回路１３
４の詳細を説明する。ここで、例えば、画像メモリ１３
２は、デコードされたＩピクチャＲＬ１と、Ｐピクチャ
ＲＬ３を格納しているものとする。マクロブロック変換
器１１２は図１３に示すＢピクチャのマクロブロックＳ
ＭＢを動き検出回路１３８及びモード判定回路１３６に
出力するものとする。

【００７１】動き検出回路１３８は、平均回路２００，
第１〜第３動きベクトル検出回路２１０，２１２，２１
４を備えている。平均回路２００は、画像メモリ１３２
から出力されるＩピクチャ及びＰピクチャを入力し、両
ピクチャを平均化し、その平均化されたピクチャを第３
動きベクトル検出回路２１４に出力する。

【００７２】第１検出回路２１０は、現マクロブロック
ＳＭＢとＰピクチャとを比較して、Ｐピクチャからその
ＳＭＢに最も類似する参照マクロブロックを探し出す。
そして、第１検出回路２１０は、探しだされた参照マク
ロブロックの位置を示す動きベクトルＭＶ（Ｂ）を検出
する。すなわち、第１検出回路２１０は、現マクロブロ
ックＳＭＢの座標位置に対応する参照画面Ｐピクチャ内
の座標位置（第１位置）と参照マクロブロックの座標位
置（第２位置）とのずれを動きベクトルＭＶ（Ｂ）とし
て検出する。この動きベクトルＭＶ（Ｂ）は、図１４Ｃ
に示す後方向予測に対応している。

【００７３】第２動きベクトル検出回路２１２は、Ｉピ
クチャから現マクロブロックＳＭＢに最も類似する参照
マクロブロックを探し出し、その参照マクロブロックの
位置を示す動きベクトルＭＶ（Ｆ）を検出する。この動
きベクトルＭＶ（Ｆ）は、図１４Ａに示す前方向予測に
対応している。

【００７４】第３動きベクトル検出回路２１４は、平均
回路２００によりＩピクチャとＰピクチャが平均化され
たピクチャから現マクロブロックＳＭＢに類似する参照
マクロブロックを探し出し、その参照マクロブロック位
置を示す動きベクトルＭＶ（Ｆ＋Ｂ）を検出する。この
動きベクトルＭＶ（Ｆ＋Ｂ）は、図１４Ｂで示す双方向
予測に対応している。このようにして第１〜第３検出回
路２１０，２１２，２１４は、動きベクトルＭＶ
（Ｆ），ＭＶ（Ｆ＋Ｂ），ＭＶ（Ｂ）を、モード判定回
路１３６及び読出し制御回路１３４に出力する。

【００７５】読出制御回路１３４は、動きベクトルＭＶ
（Ｆ）に基づいて、対応するＩピクチャの参照マクロブ
ロックをメモリ１３２から読み出して、モード判定回路
１３６に出力する。又、読出制御回路１３４は、動きベ
クトルＭＶ（Ｆ＋Ｂ）に基づいて、対応するＩピクチャ
及びＰピクチャの参照マクロブロックをメモリ１３２か
らそれぞれ読み出して、モード判定回路１３６に出力す
る。更に、読出制御回路１３４は、動きベクトルＭＶ
（Ｂ）に基づいて、対応するＰピクチャの参照マクロブ
ロックをメモリ１３２から読み出して、モード判定回路
１３６に出力する。

【００７６】モード判定回路１３６は、平均回路２２
０，第１〜第４分散値算出回路２１６，２２６，２２
８，２３０，分散値比較回路２３２，第１〜第３減算器
２１８，２２２，２２４及び切換回路２３４を備えてい
る。

【００７７】第１算出回路２１６は、マクロブロック変
換器１１２から出力された現マクロブロックＳＭＢ（イ
ントラマクロブロック）の分散値（アクティビティ）を
算出する。この分散値は画面の平坦度を示す。

【００７８】第１減算器２１８は現マクロブロックＳＭ
Ｂと、前方向予測による参照マクロブロックとの差分を
求め、第２算出回路２２６はこの差分に応じた分散値を
算出する。第２減算器２２２は現マクロブロックＳＭＢ
と、平均回路２２０で平均化された双方向予測による参
照マクロブロックとの差分を求め、第３算出回路２２８
はこの差分に応じた分散値を算出する。第３減算器２２
４は、現マクロブロックＳＭＢと、後方向予測による参
照マクロブロックとの差分を求め、第４算出回路２３０
はこの差分に応じた分散値を算出する。

【００７９】分散値比較回路２３２は、各回路２１６，
２２６，２２８，２３０から出力された各分散値を比較
して、最も値の小さい分散値に対応するマクロブロック
タイプ情報ＭＢＴを出力する。このマクロブロックタイ
プ情報ＭＢＴは、現マクロブロックの符号化（イントラ
モード），前方向予測，後方向方予測，双方向予測によ
る符号化（インターモード）の４つ符号化のうちのいず
れかを示す。比較回路２３２は、インターモードの場
合、制御信号を切換回路２３４に出力する。

【００８０】切換回路２３４はその制御信号に応答し
て、対応する動きベクトルを読出し制御回路１４８及び
挿入器１２１に出力する。例えば、算出回路２３０の分
散値が最も小さい場合、比較回路２３２は後方向予測に
よるインターモードのマクロブロックタイプＭＢＴを出
力し、切換回路２３４は動きベクトルＭＶ（Ｂ）を読出
し制御回路１３４に出力する。読出し制御回路１３４
は、動きベクトルＭＶに基づいて対応する参照マクロブ
ロックの読出し制御信号をメモリ１３２に出力する。こ
のように、モード判定回路１３６は、イントラモード、
図１４Ａに示す前方向予測符号化、図１４Ｂに示す双方
向予測符号化、図１１Ｃに示す後方向予測符号化のう
ち、最も圧縮効率のよい方法を自動的に選択する。この
モード選択により、立体動画像の圧縮効率を向上するこ
とができる。

【００８１】図８に示すように、挿入器１２１は、可変
長符号化回路１２０から出力されるビットストリームに
図示しないデコーダが復号化を行うための各種情報を挿
入する。これらの各種情報は、 １）図示しない外部の入力装置から出力された画面サイ
ズを示す情報、 ２）その入力装置から出力された立体画像の符号化に関
連する情報、 ３）モード判定回路１３６から出力されたマクロブロッ
クタイプ情報ＭＢＴ、 ４）モード判定回路１３６から出力された動きベクトル
情報ＭＶ、 ５）図示しない符号化制御回路から出力されたビットレ
ートの目標値を示す情報を含む。更に、２）の情報は、 ２ａ）符号化データが立体画像データか否かを表す情
報、 ２ｂ）左右動画像のマージ方法を表す情報， ２ｃ）符号化前の画像がインタレース画像か否かを表す
情報を含む。バッファメモリ１２２は、各種情報を含む
ビットストリームを一時的に蓄えた後、所定のビットレ
ートでビットストリームを出力する。

【００８２】上述したように、この第１の例は、合成器
２０が相関性の強い（類似性の高い）左画像と右画像と
をライン毎に合成して１つの画像（ピクチャ）とし、公
知のＭＰＥＧ−１に従うエンコーダ２２により符号化を
行う。このとき、ＭＰＥＧ−１エンコーダ２２は、現画
面と参照画面との差分から両画像の相関性を検出し、そ
の検出に基づいて圧縮度が最も高い符号化方法を選択す
る。そして、エンコーダ２２は、その選択に応じた方法
により合成画像を８×８画素のブロック単位で符号化
（ＤＣＴ）する。このようにＭＰＥＧ１エンコーダ２２
を用いることにより、立体動画像信号の圧縮効率を高め
ることができる。

【００８３】〔第１実施例に対応する第２の例〕次に、
第１実施例に対応するより詳細な第２の例について図１
５に従って説明する。図１５に示すように、合成器４０
は、水平パルス生成器４２及び切換えスイッチ４４を備
えている。

【００８４】水平パルス生成器４２は、第１カメラ２８
から提供される同期信号ＳＹＮＣに応答して１水平走査
期間毎に反転するパルス信号を生成し、この信号をスイ
ッチ４４に出力する。切り換えスイッチ４４は、第１及
び第２カメラ２８，３０から左右動画像信号を入力し、
パルス信号に応答して１水平走査期間毎に切換動作を行
い、左右動画像信号をライン毎に交互に出力する。

【００８５】この第２の例は、左右動画像信号を倍速で
読み出して合成する第１の例とは異なり、単に右目画像
と左目画像を１ライン毎に交互に出力する。この結果、
左右動画像の画面と同じサイズの合成画像が形成され
る。ＭＰＥＧ１エンコーダ２２は、この合成画像を合成
器４０から受け取って、これを符号化する。このとき、
第２の例の合成画像の画面サイズは第１の例のそれとは
異なるので、ＭＰＥＧ−１エンコーダ２２における処理
画面サイズの設定値は変更する。

【００８６】〔第１実施例に対応する第３の例〕次に、
第１実施例に対応するより詳細な第３の例を図１６〜図
２５に従って説明する。

【００８７】図１６に示すように、立体画像符号化装置
は、合成器２０及びフレーム構造モードに対応したＭＰ
ＥＧ−２方式のエンコーダ４６を備えている。合成器２
０は、第１の例と同様に右動画像ＲＶと左動画像ＬＶを
１ライン毎に交互に合成し、垂直方向のライン数が２倍
の合成画像ＤＶ（合成ピクチャ）を形成する。ＭＰＥＧ
−２エンコ−ダ４６は、合成画像ＤＶを符号化する。光
ピックアップ部２４は、その符号化データを記録媒体と
しての光磁気ディスク２６に記録する。

【００８８】図１７はＭＰＥＧ−２エンコーダ４６のブ
ロック回路図を示す。なお、第１の例のエンコーダ２２
と同一の構成については同一符号を付してその説明を省
略する。エンコーダ４６は、更に、フレーム／フィール
ドブロック変換器１４５，逆フレーム／フィールドブロ
ック変換器１４６を備えている。

【００８９】ブロック変換器１４５は、第１及び第２ブ
ロック変換器１１５，１４０，スイッチ回路１４２，モ
ード選択回路１４４を備えている。第１ブロック変換器
１１５は、図１８に示すように、第１の例のブロック変
換器１１５と同様に、１６×１６画素のマクロブロック
をＤＣＴ用の４つの８×８画素のブロック（フレームブ
ロック）に変換する。この変換では、各フレームブロッ
クは、その奇数ラインが右画像、偶数ラインが左画像で
構成されている。

【００９０】第２ブロック変換器１４０は、図１７に示
すように、１６×１６画素のマクロブロックを８×８画
素の２つの第１ブロック（第１フィールドブロック）
と、８×８画素の２つの第２ブロック（第２フィールド
ブロック）に変換する。この変換では、各第１フィール
ドブロックは全ラインが右画像で構成され、各第２フィ
ールドブロックは全ラインが左画像で構成されている。

【００９１】モード選択回路１４４は、第１、第２ブロ
ック変換器１１５，１４０からフレームブロックと、第
１及び第２フィールドブロックとをそれぞれ受取り、そ
れらブロックの分散値（又は、アクティビティ）を算出
する。モード選択回路１４４は、フレームブロックの分
散値と、第１及び第２フィールドブロックの分散値を比
較し、より小さな値をもつブロックタイプを示すモード
信号を生成する。選択回路１４４は、このモード信号を
スイッチ回路１４２，挿入器１２１及び逆フレーム／フ
ィールドブロック変換器１４６に出力する。スイッチ回
路１４２は、そのモード信号に応答して、全フレームブ
ロックと、第１及び第２フィールドブロックのいずれか
を選択的にＤＣＴ１１６に出力する。逆ブロック変換器
１４２は、モード信号に従って逆ＤＣＴ１２８から出力
された第１及び第２フィールドブロックを左右画像がマ
ージされたマクロブロックに変換して、これを加算器１
３０に出力する。逆ブロック変換器１４２は、モード信
号に従って逆ＤＣＴから出力されたフレームブロックを
マクロブロックに変換して、これを加算器１３０に出力
する。

【００９２】次に、図２１に示す動き検出回路１５０及
びモード判定回路１５２の詳細について説明する。ここ
で、例えば、画像メモリ１３２は、図２０に示すデコー
ドされたＩピクチャＲＬ１及びＰピクチャＲＬ３を格納
しているものとする。更に、マクロブロック変換器１１
２は、ＩピクチャＲＬ１とＰピクチャＲＬ３との間にあ
るＢピクチャＲＬ２のマクロブロックＳＭＢを動き検出
回路１５０及びモード判定回路１５２に出力しているも
のとする。

【００９３】（動き検出）動き検出回路１５０はフレー
ム間予測による動きベクトルを検出及び生成する第１回
路２４０と、フィールド間予測による動きベクトルを検
出及び生成する第２回路２４２と、第１及び第２分離回
路２５０，２６０を備えている。

【００９４】（１）フレーム間予測による動きベクトル
の検出 第１回路２４０は、第１及び第２動きベクトル検出回路
２４４，２４６，及び平均回路２４８を備えている。第
１検出回路２４４は、画像メモリ１３２から出力された
ＰピクチャＲＬ３の中で、マクロブロック変換器１１２
から出力されたマクロブロックＳＭＢに最も類似する参
照マクロブロックを探し出す。そして、第１検出回路２
４４は、図２２に示すように参照マクロブロックの位置
を示す後方向動きベクトルＭＶ（Ｂ）を検出する。

【００９５】同様に、第２検出回路２４６は、現マクロ
ブロックＳＭＢとＩピクチャＲＬ１を用いて、前方向動
きベクトルＭＶ（Ｆ）を検出する。平均回路２４８は、
この２つの動きベクトルＭＶ（Ｆ）とＭＶ（Ｂ）を平均
して双方向（又は、内挿的）動きベクトルＭＶ（Ｆ＋
Ｂ）を生成する。このようにして第１回路２４０は、フ
レーム間予測による３種類の動きベクトルを読出し制御
回路１４８及びモード判定回路１５２に出力する。

【００９６】（２）フィールド間予測による動きベクト
ルの検出 第２回路２４２は、１６×８画素出力回路２７０，第１
〜第８動きベクトル検出回路２５２，２５４，２５６，
２５８，２６２，２６４，２６６，２６８，及び第１及
び第２動きベクトル生成回路２７２，２７４を備えてい
る。

【００９７】第１分離回路２５０は、ＰピクチャＲＬ３
をその奇数ラインからなる右画像Ｒ３と、偶数ラインか
らなる左画像Ｌ３に分離する。第１分離回路２５０は、
右画像Ｒ３を第１及び第２検出回路２５２，２５４に出
力し、左画像Ｌ３を第３及び第４検出回路２５６，２５
８に出力する。

【００９８】第２分離回路２６０は、ＩピクチャＲＬ１
をその奇数ラインからなる右画像Ｒ１と偶数ラインから
なる左画像Ｌ１に分離する。第２分離回路２６０は、右
画像Ｒ１を第５及び第６検出回路２６２，２６４に出力
し、左画像Ｌ１を第７及び第８検出回路２６６，２６８
に出力する。

【００９９】１６×８画素出力回路２７０は、図２３に
示すように、現マクロブロックＳＭＢを、奇数ラインか
らなる１６×８画素の右画像半マクロブロックＲ２Ｂ
と、偶数ラインからなる１６×８画素の左画像半マクロ
ブロックＬ２Ｂに分離する。

【０１００】出力回路２７０は右半マクロブロックＲ２
Ｂを第１，第３，第５及び第７検出回路２５２，２５
６，２６２，２６６に出力し、左半マクロブロックＬ２
Ｂを第２，第４，第６及び第８検出回路２５４，２５
８，２６４，２６６に出力する。動きベクトルの検出
は、これらの右画像Ｒ１，Ｒ３，左画像Ｌ１，Ｌ３，及
び左右画像半マクロブロックＲ２Ｂ，Ｌ２Ｂを用いて行
う。

【０１０１】第１検出回路２５２は、図２４Ｃに示すよ
うに、右画像Ｒ３と右画像半マクロブロックＲ２Ｂとか
ら後方向動きベクトルＭＶ１（Ｂｅ）を検出する。第３
検出回路は、図２４Ｄに示すように、左画像Ｌ３とＲ２
Ｂとから後方向動きベクトルＭＶ１（Ｂｏ）を検出す
る。第５検出回路２６２は、図２４Ａに示すように、右
画像Ｒ１とＲ２Ｂとから前方向動きベクトルＭＶ１（Ｆ
ｅ）を検出する。第７検出回路２６６は、図２４Ｂに示
すように、左画像Ｌ１とＲ２Ｂとから前方向動きベクト
ルＭＶ１（Ｆｏ）を検出する。

【０１０２】第２検出回路２５４は、図２５Ｃに示すよ
うに、左画像Ｌ２と左画像半マクロブロックＬ２Ｂとか
ら後方向動きベクトルＭＶ２（Ｂｅ）を検出する。第４
検出回路２５８は、図２５Ｄに示すように、左画像Ｌ３
とＬ２Ｂとから後方向動きベクトルＭＶ２（Ｂｏ）を検
出する。第６検出回路２６４は、図２５Ａに示すよう
に、右画像Ｒ１とＬ２Ｂとから前方向動きベクトルＭＶ
２（Ｆｅ）を検出する。第８検出回路２６８は、図２５
Ｂに示すように、左画像Ｌ１とＬ２Ｂとから前方向動き
ベクトルＭＶ２（Ｆｏ）を検出する。

【０１０３】第１動きベクトル生成回路２７２は、第
１，第３，第５及び第７検出回路２５２，２５６，２５
８及び２６６が検出した４種類の動きベクトルＭＶ１
（Ｂｅ，Ｂｏ，Ｆｅ，Ｆｏ）から、図２４Ｅ〜図２４Ｈ
に示すように４種類の双方向動きベクトルＭＶ１（Ｆｅ
＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）を生成
する。

【０１０４】第２動きベクトル生成回路２７４は、第
２，第４，第６及び第８検出回路２５４，２５８，２６
４及び２６８が検出した４種類の動きベクトルＭＶ２
（Ｂｅ，Ｂｏ，Ｆｅ，Ｆｏ）から、図２５Ｅ〜図２５Ｈ
に示すように４種類の双方向動きベクトルＭＶ２（Ｆｅ
＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）を生成
する。このようにして第２回路２４２は、フィールド間
予測による１６種類の動きベクトルを読出し制御回路１
４８及びモード判定回路１５２に出力する。

【０１０５】読出し制御回路１４８は、第１回路２４０
からの３種類の動きベクトルに対応した数の１６×１６
画素の参照マクロブロックをモード判定回路１５２に出
力すべく、画像メモリ１３２を制御する。その参照マク
ロブロックは、ＩピクチャＲＬ１及び／又はＰピクチャ
ＲＬ３の中から取出され、かつ奇数ラインが右画像で、
偶数ラインが左画像で構成されている。

【０１０６】又、読出し制御回路１４８は、第２回路２
４２からの１６種類の動きベクトルに対応した数の１６
×８画素の参照半マクロブロックをモード判定回路１５
２に出力すべく、画像メモリ１３２を制御する。その参
照マクロブロックは、ＩピクチャＲＬ１及び／又はＰピ
クチャＲＬ３の中から取出され、かつ全ラインが右画像
又は左画像で構成されている。

【０１０７】（符号化モード判定）モード判定回路１５
２は、現マクロブロックＳＭＢを入力する第１分散値検
出回路２７８と、３種類の参照マクロブロックに対応し
た数の第２〜第４分散値検出回路２８０，２８４，２８
８及び第１〜第３減算器２８２，２８６，２９０を備え
ている。モード判定回路１５２は、更に、１６種類の参
照半マクロブロックに対応した数の第５，第６分散値検
出回路２９４，３００（残りの１４個の検出回路は図示
せず）及び第４，第５減算器２９６，２９８（残りの１
４個の減算器は図示せず），１６×８画素出力回路２９
２，分散値比較回路３０２及び選択回路２７６を備えて
いる。

【０１０８】（１）フレーム間予測における分散値の算
出 第１分散値算出回路２７８は、マクロブロック変換器１
１２から現マクロブロックＳＭＢを受取り、そのマクロ
ブロックＳＭＢの圧縮効率を示す分散値を算出する。第
１引算器２８２は、現マクロブロックＳＭＢと、動きベ
クトルＭＶ（Ｆ）に対応した１６×１６参照マクロブロ
ックとの差分（又は、予測エラー) を算出する。

【０１０９】第２算出回路２８０は、第１引算器２８２
から差分を受取り、前方向フレーム間予測の圧縮効率を
示す分散値を算出する。第２引算器２８６は、ＳＭＢ
と、動きベクトルＭＶ（Ｆ＋Ｂ）に対応した参照マクロ
ブロックとの差分を算出する。

【０１１０】第３算出回路２８４は、第２引算器２８６
から差分を受取り、双方向フレーム間予測の圧縮効率を
示す分散値を算出する。第３引算器２９０は、ＳＭＢ
と、動きベクトルＭＶ（Ｂ）に対応した参照マクロブロ
ックとの差分を算出する。

【０１１１】第４算出回路２８４は、第３引算器２９０
から差分を受取り後方向フレーム間予測の圧縮効率を示
す分散値を算出する。 （２）フィールド間予測における分散値の算出 １６×８画素出力回路２９２は、図２３に示すように、
現マクロブロックＳＭＢを、奇数ラインからなる１６×
８画素の右画像半マクロブロックＲ２Ｂと、偶数ライン
からなる１６×８画素の左画像半マクロブロックＬ２Ｂ
に分離する。出力回路２９２は右半マクロブロックＲ２
Ｂを第４減算器２９６を含む８つの図示しない減算器に
出力し、左半マクロブロックＬ２Ｂを第５減算器２９８
を含む図示しない別の８つの減算器に出力する。

【０１１２】第４減算器２９６は、右半マクロブロック
Ｒ２Ｂと、図２４Ａに示す動きベクトルＭＶ１（Ｆｅ）
に対応した参照半マクロブロックとの差分を算出する。
第５算出回路２９４は、第４減算器２９６から差分を受
取り、右画像の前方向フィールド間予測の圧縮効率を示
す分散値を算出する。

【０１１３】同様にして、図示しない７つの減算器は、
右半マクロブロックＲ２Ｂと、図２４Ｂ〜図２４Ｈに示
す各動きベクトルＭＶ１（Ｆｏ，Ｂｅ，Ｂｏ，Ｆｅ＋Ｂ
ｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）に対応した
各参照半マクロブロックとの差分をそれぞれ算出する。
図示しない７つの算出回路は、各差分を受取り、それら
の分散値を算出する。

【０１１４】第５減算器２９８は、左半マクロブロック
Ｌ２Ｂと、図２５Ａに示す動きベクトルＭＶ２（Ｆｅ）
に対応した参照半マクロブロックとの差分を算出する。
第６算出回路２９４は、第５減算器２９８から差分を受
取り、左画像の前方向フィールド間予測の圧縮効率を示
す分散値を算出する。

【０１１５】同様にして、図示しない７つの減算器は、
左半マクロブロックＬ２Ｂと、図２５Ｂ〜図２５Ｈに示
す各動きベクトルＭＶ２（Ｆｏ，Ｂｅ，Ｂｏ，Ｆｅ＋Ｂ
ｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）に対応した
各参照半マクロブロックとの差分をそれぞれ算出する。
図示しない７つの算出回路は、各差分を受取り、それら
の分散値を算出する。

【０１１６】（３）最適な符号化モードの判定 分散値比較回路３０２は、各第１〜第６算出回路２７
８，２８０，２８４，２８８，２９４，３００，及び図
示しない１４個の算出回路から出力された各分散値を比
較して、最も小さな値をもつマクロブロックを特定し、
その特定されたマクロブロックを示すタイプ情報ＭＢＴ
を選択回路２７６及び挿入器１２１に出力する。この情
報ＭＢＴは、イントラモード（動きベクトルを用いない
フレーム内符号化）及び６種類のインターモードのいず
れかの符号化を示す。６種類のインターモードは、表１
に示すように、

【０１１７】

【表１】 ｉ）前方向動きベクトルＭＶ（Ｆ）を用いたフレーム間
予測符号化、 ii）後方向動きベクトルＭＶ（Ｂ）を用いたフレーム間
予測符号化、 iii）双方向動きベクトルＭＶ（Ｆ＋Ｂ）を用いたフレ
ーム間予測符号化、 iv）グループ１に含まれるペアの前方向動きベクトルＭ
Ｖ１，ＭＶ２を用いたフィールド間予測符号化、 v）グループ２に含まれるペアの後方向動きベクトルＭ
Ｖ１，ＭＶ２を用いたフィールド間予測符号化、 vi）グループ３に含まれるペアの双方向動きベクトルＭ
Ｖ１，ＭＶ２を用いたフィールド間予測符号化が設定さ
れている。

【０１１８】選択回路２７６は、３種類のフレーム間予
測動きベクトルＭＶ（Ｆ，Ｂ，Ｆ＋Ｂ）及び１６種類の
フィールド間予測動きベクトルＭＶ１（Ｆｅ．．．），
ＭＶ２（Ｆｅ．．．）の入力、及びインターモードを示
す情報ＭＢＴの入力に応答して、対応する動きベクトル
を読出し制御回路１４８及び挿入器１２１に選択的に出
力する。

【０１１９】上記したように第３の例では、左右合成画
像の予測符号化において２つのタイプの動き補償を選択
的に得ることができる。１つ目のタイプは、左右合成画
像ＲＬ１及び／又はＲＬ３と１６×１６画素のマクロブ
ロックＳＭＢとを用いたフレーム間予測による動き補償
である。２つ目は、左右別々の画像Ｒ１，Ｒ３，Ｌ１，
Ｌ３と１６×８画素の左右半マクロブロックＲ２Ｂ，Ｌ
２Ｂとを用いたフィールド間予測による動き補償すなわ
ち、視差補償である。

【０１２０】従って、動き補償のもとで左右画像の相関
性の程度の高い平面的な合成画像の符号化効率を高める
ことができるとともに、視差補償のもとで左右画像の相
関性の程度の低い立体的な合成画像の符号化効率を高め
ることができる。更に、フレーム／フィールドブロック
変換器１４５を設けることにより、左右合成マクロブロ
ックの分散値と、左右別々の半マクロブロックの分散値
に応じてＤＣＴ処理を効率良く行うことができる。 〔第１実施例に対応する第４の例〕次に、第１実施例に
対応するより詳細な第４の例を図２６〜図３５に従って
説明する。図２６に示すように、第４の例の立体画像符
号化装置は、合成器４８及びフィールド構造モード対応
のＭＰＥＧ−２方式のエンコーダ５０を備えている。

【０１２１】図２７に示すように、合成器４８は、第１
カメラ２８によって撮影された右目画像信号を格納する
ための第１画像メモリ５２と、第２カメラ３０によって
撮影された左目画像信号ＬＶを格納するための第２画像
メモリ５４と，クロックジェネレータ５８，メモリ制御
回路６０を備えている。

【０１２２】クロックジェネレータ５８は、第１カメラ
２８から出力される同期信号ＳＹＮＣに同期してクロッ
ク信号を生成し、これをメモリ制御回路６０に出力す
る。メモリ制御回路６０は、クロック信号に同期して書
き込み信号を第１及び第２画像メモリ５２，５４に出力
する。両メモリ５２，５４はその書き込み信号に応答し
て、左右動画像を所定の周期（この場合、１／３０秒）
で１画面（ピクチャ）毎にそれぞれ格納する。

【０１２３】メモリ制御回路６０は、クロック信号に同
期し、かつその信号の２倍の周波数をもつ第１読出し信
号と、その第１読出し信号に遅延する同じく２倍の周波
数をもつ第２読出し信号を生成する。

【０１２４】第１画像メモリ５２は第１読出し信号に応
答して右動画像を所定の周期（この場合、１／６０秒）
で１画面毎に読出す。第２画像メモリ５４は、第２読出
し信号に応答して右動画像に遅延する左動画像を所定の
周期で１画面毎に読出す。この両メモリ５２，５４の読
出しによって、図２８に示すように合成器４８は、垂直
方向の走査期間が１／２の左右合成画像信号ＤＶ２をエ
ンコーダ５０に出力する。

【０１２５】図２９は、ＭＰＥＧ−２エンコーダ５０の
ブロック回路図を示す。なお、第１の例のエンコーダ２
２と同一の構成については同一符号を付してその説明を
省略する。ここで、例えば、画像メモリ１３２は、図３
０に示すフィールド構造の右画像Ｉピクチャ（フィール
ド）Ｒ１及び左画像Ｉピクチャ（フィールド）Ｌ１から
なるデコードされたＩピクチャと、右画像Ｐピクチャ
（フィールド）Ｒ３及び左画像Ｐピクチャ（フィール
ド）Ｌ３からなるデコードされたＰピクチャを格納して
いるものとする。更に、マクロブロック変換器１１２
は、ＩピクチャＲ１とＰピクチャＲ３との間にある右画
像ＢピクチャＲ２のマクロブロックＳＭＢ２を動き検出
回路１５０及びモード判定回路１５２に出力するものと
する。

【０１２６】（動き検出）図３１に示すように動き検出
回路１５６は、第１及び第２回路４００，４０２と分離
回路４１４を備えている。第１回路４００は、１６×１
６画素のマクロブロックを用いてフィールド間予測によ
る動きベクトルを検出及び生成する。第２回路４０２
は、１６×８画素の半マクロブロックを用いてフィール
ド間予測による動きベクトルを検出及び生成する。

【０１２７】（１）１６×１６フィールド間予測による
動きベクトルの検出 第１回路４００は、第１〜第４動きベクトル検出回路４
０４，４０６，４０８，４１０と、動きベクトル生成回
路４１２とを備えている。

【０１２８】第１検出回路４０４は、画像メモリ１３２
から出力された左ＰピクチャＬ３の中で、マクロブロッ
ク変換器１１２から出力された１６×１６画素の現マク
ロブロックＳＭＢ２に最も類似する参照マクロブロック
を探し出す。第１検出回路４０４は、図３２Ｄに示すよ
うにその参照マクロブロックの位置を示す後方向動きベ
クトルＭＶ（Ｂｏ）を検出する。

【０１２９】同様にして、第２検出回路４０６は、ＳＭ
Ｂ２と右ＰピクチャＲ３とから図３２Ｃで示す後方向動
きベクトルＭＶ（Ｂｅ）を検出する。第３検出回路４０
８は、ＳＭＢ２と左ＩピクチャＬ１とから図３２Ｂで示
す前方向動きベクトルＭＶ（Ｆｏ）を検出する。第３検
出回路４１０は、ＳＭＢ２と右ＩピクチャＲ１とから図
３２Ａで示す前方向動きベクトルＭＶ（Ｆｅ）を検出す
る。

【０１３０】動きベクトル生成回路４１２は、４つの動
きベクトルＭＶ（Ｆｅ，Ｆｏ，Ｂｅ，Ｂｏ）から、図３
２Ｅ，Ｆ，Ｇ，Ｈに示す４種類の双方向動きベクトル
（Ｆｅ＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）
を生成する。このようにして第１回路４００は、１６×
１６画像の参照マクロブロックＳＭＢ２と４つのピクチ
ャとの間で検出及び生成した８種類の動きベクトルを読
出し制御回路１５８及びモード判定回路１６０に出力す
る。

【０１３１】（２）１６×８フィールド間予測による動
きベクトルの検出 図３１に示す第２回路４０２は、右ＰピクチャＲ３を入
力する第１及び第２動きベクトル検出回路４１６，４１
８と、左ＰピクチャＬ３を入力する第３及び第４動きベ
クトル検出回路４２０，４２２と、右ＩピクチャＲ１を
入力する第５及び第６動きベクトル検出回路４２４，４
２６と、左ＩピクチャＬ１を入力する第７及び第８動き
ベクトル検出回路４２８，４３０，及び第１及び第２動
きベクトル生成回路４３２，４３４を備えている。

【０１３２】分離回路４１４は、図３５に示すように現
マクロブロックＳＭＢを受取り、これを２つの１６×８
画素のアッパ−マクロブロックＵ２Ｂ及びロウアーマク
ロブロックＳ２Ｂに分離する。分離回路４１４は、アッ
パ−マクロブロックＵ２Ｂを第１，第３，第５，第７検
出回路４１６，４２０，４２４，４２８に出力し、ロウ
アーマクロブロックＳ２Ｂを第２，第４，第６，第８検
出回路４１８，４２２，４２６，４３０に出力する。

【０１３３】第１検出回路４１６は、アッパ−マクロブ
ロックＵ２Ｂと右ＰピクチャＲ３とから図３３Ｃに示す
後方向動きベクトルＭＶＵ（Ｂｅ）を検出する。第３検
出回路４２０は、Ｕ２Ｂと左ＰピクチャＬ３とから図３
３Ｄに示す後方向動きベクトルＭＶＵ（Ｂｏ）を検出す
る。第５検出回路４２４は、Ｕ２Ｂと右ＩピクチャＲ１
とから図３３Ａに示す前方向動きベクトルＭＶＵ（Ｆ
ｅ）を検出する。第７検出回路４２８は、Ｕ２Ｂと左Ｉ
ピクチャＬ１とから図３３Ｂで示す前方向動きベクトル
ＭＶＵ（Ｆｏ）を検出する。

【０１３４】第２検出回路４１８は、ロウアーマクロブ
ロックＳ２Ｂと右ＰピクチャＲ３とから図３４Ｃに示す
後方向動きベクトルＭＶＳ（Ｂｅ）を検出する。第４検
出回路４２２は、Ｓ２Ｂと左ＰピクチャＬ３とから図３
４Ｄに示す後方向動きベクトルＭＶＳ（Ｂｏ）を検出す
る。第６検出回路４２６は、Ｓ２Ｂと右ＩピクチャＲ１
とから図３４Ａに示す前方向動きベクトルＭＶＳ（Ｆ
ｅ）を検出する。第８検出回路４３０は、Ｓ２Ｂと左Ｉ
ピクチャＬ１とから図３４Ｂに示す前方向動きベクトル
ＭＶＳ（Ｆｏ）を検出する。

【０１３５】第１動きベクトル生成回路４３２は、第
１，第３，第５及び第７検出回路４１６，４２０，４２
４及び４２８が検出した４種類の動きベクトルＭＶＵ
（Ｂｅ，Ｂｏ，Ｆｅ，Ｆｏ）から、図３３Ｅ〜Ｈに示す
ように４種類の双方向動きベクトルＭＶＵ（Ｆｅ＋Ｂ
ｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）を生成す
る。

【０１３６】第２動きベクトル生成回路４３２は、第
２，第４，第６及び第８検出回路４１８，４２２，４２
６及び４３０が検出した４種類の動きベクトルＭＶＳ
（Ｂｅ，Ｂｏ，Ｆｅ，Ｆｏ）から、図３４Ｅ〜Ｈに示す
ように４種類の双方向動きベクトルＭＶＳ（Ｆｅ＋Ｂ
ｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）を生成す
る。

【０１３７】このようにして第２回路４０２は、１６×
８画素のアッパ−及びロウアーマクロブロックＵ２Ｂ，
Ｓ２Ｂと４つのピクチャＲ１，Ｒ３，Ｌ１，Ｌ３との間
で検出及び生成した１６種類の動きベクトルを読出し制
御回路１４８及びモード判定回路１５２に出力する。

【０１３８】読出し制御回路１５８は、第１回路４００
からの８種類の動きベクトルに対応した数の１６×１６
画素の参照マクロブロックをモード判定回路１６０に出
力すべく、画像メモリ１３２を制御する。又、読出し制
御回路１５８は、第２回路からの１６種類の動きベクト
ルに対応した数の１６×８画素の参照半マクロブロック
をモード判定回路１５２に出力すべく、画像メモリ１３
２を制御する。

【０１３９】（符号化モード判定）モード判定回路１６
０は、現マクロブロックＳＭＢ２を入力する第１分散値
検出回路４３８と、８種類の参照マクロブロックに対応
した数の第２，第３分散値検出回路４４０，４４５（残
りの６個の検出回路は図示せず）及び第１，第２減算器
４４２，４４３（残りの６個の減算器は図示せず）を備
えている。

【０１４０】モード判定回路１５２は、更に、１６種類
の参照半マクロブロックに対応した数の第３，第４分散
値検出回路４４６，４５２（残りの１４個の検出回路は
図示せず），第３，第４減算器４４８，４５０（残りの
１４個の減算器は図示せず），分離回路４４４，分散値
比較回路４５４及び選択回路４３６を備えている。

【０１４１】（１）１６×１６フィールド間予測におけ
る分散値の算出 第１算出回路４３８は、現マクロブロックＳＭＢ２の圧
縮効率を示す分散値を算出する。第２算出回路４４０
は、第１引算器４４２が算出した現マクロブロックＳＭ
Ｂ２と、前方向動きベクトルＭＶ（Ｆｅ）に対応した１
６×１６画素の参照マクロブロックとの差分の分散値を
算出する。第３算出回路４４０は、第２引算器４４２が
算出したＳＭＢ２と前方向動きベクトルＭＶ（Ｆｏ）に
対応した参照マクロブロックとの差分の分散値を算出す
る。

【０１４２】同様にして図示しない６個の算出回路は、
後方向動きベクトルＭＶ（Ｂｅ，Ｂｏ），双方向予測ベ
クトルＭＶ（Ｆｅ＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆ
ｏ＋Ｂｏ）について、図示しない６個の減算器からの差
分の分散値をそれぞれ算出する。

【０１４３】（２）１６×８フィールド間予測における
分散値の算出 分離回路４４４は、図３５に示すように、現マクロブロ
ックＳＭＢ２を、アッパーマクロブロックＵ２Ｂと、ロ
ウアーマクロブロックＳ２Ｂに分離し、Ｕ２Ｂを第３減
算器４４８を含む８個の減算器に出力し、Ｓ２Ｂを第４
減算器４５２を含む８個の減算器に出力する。

【０１４４】第４算出回路４４６は、第３減算器４４６
が算出したアッパーマクロブロックＵ２Ｂと、前方向動
きベクトルＭＶＵ（Ｆｅ）に対応した１６×８画素の参
照半マクロブロックとの差分の分散値を算出する。同様
にして図示しない７個の算出回路は、後方向動きベクト
ルＭＶＵ（Ｆｏ，Ｂｅ，Ｂｏ），双方向予測ベクトルＭ
ＶＵ（Ｆｅ＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂ
ｏ）について、図示しない７個の減算器からの差分の分
散値をそれぞれ算出する。

【０１４５】第５算出回路４５２は、第４減算器４５０
が算出したロウアーマクロブロックＳ２Ｂと、前方向動
きベクトルＭＶＳ（Ｆｅ）に対応した１６×８画素の参
照半マクロブロックとの差分の分散値を算出する。同様
にして図示しない７個の算出回路は、後方向動きベクト
ルＭＶＳ（Ｆｏ，Ｂｅ，Ｂｏ），双方向動きベクトルＭ
ＶＳ（Ｆｅ＋Ｂｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂ
ｏ）について、図示しない７個の減算器からの差分の分
散値をそれぞれ算出する。

【０１４６】（３）最適な符号化モードの判定 分散値比較回路４５４は、各第１〜第５算出回路４３
８，４４０，４４５，４４６，４５２及び図示しない２
０個の算出回路から出力された各分散値を相互に比較し
て、最も小さな値をもつマクロブロックを特定し、その
特定されたマクロブロックを示すタイプ情報ＭＢＴを選
択回路４３６及び挿入器１２１に出力する。この情報Ｍ
ＢＴは、イントラモード，６種類のインターモードのい
ずれかの符号化を示す。６種類のインターモードは表２
に示すように、

【０１４７】

【表２】 i）いずれかの前方向動きベクトルＭＶ（Ｆｅ，Ｆｏ）
を用いたフィールド間予測符号化、 ii）いずれかの後方向動きベクトルＭＶ（Ｂｅ，Ｂｏ）
を用いたフィールド間予測による符号化、 iii）いずれかの双方向動きベクトルＭＶ（Ｆｅ＋Ｂ
ｅ，Ｆｅ＋Ｂｏ，Ｆｏ＋Ｂｅ，Ｆｏ＋Ｂｏ）のを用いた
フィールド間予測符号化、 iv）グループ１に含まれるペアの前方向動きベクトルＭ
ＶＵ，ＭＶＳを用いたフィールド間予測符号化、 v）グループ２に含まれるペアの後方向動きベクトルＭ
ＶＵ，ＭＶＳを用いたフィールド間予測符号化、 vi）グループ３に含まれるペアの双方向動きベクトルＭ
ＶＵ，ＭＶＳを用いたフィールド間予測符号化として設
定される。

【０１４８】選択回路４３６は、動き検出回路１５６か
ら出力された２４種類のフィールド間予測動きベクトル
の入力、及びインターモードを示す情報ＭＢＴの入力に
応答して、対応する動きベクトルを読出し制御回路１５
８及び挿入器１２１に選択的に出力する。

【０１４９】上記したように第４の例では、左右合成画
像の予測符号化において３つのタイプの動き補償を選択
的に得ることができる。１つ目のタイプは、例えば、２
つの右画像Ｒ１，Ｒ３と、１６×１６画素の右マクロブ
ロックＳＭＢ２（又は１６×８画素のアッパー及びロウ
アーマクロブロックＵ２Ｂ，Ｓ２Ｂ）とを用いたフィー
ルド間予測による動き補償である。２つ目は、２つの左
画像Ｌ１，Ｌ３と１６×１６画素の右マクロブロックＳ
ＭＢ２（１６×８画素のアッパー及びロウアーマクロブ
ロックＵ２Ｂ及びＳ２Ｂ）とを用いたフィールド間予測
による動き補償すなわち、視差補償である。３つ目は、
１つ目の動き補償と２つ目の視差補償の中間的（又は、
内挿的）な動き補償である。

【０１５０】従って、これらの補償によって、左右画像
の相関性に応じて圧縮効率の最も高いマクロブロックタ
イプを選択することができる。更に、１６×８画素のア
ッパー及びロウアーマクロブロックＵ２Ｂ，Ｓ２Ｂを用
いることにより、１６×１６画素の現マクロブロックＳ
ＭＢ２を用いる場合と比較して、より高密度の予測符号
化を行うことができる。

【０１５１】尚、本発明は上記実施例に限定されるもの
ではなく、以下のように実施してもよい。 （１）図３６に示すように、左画像１のラインL1と右画
像２のラインL2とを一定数のライン（この場合、４ライ
ン）毎に交互にマージしてもよい。

【０１５２】（２）図３７に示すように、左画像１と右
画像２とを垂直方向あるいは水平方向に所定数のブロッ
クＢ1,Ｂ2 毎に交互にマージしてもよい。この場合、左
画像１及び右画像２がノンインタレース画像であること
がブロック化が容易であるとい点から好ましい。

【０１５３】（３）上記第４の例において、左目用の動
画像信号と右目用の動画像信号とを１画面（フレーム）
毎に交互に合成する代わりに、フィールド単位で形成さ
れる右目用の動画像信号と、フィールド単位で形成され
る左目用の動画像信号とを１フィールド毎に合成して、
この合成動画像信号をフィールド構造のＭＰＥＧ−２エ
ンコーダ５０により符号化するようにしてもよい。

【０１５４】（４）符号化データを記録する媒体として
の光磁気ディスクを、光ディスク、相変化型ディスク、
ハードディスク等の記憶媒体に置換してもよい。 上記実施例から把握できる請求項以外の発明について、
以下にその効果とともに記載する。

【０１５５】（１）右目用の動画像と左目用の動画像と
をそれぞれ所定数の画素をもつ２次元ブロック毎に合成
して合成動画像を形成し、その合成動画像をＭＰＥＧ−
１方式又はＭＰＥＧ−２方式に従って符号化する立体動
画像の符号化方法。このようにすると、左右動画像の合
成を効率良く行うことができる。

【０１５６】（２）右目用の動画像と左目用の動画像と
をそれぞれ水平方向に所定数の画素をもつ複数の２次元
ブロックに分割し、その分割された各ブロックを合成し
て合成動画像を形成し、その合成画像をＭＰＥＧ−１方
式又はＭＰＥＧ−２方式に従って符号化する立体動画像
の符号化方法。このようにしても左右動画像の合成を効
率良く行うことができる。

【０１５７】（３）右目用の動画像と左目用の動画像と
をそれぞれ垂直方向に所定数の画素をもつ複数の２次元
ブロックに分割し、その分割された各ブロックを合成し
て合成動画像を形成し、その合成画像をＭＰＥＧ−１方
式又はＭＰＥＧ−２方式に従って符号化する立体動画像
の符号化方法。このようにしても左右動画像の合成を効
率良く行うことができる。

【０１５８】（４）上記（１）に記載の方法により符号
化された合成動画像をＭＰＥＧ−１方式又はＭＰＥＧ−
２方式に従って復号化し、その復号化された合成動画像
を２２次元ブロック毎に分離して、左右動画像を別々に
形成する立体動画像の復号化方法。このようにすると、
復号化された合成動画像の分離効率が良くなる。

【０１５９】（５）上記（２）に記載の方法により符号
化された合成動画像をＭＰＥＧ−１方式又はＭＰＥＧ−
２方式に従って復号化し、その復号化された合成動画像
を水平方向にブロック毎に分離して、左右動画像を別々
に形成する立体動画像の復号化方法。このようにする
と、復号化された合成動画像の分離効率が良くなる。

【０１６０】（６）上記（３）に記載の方法により符号
化された合成動画像をＭＰＥＧ−１方式又はＭＰＥＧ−
２方式に従って復号化し、その復号化された合成動画像
を垂直方向にブロック毎に分離して、左右動画像を別々
に形成する立体動画像の復号化方法。このようにする
と、復号化された合成動画像の分離効率が良くなる。

【０１６１】

【発明の効果】以上詳述したように本発明によれば、左
右動画像を合成して合成動画像を形成し、その合成動画
像をＭＰＥＧ−１又はＭＰＥＧ−２方式のエンコーダに
より符号化するので、立体動画像の符号化効率を向上す
ることができる。

【０１６２】又、本発明によれば、符号化の際に左右動
画像の相関性、すなわち立体感（平面感）に応じて左右
動画像を一体にした合成動画像の符号化と、左右動画像
をそれぞれ別体にした符号化とを選択的に行うので、立
体動画像の符号化効率を向上することができる。

【０１６３】更に、上記のようにして符号化された合成
動画像をＭＰＥＧ−１又はＭＰＥＧ−２方式のデコーダ
により効率良く復号化し、その復号化された合成動画像
を分離して、左右動画像を別々に形成することができ
る。

【図面の簡単な説明】

【図１】第１実施例の立体動画像の符号化及び復号化を
示す図。

【図２】第２実施例の立体動画像の符号化及び復号化を
示す図。

【図３】第３実施例の立体動画像の符号化及び復号化を
示す図。

【図４】第１実施例に対応する第１の例の符号化装置を
示すブロック図。

【図５】左右動画像の合成を説明するための図。

【図６】合成器を示すブロック図。

【図７】合成画像の形成を説明するためのタイムチャー
ト。

【図８】ＭＰＥＧ−１エンコーダを示すブロック図。

【図９】画面並び変え回路の動作を説明するための図。

【図１０】マクロブロックからブロックへの変換を示す
図。

【図１１】ブロックの符号化手順を示す図。

【図１２】動き検出回路及びモード判定回路を示すブロ
ック図。

【図１３】予測符号化に用いる画面を説明するための
図。

【図１４】（Ａ）は前方向予測を説明するための図、
（Ｂ）は双方向予測を説明するための図、（Ｃ）は後方
向予測を説明するための図。

【図１５】第１実施例に対応する第２の例の符号化装置
を示すブロック図。

【図１６】第１実施例に対応する第３の例の符号化装置
を示すブロック図。

【図１７】フレーム構造ＭＰＥＧ−２エンコーダを示す
ブロック図。

【図１８】マクロブロックからフレームブロックへの変
換を示す図。

【図１９】マクロブロックからフィールドブロックへの
変換を示す図。

【図２０】予測符号化に用いる画面を説明するための
図。

【図２１】動き検出回路及びモード判定回路を示すブロ
ック図。

【図２２】フレーム間予測符号化を説明するための図。

【図２３】マクロブロックから左右半マクロブロックへ
の分離を示す図。

【図２４】（Ａ）〜（Ｈ）は、右半マクロブロックを用
いたフィールド予測を説明するための図。

【図２５】（Ａ）〜（Ｈ）は、左半マクロブロックを用
いたフィールド予測を説明するための図。

【図２６】第１実施例に対応する第４の例の符号化装置
を示すブロック図。

【図２７】合成器を示すブロック図。

【図２８】左右動画像の合成を説明するための図。

【図２９】フィールド構造ＭＰＥＧ−２エンコーダを示
すブロック図。

【図３０】予測符号化に用いる画面を説明するための
図。

【図３１】動き検出回路及びモード判定回路を示すブロ
ック図。

【図３２】（Ａ）〜（Ｈ）は、１６×１６画素のマクロ
ブロックを用いたフィールド予測を説明するための図。

【図３３】（Ａ）〜（Ｈ）は、１６×８画素のアッパ−
マクロブロックを用いたフィールド予測を説明するため
の図。

【図３４】（Ａ）〜（Ｈ）は、１６×８画素のロウアー
マクロブロックを用いたフィールド予測を説明するため
の図。

【図３５】マクロブロックからアッパ−及びロウアーマ
クロブロックへの変換を示す図。

【図３６】別の実施例の立体動画像の符号化及び復号化
を示す図。

【図３７】更に別の実施例の立体動画像の符号化及び復
号化を示す図。

【符号の説明】

１…左画像、２…右画像、３…フレーム画像、４…エン
コーダ、６…デコーダ、１３…垂直フィルタ、４０…合
成器，４６…フレーム構造エンコーダ、５０…フィール
ド構造エンコーダ、１１４…減算器、１１６…ＤＣＴ回
路、１２１…挿入器、１５８…動き補償読出し制御回
路、１６０…選択手段としてのモード判定回路、４００
…第１回路（１１４，１１６，１５８，４００は第１予
測符号化手段を構成する）、４０２…第２回路、４１４
…分離回路（１１４，１１６，１５８，４０２，４１４
は第２予測符号化手段を構成する）、L1,L2 …ライン、
OF1,OF2 …奇数フィールド画像、EF1,EF2 …偶数フィー
ルド画像、Ｍ…合成器、Ｓ…分離器、ＳＭＢ２…マクロ
ブロック，Ｕ２Ｂ…アッパーマクロブロック、Ｓ２Ｂ…
ロウアーマクロブロック。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉本 悦子 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 小林 智子 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (20)

【特許請求の範囲】
1. 【請求項１】 合成器（Ｍ）により、フレーム単位の右
   目用の動画像信号とフレーム単位の左目用の動画像信号
   とを、１水平走査線毎にマージし、このマージした動画
   像信号をＭＰＥＧ２方式のエンコーダ（４）によりフレ
   ーム構造で符号化する立体動画像の符号化方法。
2. 【請求項２】 前記フレーム単位の動画像信号とは、ノ
   ンインタレース走査の動画像信号である請求項１に記載
   の立体動画像の符号化方法。
3. 【請求項３】 前記フレーム単位の動画像信号とは、イ
   ンタレース走査のフィールド画像の２フィールドを合成
   したノンインタレース動画像信号である請求項１に記載
   の立体動画像の符号化方法。
4. 【請求項４】 前記ノンインタレース動画像信号は、垂
   直フィルタ（１３）を用いて垂直方向のフィルタ処理が
   なされる請求項３に記載の立体動画像の符号化方法。
5. 【請求項５】 前記ノンインタレース動画像信号は、垂
   直方向の差成分が大きい場合に、垂直フィルタ（１３）
   で垂直方向のフィルタ処理がなされる請求項３に記載の
   立体動画像の符号化方法。
6. 【請求項６】 合成器（Ｍ）により、フィールド単位の
   右目用の動画像信号とフィールド単位の左目用の動画像
   信号とを、１水平走査線毎にマージし、このマージした
   動画像信号をＭＰＥＧ２方式のエンコーダ（４）により
   フレーム構造で符号化する立体動画像の符号化方法。
7. 【請求項７】 左目用の動画像信号と右目用の動画像信
   号とを１画面毎に交互にマージし、このマージした動画
   像信号をＭＰＥＧ２方式のエンコーダ（５０）によりフ
   ィールド構造で符号化する立体動画像の符号化方法。
8. 【請求項８】 フィールド単位の右目用の動画像信号と
   フィールド単位の左目用の動画像信号とを１フィールド
   毎に合成して合成動画像信号を形成し、その合成動画像
   信号をフィールド構造のＭＰＥＧ２方式のエンコーダ
   （５０）により符号化する立体動画像の符号化方法。
9. 【請求項９】 左動画像と右動画像とを用いた立体動画
   像信号の符号化方法であって、前記左右動画像の各々は
   ピクチャであり、左動画像におけるピクチャは、インタ
   レース走査された奇数ライン画像から形成された第１フ
   ィールド(OF1) と、インタレース走査された偶数ライン
   画像から形成された第２フィールド(EF1）とを備えてお
   り、前記右動画像におけるピクチャは、インタレース走
   査された奇数ライン画像から形成された第３フィールド
   (OF2）と、インタレース走査された偶数ライン画像から
   形成された第４フィールド(EF2）とを備えており、 前記第１及び第３フィールドにおけるライン画像を合成
   して、該第１及び第３フィールドの奇数ラインが交互に
   配列された第１合成フィールド（８）を生成するステッ
   プと、 前記第２及び第４フィールドにおけるライン画像を合成
   して、該第２及び第４フィールドの偶数ラインが交互に
   配列された第２合成フィールド（９）を生成するステッ
   プと、 ＭＰＥＧ−２に適合するエンコーダ（１０）を用いて、
   前記第１及び第２合成フィールドを符号化するステップ
   とを備えている立体動画像の符号化方法。
10. 【請求項１０】 請求項９に記載の方法において、前記
    符号化ステップにおいて用いられるエンコーダ（１０）
    は、ＭＰＥＧ２のフレーム構造に適合するエンコーダで
    ある立体動画像の符号化方法。
11. 【請求項１１】 請求項１〜１０に記載の方法におい
    て、符号化された立体動画像情報に立体動画像の符号化
    に関連する情報を付加することを特徴とする立体動画像
    の符号化方法。
12. 【請求項１２】 前記関連情報は、符号化された情報が
    立体画像情報か否かを表す情報、前記左右動画像を合成
    する際の所定単位の仕様を表す情報、元の画像信号がイ
    ンタレース走査か否かを表す情報のうち少なくとも１つ
    を含むことを特徴とする請求項１１に記載の立体動画像
    の符号化方法。
13. 【請求項１３】 右目用の動画像信号と左目用の動画像
    信号とを、１画面毎に合成する合成器（４８）と、 この合成した画像信号を１６×１６画素のマクロブロッ
    ク単位で画像圧縮符号化するエンコーダ（５０）と、 前記エンコーダ（５０）内に設けられ、合成された動画
    像信号を１６×１６画素のマクロブロック単位で動き補
    償フィ−ルド間予測符号化により圧縮符号化する第１予
    測符号化手段（１１４，１１６，１５８，４００）と、 前記エンコーダ（５０）内に設けられ、前記１６×１６
    画素のマクロブロックを、その上部１６×８画素のアッ
    パ−ブロック（Ｕ２Ｂ）と、下部１６×８画素のロウア
    ーブロック（Ｓ２Ｂ）の単位で個別に動き補償フィール
    ド間予測符号化により圧縮符号化する第２予測符号化手
    段（１１４，１１６，１５８，４０２，４１４）と、 この第１予測符号化手段による符号化画像データと、こ
    の第２予測符号化手段よる符号化画像データとの内、符
    号量が少ないと判定された画像データを選択的に出力す
    る選択手段（１６０）とを備える立体動画像の符号化装
    置。
14. 【請求項１４】 右目用の動画像信号と左目用の動画像
    信号とを１画面毎に合成する合成器（４８）と、 合成された動画像信号を１６×１６画素のマクロブロッ
    ク単位で動き補償フィ−ルド間予測符号化により圧縮符
    号化する第１予測符号化手段（１１４，１１６，１５
    ８，４００）と、 前記１６×１６画素のマクロブロックを、その上部１６
    ×８画素のアッパ−ブロック（Ｕ２Ｂ）と、下部１６×
    ８画素のロウアーブロック（Ｓ２Ｂ）の単位で個別に動
    き補償フィールド間予測符号化により圧縮符号化する第
    ２予測符号化手段（１１４，１１６，１５８，４０２，
    ４１４）と、 この第１予測符号化手段による符号化画像データと、こ
    の第２予測符号化手段よる符号化画像データとの内、符
    号量が少ないと判定された画像データを選択的に出力す
    る選択手段（１６０）とを備える立体動画像の符号化装
    置。
15. 【請求項１５】 請求項１３及び１４に記載の装置は、
    符号化された立体動画像情報に立体動画像の符号化に関
    連する情報を付加するための挿入器（１２１）を備えて
    いる立体動画像の符号化装置。
16. 【請求項１６】 請求項１５に記載の符号化装置におい
    て、前記挿入器は符号化された情報が立体画像情報か否
    かを表す情報、前記左右動画像を合成する際の所定単位
    の仕様を表す情報、元の画像信号がインタレース走査か
    否かを表す情報のうち少なくとも１つを含む前記関連情
    報を前記符号化された立体動画像情報に付加する立体動
    画像の符号化装置。
17. 【請求項１７】 請求項１に記載の符号化方法によって
    符号化された合成動画像をフレーム構造のＭＰＥＧ２方
    式のデコーダ（６）により復号化し、その復号化された
    合成画像を１水平走査線毎に交互に分離して、フレーム
    単位の右目用の動画像信号と、フレーム単位の左目用の
    動画像信号とを別々に形成する立体動画像の復号化方
    法。
18. 【請求項１８】 請求項８に記載の符号化方法によって
    符号化された合成動画像をフィールド構造のＭＰＥＧ２
    方式のデコーダにより復号化し、その復号化された合成
    動画像を１フィールド毎に交互に分離して、フィールド
    単位の右目用の動画像信号とフィールド単位の左目用の
    動画像信号とを別々に形成する立体動画像の復号化方
    法。
19. 【請求項１９】 請求項１７に記載の復号化方法に使用
    する復号化装置であって、符号化された合成動画像を復
    号化するためのフレーム構造のＭＰＥＧ２方式のデコー
    ダ（６）と、該デコーダ（６）により復号化された合成
    画像を１水平走査線毎に交互に分離して、フレーム単位
    の右目用の動画像信号と、フレーム単位の左目用の動画
    像信号とを別々に形成するための分離器（Ｓ）とを備え
    た立体動画像の復号化装置。
20. 【請求項２０】 請求項１８に記載の復号化方法に使用
    する復号化装置であって、符号化された合成動画像を復
    号化するためのフィールド構造のＭＰＥＧ−２方式のデ
    コーダと、該デコーダにより復号化された合成動画像を
    １フィールド毎に交互に分離して、フィールド単位の右
    目用の動画像信号とフィールド単位の左目用の動画像信
    号とを別々に形成するための分離器とを備えた立体動画
    像の復号化装置。