JP3958493B2

JP3958493B2 - Encoding device and decoding device

Info

Publication number: JP3958493B2
Application number: JP2000074282A
Authority: JP
Inventors: 眞蓼沼; 保明金次; 浩幸今泉; 美和片山
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2000-03-16
Filing date: 2000-03-16
Publication date: 2007-08-15
Anticipated expiration: 2020-03-16
Also published as: JP2001268596A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号の符号化装置及び復号化装置に関するものであり、例えば、２眼式立体テレビジョンシステムに適用され、２眼式立体画像を構成する左眼及び右眼用画像信号のような第１及び第２画像信号の符号化装置及び及び復号化装置に関するものである。
【０００２】
【従来の技術】
従来、２眼式立体画像をその状態で観察することができる１画像に多重圧縮する方法として、以下のものが提案されている。
１．フィールド順次切換方式
２．垂直周波数帯域制限多重方式
３．水平周波数帯域制限多重方式
４．２次元周波数帯域制限多重方式
【０００３】
フィールド順次切換方式では、左眼用及び右眼用画像をフィールド順次に交互に切り換えている。
【０００４】
垂直周波数帯域制限多重方式では、左眼用及び右眼用画像の垂直周波数帯域をそれぞれ１／２に制限して走査線を一つごとに間引き、１画面の上側半分と下側半分とに多重化している。
【０００５】
水平周波数帯域制限多重方式では、左眼用及び右眼用画像の水平周波数帯域をそれぞれ１／２に制限してサンプリング点を一つごとに間引き、１画面の左側半分と右側半分とに多重化している。
【０００６】
２次元周波数帯域制限多重方式では、左眼用及び右眼用画像を、左眼用及び右眼用画像に対してフィールド内で１／２の面積となる台形の２次元通過周波数帯域を有する２次元デジタルフィルタ処理した後、フィールド内オフセットサンプリングを行い、そのサンプリング点の値をそのまま並び替えて両眼の画像を１画面の左側半分と右側半分とに多重している。この場合、サブサンプリング点の並び替えは、フィールド内で１走査線ごとにサンプリング点の値をそのまま水平サブサンプリング間隔の１／２だけずらして垂直方向の位置を揃えた上で時間軸圧縮を行うことに相当する。
【０００７】
また、立体動画像の圧縮伝送方式として、国際標準化されているMPEG2 の多眼画像対応プロファイル(MVP:Multi View Profile)が提案されている（以下、MPEG2-MVP 方式と称する。）。この場合、左眼と右眼のうちの一方の画像は、順方向と逆方向の両方の動き予測補償を用いた通常のプロファイル(MP:Main Profile)で符号化され、他方の画像は、順方向のみの動き補償と両眼の画像間の視差補償を用いて符号化される。これによって、両眼ともMPで符号化した場合すなわち単眼の２倍の符号量とした場合と同質の画質が、約１５％少ない符号量すなわち単眼の約１．７倍の符号量で得られる。
【０００８】
【発明が解決しようとする課題】
しかしながら、フィールド順次切換方式では、垂直解像度及び時間解像度が共に半減するため、画質の劣化が顕著になる。また、垂直周波数帯域制限多重方式では、垂直解像度が半減し、水平周波数帯域制限多重方式では、水平解像度が半減する。したがって、垂直周波数帯域制限多重方式及び水平周波数帯域制限多重方式の場合でも画質が幾分劣化し、具体的には、標準画像を用いた画質評価試験で１ランク近い劣化が生じる。
【０００９】
２次元周波数帯域制限多重方式では、多重した画像を非可逆の圧縮伝送を行わずにそのまま分離及び再生する場合には、画質の劣化を検知限前後に抑制することができ、具体的には、標準画像を用いた画質評価試験で０．５ランク程度の劣化まで抑制することができる。しかしながら、多重した画像を、MPEG2 のように復号化後の斜め方向成分の欠落が大きくなる非可逆の圧縮伝送を行った後に分離及び再生する場合、水平サブサンプリング点の位置移動のために、元の画像で垂直方向に伸びた直線がジグザグに再生され、局所的に画質の劣化が顕著になるという不都合がある。
【００１０】
MPEG2-MVP 方式では、視差補償を行っており、その結果、視差補償を行わない場合に比べて少ない伝送符号量で同一の画質を得ることができるが、圧縮装置及び再生装置のハードウェア規模が共に単眼用のものに比べて２倍以上になる。また、動きの激しい画像では視差補償による伝送符号量の低減効果がほとんどなく、伝送する両眼の画像を１台のモニタで観察して確認することができないという不都合がある。さらに、符号化すべき２画像が立体画像のように画像間に相関を有しない場合、再生された画像の画質は、同一伝送レートであるときには単眼用の装置を２台使用した場合に比べて劣化する。
【００１１】
本発明の目的は、局所的な画質の劣化が生じることなく第１及び第２画像信号の非可逆伝送を行うことができる符号化装置及び復号化装置を提供することである。
【００１２】
本発明の他の目的は、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる符号化装置及び復号化装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明による符号化装置は、
第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段と、
これら第１及び第２フィルタ処理手段によって２次元通過周波数帯域制限を施した第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って間引きを行う第１及び第２間引き手段と、
これら第１及び第２間引き手段によって間引きを行った第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号を多重する画像信号多重手段とを具えることを特徴とするものである。
【００１４】
本発明によれば、間引きを行った第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。このように１／２ではなく１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００１５】
また、２次元通過周波数帯域制限を施すことによって、特開平７−９５６１８号公報に記載されているように、再生される画質が最良となり、非可逆伝送時における画質の劣化を更に抑制することができる。
【００１６】
さらに、第１及び第２画像信号を多重することによって、単眼用の装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる。
【００１７】
前記第１及び第２画像信号を、例えば、２眼式立体画像信号を構成する左眼及び右眼用画像信号とする
【００１８】
本発明による復号化装置は、
第１及び第２画像信号から構成された信号を第１及び第２画像信号に分離する画像信号分離手段と
その画像信号分離手段によって分離された第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する第１及び第２内挿手段と、
これら第１及び第２内挿手段によってデジタル内挿処理された第１及び第２画像信号についてそれぞれ、前記サブサンプリング周期の中間点にそれぞれ０値を挿入する第１及び第２挿入手段と、
これら第１及び第２挿入手段によって０値が挿入された第１及び第２画像信号に対してそれぞれ、フィールド内で全帯域の１／２の２次元通過周波数帯域制限を施す第１及び第２フィルタ処理手段とを具えることを特徴とするものである。
【００１９】
本発明によれば、第１及び第２画像信号についてそれぞれ、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。このように１／２ではなく１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００２０】
また、２次元通過周波数帯域制限を施すことによって、特開平７−９５６１８号公報に記載されているように、再生される画質が最良となり、非可逆伝送時における画質の劣化を更に抑制することができる。
【００２１】
さらに、に第１及び第２画像信号を分離して、前記第１及び第２内挿手段にそれぞれ供給することによって、単眼用の装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができる。
【００２２】
【発明の実施の形態】
本発明によるの実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による符号化装置及び復号化装置を有する伝送システムのブロック図である。図示した伝送システムは、例えば２眼式立体テレビジョンシステムに適用され、符号化装置１と、復号化装置２と、可逆伝送又は非可逆伝送に使用される従来既知の単眼用の伝送装置（例えば、MPEG2 エンコーダ／デコーダ）３と、通常のＤ／Ａ変換器４と、通常のモニタ５とを具える。
【００２３】
符号化装置１は、第１及び第２画像信号としての左眼用及び右眼用デジタル画像信号がそれぞれ入力されるサンプリング点間引き部６ａ，６ｂと、そのサンプリング点間引き部６ａ，６ｂによって処理された左眼用及び右眼用デジタル画像信号を多重して２眼式立体画像信号を出力する画面内左右画像多重器７とを有する。
【００２４】
サンプリング点間引き部６ａ，６ｂはそれぞれ、第１及び第２フィルタ処理手段としてのフィールド内２次元台形フィルタ７ａ，７ｂと、第１及び第２間引き手段としてのフィールド内オフセットサブサンプリング器８ａ，８ｂと、第１及び第２内挿手段としての１／４サブサンプリング周期移動点内挿器９ａ，９ｂとを有する。
【００２５】
フィールド内２次元台形フィルタ７ａ，７ｂはそれぞれ、左眼用及び右眼用画像信号に対してフィールド内で１／２の面積となる台形の２次元通過周波数帯域を有する。フィールド内オフセットサブサンプリング器８ａ，８ｂはそれぞれ、左眼用及び右眼用画像信号に対してフィールド内オフセットサブサンプリングを行う、すなわち、走査線番号の偶奇性に従って間引きを行う。１／４サブサンプリング周期移動点内挿器９ａ，９ｂはそれぞれ、左眼用及び右眼用画像信号について、走査線番号の偶奇性に従って１／４サブサンプリング周期だけ左又は右に移動した点における値を、デジタル内挿処理によって算出する。なお、フィールド内オフセットサブサンプリング器８ａ，８ｂ及び１／４サブサンプリング周期移動点内挿器９ａ，９ｂにはそれぞれ、動作中に偶奇性走査線フラグが立てられる。
【００２６】
復号化装置２は、２眼式立体画像信号が伝送装置３を通じて入力されるとともに左眼用及び右眼用画像信号に分離する画像信号分離手段としての左右画像分離器１０と、これら左眼用及び右眼用画像信号がそれぞれ入力されるサンプリング点補間部１１ａ，１１ｂを有する。
【００２７】
サンプリング点補間部１１ａ，１１ｂはそれぞれ、第１及び第２内挿手段としての１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂと、第１及び第２挿入手段としてのサブサンプリング点間０値挿入器１３ａ，１３ｂと、第１及び第２フィルタ処理手段としてのフィールド内２次元台形フィルタ１４ａ，１４ｂとを有する。
【００２８】
１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂは、１／４サブサンプリング周期移動点内挿器６ａ，６ｂと同一構成を有する。サブサンプリング点間０値挿入器１３ａ，１３ｂは、左眼用及び右眼用画像信号について、前記サブサンプリング周期の中間点にそれぞれ０値を挿入する。２次元台形フィルタ１４ａ，１４ｂは、２次元台形フィルタ７ａ，７ｂと同一構成を有する。なお、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂ及びサブサンプリング点間０値挿入器１３ａ，１３ｂにはそれぞれ、動作中に偶奇性走査線フラグが立てられる。
【００２９】
本実施の形態の動作を、２眼式立体画像信号を構成する第１及び第２画像信号としての左眼及び右眼用画像信号（ハイビジョン信号の場合にはBTA S-002 規格の信号）を非可逆伝送する場合について説明する。
【００３０】
サンプリング点間引き部６ａ，６ｂに入力される左眼及び右眼用画像信号ａ１，ａ２はそれぞれ、図２において斜線で示すような全帯域の１／２の通過帯域特性を有するフィールド内２次元台形フィルタ７ａ，７ｂによって、２次元帯域制限が施される。図２において、fsをサンプリング周波数とし、fHを１フレーム走査線数とする。
【００３１】
このような通過帯域特性のフィルタを使用することによって、再生される画質が最良となり、これは、特開平７−９５６１８号公報に記載されている。なお、左眼及び右眼用画像信号ａ１，ａ２の構成を、図３に示すが、この場合、■，□は、左眼画像の画素を表し、▲，△は、右眼画像の画素を表す。
【００３２】
２次元帯域制限が施された左眼及び右眼用画像信号ｂ１，ｂ２はそれぞれ、フィールド内オフセットサブサンプリング器８ａ，８ｂによって、フィールド内オフセットサブサンプリング、すなわち、走査線番号の偶奇性に従った間引きが行われる。このように間引きが行われた左眼及び右眼用画像信号ｃ１，ｃ２の構成も図３に示すが、この場合、 ×は、間引かれた画素を表す。
【００３３】
間引きが行われた左眼及び右眼用画像信号ｃ１，ｃ２はそれぞれ、１／４サブサンプリング周期移動点内挿器６ａ，６ｂにおいて、走査線番号の偶奇性すなわち偶奇性走査線フラグに従って１／４サブサンプリング周期だけ左又は右に移動した点における値をデジタル内挿処理によって算出した上で、その点を新たなサンプリング点とすることによって、図３に示すように、サブサンプリング点が垂直方向に揃った左眼及び右眼用画像信号ｄ１，ｄ２に変換される。なお、図３の

は、移動点における内挿値を示す。
【００３４】
図４は、１／４サブサンプリング周期移動点内挿器６ａ，６ｂの構成の一例を示す図である。１／４サブサンプリング周期移動点内挿器６ａ，６ｂはそれぞれ、第１区分２１と、第２区分２２と、偶奇性走査線フラグに従って第１区分２１の出力側と第２区分２２の出力側との間で接続を交互に切り換えるスイッチ２３とを有する。
【００３５】
第１区分２１は、係数α１，α２，α３，．．．，αｎをそれぞれ乗算するｎ（ｎ：整数）個の乗算器２４−１，２４−２，２４−３，．．．，２４−ｎと、１クロック分だけ遅延を行うディレイ２５−１，２５−２，．．．，２５−ｎ−１と、乗算器２６−１，２６−２，．．．，２６−ｎ−１とを有する。
【００３６】
第２区分２１は、係数αｎ，αｎ−１，αｎ−２，．．．，α１をそれぞれ乗算するｎ（ｎ：整数）個の乗算器２７−１，２７−２，２７−３，．．．，２７−ｎと、１クロック分だけ遅延を行うディレイ２８−１，２８−２，．．．，２８−ｎ−１と、乗算器２９−１，２９−２，．．．，２９−ｎ−１とを有する。
【００３７】
サブサンプリング点を垂直方向に揃えるに当たり、１走査線ごとに１／２サブサンプリング周期だけ移動した点における値を同様のデジタル内挿処理によって算出することも考えられるが、この場合、移動を行ったサブサンプリング点の値がフィルタの有効なタップ数の制限による折り返し妨害の影響が顕著になり、かつ、オーバーシュートやアンダーシュートによる振幅のクリッピングの発生割合が比較的高くなるために再生画像の劣化が大きくなる。本発明のように１走査線ごとに左又は右に１／４サブサンプリング周期だけ移動すると、１／２サブサンプリング周期だけ移動させる場合に比べて繰り返し妨害の影響及び再生画像の劣化が抑制される。
【００３８】
左眼及び右眼用画像信号ｄ１，ｄ２は、画面内左右画像多重器７において、それぞれ１走査線で間引く前の元のサンプリング周期に時間軸圧縮された上で、画面の左側及び右側の位置に時間軸多重され、図３に示すような構成の２眼式立体画像信号ｅに変換される。２眼式立体画像信号ｅは、非可逆伝送時には幾分の誤差を有するが、これによる画質への影響はほとんどない。
【００３９】
２眼式立体画像信号ｅは、単眼の画像信号と同一規格に沿ったデジタル画像信号となるので、２眼式立体画像信号ｅを、単一の伝送装置３のみを通じて復号化装置２に伝送できるだけでなく、Ｄ／Ａ変換器４を通じてモニタ５に供給することによって、左眼用及び右眼用画像がモニタ５の画面の左側及び右側にそれぞれ多重された１枚の画像を観察することができる。
【００４０】
復号化装置２に伝送された２眼式立体画像信号ｅは、左右画像分離器１０において、画面の左側及び右側の位置に時間軸多重された左眼用及び右眼用画像信号として分離された後、１走査線上でのサンプリング周期が２サンプル間隔にそれぞれ時間軸伸長され、図３に示すような構成の左眼及び右眼用画像信号ｆ１，ｆ２にそれぞれ変換される。
【００４１】
左眼及び右眼用画像信号ｆ１，ｆ２はそれぞれ、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂにおいて、走査線番号の偶奇性すなわち偶奇性走査フラグに従って、１／４サブサンプリング周期移動点内挿器９ａ，９ｂでの移動方向とは反対方向に１／４サブサンプリング周期だけ左又は右に移動した点における値をデジタル内挿処理によって算出した上で、その点を新たなサブサンプリング点とするように処理される。
【００４２】
このような処理の後、サブサンプリング点間０値挿入器１３ａ，１３ｂによって、サブサンプリング周期の中間点に０値が挿入され、そのようにして得られた左眼及び右眼用画像信号ｇ１，ｇ２の構成をそれぞれ図３に示す。図３において、 ○は、挿入された０値を表す。
【００４３】
なお、１／４サブサンプリング周期移動点内挿器１２ａ，１２ｂの構成は、１／４サブサンプリング周期移動点内挿器９ａ，９ｂの構成とほとんど同一であるが、走査線番号の偶奇性に従った左又は右方向への移動を、１／４サブサンプリング周期移動点内挿器９ａ，９ｂの場合とは反対方向に行う必要がある。
【００４４】
左眼及び右眼用画像信号ｇ１，ｇ２は、フィールド内２次元台形フィルタ１４ａ，１４ｂによってフィルタ処理することによって、図３に示すような構成の左眼及び右眼用画像信号ｈ１，ｈ２が復号化装置２から出力される。なお、フィールド内２次元台形フィルタ１４ａ，１４ｂに入力される左眼及び右眼用画像信号ｇ１，ｇ２は１サンプルごとに０値となっているので、直流に対するゲインをフィールド内２次元台形フィルタ７ａ，７ｂの２倍にする必要がある。
【００４５】
本実施の形態によれば、１／４サブサンプリング周期だけ左又は右に移動させることによって、非可逆伝送時において、垂直方向に伸びた直線がジグザグではなく直線上に再生されるので、局所的な画像の劣化が抑制される。
【００４６】
また、伝送装置を１台しか必要としないので、従来のMPEG2-MVP 方式に比べてハードウェア規模を小さくし、かつ、両眼の画像を１台のモニタで観察して確認することができ、番組の素材収録から編集、送出のいずれの段階においても、誤りのない内容確認を容易に行うことができる。
【００４７】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、本発明による符号化装置及び復号化装置を、２眼式立体テレビジョンシステム以外の他の伝送システムに適用することができる。また、第１及び第２画像信号として、立体表示に要する画像間の相関を有しない二つの画像信号を用いることもでき、可逆伝送を行う場合についても本発明を適用することができる。なお、可逆伝送を行う場合、再生画像の帯域幅が損なわれにくくなる。
【００４８】
フィールド内２次元台形フィルタの代わりに、他のタイプのフィルタを所望の特性に従って適用することもでき、１／４サブサンプリング周期移動点内挿器の構成を、図４に示した構成以外の他の任意の構成とすることができる。また、上記実施の形態では、符号化装置のフィルタが復号化装置のものと同一特性を有する場合について説明したが、ハードウェア規模との両立や折り返し成分の除去のために、これらの特性が互いに相違するようにしてもよい。この場合でも、復号化装置のフィルタの直流に対するゲインを符号化装置のものの２倍にする必要がある。
【００４９】
さらに、伝送装置を、ＶＴＲなどの記録及び再生装置に置換することができ、この場合、簡便な２眼式立体画像素材の収録及び編集用の信号圧縮及び伸長装置として使用することも可能になる。また、両眼の画像を２台のＶＴＲなどに個別に収録及び編集する際には不可欠な同期運転制御を行う必要がなくなる。
【図面の簡単な説明】
【図１】本発明による符号化装置及び復号化装置を有するシステムのブロック図である。
【図２】図１のフィールド内２次元台形フィルタの通過帯域の特性図である。
【図３】図１の符号化装置及び復号化装置を通過する信号の構造を示す図である。
【図４】図１の１／４サブサンプリング周期移動点内挿器の構成の一例を示す図である。
【符号の説明】
１符号化装置
２復号化装置
３伝送装置
４Ｄ／Ａ変換器
５モニタ
６ａ，６ｂサンプリング点間引き部
７ａ，７ｂフィールド内２次元台形フィルタ
８ａ，８ｂフィールド内オフセットサブサンプリング器
９ａ，９ｂ，１２ａ，１２ｂ１／４サブサンプリング周期移動点内挿器
１０左右画像分離器
１１ａ，１１ｂサンプリング点補間部
１３ａ，１３ｂサブサンプリング点間０値挿入器
ａ１，ｂ１，ｃ１，ｄ１，ｆ１，ｇ１，ｈ１左眼用デジタル画像信号
ａ２，ｂ２，ｃ２，ｄ２，ｆ２，ｇ２，ｈ２右眼用デジタル画像信号
ｅ２眼式立体画像信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal encoding apparatus and decoding apparatus, and is applied to, for example, a binocular stereoscopic television system, such as a left-eye image signal and a right-eye image signal forming a binocular stereoscopic image. The present invention relates to an encoding device and a decoding device for the first and second image signals.
[0002]
[Prior art]
Conventionally, the following methods have been proposed as a method of multiple compression into a single image that allows observation of a binocular stereoscopic image in that state.
1. 1. Field sequential switching system 2. Vertical frequency band limited multiplexing method Horizontal frequency band limited multiplexing method 4. Two-dimensional frequency band limited multiplexing method
In the field sequential switching method, the left-eye image and the right-eye image are alternately switched in the field sequence.
[0004]
In the vertical frequency band limited multiplexing method, the vertical frequency bands of the left-eye and right-eye images are limited to 1/2, and the scanning lines are thinned out one by one, and multiplexed on the upper half and the lower half of one screen. It has become.
[0005]
In the horizontal frequency band limited multiplexing method, the horizontal frequency band of the left-eye and right-eye images is limited to 1/2, and sampling points are thinned out one by one, and multiplexed on the left half and right half of one screen. ing.
[0006]
In the two-dimensional frequency band limited multiplexing method, the left-eye and right-eye images have a trapezoidal two-dimensional pass frequency band that has a half area in the field with respect to the left-eye and right-eye images. After performing the dimensional digital filter processing, intra-field offset sampling is performed, and the values of the sampling points are rearranged as they are to multiplex the images of both eyes on the left half and the right half of one screen. In this case, the rearrangement of the sub-sampling points is performed by compressing the time axis after aligning the vertical position by shifting the value of the sampling points for each scanning line within the field by ½ of the horizontal sub-sampling interval. It corresponds to that.
[0007]
Further, as a compression transmission method for stereoscopic moving images, an international standardized MPEG2 multiview profile (MVP: Multi View Profile) has been proposed (hereinafter referred to as the MPEG2-MVP method). In this case, one image of the left eye and the right eye is encoded with a normal profile (MP: Main Profile) using both forward and backward motion prediction compensation, and the other image is a forward image. Coding is performed using motion compensation only in the direction and parallax compensation between the images of both eyes. As a result, an image quality of the same quality as that obtained when encoding with MP for both eyes, that is, a code amount twice that of a single eye, is obtained with a code amount of about 15% less, that is, about 1.7 times that of a single eye.
[0008]
[Problems to be solved by the invention]
However, in the field sequential switching method, the vertical resolution and the temporal resolution are both halved, so that the image quality is significantly deteriorated. Also, with the vertical frequency band limited multiplexing method, the vertical resolution is halved, and with the horizontal frequency band limited multiplexing method, the horizontal resolution is halved. Therefore, even in the case of the vertical frequency band limited multiplexing method and the horizontal frequency band limited multiplexing method, the image quality is somewhat deteriorated, and specifically, the image quality evaluation test using the standard image is deteriorated by about one rank.
[0009]
In the two-dimensional frequency band limited multiplexing method, when the multiplexed image is separated and reproduced as it is without performing irreversible compression transmission, deterioration in image quality can be suppressed before and after the detection limit. The image quality evaluation test using the standard image can suppress degradation of about 0.5 rank. However, when the multiplexed image is separated and reproduced after lossy compression transmission in which the loss of the diagonal component after decoding becomes large as in MPEG2, the original position is shifted due to the movement of the horizontal sub-sampling point. In this image, a straight line extending in the vertical direction is reproduced in a zigzag manner, and the image quality is locally degraded significantly.
[0010]
In the MPEG2-MVP system, disparity compensation is performed, and as a result, the same image quality can be obtained with a smaller transmission code amount than in the case where disparity compensation is not performed, but the hardware scale of the compression device and the reproduction device is large. Both are more than twice as much as monocular ones. In addition, there is an inconvenience that an image with intense movement has little effect of reducing the transmission code amount by parallax compensation, and the transmitted binocular image cannot be observed and confirmed on one monitor. Furthermore, when the two images to be encoded do not have a correlation between the images as in the case of a stereoscopic image, the quality of the reproduced image is deteriorated compared to the case where two monocular devices are used at the same transmission rate. To do.
[0011]
An object of the present invention is to provide an encoding device and a decoding device capable of performing irreversible transmission of the first and second image signals without causing local image quality degradation.
[0012]
Another object of the present invention is to reduce the hardware scale as compared with the conventional MPEG2-MVP system and to observe and confirm a binocular image on a single monitor and a decoding apparatus. Is to provide a device.
[0013]
[Means for Solving the Problems]
The encoding device according to the present invention comprises:
First and second filter processing means for subjecting the first and second image signals to a two-dimensional pass frequency band limitation of ½ of the entire band within the field, respectively;
First and second thinning means for thinning out the first and second image signals subjected to the two-dimensional pass frequency band restriction by the first and second filter processing means according to the evenness of the scanning line number;
With respect to the first and second image signals thinned by the first and second thinning means, the values at the points moved to the left or right by a 1/4 sub-sampling period according to the evenness of the scanning line number are digitally stored. First and second interpolation means for calculating by an insertion process ;
And image signal multiplexing means for multiplexing the first and second image signals digitally interpolated by the first and second interpolation means .
[0014]
According to the present invention, for the first and second image signals that have undergone decimation, the value at the point moved to the left or right by a ¼ subsampling period according to the evenness of the scanning line number is obtained by digital interpolation processing. calculate. By moving left or right by 1/4 subsampling period instead of 1/2 in this way, a straight line extending in the vertical direction is reproduced on a straight line instead of zigzag at the time of irreversible transmission. Image deterioration is suppressed.
[0015]
In addition, by limiting the two-dimensional pass frequency band, as described in Japanese Patent Laid-Open No. 7-95618, the reproduced image quality is the best, and the deterioration of the image quality during irreversible transmission can be further suppressed. it can.
[0016]
Furthermore , since only one monocular device is required by multiplexing the first and second image signals, the hardware scale is reduced as compared with the conventional MPEG2-MVP system, and the binocular image is also obtained. Can be confirmed by observing with one monitor.
[0017]
The first and second image signals are, for example, left-eye and right-eye image signals constituting a binocular stereoscopic image signal.
The decoding device according to the present invention comprises:
Image signal separation means for separating a signal composed of the first and second image signals into first and second image signals;
For each of the first and second image signals separated by the image signal separation means, a value at a point moved to the left or right by a ¼ subsampling period according to the evenness of the scanning line number is calculated by digital interpolation processing. First and second interpolation means for:
First and second insertion means for inserting a zero value at each intermediate point of the sub-sampling period for the first and second image signals digitally interpolated by the first and second interpolation means ,
A first and a second for applying a two-dimensional pass frequency band limitation of 1/2 of the entire band in the field to the first and second image signals in which 0 values are inserted by the first and second insertion means, respectively. And a filter processing means .
[0019]
According to the present invention, for each of the first and second image signals, a value at a point shifted to the left or right by a ¼ subsampling period according to the evenness of the scanning line number is calculated by digital interpolation processing. By moving left or right by 1/4 subsampling period instead of 1/2 in this way, a straight line extending in the vertical direction is reproduced on a straight line instead of zigzag at the time of irreversible transmission. Image deterioration is suppressed.
[0020]
In addition, by limiting the two-dimensional pass frequency band, as described in Japanese Patent Laid-Open No. 7-95618, the reproduced image quality is the best, and the deterioration of the image quality during irreversible transmission can be further suppressed. it can.
[0021]
Further, since the first and second image signals are separated and supplied to the first and second interpolation means, respectively, only one monocular device is required, so that the conventional MPEG2-MVP system is used. Compared to the above, the hardware scale can be reduced, and the image of both eyes can be confirmed by observing with one monitor.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram of a transmission system having an encoding device and a decoding device according to the present invention. The illustrated transmission system is applied to, for example, a twin-lens stereoscopic television system, and includes an encoding device 1, a decoding device 2, and a conventionally known monocular transmission device (for example, a reversible transmission or an irreversible transmission). MPEG2 encoder / decoder) 3, a normal D / A converter 4, and a normal monitor 5.
[0023]
The encoding device 1 is processed by sampling point thinning units 6a and 6b to which left-eye and right-eye digital image signals as first and second image signals are input, and sampling point thinning units 6a and 6b, respectively. And an in-screen left / right image multiplexer 7 that multiplexes the left-eye and right-eye digital image signals and outputs a binocular stereoscopic image signal.
[0024]
Sampling point decimation units 6a and 6b respectively include in-field two-dimensional trapezoidal filters 7a and 7b as first and second filter processing means, and intra-field offset subsamplers 8a and 8b as first and second decimation means. And quarter subsampling period moving point interpolators 9a and 9b as first and second interpolation means.
[0025]
Each of the in-field two-dimensional trapezoidal filters 7a and 7b has a trapezoidal two-dimensional pass frequency band having an area ½ in the field with respect to the left-eye and right-eye image signals. The intra-field offset sub-sampling units 8a and 8b respectively perform intra-field offset sub-sampling on the left-eye and right-eye image signals, that is, perform thinning according to the evenness of the scanning line number. The 1/4 subsampling period moving point interpolators 9a and 9b respectively move the left and right eye image signals to the left or right by a 1/4 subsampling period according to the evenness of the scanning line number. The value is calculated by digital interpolation. Note that the even-odd scan line flag is set during the operation of each of the intra-field offset sub-samplers 8a and 8b and the quarter-sub-sampling period moving point interpolators 9a and 9b.
[0026]
The decoding device 2 receives a binocular stereoscopic image signal through the transmission device 3 and also separates left and right image separators 10 as image signal separating means for separating the left eye image signal and the right eye image signal, and these left eye image signals. And sampling point interpolation units 11a and 11b to which image signals for the right eye are respectively input.
[0027]
Sampling point interpolators 11a and 11b are ¼ sub-sampling period moving

point interpolators

12a and 12b as first and second interpolation means, and 0 between sub-sampling points as first and second insertion means, respectively. It has value inserters 13a and 13b, and in-field two-dimensional trapezoidal filters 14a and 14b as first and second filter processing means.
[0028]
The quarter subsampling period moving

point interpolators

12a and 12b have the same configuration as the quarter subsampling period moving point interpolators 6a and 6b. The sub-sampling point zero-value inserters 13a and 13b insert zero values at the intermediate points of the sub-sampling period for the left-eye and right-eye image signals. The two-dimensional trapezoid filters 14a and 14b have the same configuration as the two-dimensional trapezoid filters 7a and 7b. Note that the even-oddity scanning line flag is set during the operation of each of the quarter subsampling period moving

point interpolators

12a and 12b and the sub-sampling point zero value inserters 13a and 13b.
[0029]
The operation of the present embodiment is performed by using left and right eye image signals (BTA S-002 standard signals in the case of high-definition signals) as first and second image signals constituting a binocular stereoscopic image signal. A case of irreversible transmission will be described.
[0030]
The left-eye and right-eye image signals a1 and a2 input to the sampling point thinning units 6a and 6b are each an in-field two-dimensional trapezoid having a passband characteristic of ½ of the entire band as shown by hatching in FIG. Two-dimensional band limitation is performed by the filters 7a and 7b. In FIG. 2, fs is a sampling frequency and fH is the number of scanning lines for one frame.
[0031]
By using a filter having such a passband characteristic, the reproduced image quality is the best, which is described in Japanese Patent Application Laid-Open No. 7-95618. The configuration of the left-eye and right-eye image signals a1 and a2 is shown in FIG. 3. In this case, ■ and □ represent the pixels of the left-eye image, and ▲ and Δ represent the pixels of the right-eye image. To express.
[0032]
The left-eye and right-eye image signals b1 and b2 subjected to the two-dimensional band limitation are subjected to intra-field offset sub-sampling, that is, the evenness of the scanning line number by the intra-field offset sub-samplers 8a and 8b, respectively. Thinning is performed. The configurations of the left-eye and right-eye image signals c1 and c2 that have been thinned in this way are also shown in FIG. 3, and in this case, × represents a thinned pixel.
[0033]
The left-eye and right-eye image signals c1 and c2 that have been subjected to thinning are respectively 1/4 subsampling period moving point interpolators 6a and 6b according to the even / oddity of the scanning line number, that is, the even / oddity scanning line flag. After calculating the value at the point moved to the left or right by 4 subsampling periods by digital interpolation processing, the subsampling point is set in the vertical direction as shown in FIG. To the left and right eye image signals d1 and d2. In FIG.

Indicates an interpolated value at the moving point.
[0034]
FIG. 4 is a diagram illustrating an example of the configuration of the quarter subsampling period moving point interpolators 6a and 6b. The quarter subsampling period moving point interpolators 6a and 6b are respectively connected to the output side of the first section 21 and the output side of the second section 22 according to the first section 21, the second section 22, and the even-oddity scanning line flag. And a switch 23 for alternately switching the connection.
[0035]
The first section 21 includes coefficients α1, α2, α3,. . . , Αn, n (n: integer) multipliers 24-1, 24-2, 24-3,. . . , 24-n and delays 25-1, 25-2,. . . , 25-n-1 and multipliers 26-1, 26-2,. . . , 26-n-1.
[0036]
The second section 21 includes coefficients αn, αn−1, αn−2,. . . , Α1 are multiplied by n (n: integer) multipliers 27-1, 27-2, 27-3,. . . 27-n and delays 28-1, 28-2,. . . , 28-n-1 and multipliers 29-1, 29-2,. . . , 29-n-1.
[0037]
In order to align the sub-sampling points in the vertical direction, it may be possible to calculate the value at the point moved by ½ sub-sampling period for each scanning line by the same digital interpolation processing. In this case, the movement is performed. The value of the sub-sampling point is noticeably affected by aliasing interference due to the limitation of the number of effective taps of the filter, and the rate of occurrence of amplitude clipping due to overshoot or undershoot is relatively high, resulting in degradation of the reproduced image. growing. As in the present invention, when the scanning line is moved to the left or right by one quarter subsampling period for each scanning line, the influence of repeated interference and the degradation of the reproduced image are suppressed as compared with the case of moving by the half subsampling period. .
[0038]
The left-eye and right-eye image signals d1 and d2 are time-axis-compressed at the original sampling period before thinning out by one scanning line in the in-screen left and right image multiplexer 7, respectively, Are converted into a binocular stereoscopic image signal e having a configuration as shown in FIG. The binocular stereoscopic image signal e has some errors during irreversible transmission, but this hardly affects the image quality.
[0039]
Since the binocular stereoscopic image signal e is a digital image signal that conforms to the same standard as the monocular image signal, the binocular stereoscopic image signal e can be transmitted to the decoding device 2 only through the single transmission device 3. Instead, by supplying to the monitor 5 through the D / A converter 4, it is possible to observe one image in which the left-eye and right-eye images are multiplexed on the left and right sides of the screen of the monitor 5, respectively. .
[0040]
The binocular stereoscopic image signal e transmitted to the decoding device 2 is separated in the left-right image separator 10 as left-eye and right-eye image signals that are time-axis multiplexed at the left and right positions of the screen. Thereafter, the sampling period on one scanning line is expanded in time axis at intervals of two samples, and converted into left-eye and right-eye image signals f1 and f2 having the configuration shown in FIG.
[0041]
The left-eye and right-eye image signals f1 and f2 are respectively moved by 1/4 subsampling period according to the even-oddity of the scanning line number, that is, the even-oddity scanning flag, in the 1/4 subsampling period moving

point interpolators

12a and 12b. The value at the point moved to the left or right by a quarter sub-sampling period in the direction opposite to the moving direction in the point interpolator 9a, 9b is calculated by digital interpolation, and the point is newly subsampled. Processed to be a point.
[0042]
After such processing, zero-value inserters 13a and 13b between the sub-sampling points insert zero values at the intermediate points of the sub-sampling period, and thus obtained left-eye and right-eye image signals g1, The structure of g2 is shown in FIG. In FIG. 3, ◯ represents the inserted 0 value.
[0043]
The configuration of the quarter subsampling period moving

point interpolators

12a and 12b is almost the same as the structure of the quarter subsampling period moving point interpolators 9a and 9b. Accordingly, it is necessary to perform the movement in the left or right direction in the opposite direction to the case of the quarter subsampling period moving point interpolators 9a and 9b.
[0044]
The left-eye and right-eye image signals g1 and g2 are filtered by the in-field two-dimensional trapezoidal filters 14a and 14b, thereby decoding the left-eye and right-eye image signals h1 and h2 having the configuration shown in FIG. Is output from the converter 2. Since the left-eye and right-eye image signals g1, g2 input to the in-field two-dimensional trapezoid filters 14a, 14b have zero values for each sample, the gain for direct current is set to the in-field two-dimensional trapezoid filter 7a. , 7b needs to be doubled.
[0045]
According to the present embodiment, by moving to the left or right by a quarter sub-sampling period, a straight line extending in the vertical direction is reproduced on a straight line instead of zigzag at the time of irreversible transmission. Image deterioration is suppressed.
[0046]
Also, since only one transmission device is required, the hardware scale can be reduced compared to the conventional MPEG2-MVP system, and both eyes can be confirmed by observing them on a single monitor. In any stage of program material recording, editing, and transmission, it is possible to easily check the contents without error.
[0047]
The present invention is not limited to the above-described embodiment, and many changes and modifications can be made.
For example, the encoding device and the decoding device according to the present invention can be applied to other transmission systems other than a twin-lens stereoscopic television system. Further, as the first and second image signals, two image signals having no correlation between images required for stereoscopic display can be used, and the present invention can be applied to the case of performing reversible transmission. Note that when performing reversible transmission, the bandwidth of a reproduced image is not easily lost.
[0048]
Instead of the in-field two-dimensional trapezoidal filter, other types of filters can be applied according to the desired characteristics, and the configuration of the 1/4 subsampling period moving point interpolator is other than that shown in FIG. Any configuration can be adopted. In the above embodiment, the case where the filter of the encoding device has the same characteristics as those of the decoding device has been described. However, these characteristics are mutually different for compatibility with the hardware scale and elimination of aliasing components. You may make it differ. Even in this case, the gain of the filter of the decoding device with respect to the direct current needs to be double that of the encoding device.
[0049]
Furthermore, the transmission device can be replaced with a recording and playback device such as a VTR. In this case, the transmission device can also be used as a signal compression and expansion device for simple recording and editing of a binocular stereoscopic image material. . Further, it is not necessary to perform indispensable synchronous operation control when recording and editing binocular images individually on two VTRs.
[Brief description of the drawings]
FIG. 1 is a block diagram of a system having an encoding device and a decoding device according to the present invention.
FIG. 2 is a characteristic diagram of a pass band of the in-field two-dimensional trapezoidal filter of FIG.
3 is a diagram illustrating a structure of a signal passing through the encoding device and the decoding device in FIG. 1. FIG.
4 is a diagram showing an example of a configuration of a quarter subsampling period moving point interpolator in FIG. 1. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Encoding apparatus 2 Decoding apparatus 3 Transmission apparatus 4 D / A converter 5 Monitor 6a, 6b Sampling point thinning part 7a, 7b Two-dimensional trapezoid filter 8a in field 8b Offset subsampler 9a, 9b, 12a in field 12b 1/4 sub-sampling period moving point interpolator 10 Left and right image separators 11a, 11b Sampling point interpolators 13a, 13b Zero-value interpolator between sub-sampling points a1, b1, c1, d1, f1, g1, h1 Left eye Digital image signal a2, b2, c2, d2, f2, g2, h2 Digital image signal for right eye e Binocular stereoscopic image signal

Claims

First and second filter processing means for subjecting the first and second image signals to a two-dimensional pass frequency band limitation of ½ of the entire band within the field, respectively;
First and second thinning means for thinning out the first and second image signals subjected to the two-dimensional pass frequency band restriction by the first and second filter processing means according to the evenness of the scanning line number;
With respect to the first and second image signals thinned by the first and second thinning means, the values at the points moved to the left or right by a 1/4 sub-sampling period according to the evenness of the scanning line number are digitally stored. First and second interpolation means for calculating by an insertion process ;
An encoding apparatus comprising: image signal multiplexing means for multiplexing the first and second image signals digitally interpolated by the first and second interpolation means .

Wherein the first and second image signals, the encoding apparatus according to claim 1, characterized in that a left-eye and right-eye image signal constituting the binocular stereoscopic image signal.

Image signal separation means for separating a signal composed of the first and second image signals into first and second image signals;
For each of the first and second image signals separated by the image signal separation means, a value at a point moved to the left or right by a ¼ subsampling period according to the evenness of the scanning line number is calculated by digital interpolation processing. First and second interpolation means for:
First and second insertion means for inserting a zero value at each intermediate point of the sub-sampling period for the first and second image signals digitally interpolated by the first and second interpolation means ,
A first and a second for applying a two-dimensional pass frequency band limitation of 1/2 of the entire band in the field to the first and second image signals in which 0 values are inserted by the first and second insertion means, respectively. A decoding apparatus comprising: filter processing means .

4. The decoding apparatus according to claim 3, wherein the first and second image signals are left-eye and right-eye image signals constituting a binocular stereoscopic image signal.