JP2004007707A - Disparity estimation method, image transmission device, and image transmission method - Google Patents

Abstract

An object of the present invention is to provide a parallax estimating method and apparatus for accurately estimating a rapid change (discontinuous change) of parallax near an object contour.
An initial parallax of two images and a reliability evaluation value of the initial parallax are calculated, and an object contour line in which the parallax changes discontinuously using the reliability evaluation value and an edge detection result of the image is calculated. Extracting, extracting a low-reliability region of the initial parallax based on the reliability evaluation value, and the parallax in the low-reliability region of the extracted initial parallax is smoothly connected to surrounding parallax. A disparity estimation method, comprising: performing disparity estimation that changes discontinuously in the object outline by setting and determining that the object outline changes.
[Selection diagram] FIG.

Description

【００１６】
（数１）より、被写体が焦点距離を無視できるくらいレンズから遠い（ａ＞＞ｆ）場合には、１／ａ　→　０となりｂ　＝　ｆと近似できる。しかし、被写体が比較的レンズに近い場合には、１／ａの項を無視できず、ｂ≠ｆとなる。従って、被写体が比較的レンズに近い場合にも正しく視野角を計算するためには、レンズ中心と結像面との距離を焦点距離とは独立に定義する必要がある。そして、撮像面の幅をｗｉｎ、高さをｈｉｎとすると、撮像時の視野角は（数２）で表される。
【００１７】
【数２】

【００１８】
よって、表示時の画像の幅をｗｏｕｔ、高さをｈｏｕｔとすると、撮像時の視野角を再現する観察距離は、
【００１９】
【数３】

【００２０】
となる。
【００２１】
次に、画像内の最近点、最遠点に基づく表示側における見やすさの改善について説明する。図３は、２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を説明するための図である。図３において、Ｃは輻輳点、Ａは最近点、Ｂは最遠点を示す。
【００２２】
輻輳のある投射においては、観察者が輻輳点Ｃを見る場合に視差が０となる（図３において、両眼とも画像の中心を見ることになるので、左右の目が見る画像内の相対的な位置の違いはなくなる）。そして、最近点Ａを見る場合にはいわゆる寄り目の状態となり、画像上で寄り目の方向にＤａの視差が生じる。図３において観察者は、輻輳点Ｃを見るときと比べて、両目とも内側にＤａ／２ずれた点を見る。また、逆に最遠点Ｂを見る場合にはいわゆる離れ目の状態となり、画像上で離れ目の方向にＤｂの視差が生じる。
【００２３】
また、図１は平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図である。図１において、Ａは表示される画像の最近点、Ｂは最遠点、Ｃは観察者の輻輳と調節が一致する点を示す。図１に示す平行投影の場合、Ｄｃ　の視差がある画像を表示すると、スクリーン上では同じ点に表示され、観察者の輻輳と調節が一致する。
【００２４】
上述の図３と図１の画像内における視差は、観察者にスクリーン面（Ｃを含む面）に対して手前か奥かという立体感として知覚されるが、視差が大きくなると融合しなくなったり（２重に見える状態）、観察者に違和感・不快感を与えたりする。
【００２５】
観察者の見やすさの改善は、最近点、最遠点、撮像時の輻輳点をもとに、画像を図３に示す方向（画像１、画像２を各々の投射軸の垂直面内で水平方向）にずらすことにより、輻輳点と最遠距離、最近距離との位置関係を変化させることで可能となる。画像のずらし方については、例えば画像間の視差の平均値を相殺するようにずらすことによって、画像全体を均一に見やすくできる。
【００２６】
図５は、そのような処理のブロック図である。図５では、簡単のために２眼式（２視点）のデータについての例を示している。図５において、１は画像復号手段、２は視差推定手段、３は平均視差演算手段、４ａ，４ｂは画像シフト手段、５ａ，５ｂは画像表示手段である。以下に各手段の動作について説明する。
【００２７】
画像復号手段１は、送信側で符号化された多視点画像データを受信し、これを復号する。画像復号手段１により復号された左右の画像は視差推定手段２に送られる。視差推定手段２は、画像復号手段１によって復号された左右の画像から各画素における視差（視差地図）を計算する。例えば、左画像を基準としてブロックマッチングにより視差を計算する場合について、図６を用いて以下に説明する。まず、左画像中に窓領域を設定する。次に、（数４）に示す残差平方和（ＳＳＤ）を計算する。
【００２８】
【数４】

【００２９】
（数４）の計算は、ｄｍｉｎからｄｍａｘの範囲のｄについて１画素間隔で計算する。そして、ｄｍｉｎからｄｍａｘの範囲でＳＳＤを最小にするｄの値を、設定した窓領域での視差とする。画像の各画素における視差は、窓領域を順次ずらして設定し、上記の計算をすることによって得られる。
【００３０】
ＳＳＤを計算する範囲ｄｍｉｎ、ｄｍａｘは、最近点、最遠点の情報より計算できる。図７、図８を用いて、平行撮影時と輻輳撮影時の場合のｄｍｉｎ、ｄｍａｘの求め方について以下に説明する。
【００３１】
図７は、平行撮影の場合を示す図である。図７に示す座標系において、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ０　、奥行き方向の座標値をＺ０　、左右の撮像面で位置（Ｘ０、Ｚ０）の物体からの光が撮像される水平位置をそれぞれｘｌ０，　ｘｒ０とする（ｘｌ０，　ｘｒ０はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３２】
【数５】

【００３３】
となる。よって、左右の画像を基準とした視差はそれぞれ、（数６）に示す式で表される。
【００３４】
【数６】

【００３５】
ここで、画像中の最近点の奥行き値をＺｍｉｎ、最遠点の奥行き値をＺｍａｘとすると、ＳＳＤを計算する範囲の上限ｄｍａｘと下限ｄｍｉｎは（数７）で表される。
【００３６】
【数７】

【００３７】
また、図８は輻輳撮影の場合を示す図である。図８に示す座標系において、輻輳点（左右のカメラの光軸の交点）の座標値を（０，Ｃ）、左右のレンズ中心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ中心との距離をｂ、３次元空間中の物体位置の水平座標値をＸ０、奥行き方向の座標値をＺ０、左右の撮像面で位置（Ｘ０、Ｚ０）の物体からの光が撮像される水平位置をそれぞれｘｌ０，ｘｒ０とする（ｘｌ０，ｘｒ０はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標）と、図形的な関係より、
【００３８】
【数８】

【００３９】
となる。したがって、左右の画像を基準とした時の視差はそれぞれ、（数９）に示す式で表される。
【００４０】
【数９】

【００４１】
（数９）の式中にＸ０が残っていることから、輻輳撮像では奥行きが同じであっても、水平方向の位置によって視差が異なる（即ち、再生される立体像が歪む）ことがわかる。今、簡単のためにＸ０＝０（即ちＺ軸）上の点における視差を考えると、（数９）にＸ０＝０を代入して（数１０）を得る。
【００４２】
【数１０】

【００４３】
（数１０）より、画像中の最近点の奥行き値Ｚｍｉｎ、最遠点の奥行き値Ｚｍａｘ、輻輳点の奥行き値Ｃの位置関係と、水平画素数ｎｘ、撮像面（ＣＣＤ）の幅ｗｉｎから視差の上限画素数ｄｍａｘ、下限画素数ｄｍｉｎを決定できる。
【００４４】
Ｚ軸上以外の点における視差を考慮する場合には、（数９）の最大値、最小値を計算することによって、視差の上限ｄｍａｘ、下限ｄｍｉｎを決定できる。
【００４５】
以上説明したように、画像中の最近点の奥行き値、最遠点の奥行き値、カメラの位置、カメラの光軸の向きが与えられると、視差の取るべき値の範囲を計算でき、視差演算時にＳＳＤを計算する範囲を決定できる。平均視差演算手段３は、視差推定手段２によって計算された視差地図の平均を演算する。視差地図の平均は（数１１）を計算することによって得られる。
【００４６】
【数１１】

【００４７】
画像シフト手段４ａ、４ｂは、平均視差演算手段３によって得られる平均視差を有する奥行きの点が、表示面と同じ奥行き（すなわち表示面上で視差０となるように）に表示されるように画像をシフトする。
【００４８】
平行投影による表示を示す図１において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。図１から、平行投影では左右の画像間で（数１２）で示すＤｃ　の視差がある場合に、スクリーン上で視差がなくなり、輻輳と調節が一致した自然な表示となることがわかる。
【００４９】
【数１２】

【００５０】
画像シフト手段４ａは、（数１３）に示すシフト量（右方向へのシフトを正としている）だけ左画像をシフトする。
【００５１】
【数１３】

【００５２】
そして、画像シフト手段４ｂは、逆方向に同じ量だけ右画像をシフトする。画像シフト手段４ａおよび４ｂによるシフトの結果、平均視差を有する点がスクリーンと同一の奥行きに表示されるようになる。
【００５３】
また、輻輳投影による表示を示す図３において、Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥行き、Ｃは平均視差の奥行きを示す。輻輳投影では、画像の中心で視差が０の場合に、スクリーンと同一の奥行きに表示されることになる。したがって、輻輳投影の場合画像シフト手段４ａおよび４ｂは平均視差を−１／２倍した値だけ左右の画像をシフトする。
【００５４】
以上のように本実施の形態によれば、多視点画像を伝送する際に、画像内の最近点、最遠点の情報を付加することにより、表示側で目の疲れない表示（視差制御）を行うことができる。
【００５５】
また、カメラの撮像面（ＣＣＤ）のサイズ、撮像面とレンズ中心との距離、及びレンズの焦点距離に関する情報を付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができる。
【００５６】
なお、多視点画像中の最近点、最遠点に関する情報を付加せずに伝送する場合には、最近点、最遠点に関する情報の変わりに、最近点、最遠点に関する情報が付加されていないことを示す専用の符号を付加して伝送し、表示側において、予め設定した範囲内で視差の計算を行うことにより、画像内の最近点、最遠点での視差を推定することができ、本発明に含まれる。
【００５７】
さらに、伝送側において、多視点画像中の最近点、最遠点に関する情報を特定の奥行き値に設定することにより、その設定された特定の奥行き範囲での視差が融合範囲に入るように視差制御することができ、本発明に含まれる。
【００５８】
また、本発明においては視差の計算を表示側で行う例について説明したが、符号化された画像中に含まれる視差を用いてもよく、本発明に含まれる。図１０を用いてそのような例について説明する。
【００５９】
図１０において、画像復号手段６以外の構成の動作は、図５に示す視差制御方式と同一であるので説明を省略し、以下画像復号手段６の動作について説明する。画像復号手段６は、符号化された画像データを復号し、左右の画像と左画像を基準とした視差を出力する。ＭＰＥＧ−２による多視点画像伝送方式で２眼式画像を伝送する際には、左画像を基準とする視差補償により圧縮率を高めている。符合化された画像データ中から視差を取り出すことにより、表示側で視差の計算をする必要がなくなり、表示側での演算量を低減できる。
【００６０】
なお、平均視差演算手段３による視差の平均の計算は、画面の中央部を重視して（数１４）による重み付け平均値を用いてもよい。こうのようにすれば、画像の中心部で、より融合しやすい視差制御を行え、本発明に含まれる。
【００６１】
【数１４】

【００６２】
図９（ａ）（ｂ）（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す。簡単のため１次元的に示しているが、実際には、画像中央部で周辺部よりも大きな値となる２次元的な分布である。また、重みの値はすべて０以上の値（負でない値）である。
（第２の実施の形態）
図１１は、本発明の第２の実施の形態における視差制御方式のブロック図である。図１１において、頻度計算手段７、シフト量演算手段８以外の構成は、第１の実施の形態におけるものと同一の動作を行うものであるため、第１の実施の形態での説明図と同一の符号を付し、説明を省略する。以下に頻度計算手段７、シフト量演算手段８の動作について説明する。
【００６３】
頻度計算手段７は、画像復号手段６によって復号された左画像基準の視差の頻度を計算する。視差の頻度とは、画像のある領域（たとえば、画像全体でもよいし、いっての基準で決めた特定の領域でもよい）内における視差の各値毎に計算した画素数である。シフト量演算手段８は、頻度計算手段７によって計算された（画像間での）視差の頻度と画像の視野角に応じた人の目の融合範囲とから、融合範囲内の視差の頻度の和が最大になるシフト量を演算し、画像シフト手段４ａ，　４ｂに出力する。
【００６４】
図１２は、シフト演算手段８の構成の一例を示す。図１２において、９はＭＰＵ、１０は融合範囲テーブルである。ＭＰＵ９は画像表示面の幅と観察距離から（数１５）に示す水平方向の視野角を計算し、該視野角における融合範囲を融合範囲テーブル１０から読み出す。
【００６５】
【数１５】

【００６６】
図１３は融合範囲テーブルの特性の１例を示す。図１３において、横軸は画像表示面の水平方向の視野角であり、縦軸は視差の融合範囲（（数１６）により角度換算している）である。
【００６７】
【数１６】

【００６８】
なお、図１３の縦軸の符号は負の側が表示面よりも手前に知覚される視差、正の側が表示面よりも奥に知覚される視差を示している。図１４は、（数１６）の図形的な意味を示す図である。図１４は、角度換算した視差θは画像表示面上での視差Δを視野角に換算したものであることを示す。
【００６９】
一方、図１および図３に示す平行投影と輻輳投影において、画像の位置（例えば液晶プロジェクタであれば液晶上の画素の位置）ｘｌ１，ｘｒ１　と表示面上での位置Ｘｌ，Ｘｒ　の位置関係は、それぞれ（数１７）（数１９）となり、表示面上での視差は（数１８）（数２０）となる。
【００７０】
【数１７】

【００７１】
【数１８】

【００７２】
【数１９】

【００７３】
【数２０】

【００７４】
そして、撮影時の撮影面上での座標値（ｘｌ０，ｙｌ０），（ｘｒ０，ｙｒ０）と、投影時の画像の位置（ｘｌ１，ｙｌ０），（ｘｒ１，ｙｒ１）（例えば液晶プロジェクタであれば液晶上の画素の位置）との関係は、（数２１）で表される。
【００７５】
【数２１】

【００７６】
ここで、撮像面の幅ｗｉｎはカメラパラメータから得られ、表示時の画像幅ｗｏｕｔは表示系固有の値である。
【００７７】
撮像時の条件（平行撮影／輻輳撮影）に応じて（数５）もしくは（数８）を用いてｘｌ０，ｘｒ０を計算し、（数２１）によりｘｌ１，ｘｒ１に変換する。更に、投影時の条件（平行投影／輻輳投影）に応じて、（数１８）もしくは（数２０）を計算することにより、撮像条件、投影条件の双方を考慮して、表示画面上での視差を計算できる。
【００７８】
ＭＰＵ９は、融合範囲テーブル１０から読み出した融合範囲を表示面上での視差（距離）に換算し、画像表示面上での視差の融合範囲を決定する。そして、ＭＰＵ９は、上述した画像データにおける視差と画像表示面上での視差の関係とを用いて、融合範囲内の視差の頻度の和が最大になるような、画像データに対するシフト量を計算する（視差制御による画像のシフトは、視差の頻度分布を図１５において水平方向に移動させることを意味する）。
【００７９】
画像シフト手段４ａ，４ｂによって該出力シフト量だけ逆方向に画像をシフトし、画像表示手段５ａ，５ｂによって表示することにより、融合範囲内での視差の頻度の和が最大（すなわち画像内で融合する画素の面積が最大）になる表示を行うことができる。
【００８０】
以上説明したように、本実施の形態によれば、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【００８１】
なお、本実施の形態では、融合範囲内での視差頻度の和が最大になる視差制御について説明したが、視差の平均値が融合範囲の中央になるように視差制御してもほぼ同等の効果を得ることができ、本発明に含まれる。
【００８２】
また、伝送側において、最近点及び最遠点を、実際の画像中の最近点及び最遠点とは異なる値に設定し、表示側において該設定値の最近点及び最遠点に相当する各々の視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができ、本発明に含まれる。
（第３の実施の形態）
本発明の第３の実施の形態は、１組の画像対を入力し、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差を決定する。このとき視差は、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する視差推定方法およびその装置である。
【００８３】
本実施の形態では前述した構成により、基準画像と参照画像の１組の画像対から、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差が、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する。
【００８４】
図１６は、本発明の第３の実施の形態における視差推定装置のブロック図である。
【００８５】
図１６において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２０３は輪郭検出部、２０４は物体輪郭付近での視差推定部である。
【００８６】
以下に上記構成の動作について説明する。
【００８７】
初期視差推定部２０１は、（数２２）に示す残差平方和（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　ｄｉｆｆｅｒｅｎｃｅｓ　以下ＳＳＤ）の計算を行う。（数２２）によるＳＳＤの値は、基準画像に設定した窓領域と参照画像中に設定した窓領域内の画素値の分布が似ているところでは小さな値となり、逆に双方の窓領域内での画素値の分布が異なるところでは大きな値となる。初期視差推定部２０１は、所定の探索範囲内でＳＳＤの値を最小とする画像間のずれ量ｄを着目点（ｘ，ｙ）における視差とし、その視差の値を物体輪郭付近での視差推定部２０４に出力し、探索範囲内でのＳＳＤの最小値を初期視差推定時の信頼性評価部２０２に出力する。
【００８８】
【数２２】

【００８９】
図１７は、初期視差推定部２０１による上記初期視差推定（ブロックマッチング）を説明する図である。図１７において、着目点（ｘ，ｙ）を中心にして設定した窓領域が、（数２２）の積分領域Ｗを示す。窓領域を順次ずらして設定し、上記のＳＳＤの計算を行うことにより画像全体での初期視差を得ることができる。
【００９０】
初期視差推定時の信頼性評価部２０２は、初期視差推定部２０１による視差計算で得られたＳＳＤの探索範囲中での最小値、窓領域（ブロック）内の画素数、画像間のノイズの分散、窓領域内での基準画像の水平垂直方向の輝度こう配の２乗の平均値から、（数２３）に示す対応付けの信頼性評価値を計算する。
【００９１】
【数２３】

【００９２】
（数２３）の値は、小さいほど視差推定の信頼性が高いことを示し、逆に大きいほど信頼性が低いことを示す。
【００９３】
図１８は、輪郭検出部２０３の構成の一例を示すブロック図である。図１８において、２０５は基準画像を輝度成分と色成分に分離するＹＣ分離回路、２０６Ａ，２０６Ｂ，２０６Ｃは、上記分離された輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙからそれぞれエッジを検出するエッジ検出回路、２０７はエッジ検出結果の稜線における強度のみを出力する稜線検出部、２０８は初期視差推定値の信頼性の低い領域で１の重みを出力し、初期視差推定値の信頼性の高い領域では０の重みを出力する重み発生回路である。
【００９４】
以下に上記構成の動作について説明する。
【００９５】
ＹＣ分離回路２０５は、基準画像を輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙに分離し出力する。
【００９６】
エッジ検出回路２０６Ａ，２０６Ｂ，２０６Ｃはそれぞれ、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙ成分からエッジ成分を検出する。図１９は、エッジ検出回路２０６の構成の一例を示すブロック図である。図１９において、２０９Ａ，２０９Ｂ，２０９Ｃはそれぞれ低空間周波数域、中空間周波数域、高空間周波数域におけるエッジ成分を検出する方向別フィルタ群である。２１０、２１１、２１２、２１３は、それぞれの方向別フィルタ群を構成する方向別フィルタである。図２０は、上記方向別フィルタの空間的な重みの一例であり。図２０（ａ），（ｂ），（ｃ）は垂直方向に連続するエッジを、（ｄ），（ｅ），（ｆ）は斜め方向のエッジを検出するものである。
【００９７】
尚、（ａ），（ｄ）が高空間周波数域、（ｂ），（ｅ）が中空間周波数域、（ｃ），（ｆ）が低空間周波数域用の重みの分布の一例を示す。水平および他方の斜め方向のエッジ検出は、図２０の計数の配置を９０度回転させればよい。また、エッジの方向は４５度刻みに限る必要はなく、３０度刻みなどでもよいのは当然である。
【００９８】
また、方向別フィルタの空間的な重みは図２０に示すものに限る必要はなく、方向毎についての微分型の重み分布になっていればよいのは当然である。各方向別のエッジ強度の算出法を式で示すと（数２４）になる。
【００９９】
【数２４】

【０１００】
統合部２１４は方向別フィルタ２１０，２１１，２１２，２１３の出力を統合する。統合部２１４による統合の一例を式で示すと（数２５）になる。
【０１０１】
【数２５】

【０１０２】
尚、統合部２１４による統合は（数２５）で示される２乗和の形式のものに限る必要はなく、絶対値和の形式のものなどでもよいのは当然である。
【０１０３】
輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙについて、高空間周波数域、中空間周波数域、低空間周波数域でそれぞれ統合部２１４Ａ，２１４Ｂ，２１４Ｃにより統合されたエッジ強度は、乗算され出力される。そして、Ｙ，Ｒ−Ｙ，Ｂ−Ｙ各成分についての上記エッジ強度は、加算され稜線検出部７に転送される。
【０１０４】
尚、輪郭検出部２０３における基準画像の輝度成分、色成分への分離はＹ，Ｒ−Ｙ，Ｂ−Ｙに限る必要はなく、Ｒ，Ｇ，Ｂ等他の成分へ分離してもよいのは当然である。また、Ｙ，Ｒ−Ｙ，Ｂ−Ｙについての上記エッジ強度は加算後に稜線検出部２０７に転送するものに限る必要はなく、乗算後に稜線検出部２０７に転送してもよい。
【０１０５】
図１８に戻って、稜線検出部２０７は、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙについて加算されたエッジ強度の稜線における値のみを出力する。図２１は、稜線検出部２０７の構成の一例である。図２１において、水平稜線検出回路２１５は着目画素でのエッジ強度が着目点の上下の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。
【０１０６】
同様に、垂直稜線検出回路２１６は着目画素でのエッジ強度が着目点の左右の画素でのエッジ強度の双方よりも大きい場合に１を出力し、そうでない場合には０を出力する。水平稜線検出回路２１５と垂直稜線検出回路２１６の出力は、ＯＲ演算され、更に入力信号と乗算して出力される。すなわち、稜線検出部２０７は、水平方向もしくは垂直方向に隣接する画素でのエッジ強度よりも強いエッジ強度を有する画素（すなわち稜線となっている画素）におけるエッジ強度のみを出力し、その他の画素については０を出力する。
【０１０７】
再び図１８に戻って、重み発生回路２０８は、初期視差推定値の信頼性評価値がしきい値以上の時１を出力し、しきい値未満の時には０を出力する。重み発生回路２０８の出力を稜線検出部２０７の出力と乗算することにより、初期視差推定値の信頼性が低いところでのエッジ、すなわち視差が不連続に変化する物体輪郭線を抽出できる。また、重み発生回路２０８の出力は、後述する物体輪郭付近での視差推定部２０４の演算領域メモリに記憶される。物体輪郭線の抽出を式で示すと（数２６）となる。
【０１０８】
【数２６】

【０１０９】
尚、エッジ検出結果２０６Ａ，２０６Ｂ，２０６Ｃの出力を加算して稜線検出部７に入力するように限る必要はなく、乗算して稜線検出部２０７に入力してもよい。また、稜線検出部２０７の出力と乗算される重み発生回路２０８による重み発生の方法は、０と１の２値に限る必要はなく、初期視差推定時の信頼性に応じて連続的な値を出力してもよいのは当然である。
【０１１０】
物体輪郭付近での視差推定部２０４は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、輪郭強度、初期視差から再計算する。物体輪郭付近での視差推定部２０４は、（数２７）で定義される視差の分布についてのエネルギーを最小化する視差分布を計算する。
【０１１１】
【数２７】

【０１１２】
重み関数ｗ（ｘ，ｙ）は滑らかさのパラメータと輪郭強度により（数２８）として定義する。
【０１１３】
【数２８】

【０１１４】
（数２７）を最小にする視差分布の条件は（数２９）である。
【０１１５】
【数２９】

【０１１６】
（数２９）の微分方程式は、有限要素法（ＦＥＭ）等の公知の技術によって数値的に解くことができる。
【０１１７】
図２２は、物体輪郭付近での視差推定部２０４の構成の一例を示すブロック図である。図２２において、２１７は視差分布エネルギー用の重みを発生する視差分布エネルギー用重み発生回路、２１８は演算領域メモリ、２１９は視差メモリ、２２０は重みメモリ、２２１はＦＥＭ演算回路である。
【０１１８】
視差分布エネルギー用重み発生回路２１７は、輪郭強度と滑らかさのパラメータλから（数２８）の重み関数の値を計算し、重みメモリ２２０に書き込む。ＦＥＭ演算回路２２１は、（数２９）を有限要素法により解き、視差分布を計算する。
【０１１９】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２０】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２１】
尚、物体輪郭付近での視差推定は、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続すればよく、（数２７）に示すエネルギーを最小化する視差として計算する方法に限る必要はない。そのような例について、以下に説明する。
（第４の実施の形態）
図２３は、本発明の第４の実施の形態における視差推定装置の構成を示すブロック図である。図２３において、２０１はブロックマッチングによる初期視差を計算する初期視差推定部、２０２は初期視差推定時の信頼性評価部、２２２は輪郭検出部、２２３は物体輪郭付近での視差推定部である。
【０１２２】
上記構成において、輪郭検出部２２２、物体輪郭付近での視差推定部２２３以外の構成の動作は本発明の第３の実施の形態と同一であるので説明を省略し、以下に輪郭検出部２２２、物体輪郭付近での視差推定部２２３の動作について説明する。
【０１２３】
まず、輪郭検出部２２２は、本発明の第３の実施の形態における輪郭検出部と同様の輪郭検出を行ない、検出結果を２値化（例えば、０と１）して出力する。物体輪郭付近での視差推定部２２３は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、初期視差と輪郭検出部２２２によって検出された物体輪郭線とから計算する。
【０１２４】
図２４は、物体輪郭付近での視差推定部２２３による視差推定の様子を示す図である。図２４において、２９１は初期視差推定値の信頼性の低い領域、２９２は輪郭検出部２２２によって検出された物体輪郭線、２９３は初期視差推定値の信頼性の高い領域、２９４は視差を計算しようとする着目点、２９５は着目点を含むように設定した窓領域である。
【０１２５】
着目点２９４（ｘ，ｙ）における視差は、設定窓領域内で初期視差推定値の信頼性の低い領域２９１と接する周囲の領域（この場合は、初期視差推定値の信頼性の高い領域２９３ａ）での視差を用い、着目点２９４での視差が、周囲の領域と着目点２９４との距離に応じて、周囲の領域での視差の値の影響を受けるように決定する。この時、周囲の領域における視差は、物体輪郭線２９２を越えて着目点２９４に影響を与えないようにすることにより、物体輪郭線２９２の所で変化し、かつ、周囲の視差と滑らかに接続するするように視差を決定できる。物体輪郭付近での視差推定部２２３による視差推定を一例として式で表すと（数３０）となる。
【０１２６】
【数３０】

【０１２７】
ただし、物体輪郭付近での視差推定部２２３による視差推定は、（数３０）に限る必要はなく、視差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに接続するものであればよいのは当然である。
【０１２８】
以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１２９】
また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１３０】
さらに、本実施の形態によれば、初期視差推定値の信頼性の低い領域において、着目点近傍で比較的少数の周囲の視差を参照して視差を計算することにより、少ないメモリ容量と演算量で視差の計算を行うことができる。
【０１３１】
また、第３と第４の実施の形態で説明した視差推定の結果を用いて、左右の画像をシフトし統合することにより、それら左右の画像に対応する各々の視点の間の所定の中間視点における画像を生成できる。ここで、視差推定と中間視点画像生成とは異なる場所で行ってもよい。以下に、視差推定と中間視点画像生成とを異なる場所で行う際の伝送、受信方法について説明する。
（第５の実施の形態）
図２５は、本発明の第５の実施の形態において、送信側で視差推定（もしくは動き推定）を行うシステムの送信ブロックの一例である。
【０１３２】
図２５において、１７０は左画像を基準とした視差ＶＬ　を推定する視差推定手段、１７１は右画像を基準とした視差ＶＲ　を推定する視差推定手段、１７２ａ〜ｄは符号化器、１７３ａ，ｂは復号化器、１７４は左画像Ｌと左画像を基準とした視差ＶＬ　から右画像Ｒを予測する予測手段、１７５は左画像を基準とした視差ＶＬから右画像を基準とした視差ＶＲを予測する予測手段、１７６ａ，ｂは視差が正しく推定されない領域での視差を決定する穴埋め手段である。以下に上記構成の動作について説明する。
【０１３３】
まず、左画像Ｌは符号化器１７２ａによって符号化される。また、視差推定手段１７０、１７１によって左右の画像をそれぞれ基準とした視差ＶＬ，ＶＲが推定される。オクルージョン等により視差が正しく推定されない領域については、第３または第４の実施の形態で説明した視差推定方法を用いた穴埋め手段１７６ａ，１７６ｂによって視差が決定される。
【０１３４】
次に、左画像を基準とした穴埋め後の視差は符号化器１７２ｂにより符号化される。符号化された左画像を基準とした穴埋め後の視差は、復号化器１７３ａにより復号化され、予測器１７４による右画像Ｒの予測と、予測器１７５による穴埋め後の右画像を基準とした視差の予測に用いられる。予測器１７５による右画像を基準とした視差ＶＲ　の予測は、左画像を基準とした視差を用いて、（数３１）として計算する。
【０１３５】
【数３１】

【０１３６】
右画像Ｒは予測器１７４による予測画像との残差をとり、符号化器１７２ｄによって符号化される。右画像を基準とした穴埋め後の視差ＶＲ　は、予測器１７５による予測視差との残差をとり、符号化器１７２ｃにより符号化される。
【０１３７】
図２６は、受信側で視差推定を行うシステムの受信ブロックの一例である。図２６において、１８１ａ〜ｄは復号化器、１７４は右画像Ｒの予測器、１７５は右画像を基準とした視差の予測器である。符号化された左画像Ｌ、左画像基準の視差ＶＬ、右画像基準の視差ＶＲの予測誤差、右画像Ｒの予測誤差はそれぞれ復号化器１８１ａ〜１８１ｄにより復号化される。右画像Ｒは予測器１７４による予測結果と復号化された右画像の予測誤差とを加算して復元される。右画像基準の視差ＶＲ　は、予測器１７５による予測結果と復号化された予測誤差とを加算して復元される。
【０１３８】
左画像Ｌ、右画像Ｒ、左画像基準の視差ＶＬ、右画像基準の視差ＶＲが復元されると、例えば特願平７−１０９８２１号に示される中間視点画像生成方法により左右の画像の中間視点での画像を生成することができ、左画像、右画像と併せて多視点画像として表示することができる。
【０１３９】
以上説明したように、上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１４０】
また、多視点画像を伝送する際に、送信側で中間視点画像生成を行うことにより伝送量を低減した画像伝送を行うことができる。そのような例について以下に説明する。
（第６の実施の形態）
図２７は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの送信側の構成図である。図２７において、１０１ａ〜１０１ｄは各視点位置での画像を撮像するカメラ、１０２はカメラ１の画像とカメラ４の画像を圧縮し符号化する画像圧縮符号化部、１０３ａは画像圧縮符号化部１０２が圧縮符号化した画像データを復号化伸長する復号化画像伸長部、１０４ａは復号化画像伸長部１０３ａが復号化伸長したカメラ１の画像とカメラ４の画像から、カメラ２の視点とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０５はカメラ２の画像とカメラ３の画像について中間視点画像生成部１０４ａが生成した画像との残差を圧縮し符号化する残差圧縮符号化部である。以下に上記構成の動作について説明する。
【０１４１】
画像圧縮符号化部１０２は、多視点画像中の複数の画像（本実施の形態では４視点の画像の両端の視点の画像）を、画像間のブロック相関等を利用した既存の技術により圧縮し符号化する。図３１は、画像圧縮符号化部１０２の構成の一例を示す。図３１において、１０７ａ，１０７ｂは８×８画素もしくは１６×１６画素毎にＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手段、１０８ａ，１０８ｂはＤＣＴ係数を量子化する量子化手段、１０９ａは逆量子化手段、１１０ａは逆ＤＣＴ計算をおこなう逆ＤＣＴ手段、１１１は視差検出手段、１１２ａは視差補償手段、１１３ａは量子化されたＤＣＴ係数と視差を符号化する符号化手段である。以下に上記構成の動作について説明する。
【０１４２】
ＤＣＴ手段１０７ａは、カメラ１の画像をブロック毎に処理し、各ブロックについてＤＣＴ係数を計算する。量子化手段１０８ａは、そのＤＣＴ係数を量子化する。逆量子化手段１０９ａは、その量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、その逆量子化されたＤＣＴ係数を逆変換し、受信側で得られるカメラ１の画像を復元する。視差検出手段１１１は復元されたカメラ１の画像とカメラ４の画像間でブロックマッチングを行い、カメラ１の画像を基準とした視差をブロック毎に計算する。視差補償手段１１２ａは、上記復元されたカメラ１の画像とブロック毎の視差を用いてカメラ４の画像を予測する（すなわち、動画像の動き補償に相当する処理を行う）。ＤＣＴ手段１０７ｂは、カメラ４の画像と上記予測画像の残差をブロック毎に処理しＤＣＴ係数を計算する。量子化手段１０８ｂはその残差のＤＣＴ係数を量子化する。符号化手段１１３ａは、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を符号化する。
【０１４３】
また、復号化画像伸長部１０３ａは、画像圧縮符号化部１０２によって圧縮符号化された画像データを復号化し伸長する。図３２は、復号化画像伸長部１０３ａの構成の一例を示す図である。図３２において、１１４ａは復号化手段、１０９ｂ、１０９ｃは逆量子化手段、１１０ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは視差補償手段である。以下に上記構成の動作について説明する。
【０１４４】
復号化手段１１４ａは、圧縮符号化されたデータを復号化し、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を伸長する。カメラ１の画像の量子化されたＤＣＴ係数は、逆量子化手段１０９ｂによって逆量子化され、逆ＤＣＴ手段１１０ｂによって画像として伸長される。動き補償手段１１２ｂは、その伸長されたカメラ１の画像と復号化された視差から、カメラ４の予測画像を生成する。そして、逆量子化手段１０９ｃ、逆ＤＣＴ手段１１０ｃによって伸長された残差を上記予測画像に加えることにより、カメラ４の画像を伸長する。
【０１４５】
中間視点画像生成部１０４ａは、本発明の第３もしくは第４のいずれかの実施の形態に示す方法によって、カメラ１とカメラ４の画像から画素毎の視差を計算し、カメラ２とカメラ３の画像を予測し生成する。
【０１４６】
残差圧縮符号化部１０５は、カメラ２とカメラ３の画像と上記予測画像の残差を圧縮し符号化する。中間視点画像生成部１０４ａは、視差を画素毎に計算するため、ブロックマッチングによるブロック毎の視差計算と比較して、精度よく視差を推定できる。その結果、中間視点画像の予測誤差（すなわち残差）を小さくすることができ、圧縮効率を高めることができるとともに、より有効なビット割り当てを行うことができ、画質を維持した圧縮を行える。図３３は、残差圧縮符号化部の構成の一例を示す。図３３において、１０７ｃ，１０７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、１１３ｂは符号化手段である。カメラ２、カメラ３の画像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０８ｄによって量子化され、符号化手段１１３ｂによって符号化される。
【０１４７】
図３４は、本発明の第６の実施の形態における多視点画像圧縮伝送システムの受信側の構成図である。図３４において、１０３ｂは送信側の画像圧縮符号化部１０２が圧縮符号化したカメラ１とカメラ４の画像データを復号化伸長する復号化画像伸長部、１０４ｂは復号化画像伸長部１０３ｂが復号化伸長したカメラ１とカメラ４の画像から、カメラ２とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０６はカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する復号化残差伸長部である。復号化画像伸長部１０３ｂおよび中間視点画像生成部１０４ｂの動作については、送信側の復号化画像伸長部１０３ａおよび中間視点画像生成部１０４ａの動作と同一であるので説明を省略し、以下に復号化残差伸長部の動作について説明する。
【０１４８】
復号化残差伸長部１０６は、送信側の残差圧縮符号化部１０５によって圧縮符号化されたカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する。図３５は、復号化残差伸長部１０６の構成の一例を示す。図３５において、１１４ｂは復号化手段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，１１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメラ２とカメラ３の画像の残差データは、復号化手段１１４ｂによって復号化され、それぞれ、逆量子化手段１０９ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１０ｄ，１１０ｅにより伸長される。復号化伸長されたカメラ２とカメラ３の画像の残差を、中間視点画像生成部１０４ｂによって生成された画像にそれぞれ重畳することにより、カメラ２とカメラ３の視点の画像を復元する。
【０１４９】
以上のように、本実施の形態によれば、送信側で、多視点画像中の隣接しない２つの画像からその中間視点の画像を生成し、その生成した中間視点画像とその中間視点の実際の画像との残差を求め、上記２つの画像と中間視点画像の残差とを圧縮符号化して伝送する。受信側で、伝送されてきた２つの画像と中間視点画像の残差とを復号化伸長し、２つの画像から中間視点の画像を生成し、復号化伸長した中間視点画像の残差を重畳して中間視点での実際の画像に対応する画像を復元する。このようにすることにより、多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【０１５０】
なお、中間視点画像の生成は、多視点画像の両端の２視点（カメラ１とカメラ４の視点）での画像から中間視点での画像を生成する構成に限る必要はなく、例えば、カメラ２とカメラ４の画像からカメラ１とカメラ３の視点での画像を生成してもよく、カメラ１とカメラ３の画像からカメラ２とカメラ４の視点での画像を生成してもよい。更には、カメラ２とカメラ３の画像からカメラ１とカメラ４の視点での画像を生成してもよく、それぞれ本発明に含まれる。
【０１５１】
また、多視点画像の視点数は４視点に限る必要はなく、また、２視点以上の視点での画像からそれぞれの視点間の中間視点画像を生成してもよいのは明らかであり、本発明に含まれる。
【０１５２】
また、本発明の第３および第４の実施の形態において、初期視差推定値の信頼性評価値としては、（数２３）に示すものに限る必要はなく、（数２３）の分子のみを信頼性評価値としても、参照画像の輝度こう配の影響を受けるがほぼ同様の効果を得ることができ本発明に含まれる。
【０１５３】
また、画像のノイズレベルが低い場合には、信頼性評価値としてノイズ項を無視した値を計算しても同様の効果が得られるのは当然であり本発明に含まれる。
【０１５４】
さらに簡略化して、信頼性評価値として、１画素当たりの残差平方和の最小値、あるいは残差平方和の最小値を用いてもよく、より簡単な回路で計算が可能となり、本発明に含まれる。
【０１５５】
また、初期視差推定値の信頼性評価値としては、（数３２）に示す双方向に推定した視差の差異を用いてもよく、本発明に含まれる。
【０１５６】
【数３２】

【０１５７】
また、初期視差推定の信頼性評価値としては、上記のものを２つ以上組み合わせて用いることにより、より安定した信頼性評価をすることができ、本発明に含まれる。
【０１５８】
また、本発明の第３および第４の実施の形態において、初期視差推定のための画像間の相関演算は残差平方和（ＳＳＤ）に限る必要はなく、残差絶対値和（ＳＡＤ）を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。
【０１５９】
また、本発明の第６の実施の形態において、隣接しない２つの視点での画像の圧縮符号化の方法としては、画像間（視点間）の相関を利用したものに限る必要はなく、時間方向の相関を利用したものを用いてもよく、本発明に含まれる。
【０１６０】
【発明の効果】
以上のように本発明によれば、カメラの撮像面（ＣＣＤ）のサイズと、撮像面とレンズ中心との距離と、レンズの焦点距離に関する情報とを付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができ、撮影時と同一の視野角を再現する観察距離を精度よく決定できる。
【０１６１】
また、多視点画像を伝送する際に画像内の最近点、最遠点の情報を付加することにより、表示時に目の疲れない表示（視差制御）を行うことができる。
【０１６２】
また、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。
【０１６３】
また、伝送側において、付加する最近点、最遠点の情報として、実際の画像中の最近点、最遠点とは異なる値を設定し、表示側において該設定値の最近点に相当する視差と、最遠点に相当する視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができる。
【０１６４】
また、本発明によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。
【０１６５】
また、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。。
【０１６６】
また、送信側で視差の穴埋め処理（本発明による、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続する視差推定処理）を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１６７】
また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行うことにより、中間視点画像の伝送量（残差の伝送量）を少なくすることができ、その結果多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図
【図２】同被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図
【図３】同２つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を示す図
【図４】本発明の第１の実施の形態における画像伝送方法で定義するパラメータを示す図
【図５】画像間の視差の平均値を相殺するようにずらす処理のブロック図
【図６】左画像を基準としてブロックマッチングにより視差を計算する場合を示す図
【図７】平行撮影の場合を示す図
【図８】輻輳撮影の場合を示す図
【図９】（ａ）〜（ｃ）は、（数１４）による重み付け平均の計算に用いる重みの分布の例を示す図
【図１０】画像復号手段の動作を示す図
【図１１】本発明の第２の実施の形態における視差制御方式のブロック図
【図１２】シフト演算手段の構成の一例を示す図
【図１３】融合範囲テーブルの特性図
【図１４】（数１６）の図形的な意味を示す図
【図１５】視差の頻度分布図
【図１６】本発明の第３の実施の形態による視差推定装置の構成図
【図１７】同ブロックマッチングを示す図
【図１８】同輪郭検出部の構成図
【図１９】同エッジ検出部の構成の一例を示す構成図
【図２０】（ａ）〜（ｆ）は、同方向別のフィルタの重み係数の例を示す図
【図２１】同稜線検出部の構成図
【図２２】同物体輪郭付近での視差推定部の構成図
【図２３】本発明の第４の実施の形態による視差推定装置の構成図
【図２４】同物体輪郭線近傍での視差推定を示す図
【図２５】本発明の第５の実施の形態で送信側で視差推定を行うシステムの送信部の構成図
【図２６】本発明の第５の実施の形態で送信側で視差推定を行うシステムの受信部の構成図
【図２７】本発明の第６の実施の形態における多視点画像伝送システムの送信部の構成図
【図２８】ＭＰＥＧ−２シンタックスの概略図
【図２９】伝送される多視点画像の時空間方向の関係図
【図３０】ＯｐｅｎＧＬによるカメラパラメータの定義を示す図
【図３１】本発明の第６の実施の形態における多視点画像伝送システムの画像圧縮符号化部の構成の一例を示す図
【図３２】本発明の第６の実施の形態における多視点画像伝送システムの復号化画像伸長部の構成の一例を示す図
【図３３】本発明の第６の実施の形態における多視点画像伝送システムの残差圧縮符号化部の構成の一例を示す図
【図３４】本発明の第６の実施の形態における多視点画像伝送システムの受信部の構成図
【図３５】本発明の第６の実施の形態における多視点画像伝送システムの復号化残差伸長部の構成の一例を示す図
【符号の説明】
Ａ　表示される画像の最近点
Ｂ　最遠点
Ｃ　観察者の輻輳と調節が一致する点
Ａ１，Ａ２　カメラのレンズ中心
Ｂ１，Ｂ２　画像面の中心
Ｃ１　輻輳点
２０１　初期視差推定部
２０２　初期視差推定時の信頼性評価部
２０３　輪郭検出部
２０４　物体輪郭付近での視差推定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a multi-view image transmission method and a multi-view image display method. The present invention also relates to a method for generating an intermediate viewpoint image of a multi-view image, a method for estimating disparity, and an apparatus therefor.
[0002]
[Prior art]
Conventionally, various types of stereoscopic video systems have been proposed, but a multiview stereoscopic video system using a multi-viewpoint image is promising as a system that allows a plurality of people to observe a stereoscopic moving image without wearing special glasses. . In the multi-view stereoscopic video system, as the number of cameras and the number of display devices used increase, the observer can feel natural motion parallax, and observation by a large number of people becomes easier. However, the number of cameras that can be used practically is limited due to restrictions such as the size of the imaging system and the setting of the optical axis of the camera. In the transmission and storage processes, it is desired to reduce the amount of information that increases in proportion to the number of cameras.
[0003]
Therefore, if a multi-view stereoscopic image can be displayed on the display side by generating an intermediate viewpoint image from a binocular stereo image, the load on the imaging system can be reduced, and the amount of information during transmission and storage can be reduced. become. In order to generate an intermediate viewpoint image that should be viewed at an arbitrary viewpoint between different viewpoints from a plurality of images having different viewpoints, it is necessary to estimate the depth by obtaining a correspondence between pixels between the images.
[0004]
MPEG-1 and MPEG-2 have been proposed as image compression systems for digitally transmitting moving images. Further, an attempt has been made to transmit a multi-view image by extending MPEG-2 (ISO / IEC13818-2 / PDAM3). FIG. 28 is a schematic diagram of the MPEG-2 syntax. Transmission by MPEG-2 is performed by encoding and decoding image data having a hierarchical structure such as Sequence, GOP (Group {Of} Picture), and Picture}. According to ISO / IEC13818-2 / PDAM3, the transmission of multi-view images by extension of MPEG-2 seems to be realized by extending the GOP layer (although it is not clear because it is not specified).
[0005]
FIG. 29 shows the relationship in the spatio-temporal direction of the transmitted multi-viewpoint image. An attempt is made to increase the coding efficiency by using parallax compensation in addition to the motion compensation used in the conventional MPEG-2. When transmitting a multi-viewpoint image, it is necessary to add information on each camera (camera parameters such as the position of the camera and the direction of the optical axis of the camera) and transmit the information. In ISO / IEC13818-2 / PDAM3, the camera parameters are Pic. Although transmission is described as being included in Extension (extension of the Picture layer), specific description of camera parameters is not described.
[0006]
Regarding the description of the camera parameters, the position of the camera, the direction of the optical axis of the camera, and the distance between the position of the camera and the image plane are defined as camera parameters in OpenGL, which is a CG language ("Open GL Programming Guide" OpenGL Programming Guide, The Official Guide to Learning OpenGL, Release 1, Addison-Wesley Publishing Company, 1993)).
[0007]
FIG. 30 is an explanatory diagram showing the definition of camera parameters by OpenGL. In FIG. 30, A indicates the lens center, B indicates the center of the image plane (that is, the imaging plane), and C indicates the intersection of the perpendicular drawn from B to the upper end of the image and the upper end of the image. The coordinate values of A, B and C are respectively
(Optical　center　X, optical　center　Y, optical　center　Z), (image　plane　center　X, image　plane　center　Y, image　plane　center　Z), (image　plane　vertical　X, image　plane　vertical　Y, image　plane　vertical　Z).
[0008]
The information of the camera parameters defined in the above OpenGL is described as Pic. It is easily conceivable to transmit a multi-viewpoint image in addition to the Extension.
[0009]
[Problems to be solved by the invention]
However, in the conventional method as described above, a fundamental problem in correspondence between images for generating an intermediate viewpoint image is that occlusion occurs in an object contour line whose depth varies discontinuously, so that correspondence between images is reduced. It is difficult to obtain the value with high accuracy. However, the estimated value of the parallax in the vicinity of the object contour determines the contour position of the object in the generated intermediate viewpoint image, and is therefore very important when the intermediate viewpoint image is synthesized. In other words, if a parallax estimation error occurs near the object contour during parallax estimation, pixels in the foreground area will stick to the background side, and pixels in the background area will stick to the foreground, and the contour of the object will be disturbed. False contours will occur in the background area near the line.
[0010]
In view of the foregoing, an object of the present invention is to provide a parallax estimating method and apparatus for accurately estimating a rapid change (discontinuous change) of parallax near an object contour.
[0011]
[Means for Solving the Problems]
The present invention calculates an initial parallax and a reliability evaluation value of the initial parallax, and using the reliability evaluation value and the edge detection result, extracts an object contour line in which the parallax changes discontinuously, and evaluates the reliability. Extract an area with low initial parallax reliability from the values, determine the parallax in the extracted area with low initial parallax reliability, smoothly connect to the surrounding parallax, and change it in the object outline A method and apparatus for performing parallax estimation, wherein the method performs parallax estimation that changes discontinuously in the object contour.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings showing the embodiments.
(First Embodiment)
FIG. 4 is a diagram showing parameters defined in the image transmission method according to the first embodiment of the present invention. In FIG. 4, A1 and A2 indicate the positions of the centers of the lenses of the camera, and B1 and B2 indicate the centers of the imaging surfaces (for simplicity, the imaging surfaces are folded back toward the subject with respect to the lens centers). ing).
[0013]
In OpenGL, the distance between A1B1 and A2B2 in FIG. 4 is defined as the focal length of the camera lens, but in the present invention, the distance between the lens center of the camera and the imaging surface is defined independently of the focal length of the lens. . With this definition, the distance between the lens center and the imaging surface at the time of focusing can be calculated according to the distance to the subject, and the accurate viewing angle can be calculated. The viewing angle can be calculated from the size of the imaging surface and the distance between the lens center and the imaging surface.
[0014]
Hereinafter, with reference to FIG. 2, a description will be given of how the distance between the lens center and the imaging surface at the time of focusing changes depending on the distance between the subject and the lens center. FIG. 2 is a diagram illustrating the relationship between the position of the subject, the position of the imaging surface at the time of focusing, and the focal length. In FIG. 2, A is the position of the subject, B is the point where light from A forms an image, O is the center of the lens, F is the point where parallel light forms an image with the lens, and a is the distance between the subject and the center O of the lens. , B indicate the distance between the point B where light from A forms an image and the lens center O, and f indicates the focal length of the lens. It is known that the relationship of (Equation 1) holds between a, b, and f.
[0015]
(Equation 1)

[0016]
From (Equation 1), when the subject is far from the lens such that the focal length can be ignored (a >> f), 1 / a → 0, and b = f. However, when the subject is relatively close to the lens, the term 1 / a cannot be ignored and b ≠ f. Therefore, in order to correctly calculate the viewing angle even when the subject is relatively close to the lens, it is necessary to define the distance between the lens center and the imaging plane independently of the focal length. Then, assuming that the width of the imaging surface is win and the height is hin, the viewing angle at the time of imaging is represented by (Equation 2).
[0017]
(Equation 2)

[0018]
Therefore, if the width of the image at the time of display is wout and the height is hout, the observation distance for reproducing the viewing angle at the time of imaging is:
[0019]
(Equation 3)

[0020]
It becomes.
[0021]
Next, the improvement of the visibility on the display side based on the nearest point and the farthest point in the image will be described. FIG. 3 is a diagram for explaining the positional relationship between the convergence distance, the nearest point, and the farthest point when performing convergence projection using two projectors. In FIG. 3, C indicates a congestion point, A indicates a nearest point, and B indicates a farthest point.
[0022]
In the projection with convergence, the parallax becomes 0 when the observer looks at the convergence point C (in FIG. 3, since both eyes look at the center of the image, the left and right eyes have a relative No difference in position). When the closest point A is viewed, a so-called cross-eyed state occurs, and a parallax of Da occurs in the direction of the cross-hair on the image. In FIG. 3, the observer sees a point shifted by Da / 2 toward the inside of both eyes as compared with the case of viewing the convergence point C. On the other hand, when the farthest point B is viewed, a so-called separated eye state occurs, and a parallax of Db occurs in the direction of the separated eye on the image.
[0023]
FIG. 1 is a diagram showing the positional relationship between the closest point, the farthest point, and the point where the convergence and adjustment of the observer coincide with each other in the case of parallel projection. In FIG. 1, A indicates the nearest point of the displayed image, B indicates the farthest point, and C indicates the point where the convergence of the observer matches the accommodation. In the case of the parallel projection shown in FIG. 1, when an image having a parallax of Dc is displayed, the image is displayed at the same point on the screen, and the convergence of the observer matches the accommodation.
[0024]
The above-described parallax in the images of FIGS. 3 and 1 is perceived by the observer as a three-dimensional effect of being closer to or farther from the screen surface (the surface including C). (Double appearance), giving the observer uncomfortable feeling or discomfort.
[0025]
The improvement of the visibility of the observer is based on the nearest point, the farthest point, and the point of convergence at the time of imaging, by moving the image in the direction shown in FIG. (Direction), it becomes possible by changing the positional relationship between the point of convergence, the farthest distance, and the closest distance. As for the way of shifting the images, for example, the entire image can be uniformly viewed by shifting so as to offset the average value of the parallax between the images.
[0026]
FIG. 5 is a block diagram of such processing. FIG. 5 shows an example of binocular (two viewpoints) data for simplicity. In FIG. 5, 1 is an image decoding unit, 2 is a parallax estimating unit, 3 is an average parallax calculating unit, 4a and 4b are image shifting units, and 5a and 5b are image display units. The operation of each means will be described below.
[0027]
The image decoding means 1 receives multi-view image data encoded on the transmission side and decodes the data. The left and right images decoded by the image decoding unit 1 are sent to the parallax estimation unit 2. The disparity estimation unit 2 calculates a disparity (disparity map) of each pixel from the left and right images decoded by the image decoding unit 1. For example, a case where the parallax is calculated by block matching based on the left image will be described below with reference to FIG. First, a window area is set in the left image. Next, the residual sum of squares (SSD) shown in (Equation 4) is calculated.
[0028]
(Equation 4)

[0029]
The calculation of (Equation 4) is performed at intervals of one pixel for d in the range from dmin to dmax. Then, the value of d that minimizes the SSD in the range from dmin to dmax is set as the parallax in the set window area. The parallax in each pixel of the image is obtained by sequentially shifting the window area and performing the above calculation.
[0030]
The ranges dmin and dmax for calculating the SSD can be calculated from information on the nearest point and the farthest point. With reference to FIGS. 7 and 8, a method of obtaining dmin and dmax in the case of parallel shooting and the case of convergence shooting will be described below.
[0031]
FIG. 7 is a diagram showing a case of parallel shooting. In the coordinate system shown in FIG. 7, the coordinate values of the left and right lens centers are (−D / 2, 0) and (D / 2, 0), the distance between the imaging surface and the lens center is b, and the object in the three-dimensional space The horizontal coordinate value of the position is X0, the coordinate value in the depth direction is Z0, and the horizontal position where light from the object at the position (X0, Z0) is imaged on the left and right imaging planes is x10 and xr0 (xl0, xr0 is The horizontal coordinate of the plane coordinate system whose origin is the intersection point of the optical axis of the camera and the imaging plane) and the graphical relationship,
[0032]
(Equation 5)

[0033]
It becomes. Therefore, each of the parallaxes based on the left and right images is represented by the equation shown in (Equation 6).
[0034]
(Equation 6)

[0035]
Here, assuming that the depth value of the nearest point in the image is Zmin and the depth value of the farthest point is Zmax, the upper limit dmax and the lower limit dmin of the SSD calculation range are expressed by (Equation 7).
[0036]
(Equation 7)

[0037]
FIG. 8 is a diagram showing a case of convergence shooting. In the coordinate system shown in FIG. 8, the coordinates of the convergence point (the intersection of the optical axes of the left and right cameras) are (0, C), the coordinates of the center of the left and right lenses are (−D / 2, 0), (D / 2, 0), the distance between the imaging plane and the lens center is b, the horizontal coordinate value of the object position in the three-dimensional space is X0, the coordinate value in the depth direction is Z0, and the position (X0, Z0) is on the left and right imaging planes. The horizontal position at which light from the object is imaged is assumed to be xl0 and xr0, respectively (xl0 and xr0 are the horizontal coordinates of a plane coordinate system having the origin at the intersection of the optical axis of the camera and the imaging surface) and
[0038]
(Equation 8)

[0039]
It becomes. Therefore, the parallax based on the left and right images is represented by the equation shown in (Equation 9).
[0040]
(Equation 9)

[0041]
Since X0 remains in the equation (Equation 9), it can be understood that parallax is different depending on the position in the horizontal direction (that is, a reproduced stereoscopic image is distorted) even in the same depth in the convergence imaging. Now, considering the parallax at a point on X0 = 0 (that is, the Z axis) for simplicity, X0 = 0 is substituted into (Equation 9) to obtain (Equation 10).
[0042]
(Equation 10)

[0043]
From (Equation 10), parallax is obtained from the positional relationship between the depth value Zmin of the closest point in the image, the depth value Zmax of the farthest point, and the depth value C of the convergence point, the number of horizontal pixels nx, and the width win of the imaging surface (CCD). The upper limit pixel number dmax and the lower limit pixel number dmin can be determined.
[0044]
When the parallax at a point other than on the Z axis is considered, the upper limit dmax and the lower limit dmin of the parallax can be determined by calculating the maximum value and the minimum value of (Equation 9).
[0045]
As described above, given the depth value of the closest point in the image, the depth value of the farthest point, the position of the camera, and the direction of the optical axis of the camera, the range of values to be taken by parallax can be calculated, and parallax calculation can be performed. Sometimes the range over which the SSD is calculated can be determined. The average parallax calculating unit 3 calculates an average of the parallax map calculated by the parallax estimating unit 2. The average of the disparity map is obtained by calculating (Equation 11).
[0046]
[Equation 11]

[0047]
The image shifting means 4a and 4b perform the image processing so that the depth point having the average parallax obtained by the average parallax calculating means 3 is displayed at the same depth as the display surface (that is, the parallax is zero on the display surface). Shift.
[0048]
In FIG. 1 showing display by parallel projection, A indicates the depth of the nearest point in the displayed image, B indicates the depth of the farthest point, and C indicates the depth of the average parallax. From FIG. 1, it can be seen that in the parallel projection, when there is a parallax of Dc shown by (Equation 12) between the left and right images, the parallax disappears on the screen, and a natural display in which the convergence and the adjustment match is obtained.
[0049]
(Equation 12)

[0050]
The image shifting means 4a shifts the left image by the shift amount (the shift in the right direction is positive) shown in (Expression 13).
[0051]
(Equation 13)

[0052]
Then, the image shift means 4b shifts the right image by the same amount in the reverse direction. As a result of the shift by the image shift means 4a and 4b, the point having the average parallax is displayed at the same depth as the screen.
[0053]
In FIG. 3 showing the display by the convergence projection, A indicates the depth of the nearest point in the displayed image, B indicates the depth of the farthest point, and C indicates the depth of the average parallax. In the convergence projection, when the parallax is 0 at the center of the image, the image is displayed at the same depth as the screen. Therefore, in the case of convergence projection, the image shift means 4a and 4b shift the left and right images by a value obtained by multiplying the average parallax by -1/2.
[0054]
As described above, according to the present embodiment, when transmitting a multi-viewpoint image, by adding information of the nearest point and the farthest point in the image, display without eyestrain on the display side (parallax control) It can be performed.
[0055]
In addition, by adding and transmitting information on the size of the imaging plane (CCD) of the camera, the distance between the imaging plane and the center of the lens, and the focal length of the lens, an attempt is made to display according to the viewing angle at the time of shooting. In this case, the viewing angle at the time of shooting can be accurately calculated on the display side even for a video shot close to the subject.
[0056]
When transmitting without adding information on the nearest point and the farthest point in the multi-viewpoint image, information on the nearest point and the furthest point is added instead of the information on the nearest point and the furthest point. By adding a special code indicating that no parallax is present, and transmitting the parallax within the preset range on the display side, it is possible to estimate the parallax at the nearest point and the farthest point in the image. , Included in the present invention.
[0057]
Further, on the transmission side, by setting information on the nearest point and the farthest point in the multi-viewpoint image to a specific depth value, disparity control is performed so that the disparity in the set specific depth range falls within the fusion range. And are included in the present invention.
[0058]
Further, in the present invention, an example in which the calculation of the disparity is performed on the display side has been described, but the disparity included in the encoded image may be used and is included in the present invention. Such an example will be described with reference to FIG.
[0059]
In FIG. 10, the operation of the configuration other than the image decoding means 6 is the same as that of the parallax control method shown in FIG. The image decoding means 6 decodes the encoded image data and outputs parallax based on the left and right images and the left image. When transmitting a two-lens image using a multi-view image transmission method based on MPEG-2, the compression rate is increased by parallax compensation based on the left image. By extracting the parallax from the encoded image data, it is not necessary to calculate the parallax on the display side, and the amount of calculation on the display side can be reduced.
[0060]
Note that the average of the parallaxes calculated by the average parallax calculating means 3 may use a weighted average value according to (Equation 14) with emphasis on the center of the screen. By doing so, parallax control that is easier to fuse at the center of the image can be performed and is included in the present invention.
[0061]
[Equation 14]

[0062]
FIGS. 9A, 9B, and 9C show examples of the distribution of weights used for calculating the weighted average according to (Equation 14). Although shown one-dimensionally for simplicity, it is actually a two-dimensional distribution where the value is larger at the center of the image than at the periphery. The weight values are all values equal to or greater than 0 (non-negative values).
(Second embodiment)
FIG. 11 is a block diagram of a parallax control method according to the second embodiment of the present invention. In FIG. 11, the configuration other than the frequency calculation means 7 and the shift amount calculation means 8 performs the same operation as that in the first embodiment, and thus is the same as the explanatory diagram in the first embodiment. And the description is omitted. The operation of the frequency calculation means 7 and the shift amount calculation means 8 will be described below.
[0063]
The frequency calculating means 7 calculates the frequency of the parallax based on the left image decoded by the image decoding means 6. The frequency of parallax is the number of pixels calculated for each value of parallax in a certain area of the image (for example, the entire image or a specific area determined based on the criterion). The shift amount calculating means 8 calculates the sum of the frequency of the parallax in the fusion range from the frequency of the parallax (between images) calculated by the frequency calculation means 7 and the fusion range of the human eye according to the viewing angle of the image. Is calculated and output to the image shift means 4a, # 4b.
[0064]
FIG. 12 shows an example of the configuration of the shift operation means 8. In FIG. 12, 9 is an MPU, and 10 is a fusion range table. The MPU 9 calculates the horizontal viewing angle shown in (Equation 15) from the width of the image display surface and the observation distance, and reads the fusion range at the viewing angle from the fusion range table 10.
[0065]
(Equation 15)

[0066]
FIG. 13 shows an example of the characteristics of the fusion range table. In FIG. 13, the horizontal axis is the horizontal viewing angle of the image display surface, and the vertical axis is the parallax fusion range (angle converted by (Equation 16)).
[0067]
(Equation 16)

[0068]
Note that the sign of the vertical axis in FIG. 13 indicates a parallax that is perceived in front of the display surface on the negative side and a parallax that is perceived behind the display surface on the positive side. FIG. 14 is a diagram illustrating the graphical meaning of (Equation 16). FIG. 14 shows that the angle-converted parallax θ is obtained by converting the parallax Δ on the image display surface into a viewing angle.
[0069]
On the other hand, in the parallel projection and the convergence projection shown in FIGS. 1 and 3, the positional relationship between the position of the image (for example, the position of the pixel on the liquid crystal in the case of a liquid crystal projector) xl1, xr1} and the position Xl, Xr} on the display surface is And (Equation 17) and (Equation 19), respectively, and the parallax on the display surface is (Equation 18) and (Equation 20).
[0070]
[Equation 17]

[0071]
(Equation 18)

[0072]
[Equation 19]

[0073]
(Equation 20)

[0074]
Then, the coordinate values (xl0, yl0) and (xr0, yr0) on the photographing surface at the time of photographing and the positions (xl1, yl0) and (xr1, yr1) of the image at the time of projection (for example, in the case of a liquid crystal projector, a liquid crystal The relationship with (upper pixel position) is expressed by (Equation 21).
[0075]
(Equation 21)

[0076]
Here, the width win of the imaging surface is obtained from camera parameters, and the image width wout at the time of display is a value unique to the display system.
[0077]
Xl0 and xr0 are calculated using (Equation 5) or (Equation 8) according to the conditions at the time of imaging (parallel imaging / convergence imaging), and are converted into xl1 and xr1 by (Equation 21). Further, by calculating (Equation 18) or (Equation 20) according to the projection condition (parallel projection / convergence projection), the parallax on the display screen is considered in consideration of both the imaging condition and the projection condition. Can be calculated.
[0078]
The MPU 9 converts the fusion range read from the fusion range table 10 into a parallax (distance) on the display surface, and determines a fusion range of the parallax on the image display surface. Then, the MPU 9 calculates a shift amount with respect to the image data such that the sum of the frequencies of the parallaxes within the fusion range becomes maximum, using the above-described parallax in the image data and the relationship between the parallaxes on the image display surface. (Shift of an image by parallax control means moving the frequency distribution of parallax in the horizontal direction in FIG. 15).
[0079]
By shifting the image in the reverse direction by the output shift amount by the image shift means 4a and 4b and displaying the image by the image display means 5a and 5b, the sum of the parallax frequencies within the fusion range is maximized (that is, the fusion within the image is performed). Can be displayed.
[0080]
As described above, according to the present embodiment, by performing parallax control in accordance with the fusion range of the human eye, the parallax can be included in the fusion range in a larger part of the image when displayed. Can be.
[0081]
In the present embodiment, the parallax control that maximizes the sum of the parallax frequencies within the fusion range has been described. However, even if the parallax control is performed so that the average value of the parallax is at the center of the fusion range, almost the same effect is obtained. Are included in the present invention.
[0082]
Further, on the transmission side, the nearest point and the farthest point in the actual image are set to values different from the nearest point and the farthest point in the actual image. By controlling the parallax so that the average parallax of the parallax is at the center of the fusion range, an image at the depth intended by the image creator can be preferentially presented to the observer, and is included in the present invention. .
(Third embodiment)
In the third embodiment of the present invention, a set of image pairs is input, an initial disparity and reliability of the initial disparity are calculated, and an object contour is detected from the reference image and the reliability of the initial disparity. From the initial disparity, the reliability of the initial disparity, and the detected object contour, a disparity in a region where the initial disparity has low reliability near the object contour is determined. At this time, a parallax estimating method and a parallax estimating method are used in which parallax changes in an object contour line and is determined so as to be smoothly connected to surrounding parallax.
[0083]
In the present embodiment, with the above-described configuration, the initial parallax and the reliability of the initial parallax are calculated from a pair of image pairs of the reference image and the reference image, and the object contour is calculated from the reference image and the reliability of the initial parallax. Detected, from the initial parallax and the reliability of the initial parallax and the detected object contour, the parallax in the low-reliability region of the initial parallax near the object contour changes in the object contour, and Parallax is determined so as to connect smoothly.
[0084]
FIG. 16 is a block diagram of a disparity estimation device according to the third embodiment of the present invention.
[0085]
In FIG. 16, reference numeral 201 denotes an initial disparity estimating unit that calculates initial disparity by block matching; 202, a reliability evaluation unit for initial disparity estimation; 203, a contour detecting unit; and 204, a disparity estimating unit near the object contour.
[0086]
The operation of the above configuration will be described below.
[0087]
The initial disparity estimating unit 201 calculates a sum of squares of residuals (Sum {of {Squared} differencies} or less, SSD) shown in (Equation 22). The SSD value according to (Equation 22) becomes a small value where the distribution of pixel values in the window region set in the reference image and the window region set in the reference image is similar, and conversely, in both window regions. Are large where the distribution of pixel values is different. The initial parallax estimating unit 201 sets the amount of deviation d between images that minimizes the SSD value within a predetermined search range as the parallax at the point of interest (x, y), and estimates the parallax value near the object contour. The minimum value of the SSD within the search range is output to the reliability evaluation unit 202 at the time of initial parallax estimation.
[0088]
(Equation 22)

[0089]
FIG. 17 is a diagram illustrating the initial parallax estimation (block matching) performed by the initial parallax estimating unit 201. In FIG. 17, the window region set around the point of interest (x, y) indicates the integration region W of (Equation 22). The initial parallax of the entire image can be obtained by sequentially shifting the window regions and setting the above SSD.
[0090]
The reliability evaluation unit 202 at the time of initial parallax estimation includes a minimum value in the SSD search range obtained by the parallax calculation by the initial parallax estimation unit 201, the number of pixels in the window area (block), and the variance of noise between images. From the average value of the square of the luminance gradient in the horizontal and vertical directions of the reference image in the window area, the reliability evaluation value of the association shown in (Equation 23) is calculated.
[0091]
[Equation 23]

[0092]
The smaller the value of (Equation 23), the higher the reliability of the parallax estimation, and the larger the value, the lower the reliability.
[0093]
FIG. 18 is a block diagram illustrating an example of the configuration of the contour detection unit 203. In FIG. 18, reference numeral 205 denotes a YC separation circuit that separates a reference image into a luminance component and a color component, and 206A, 206B, and 206C detect edges from the separated luminance component Y and color components RY and BY, respectively. An edge detection circuit 207, an edge detection unit 207 that outputs only the intensity of the edge detected as an edge detection result, and 208 outputs a weight of 1 in an area where the initial disparity estimated value is unreliable, A weight generation circuit that outputs a weight of 0 in a high region.
[0094]
The operation of the above configuration will be described below.
[0095]
The YC separation circuit 205 separates the reference image into a luminance component Y and color components RY and BY and outputs them.
[0096]
The edge detection circuits 206A, 206B, and 206C detect edge components from the Y, RY, and BY components, respectively. FIG. 19 is a block diagram illustrating an example of the configuration of the edge detection circuit 206. In FIG. 19, reference numerals 209A, 209B, and 209C denote direction-dependent filter groups for detecting edge components in a low spatial frequency range, a medium spatial frequency range, and a high spatial frequency range, respectively. 210, 211, 212, and 213 are direction-specific filters forming respective direction-specific filter groups. FIG. 20 is an example of the spatial weight of the direction-specific filter. FIGS. 20 (a), (b) and (c) detect edges that are continuous in the vertical direction, and FIGS. 20 (d), (e) and (f) detect edges in the oblique direction.
[0097]
Here, (a) and (d) show examples of the distribution of weights for the high spatial frequency range, (b) and (e) show examples of the distribution of weights for the medium spatial frequency range, and (c) and (f) show examples of the distribution of weights for the low spatial frequency range. Edge detection in the horizontal and other oblique directions may be performed by rotating the arrangement of the counters in FIG. 20 by 90 degrees. Also, the direction of the edge need not be limited to 45-degree intervals, but may be 30-degree intervals.
[0098]
The spatial weights of the direction-specific filters need not be limited to those shown in FIG. 20, but needless to say, a differential weight distribution may be provided for each direction. The method of calculating the edge strength for each direction is expressed by (Equation 24).
[0099]
(Equation 24)

[0100]
The integration unit 214 integrates the outputs of the direction filters 210, 211, 212, and 213. An example of the integration performed by the integration unit 214 is represented by (Expression 25).
[0101]
(Equation 25)

[0102]
The integration by the integration unit 214 need not be limited to the sum of squares shown in (Equation 25), but may be of the form of the sum of absolute values.
[0103]
For the luminance component Y and the color components RY and BY, the edge intensities integrated by the integration units 214A, 214B and 214C in the high spatial frequency range, the middle spatial frequency range, and the low spatial frequency range are multiplied and output. You. Then, the edge strengths for the Y, RY, and BY components are added and transferred to the ridge line detection unit 7.
[0104]
Note that the separation of the reference image into the luminance component and the color component in the contour detection unit 203 need not be limited to Y, RY, and BY, but may be separated into other components such as R, G, and B. Is natural. Further, the edge strengths for Y, RY, and BY need not be limited to those transferred to the edge detection unit 207 after addition, and may be transferred to the edge detection unit 207 after multiplication.
[0105]
Returning to FIG. 18, the ridge line detection unit 207 outputs only the edge value of the edge strength added for Y, RY, and BY on the ridge line. FIG. 21 is an example of the configuration of the ridge line detection unit 207. In FIG. 21, the horizontal ridge line detection circuit 215 outputs 1 when the edge strength at the pixel of interest is greater than both the edge strengths at the pixels above and below the point of interest, and outputs 0 otherwise.
[0106]
Similarly, the vertical ridge line detection circuit 216 outputs 1 when the edge strength at the target pixel is larger than both the edge strengths at the left and right pixels of the target point, and outputs 0 when not. The outputs of the horizontal ridge line detection circuit 215 and the vertical ridge line detection circuit 216 are subjected to an OR operation, further multiplied by an input signal, and output. That is, the ridge line detection unit 207 outputs only the edge strength of a pixel having a higher edge strength than the edge strength of a horizontally or vertically adjacent pixel (that is, a ridge line pixel), and outputs the other pixels. Outputs 0.
[0107]
Returning to FIG. 18 again, the weight generation circuit 208 outputs 1 when the reliability evaluation value of the initial disparity estimation value is equal to or greater than the threshold value, and outputs 0 when the reliability evaluation value is less than the threshold value. By multiplying the output of the weight generation circuit 208 with the output of the edge detection unit 207, it is possible to extract an edge where the reliability of the initial parallax estimation value is low, that is, an object contour line in which the parallax changes discontinuously. The output of the weight generation circuit 208 is stored in a calculation area memory of the parallax estimating unit 204 near the object contour described later. The extraction of the object contour is expressed by Expression (26).
[0108]
(Equation 26)

[0109]
Note that it is not necessary to add the outputs of the edge detection results 206A, 206B, and 206C and to input the results to the ridge line detecting unit 7. Also, the method of weight generation by the weight generation circuit 208 multiplied by the output of the ridge line detection unit 207 does not need to be limited to binary values of 0 and 1, and continuous values may be calculated according to the reliability at the time of initial parallax estimation. Of course, it may be output.
[0110]
The disparity estimation unit 204 near the object contour recalculates the disparity in the area where the initial disparity estimation value near the object contour is unreliable from the contour strength and the initial disparity. The disparity estimation unit 204 near the object contour calculates a disparity distribution that minimizes the energy of the disparity distribution defined by (Equation 27).
[0111]
[Equation 27]

[0112]
The weighting function w (x, y) is defined as (Equation 28) based on the parameters of the smoothness and the contour strength.
[0113]
[Equation 28]

[0114]
The condition of the parallax distribution that minimizes (Equation 27) is (Equation 29).
[0115]
(Equation 29)

[0116]
The differential equation (Equation 29) can be numerically solved by a known technique such as the finite element method (FEM).
[0117]
FIG. 22 is a block diagram illustrating an example of the configuration of the parallax estimating unit 204 near the object contour. In FIG. 22, reference numeral 217 denotes a parallax distribution energy weight generation circuit that generates weights for the parallax distribution energy, 218 denotes a calculation area memory, 219 denotes a parallax memory, 220 denotes a weight memory, and 221 denotes an FEM calculation circuit.
[0118]
The parallax distribution energy weight generation circuit 217 calculates the value of the weight function of (Equation 28) from the parameter λ of the contour strength and the smoothness, and writes the calculated value into the weight memory 220. The FEM operation circuit 221 solves (Equation 29) by the finite element method and calculates the parallax distribution.
[0119]
As described above, according to the present embodiment, an object contour is detected in a region where the reliability of the parallax estimation value by block matching is low, and the parallax changes discontinuously at the detected object contour. Parallax estimation can be performed.
[0120]
Further, according to the present embodiment, it is possible to perform parallax estimation so that the parallax changes discontinuously at an object contour line of an arbitrary shape.
[0121]
It should be noted that the parallax estimation near the object contour may be such that the parallax changes at the object contour line and is smoothly connected to the surrounding parallax, and is calculated as a parallax that minimizes the energy shown in (Equation 27). There is no need to limit the method. Such an example will be described below.
(Fourth embodiment)
FIG. 23 is a block diagram illustrating a configuration of a disparity estimation device according to the fourth embodiment of the present invention. In FIG. 23, reference numeral 201 denotes an initial disparity estimating unit that calculates an initial disparity by block matching, 202 denotes a reliability evaluation unit at the time of initial disparity estimation, 222 denotes a contour detection unit, and 223 denotes a disparity estimation unit near an object contour.
[0122]
In the above configuration, the operation of the configuration other than the contour detection unit 222 and the parallax estimating unit 223 near the object contour is the same as that of the third embodiment of the present invention, and thus the description is omitted. The operation of the parallax estimating unit 223 near the object contour will be described.
[0123]
First, the contour detection unit 222 performs the same contour detection as the contour detection unit according to the third embodiment of the present invention, binarizes the detection result (for example, 0 and 1) and outputs the result. The parallax estimating unit 223 near the object contour calculates the parallax in an area where the initial parallax estimation value near the object contour is low in reliability, based on the initial parallax and the object contour detected by the contour detecting unit 222.
[0124]
FIG. 24 is a diagram illustrating a state of parallax estimation near the object contour by the parallax estimating unit 223. In FIG. 24, reference numeral 291 denotes an area where the initial parallax estimation value is low in reliability, 292 denotes an object contour detected by the outline detection unit 222, 293 denotes an area where the initial parallax estimation value has a high reliability, and 294 denotes a parallax. 295 is a window area set to include the point of interest.
[0125]
The disparity at the point of interest 294 (x, y) is a surrounding area that is in contact with the low-reliability area 291 of the initial estimated disparity value in the setting window area (in this case, the high-reliability area 293 a of the initial disparity estimated value). Is determined so that the parallax at the point of interest 294 is affected by the value of the parallax in the surrounding area according to the distance between the surrounding area and the point of interest 294. At this time, the parallax in the surrounding area changes beyond the object contour line 292 and does not affect the point of interest 294 beyond the object contour line 292, and is smoothly connected to the surrounding parallax. Parallax can be determined as if to do. The disparity estimation near the object contour by the disparity estimating unit 223 is represented by an expression as an example as follows.
[0126]
[Equation 30]

[0127]
However, the parallax estimation near the object contour by the parallax estimating unit 223 need not be limited to (Equation 30), but may be any as long as the parallax changes at the object contour line and smoothly connects with the surrounding parallax. It is natural.
[0128]
As described above, according to the present embodiment, an object contour is detected in a region where the reliability of the parallax estimation value by block matching is low, and the parallax changes discontinuously at the detected object contour. Parallax estimation can be performed.
[0129]
Further, according to the present embodiment, it is possible to perform parallax estimation so that the parallax changes discontinuously at an object contour line of an arbitrary shape.
[0130]
Further, according to the present embodiment, in an area where the initial disparity estimation value is unreliable, the disparity is calculated with reference to a relatively small number of disparities in the vicinity of the point of interest, thereby reducing the memory capacity and the amount of computation. Can be used to calculate the parallax.
[0131]
Also, by shifting and integrating the left and right images using the results of the parallax estimation described in the third and fourth embodiments, a predetermined intermediate viewpoint between the respective viewpoints corresponding to the left and right images is obtained. Can be generated. Here, parallax estimation and intermediate viewpoint image generation may be performed in different places. Hereinafter, transmission and reception methods when disparity estimation and intermediate viewpoint image generation are performed in different places will be described.
(Fifth embodiment)
FIG. 25 is an example of a transmission block of a system that performs parallax estimation (or motion estimation) on the transmission side in the fifth embodiment of the present invention.
[0132]
In FIG. 25, reference numeral 170 denotes disparity estimation means for estimating the disparity VL # based on the left image, 171 denotes disparity estimation means for estimating the disparity VR # based on the right image, 172a to d denote encoders, and 173a and b denote 173a and b. The decoder 174 predicts the right image R from the left image L and the parallax VL # based on the left image. The predictor 175 predicts the parallax VR based on the right image from the parallax VL based on the left image. Prediction units 176a and 176b are hole filling units that determine parallax in an area where parallax is not correctly estimated. The operation of the above configuration will be described below.
[0133]
First, the left image L is encoded by the encoder 172a. The parallax estimating means 170 and 171 estimate parallaxes VL and VR based on the left and right images, respectively. For regions where parallax is not correctly estimated due to occlusion or the like, parallax is determined by the hole filling means 176a and 176b using the parallax estimating method described in the third or fourth embodiment.
[0134]
Next, the parallax after the filling with respect to the left image is encoded by the encoder 172b. The disparity after the filling with the encoded left image as a reference is decoded by the decoder 173a, the prediction of the right image R by the predictor 174, and the disparity with the reference to the right image after the filling with the predictor 175. Used for prediction of The prediction of the parallax VR # based on the right image by the predictor 175 is calculated as (Equation 31) using the parallax based on the left image.
[0135]
(Equation 31)

[0136]
The right image R takes the residual from the predicted image by the predictor 174 and is encoded by the encoder 172d. The parallax VR # after the filling with respect to the right image is obtained by taking a residual from the predicted parallax by the predictor 175 and encoded by the encoder 172c.
[0137]
FIG. 26 is an example of a reception block of a system that performs parallax estimation on the reception side. In FIG. 26, 181a to 181d are decoders, 174 is a predictor for the right image R, and 175 is a disparity predictor based on the right image. The encoded prediction errors of the left image L, the parallax VL based on the left image, the parallax VR based on the right image, and the prediction error of the right image R are decoded by the decoders 181a to 181d, respectively. The right image R is restored by adding the prediction result of the predictor 174 and the prediction error of the decoded right image. The parallax VR # based on the right image is restored by adding the prediction result by the predictor 175 and the decoded prediction error.
[0138]
When the left image L, the right image R, the parallax VL based on the left image, and the parallax VR based on the right image are restored, an intermediate viewpoint image generation method disclosed in Japanese Patent Application No. 7-109821 may be used. Can be generated, and can be displayed as a multi-viewpoint image together with the left image and the right image.
[0139]
As described above, by performing the parallax estimation and the filling process on the transmitting side with the above configuration, the amount of calculation on the receiving side can be reduced, and the device scale on the receiving side can be reduced.
[0140]
Further, when transmitting a multi-viewpoint image, image transmission with a reduced transmission amount can be performed by generating an intermediate viewpoint image on the transmission side. Such an example will be described below.
(Sixth embodiment)
FIG. 27 is a configuration diagram on the transmitting side of the multi-viewpoint image compression transmission system according to the sixth embodiment of the present invention. 27, reference numerals 101a to 101d denote cameras for capturing images at respective viewpoint positions, 102 denotes an image compression encoding unit for compressing and encoding the images of the camera 1 and the image of the camera 4, and 103a denotes an image compression encoding unit 102. Is a decoded image decompression unit that decodes and decompresses the image data compressed and coded. 104a is a viewpoint of the camera 2 and the camera 3 from the image of the camera 1 and the image of the camera 4 decoded and decompressed by the decoded image decompression unit 103a. An intermediate viewpoint image generation unit 105 that predicts and generates an image at the viewpoint, and a residual compression unit 105 compresses and encodes a residual between the image of the camera 2 and the image of the camera 3 generated by the intermediate viewpoint image generation unit 104a. It is an encoding unit. The operation of the above configuration will be described below.
[0141]
The image compression encoding unit 102 compresses a plurality of images (images at both ends of a four-view image in the present embodiment) in a multi-view image by an existing technique using block correlation between images and the like. Encode. FIG. 31 shows an example of the configuration of the image compression encoding unit 102. In FIG. 31, 107a and 107b denote DCT means for performing DCT calculation for each 8 × 8 pixel or 16 × 16 pixel to calculate DCT coefficients, 108a and 108b quantizing means for quantizing DCT coefficients, and 109a dequantizing Means, 110a is an inverse DCT means for performing an inverse DCT calculation, 111 is a disparity detecting means, 112a is a disparity compensating means, and 113a is an encoding means for encoding quantized DCT coefficients and disparity. The operation of the above configuration will be described below.
[0142]
The DCT unit 107a processes the image of the camera 1 for each block, and calculates a DCT coefficient for each block. The quantization means 108a quantizes the DCT coefficient. The inverse quantization means 109a inversely quantizes the quantized DCT coefficient. The inverse DCT means 110a inversely transforms the inversely quantized DCT coefficients and restores the image of the camera 1 obtained on the receiving side. The parallax detection unit 111 performs block matching between the restored image of the camera 1 and the image of the camera 4 and calculates a parallax based on the image of the camera 1 for each block. The parallax compensating unit 112a predicts an image of the camera 4 using the restored image of the camera 1 and parallax of each block (that is, performs a process corresponding to motion compensation of a moving image). The DCT means 107b processes the residual between the image of the camera 4 and the predicted image for each block and calculates a DCT coefficient. The quantization means 108b quantizes the residual DCT coefficient. The encoding unit 113a encodes the quantized DCT coefficient of the image of the camera 1, the disparity of each block, and the quantized DCT coefficient of the residual of the disparity compensation.
[0143]
The decoded image decompression unit 103a decodes and decompresses the image data compressed and encoded by the image compression and encoding unit 102. FIG. 32 is a diagram illustrating an example of the configuration of the decoded image decompression unit 103a. In FIG. 32, reference numeral 114a denotes decoding means, 109b and 109c denote inverse quantization means, 110b and 110c denote inverse DCT means, and 112b denotes disparity compensation means. The operation of the above configuration will be described below.
[0144]
The decoding unit 114a decodes the compressed and encoded data, and expands the quantized DCT coefficient of the image of the camera 1, the parallax of each block, and the quantized DCT coefficient of the parallax compensation residual. The quantized DCT coefficients of the image of the camera 1 are inversely quantized by the inverse quantization means 109b and decompressed as an image by the inverse DCT means 110b. The motion compensation unit 112b generates a predicted image of the camera 4 from the decompressed image of the camera 1 and the decoded parallax. Then, the image of the camera 4 is expanded by adding the residual expanded by the inverse quantization means 109c and the inverse DCT means 110c to the predicted image.
[0145]
The intermediate viewpoint image generation unit 104a calculates the parallax of each pixel from the images of the camera 1 and the camera 4 by the method described in any of the third and fourth embodiments of the present invention, and calculates the parallax of the camera 2 and the camera 3. Predict and generate images.
[0146]
The residual compression encoding unit 105 compresses and encodes the residual between the images of the cameras 2 and 3 and the predicted image. Since the intermediate viewpoint image generation unit 104a calculates the disparity for each pixel, the intermediate viewpoint image generating unit 104a can accurately estimate the disparity as compared with the disparity calculation for each block by block matching. As a result, the prediction error (that is, residual error) of the intermediate viewpoint image can be reduced, the compression efficiency can be increased, more effective bit allocation can be performed, and compression while maintaining image quality can be performed. FIG. 33 shows an example of the configuration of the residual compression encoding unit. In FIG. 33, 107c and 107d are DCT units, 108c and 108d are quantization units, and 113b is an encoding unit. The residuals of the images of the cameras 2 and 3 are converted into DCT coefficients by the DCT units 107c and 107d, quantized by the quantization units 108c and 108d, and encoded by the encoding unit 113b.
[0147]
FIG. 34 is a configuration diagram on the receiving side of the multi-viewpoint image compression transmission system according to the sixth embodiment of the present invention. In FIG. 34, reference numeral 103b denotes a decoded image decompression unit that decodes and decompresses image data of the cameras 1 and 4 that have been compression-encoded by the transmission-side image compression and encoding unit 102; An intermediate viewpoint image generation unit 106 for predicting and generating images from the viewpoints of the cameras 2 and 3 from the expanded images of the cameras 1 and 4, and a prediction error (remaining error) of the prediction images from the viewpoints of the cameras 2 and 3. The decoding residual expansion unit decodes and expands the difference. The operations of the decoded image decompression unit 103b and the intermediate viewpoint image generation unit 104b are the same as the operations of the decoded image decompression unit 103a and the intermediate viewpoint image generation unit 104a on the transmitting side, and therefore the description is omitted, and The operation of the residual extension unit will be described.
[0148]
The decoding residual expansion unit 106 decodes and expands the prediction error (residual) of the prediction image from the viewpoint of the camera 2 and the camera 3 that has been compression-encoded by the residual compression encoding unit 105 on the transmission side. FIG. 35 shows an example of the configuration of the decoding residual decompression unit 106. In FIG. 35, reference numeral 114b denotes a decoding means, 109d and 109e denote inverse quantization means, and 110d and 110e denote inverse DCT means. The residual data of the compressed and encoded images of the cameras 2 and 3 are decoded by the decoding unit 114b, dequantized by the dequantization units 109d and 109e, respectively, and decompressed by the inverse DCT units 110d and 110e, respectively. Is done. By superimposing the residuals of the decoded and decompressed images of the cameras 2 and 3 on the images generated by the intermediate viewpoint image generation unit 104b, the images of the viewpoints of the cameras 2 and 3 are restored.
[0149]
As described above, according to the present embodiment, the transmitting side generates an image of the intermediate viewpoint from two non-adjacent images in the multi-viewpoint image, and generates the generated intermediate viewpoint image and the actual image of the intermediate viewpoint. The residual between the two images and the residual of the intermediate viewpoint image are compression-encoded and transmitted. The receiving side decodes and expands the two transmitted images and the residual of the intermediate viewpoint image, generates an intermediate viewpoint image from the two images, and superimposes the residual of the decoded and expanded intermediate viewpoint image. To restore the image corresponding to the actual image at the intermediate viewpoint. By doing so, it is possible to efficiently compress and transmit the multi-viewpoint image while maintaining the image quality.
[0150]
Note that the generation of the intermediate viewpoint image need not be limited to a configuration in which an image at the intermediate viewpoint is generated from images at two viewpoints (viewpoints of the camera 1 and the camera 4) at both ends of the multi-viewpoint image. An image at the viewpoint of the camera 1 and the camera 3 may be generated from the image of the camera 4, and an image at the viewpoint of the camera 2 and the camera 4 may be generated from the image of the camera 1 and the camera 3. Furthermore, images from the viewpoints of the cameras 1 and 4 may be generated from the images of the cameras 2 and 3, which are included in the present invention, respectively.
[0151]
Also, the number of viewpoints of the multi-viewpoint image need not be limited to four, and it is clear that an intermediate viewpoint image between each viewpoint may be generated from images at two or more viewpoints. include.
[0152]
Further, in the third and fourth embodiments of the present invention, the reliability evaluation value of the initial parallax estimation value does not need to be limited to the one shown in (Equation 23), and only the numerator of (Equation 23) is reliable. Although the gender evaluation value is affected by the luminance gradient of the reference image, substantially the same effect can be obtained and is included in the present invention.
[0153]
When the noise level of the image is low, the same effect is naturally obtained even if a value that ignores the noise term is calculated as the reliability evaluation value, and is included in the present invention.
[0154]
For further simplification, the minimum value of the residual sum of squares per pixel or the minimum value of the residual sum of squares per pixel may be used as the reliability evaluation value, and the calculation can be performed with a simpler circuit. included.
[0155]
In addition, as the reliability evaluation value of the initial estimated disparity value, the difference between the disparities estimated in both directions shown in (Formula 32) may be used, and is included in the present invention.
[0156]
(Equation 32)

[0157]
In addition, as a reliability evaluation value of the initial parallax estimation, a more stable reliability evaluation can be performed by using a combination of two or more of the above, and is included in the present invention.
[0158]
Further, in the third and fourth embodiments of the present invention, the correlation calculation between images for initial parallax estimation does not need to be limited to the residual sum of squares (SSD). A similar effect can be obtained by using the same, and such an embodiment is of course included in the present invention.
[0159]
In the sixth embodiment of the present invention, the method of compressing and encoding an image at two non-adjacent viewpoints need not be limited to a method utilizing correlation between images (between viewpoints). The one utilizing the correlation may be used and is included in the present invention.
[0160]
【The invention's effect】
As described above, according to the present invention, the size of the imaging plane (CCD) of the camera, the distance between the imaging plane and the center of the lens, and the information on the focal length of the lens are added and transmitted, so that the camera can be used at the time of shooting. When trying to perform display according to the viewing angle, even for images shot close to the subject, the viewing angle at the time of shooting can be accurately calculated on the display side, reproducing the same viewing angle as at the time of shooting The observation distance can be accurately determined.
[0161]
Also, by adding information on the nearest point and the farthest point in the image when transmitting the multi-viewpoint image, it is possible to perform a display (parallax control) without eyestrain at the time of display.
[0162]
Also, by performing parallax control according to the fusion range of the human eye, it is possible to cause the parallax to fall within the fusion range in more parts of the image during display.
[0163]
Also, on the transmission side, a value different from the nearest point and the farthest point in the actual image is set as information of the nearest point and the farthest point to be added, and the disparity corresponding to the nearest point of the set value is set on the display side. By controlling the parallax so that the average parallax corresponding to the farthest point is in the center of the fusion range, an image at the depth intended by the image creator can be preferentially presented to the observer. it can.
[0164]
According to the present invention, an object contour is detected in an area where the reliability of a parallax estimation value obtained by block matching is low, and parallax estimation is performed such that the parallax changes discontinuously at the detected object contour. be able to.
[0165]
Further, it is possible to perform parallax estimation so that the parallax changes discontinuously at an object contour line of an arbitrary shape. .
[0166]
Also, by performing a parallax filling process (a parallax estimating process in which the parallax changes at the object contour line and smoothly connects with the surrounding parallax) according to the present invention, the amount of computation on the receiving side is increased. Can be reduced, and the scale of the device on the receiving side can be reduced.
[0167]
Also, by generating the intermediate viewpoint image on both the transmitting side and the receiving side of the multi-view image transmission system, the transmission amount of the intermediate viewpoint image (transmission amount of the residual) can be reduced. It is possible to compress and transmit an image efficiently and while maintaining the image quality.
[Brief description of the drawings]
FIG. 1 is a diagram showing a positional relationship between a nearest point, a farthest point, and a point where convergence and adjustment of an observer coincide with each other in parallel projection according to the first embodiment of the present invention.
FIG. 2 is a diagram showing the relationship between the position of the subject, the position of the imaging surface at the time of focusing, and the focal length.
FIG. 3 is a diagram showing a convergence distance and a positional relationship between a nearest point and a farthest point when convergence projection is performed using the two projectors.
FIG. 4 is a diagram showing parameters defined in the image transmission method according to the first embodiment of the present invention.
FIG. 5 is a block diagram of processing for shifting an average value of parallax between images so as to cancel each other.
FIG. 6 is a diagram showing a case where parallax is calculated by block matching based on a left image.
FIG. 7 is a diagram showing a case of parallel shooting;
FIG. 8 is a diagram showing a case of convergence imaging;
FIGS. 9A to 9C are diagrams showing examples of weight distributions used for calculating a weighted average according to (Equation 14).
FIG. 10 is a diagram showing an operation of an image decoding unit.
FIG. 11 is a block diagram of a parallax control method according to a second embodiment of the present invention.
FIG. 12 is a diagram illustrating an example of a configuration of a shift operation unit.
FIG. 13 is a characteristic diagram of a fusion range table.
FIG. 14 is a diagram showing the graphical meaning of (Equation 16);
FIG. 15 is a parallax frequency distribution diagram.
FIG. 16 is a configuration diagram of a disparity estimation device according to a third embodiment of the present invention.
FIG. 17 is a diagram showing the block matching.
FIG. 18 is a configuration diagram of the contour detection unit.
FIG. 19 is a configuration diagram showing an example of the configuration of the edge detection unit.
FIGS. 20A to 20F are diagrams showing examples of weighting factors of filters in the same direction;
FIG. 21 is a configuration diagram of the ridge line detection unit.
FIG. 22 is a configuration diagram of a parallax estimating unit near the contour of the object;
FIG. 23 is a configuration diagram of a disparity estimation device according to a fourth embodiment of the present invention.
FIG. 24 is a diagram showing parallax estimation in the vicinity of the contour of the object.
FIG. 25 is a configuration diagram of a transmission unit of a system that performs parallax estimation on the transmission side according to the fifth embodiment of the present invention.
FIG. 26 is a configuration diagram of a receiving unit of a system that performs parallax estimation on the transmitting side according to the fifth embodiment of the present invention.
FIG. 27 is a configuration diagram of a transmission unit of a multi-view image transmission system according to a sixth embodiment of the present invention.
FIG. 28 is a schematic diagram of MPEG-2 syntax.
FIG. 29 is a diagram showing a relationship between a spatio-temporal direction of a transmitted multi-viewpoint image.
FIG. 30 is a diagram showing definition of camera parameters by OpenGL.
FIG. 31 is a diagram illustrating an example of a configuration of an image compression encoding unit of a multi-view image transmission system according to a sixth embodiment of the present invention.
FIG. 32 is a diagram illustrating an example of a configuration of a decoded image decompression unit of the multi-view image transmission system according to the sixth embodiment of the present invention.
FIG. 33 is a diagram illustrating an example of a configuration of a residual compression encoding unit of the multi-view image transmission system according to the sixth embodiment of the present invention.
FIG. 34 is a configuration diagram of a receiving unit of a multi-view image transmission system according to a sixth embodiment of the present invention.
FIG. 35 is a diagram illustrating an example of a configuration of a decoding residual decompression unit of the multi-view image transmission system according to the sixth embodiment of the present invention.
[Explanation of symbols]
Ａ 最近 The nearest point of the displayed image
B farthest point
C The point where the convergence and accommodation of the observer coincide
A1, A2 Camera lens center
B1, B2 Center of image plane
C1 @ Congestion point
201 initial disparity estimation unit
202 Reliability evaluation unit at the time of initial parallax estimation
203 Contour detector
204 Parallax estimator near object contour

Claims (13)

Calculating an initial parallax of two images and a reliability evaluation value of the initial parallax, and extracting an object contour line in which the parallax changes discontinuously using the reliability evaluation value and an edge detection result of the image; Extracting the low-reliability region of the initial parallax based on the reliability evaluation value, the parallax in the low-reliability region of the extracted initial parallax is set to be smoothly connected to the surrounding parallax, and A disparity estimation method that performs discontinuous change in the object contour by determining that the object contour changes. 2. The disparity estimation according to claim 1, wherein the disparity in an area where the initial disparity has low reliability is determined so as to minimize the energy of a disparity distribution defined using the disparity and the object contour. Method. The disparity estimation method according to claim 1 or 2, wherein the edge detection is performed by integrating respective outputs of direction-specific filters having different frequency characteristics. The disparity estimation method according to claim 3, wherein the edge detection further performs ridge line extraction on an integrated result of each output of the direction-dependent filters having different frequency characteristics. The disparity estimation method according to any one of claims 1 to 4, wherein the reliability evaluation value of the initial disparity uses a residual sum of squares at the time of initial disparity calculation. The parallax estimating method according to any one of claims 1 to 4, wherein the reliability evaluation value of the initial parallax uses a residual sum of squares per pixel at the time of initial parallax calculation. The disparity according to any one of claims 1 to 4, wherein the reliability evaluation value of the initial disparity is calculated using a residual sum of squares at the time of initial disparity calculation, a noise level of an image, and a luminance gradient. Estimation method. The parallax estimating method according to claim 1, wherein the reliability evaluation value of the initial parallax is calculated using a corresponding difference of the initial parallax calculated based on both left and right images. A disparity estimation method, wherein the reliability evaluation value of the initial disparity is calculated by combining two or more of the disparity estimation methods according to any one of claims 5 to 8. The method according to any one of claims 1 to 9, wherein an initial disparity based on the left and right images and a reliability evaluation value of the initial disparity are calculated from the binocular image, and the disparity in a region where the initial disparity cannot be correctly calculated is the method according to any one of claims 1 to 9. Recalculated by calculating the prediction error by predicting one image of the binocular image and the other image of the binocular image from the recalculated parallax based on the one image, A prediction error is calculated by predicting the recalculated parallax based on the other image from the parallax based on one image, and a prediction error is calculated based on the one image and the one image of the binocular image. A transmitting unit that encodes and transmits the disparity after the recalculation, the prediction error of the other image of the binocular image, and the prediction error of the disparity after the recalculation based on the other image, and Receiving the encoded signal, and from the received signal, the binocular image and The recalculated disparity is decoded, an intermediate viewpoint image is generated using the decoded binocular image and the decoded recalculated disparity, and the intermediate viewpoint image and the binocular image are combined. An image transmission device comprising: a reception unit that displays a multi-view image. The image transmission apparatus according to claim 10, wherein when obtaining the disparity, the disparity estimation method according to claim 1 is used. The transmitting unit selects a representative image from the multi-view images, and for the unselected image, the two representative images having the closest viewpoint directions across the image are used as reference images, respectively. Prediction using the parallax calculated by any one of the methods and the two representative images, calculate the residual of the unselected image and the predicted image, and calculate the residual of the representative image and the unselected image. The prediction unit encodes and transmits the prediction error, the receiving unit receives the transmitted coded signal, decodes the representative image, and converts the image not selected as the representative image by the transmitting unit by the same method as the transmitting unit. A multi-view image transmission method, comprising predicting, decoding a prediction error of the non-selected image, and superimposing the prediction error on the predicted image to restore a multi-view image. The encoding of the representative image predicts another representative image from one representative image and disparity calculated for another representative image with reference to the representative image, and calculates the one representative image and the other representative image. The multi-view image transmission method according to claim 14, wherein the method is performed by encoding a prediction error.

Images