JPH06269025A

JPH06269025A - 多眼式立体映像の符号化方式

Info

Publication number: JPH06269025A
Application number: JP5587793A
Authority: JP
Inventors: Makiko Konoshima; 真喜子此島; Kiichi Matsuda; 喜一松田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-03-16
Filing date: 1993-03-16
Publication date: 1994-09-22

Abstract

(57)【要約】【目的】各カメラ間の位置ズレを矯正した多眼式立体
映像データを高能率に符号化できる方式を実現する。【構成】複数のカメラからの多眼式立体映像信号の内
の所定のカメラからの映像信号を基準として他のカメラ
からの映像信号とのブロックマッチングを取ることによ
り補正値を算出し、該補正値に基づき各カメラからの映
像信号を補正する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は符号化方式に関し、特に
多眼式立体映像データを高能率に符号化する方式に関す
るものである。

【０００２】２眼式以上多眼式の立体映像を出力するカ
メラの位置が不揃いであること等によって生ずる画像の
位置の歪みを位置補正する必要がある。

【０００３】

【従来の技術】図２０には既に１９９２年にＮＨＫ技術
研究所で公開された多眼式立体映像を作る場合のシステ
ムの概念構成が示されており、まず、静止或いは動いて
いる被写体（タコ）１００を、位置をタテ及びヨコに少
しづつずらした複数のカメラ群１１０で撮影する。次
に、複数のカメラ群１１０から得られた画像データを符
号器１２０で高能率符号化し、多重化部１３０でマルチ
プレクスした後、伝送路１４０などを介して伝送し、受
信側では分離部１４０でデマルチプレクスした後に復号
化を行い、ディスプレイ１６０に映し出す。

【０００４】この出力側のディスプレイ１６０は、一例
としてレンチキュラ・レンズ（ヨコ方向にのみ視差があ
る場合）または、ハエの眼レンズ（タテ・ヨコ方向に視
差がある場合）が使用される。

【０００５】一例として、図２１に、タコを被写体とし
たときの、タテ５眼、ヨコ５眼の、それぞれのカメラか
らの出力を分かり易く表示した例を示す。この例では、
上下方向にも視差が有る。

【０００６】このように位置をタテおよびヨコに少しづ
つずらした複数のカメラを用いるのは、１つのカメラか
らの出力を片方の眼に対する入力として、両眼視差を形
成して立体視を行えるようにするためであり、また、カ
メラを多数用いた場合、出力系でディスプレイ１６０を
見る人間が頭を振っても自然な立体視を行えるようにす
るためである。

【０００７】このように、多眼式立体映像データは自然
な立体映像を与えるものとして種々の利用が期待されて
おり、従ってその符号化方式も伝送容量が少なくて済む
高能率な符号化方式とする必要がある。

【０００８】

【発明が解決しようとする課題】上記のように多眼式の
立体システムを用いて撮影等を行う場合、２眼〜多眼
式一体型のカメラを用いる場合、カメラ単品（単眼）
を組み合わせて用いる場合、の２つが挙げられる。

【０００９】また、一体型の場合においても、単品の
カメラをネジやワイヤ等で固定して一体型にしている場
合も多い。

【００１０】このように、単品のカメラを組み合わせた
り、固定して一体型にしている場合、或るカメラを基準
にして考えると、他のカメラ本体が視差とは別の傾きを
有している場合が多く、立体視を困難にしていた。

【００１１】例えば、２眼式の立体映像を撮影しようと
して、２台のカメラを組み合わせた場合、位置の補正が
困難で、上下に数ラインほどずれたり、回転が加わって
いたりしてしまうことが度々あった。

【００１２】そして、このような場合には微調整が面倒
な上、上下に数ラインずれたり、少しの回転が加わった
だけでも、視覚的に立体視がし難くなるばかりか、眼精
疲労を起こし易く、また、互いのカメラからの入力画像
の相関をとり、高能率符号化を行う際にも、符号化特性
の低下を招いていた。

【００１３】従って、本発明は、各カメラ間の位置ズレ
を矯正した多眼式立体映像データを高能率に符号化でき
る方式を実現することを目的とする。

【００１４】

【課題を解決するための手段及び作用】上記のような問
題点を解決する手段としては、或るカメラを基準として、他カメラとのブロックマッ
チングをとる。ブロックマッチング結果から、各カメラ間の位置ズレ
を示す補正量を算出する。結果により各カメラからの画像データを補正する。ことが考えられる。

【００１５】このため、本発明に係る多眼式立体映像の
符号化方式では、図１に原理的に示すように、複数のカ
メラからの多眼式立体映像信号Ｆ１〜Ｆｎの内の所定の
カメラからの映像信号を基準として他のカメラからの映
像信号とのブロックマッチングを取るブロックマッチン
グ部１と、該ブロックマッチング部１でのマッチング結
果情報から映像信号間のズレを示す補正値を算出する補
正値算出部２と、該補正値に基づき各カメラからの映像
信号を補正する補正部３と、各補正部３の出力信号を符
号化する符号化部４と、該符号化部４の各出力信号を多
重化して伝送路に送出する多重化部５と、を備えてい
る。

【００１６】動作においては、まず多眼カメラで被写体
を撮影し、各カメラから出力された画像データＦ０〜Ｆ
ｎに対し、或るカメラＫ０を基準としてブロックマッチ
ング部１でブロックマッチングをとる。

【００１７】そして、このブロックマッチング部１での
ブロックマッチング結果情報を受けた補正値算出部２で
は基準カメラＫ０と各カメラＫ１〜Ｋｎとの相対的な位
置ズレを示す補正値を算出する。

【００１８】この後、補正部３−０〜３−ｎにおいて基
準画像データＦ０を除く各画像データＦ１〜Ｆｎを補正
し、後は符号化部４で符号化し、多重化部５で多重化処
理を行って伝送路へ送出する。

【００１９】上記の本発明では、補正値算出部２が、該
マッチング結果情報の上下方向のベクトル値を用いて上
下方向への補正値を算出することができる。

【００２０】また、補正値算出部２は、該上下方向のベ
クトル値の発生頻度を参照して最も多く発生したベクト
ル値を該補正値とすることもできる。

【００２１】更に補正値算出部２が、該上下方向のベク
トル値の平均値を算出して該補正値としてもよい。

【００２２】更に補正値算出部２は、各補正値間の差が
閾値内に収まっていることを判定することにより該基準
カメラＫ０のみがずれていることを検出し、該基準カメ
ラＫ０に対する補正値を算出して各補正部３−０〜３−
ｎで画像データの補正を行ってもよい。

【００２３】更に補正値算出部２は、該基準カメラＫ０
に対する補正値として全補正値の平均値をとってもよ
い。

【００２４】更に補正値算出部２は、上記のような上下
方向だけでなく水平方向についても同様の補正値を算出
してもよい。

【００２５】更に補正値算出部２は、該マッチング結果
情報のベクトルの画素毎の回転角を検出し、座標変換に
より補正値を算出することも可能である。

【００２６】

【実施例】図１に示した本発明に係る多眼式立体映像の
符号化方式における『補正値算出』を、以下に記述する
第１乃至第４の実施例により具体的に説明する。尚、２
眼式の場合は、方式的には多眼式の部分集合と見做すこ
とができるため、多眼式の場合について説明する。

【００２７】（１）第１の実施例：図２〜図１１〔原理〕この実施例では、或る所定のカメラを基準とし
て、他のカメラ群が上下方向に角度を持ってずれている
場合の補正を実現するものである。尚、左右方向は視差
で動いていることが多いので補正する意味が余りなく、
ここでは行わない。

【００２８】図２及び図３はこの第１の実施例によるブ
ロックマッチング部１と補正値算出部２を組み合わせた
アルゴリズムを示したもので、カメラは図４に例示する
ように、格子状に（等間隔とは限らずに）配置されてい
るものとする。

【００２９】基準とするカメラ（例えばＫ０）からの出
力画像データをＦ０（７０４，４８０）、補正すべきカ
メラからの出力画像データをＦｎ（７０４，４８０）と
定義する。但し、ｎは、画像データＦ０を基準とするカ
メラの数だけ存在するものであり、「７０４」及び「４
８０」は図５(1) の画像フォーマットに示すように１画
面の有効画素領域を示している。

【００３０】また、後述すると共に図６に示すようなヒ
ストグラムをＨ（−１５；１５）（初期値オール
“０”）とし、ブロックマッチングで求めるベクトルを
Ｖｎｘ（４４，３０），Ｖｎｙ（４４，３０）と定義す
る（図２のステップＳ１）。

【００３１】画像データＦ０を基準として、公知の方法
により、他のカメラの画像データＦｎとのブロックマッ
チングを行う（同Ｓ２）。

【００３２】このブロックマッチングのアルゴリズムが
図７のフローチャートに示されており、この例では２台
のカメラを用い、カメラＫ０の出力画像データをＦ０と
し、カメラＫｎの出力画像データをＦｎとすると共に、
図８にも示すように、画面を１６×１６画素のブロック
（ｘ方向４４個、ｙ方向３０個）に区切り、ブロックマ
ッチングを行う該当ブロックの左上の画素の座標を（ｘ
₀，ｙ₀）とする。

【００３３】そして、サーチをｘ方向及びｙ方向共に±
１５画素分の範囲（ＶＩ，ＶＪ）で行う（図７のステッ
プＳ３１〜Ｓ３３）。尚、初期値として、Ａ＝999999
（とり得る最大値）, Ｖｘ＝Ｖｙ＝１６を与える。

【００３４】両画像の差分の絶対値をブロック全体に対
して評価関数を絶対値誤差（二乗誤差でもよい）として
累積した値Ａｏを求め（同Ｓ３４）、累積値が一番小さ
くベクトルの大きさ（二乗和）が小さい位置のベクトル
を選び（同Ｓ３５〜Ｓ４１）、最終的に残ったベクトル
Ｖｘ及びＶｙを求める（同Ｓ４２）。

【００３５】このようにして１ブロック間でのブロック
マッチングを１画面中の全ブロックに対して行うことに
より、基準カメラＫ０に対するカメラＫｎにおけるｘ方
向のベクトルＶｎｘ（４４，３０）とｙ方向のベクトル
Ｖｎｙ（４４，３０）を求めることができる（同Ｓ４２
及び図２のステップＳ２）。

【００３６】さて、上下方向のずれを補正するために、
縦方向のベクトルＶｎｙのみ用いる。縦方向のベクトル
Ｖｎｙの、±１５画素分のサーチ範囲内で得られる各ベ
クトル（−１５〜１５）が、そのフレームの中でいくつ
発生しているかを図６に示した如くヒストグラムＨとし
て記録する（同Ｓ３〜Ｓ１０）。このヒストグラムを取
るベクトルの個数は全部で３０（縦）×４４（横）＝１
３２０個となる。

【００３７】そして、このヒストグラムを取った内で最
も多く発生したベクトルの値をＵｙとし、このＵｙを補
正量とする（同Ｓ１１〜Ｓ１４）。

【００３８】すなわち、カメラＫｎからの補正すべき画
像データＦｎを全体的にＵｙだけ上下方向に動かすよう
に各補正部３−０〜３−ｎに補正値Ｕｙを与える（同Ｓ
１５）。

【００３９】なお、これら求まった補正用のベクトルを
新たに視差補償ベクトルとして使用する場合には、ブロ
ック毎に公知の方法により、Ｖｎｙ（４４、３０）の配
列の要素（画面全体のｙ方向のベクトル）からＵｙを減
算して、視差補償ベクトルとすればよい（同Ｓ１６〜Ｓ
２２）。

【００４０】また、上述の如く、通常の画像データ信号
は図５(1) に示すようなフォーマットになっているが、
通常画面に表示されるのは有効画素領域であり、マッチ
ングを行うのも有効画素領域のみである。

【００４１】従って、補正を行った後に図５(2) に示す
ように、画像データ情報が存在しない部分ができても、
ダミー信号を挿入すれば画像データは壊れることがな
い。

【００４２】第１の実施例の回路ブロック例：図９図９の回路ブロックは補正値算出部２及び補正部３（補
正部３−０〜３−ｎの総称）を示したもので、ここで
は、ブロックマッチング部１から得た上下方向（ｙ方
向）のベクトルをＲＯＭ又はスイッチ１１で、−１５〜
１５のいずれのベクトルに対応するかを判定してそれぞ
れのカウンタ１２−１〜１２−３０に入力してカウント
し、これらのカウント値の内の最も多いものを比較器１
３で選択した後、デコーダ１４で補正値Ｕｙに変換す
る。

【００４３】そして、この補正値Ｕｙと上記のベクトル
との差分を求めて視差補償ベクトルとすると共に、補正
値Ｕｙを補正部としての可変遅延器３に与え、カメラ画
像データＦｎを補正値Ｕｙだけ可変遅延させる。

【００４４】ブロックマッチングの回路例：図１０図７のフローチャートに示したブロックマッチングのア
ルゴリズムは図１０に示すような回路によっても実現す
ることができ、減算器１５と、加算器１６，２３，２７
と、遅延器１７と、比較器１８，２４と、セレクタ１
９，２８，２９と、デコーダ２０と、２乗器２１，２
２，２５，２６とで構成することができる。

【００４５】第１の実施例の変形例：図１１この変形例では、ヒストグラムＨを取って最大のｙ方向
ベクトルを用いる代わりに画面全体のｙ（縦）方向のベ
クトルＶｎｙの平均値を取り（ステップＳ２３，Ｓ２
４）、これを補正値Ｕｙとして補正するものである。

【００４６】（２）第２の実施例：図１２及び図１３〔原理〕上記の第１の実施例では、或るカメラＫ０から
の画像データＦ０を基準として、他のカメラＫ１〜Ｋｎ
からの画像データＦ１〜Ｆｎの補正を行おうとしたが、
実際には基準画像データＦ０だけが画像データＦ１〜Ｆ
ｎと比較して縦方向にズレている場合があり、第２の実
施例ではこのズレの補正を行うものである。

【００４７】図１２において、基準とするカメラＫ０の
画像データＦ０（７０４，４８０）、補正すべきカメラ
Ｋ１の画像データをＦ１（７０４，４８０）、補正すべ
きカメラＫ２の画像データをＦ２（７０４，４８０）、
補正すべきカメラＫ３の画像データをＦ３（７０４，４
８０）とする。

【００４８】また、これらのカメラ間でブロックマッチ
ングにより得られるベクトルを｛Ｖ１ｘ（４４，３
０），Ｖ１ｙ（４４，３０）｝、｛Ｖ２ｘ（４４，３
０），Ｖ２ｙ（４４，３０）｝、｛Ｖ３ｘ（４４，３
０），Ｖ３ｙ（４４，３０）｝と定義する（図１２のス
テップＳ５１）。

【００４９】まず、上記の第１の実施例におけるブロッ
クマッチング（図７及び図１０）を行ったものとし（こ
れは省略）、これにより得たベクトルを、画像データＦ
０とＦ１の場合＝ベクトルＶ１ｘ（４４，３０），Ｖ１
ｙ（４４，３０）、画像データＦ０とＦ２の場合＝ベク
トルＶ２ｘ（４４，３０），Ｖ２ｙ（４４，３０）、画
像データＦ０とＦ３の場合＝ベクトルＶ３ｘ（４４，３
０），Ｖ３ｙ（４４，３０）、とする（同Ｓ５２）。

【００５０】次に、やはり上記の第１の実施例における
ステップＳ３〜Ｓ１５により、上記のベクトルＶ１ｙ
（４４，３０）から補正値Ｕ１ｙ、ベクトルＶ２ｙ（４
４，３０）から補正値Ｕ２ｙ、ベクトルＶ３ｙ（４４，
３０）から補正値Ｕ３ｙを得る（同Ｓ５３）。

【００５１】そして、ここで補正値Ｕ１ｙ，Ｕ２ｙ，Ｕ
３ｙが互いに似ているかどうかを調べる。即ち、補正値
Ｕ１ｙとＵ２ｙの差の絶対値が閾値ＴＨ１より小さく、
且つＵ１ｙとＵ３ｙの差の絶対値が閾値ＴＨ２より小さ
いかどうかをチェックし（同Ｓ５４）、そうであるなら
ば、補正値Ｕ１ｙ，Ｕ２ｙ，Ｕ３ｙは似ていると見なし
て、基準となるカメラＫ０が傾いているものと判断し、
基準となるカメラＫ０の補正値Ｕ０ｙを算出する（同Ｓ
５５）。

【００５２】この補正値Ｕ０ｙは、補正値Ｕ１ｙ，Ｕ２
ｙ，Ｕ３ｙの平均値として算出すると共に、補正値Ｕ１
ｙ，Ｕ２ｙ，Ｕ３ｙは、上記のように求めた補正値Ｕ１
ｙ，Ｕ２ｙ，Ｕ３ｙからそれぞれ補正値Ｕ０ｙを減算し
たものに直しておく（同Ｓ５５）。

【００５３】このようにして求められた補正値を各補正
部３−０〜３−ｎに送り、各カメラからの画像データの
補正を行う（同Ｓ５７）。

【００５４】また、補正値Ｕ１ｙと補正値Ｕ２ｙの差の
絶対値が閾値ＴＨ１より大きいか又は補正値Ｕ１ｙと補
正値Ｕ３ｙの差の絶対値が閾値ＴＨ２より大きければ、
補正値Ｕ０ｙ＝０として、第１の実施例と同様に各カメ
ラの出力画像データの補正を行う（同Ｓ５６）。

【００５５】第２の実施例の回路ブロック例：図１３この第２の実施例の回路ブロック図が図１３に示されて
おり、図９及び図１０に示した回路ブロックを補正値算
出部２−１〜２−３として３つ用意し、これらから得ら
れた補正値Ｕ１ｙ，Ｕ２ｙ，Ｕ３ｙに対し、絶対値演算
部３１，３２で相互の差分絶対値を求め、該絶対値と閾
値ＴＨ１，ＴＨ２とをそれぞれ比較器３３，３４で比較
し、ステップＳ５４に対応する判定をデコーダ３５で行
って、平均値演算部３６で得られた平均値か又は“０”
をセレクタ３７で選択することにより、補正値Ｕ０ｙを
出力する簡単な回路の追加となっている。

【００５６】変形例上記の第１及び第２の実施例が、上下方向のズレを検出
・補正しているが、変形例としては左右（横）方向のズ
レを検出・補正することも可能である。この場合、フロ
ーチャートとしては、上記の第１及び第２の実施例中で
ｙ方向のベクトルを検出し、補正値を算出しているのに
対して、ｘ方向のベクトルを検出し、補正値を算出する
ことが異なるだけであるので、特に記述しない。

【００５７】（３）第３の実施例：図１４乃至図１９〔原理〕この実施例は、補正すべきカメラの出力画像に
対し、ひねり等の力が加わって回転してしまった場合の
ズレの検出・補正方法を扱ったものであり、回転角を検
出し、行列による座標変換で補正を行う方法の実施例を
示している。

【００５８】図１４〜図１６に示すフローチャートは図
１に示した補正値算出部２と各補正部３−０〜３−ｎと
を組み合わせた実施例を示しており、まず、基準となる
カメラＫ０の画像データをＦ０（７０４，４８０）、補
正すべきカメラＫｎの画像データをＦｎ（７０４，４８
０）、画像データＦ０、画像データＦｎのブロックマッ
チングにより得られるベクトルをＶｎｘ（４４，３
０），Ｖｎｙ（４４，３０）、各ベクトルに対応する回
転パラメータをＶ'11x〜Ｖ'230x ，Ｖ'11y〜Ｖ'244y 、
閾値ＴＨｘ，ＴＨｙ、チェック用配列Ｃｈｅｃｋ（７０
４，４８０）（初期値は全て“０”）と定義する（図１
４のステップＳ６１）。

【００５９】まず、上記の第１の実施例に従い、画像デ
ータＦ０と画像データＦｎとのブロックマッチングによ
りベクトルＶｎｘ（４４，３０），Ｖｎｙ（４４，３
０）を得る（同Ｓ６２）。

【００６０】次に、ステップＳ６３でこの画像データＦ
ｎが基準画像データＦ０に対してどの程度回転している
かを示す回転パラメータＶ'11x〜Ｖ'230x ，Ｖ'11y〜
Ｖ'244y の値を計算する。これらの回転パラメータは、
画面の真中を原点とした時の上記ベクトルの概ねの回転
角（ｔａｎθ）を求めるための要素である。

【００６１】即ち、回転パラメータＶ'11x〜Ｖ'230x ，
Ｖ'11y〜Ｖ'244y は、１画面を示す図１７において斜線
で示したｘ方向及びｙ方向の中央部分（ｘ方向はブロッ
ク２２〜２３、ｙ方向はブロック１５〜１６）の全ベク
トルをそれぞれ中心から離れている座標で正規化したも
のである。

【００６２】次に、このような回転パラメータＶ'11x〜
Ｖ'230x 、Ｖ'11y〜Ｖ'244y のそれぞれの平均値（１ブ
ロック当たりの回転パラメータ）ＶａｘとＶａｙを求め
る（図１５のステップＳ６４）。

【００６３】そして更に、各回転パラメータＶ'11x〜
Ｖ'230x 、Ｖ'11y〜Ｖ'244y と平均値ＶａｘとＶａｙと
の絶対値誤差の平均値（分散値）Ｖ_VARｙとＶ_VARｘと
を求め（同Ｓ６５）、これらの平均値Ｖ_VARｙとＶ_VAR
ｘがそれぞれ閾値ＴＨｘ、ＴＨｙより小さいか否かを判
定し（同Ｓ６６）、Ｖ_VARｙ＞ＴＨｘか又はＶ_VARｘ＞
ＴＨｙであれば分散が大きく回転パラメータが同じ方向
を向いていない（回転していない）と判断してこのルー
チンを出る（同Ｓ６７）が、Ｖ_VARｙ＜ＴＨｘ且つＶ
_VARｘ＜ＴＨｙであれば分散が小さく回転パラメータが
同じ方向を向いている（回転している）と判断して次の
補正を行う。

【００６４】即ち、ＶａｘとＶａｙの平均値を全体の平
均値Ｖａとして、図１７に示す回転角度θ＝ｔａｎ^-1Ｖ
ａを求め（同Ｓ６８）、周知の式に従い（同Ｓ６９）、
補正前の画像データの座標Ｆｎ（ｘ，ｙ）から新座標
（Ｘ，Ｙ）への変換を行い、補正後の画像データをＦ
（７０４，４８０）とする（同Ｓ７０）。

【００６５】このとき気を付けなければならないのは、
上記の座標変換によって、変換後の数値が存在しない画
素が現れてしまうことである。

【００６６】上記の図５(2) ではダミー値を挿入した
が、この実施例では、座標変換後の座標が図１７に示す
ような数値が存在しない画素の部分Ａ，Ｂ，Ｃ，Ｄ（有
効画素領域外とする）に属するか否かを判定し（図１６
のステップＳ７１〜７４）、部分Ａ〜Ｄに属しなけれ
ば、そのままの値を出力するが（同Ｓ７５〜Ｓ８２，Ｓ
８４〜Ｓ８７）、部分Ａ〜Ｄに属する場合には、強制的
に上下左右からの画素の値の平均値をその画素の値とす
る（同Ｓ８３）。

【００６７】第３の実施例の回路ブロック例：図１８この回路例では、図１０に示したブロックマッチング回
路１の出力信号Ｖｘ，Ｖｙをカウンタ４１，４２と累積
部４３，４４と除算部４５，４６とを経由させることに
より平均値Ｖａｘ，Ｖａｙを求め、比較器４７，４８で
の比較結果に基づきデコーダ４９が補正回路５０を制御
して座標変換した補正値Ｆ（ｘ，ｙ）を出力する。

【００６８】図１９には上記の補正回路５０の回路例が
示されており、平均値Ｖａｘ，Ｖａｙを入力してｔａｎ
^-1、ｓｉｎ、ｃｏｓ等三角関数を用いることにより、図
１５及び図１６のステップＳ６８〜Ｓ８７を実行してい
る。

【００６９】尚、これら値は一度求めてしまえば、後の
フレームにおいて再び計算し直す必要が無くなる。

【００７０】また上記の各実施例については、カメラの
位置が頻繁に変わらない状況であれば、一度補正値を算
出すれば、あとは補正を行う処理だけ実行すればよい。

【００７１】

【発明の効果】以上のように、本発明に係る多眼式立体
映像の符号化方式によれば、複数のカメラからの多眼式
立体映像信号の内の所定のカメラからの映像信号を基準
として他のカメラからの映像信号とのブロックマッチン
グを取ることにより補正値を算出し、該補正値に基づき
各カメラからの映像信号を補正するように構成したの
で、視覚的に自然な立体視を得ることができ、また、左
右眼間の相関などを用いた高能率符号化を行った場合に
も符号化効率の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明に係る多眼式立体映像の符号化方式を原
理的に示したブロック図である。

【図２】本発明に係る多眼式立体映像の符号化方式にお
けるブロックマッチング部と補正値算出部の第１の実施
例を示すフローチャート図（その１）である。

【図３】本発明に係る多眼式立体映像の符号化方式にお
けるブロックマッチング部と補正値算出部の第１の実施
例を示すフローチャート図（その２）である。

【図４】多眼式立体映像を出力するカメラの配置図であ
る。

【図５】有効画素領域を説明するための図である。

【図６】本発明に係る多眼式立体映像の符号化方式の第
１の実施例で用いるヒストグラムを説明するためのグラ
フ図である。

【図７】本発明に係る多眼式立体映像の符号化方式の各
実施例で用いるブロックマッチングを示すフローチャー
ト図である。

【図８】ブロックマッチングを説明するための模式図で
ある。

【図９】本発明に係る多眼式立体映像の符号化方式の第
１の実施例の回路ブロック図である。

【図１０】ブロックマッチング回路の実施例を示すブロ
ック図である。

【図１１】本発明に係る多眼式立体映像の符号化方式の
第１の実施例の変形例を示すフローチャート図である。

【図１２】本発明に係る多眼式立体映像の符号化方式に
おけるブロックマッチング部と補正値算出部の第２の実
施例を示すフローチャート図である。

【図１３】本発明に係る多眼式立体映像の符号化方式の
第２の実施例の回路ブロック図である。

【図１４】本発明に係る多眼式立体映像の符号化方式に
おけるブロックマッチング部と補正値算出部の第３の実
施例を示すフローチャート図（その１）である。

【図１５】本発明に係る多眼式立体映像の符号化方式に
おけるブロックマッチング部と補正値算出部の第３の実
施例を示すフローチャート図（その２）である。

【図１６】本発明に係る多眼式立体映像の符号化方式に
おけるブロックマッチング部と補正値算出部の第３の実
施例を示すフローチャート図（その３）である。

【図１７】本発明に係る多眼式立体映像の符号化方式の
第３の実施例による回転検出を説明するためのグラフ図
である。

【図１８】本発明に係る多眼式立体映像の符号化方式の
第３の実施例の回路ブロック図である。

【図１９】本発明に係る多眼式立体映像の符号化方式の
第３の実施例における補正回路の回路ブロック図であ
る。

【図２０】多眼式立体映像の符号化方式の一般的な構成
を示したブロック図である。

【図２１】多眼式（５眼×５眼）のカメラ出力例を示し
た図である。

【符号の説明】

１ブロックマッチング部２補正値算出部３（３−０〜３−ｎ）補正部４符号化部５多重化部Ｋ０〜ＫｎカメラＦ０〜Ｆｎ出力画像データ図中、同一符号は同一又は相当部分を示す。

Claims

【特許請求の範囲】

【請求項１】複数のカメラからの多眼式立体映像信号
(F1 〜Fn) の内の所定のカメラからの映像信号を基準と
して他のカメラからの映像信号とのブロックマッチング
を取るブロックマッチング部(1) と、該ブロックマッチング部(1) でのマッチング結果情報か
ら各カメラ間の位置ズレを示す補正値を算出する補正値
算出部(2) と、該補正値に基づき各カメラからの映像信号を補正する補
正部(3-0〜3-n)と、各補正部(3-0〜3-n)の出力信号を符号化する符号化部
(4) と、該符号化部(4) の各出力信号を多重化して伝送路に送出
する多重化部(5) と、を備えたことを特徴とする多眼式立体映像の符号化方
式。
【請求項２】該補正値算出部(2) が、該マッチング結
果情報の上下方向のベクトル値を用いて上下方向への補
正値を算出することを特徴とした請求項１に記載の多眼
式立体映像の符号化方式。
【請求項３】該補正値算出部(2) が、該上下方向のベ
クトル値の発生頻度を参照して最も多く発生したベクト
ル値を該補正値とすることを特徴とした請求項２に記載
の多眼式立体映像の符号化方式。
【請求項４】該補正値算出部(2) が、該上下方向のベ
クトル値の平均値を算出して該補正値とすることを特徴
とした請求項２に記載の多眼式立体映像の符号化方式。
【請求項５】該補正値算出部(2) が、各補正値間の差
が閾値内に収まっていることを判定することにより該基
準カメラのみがずれていることを検出し、該基準カメラ
に対する補正値を算出することを特徴とした請求項１に
記載の多眼式立体映像の符号化方式。
【請求項６】該補正値算出部(2) が、該基準カメラに
対する補正値として全補正値の平均値をとることを特徴
とした請求項５に記載の多眼式立体映像の符号化方式。
【請求項７】該補正値算出部(2) が、水平方向につい
ても同様の補正値を算出することを特徴とした請求項１
乃至６のいずれかに記載の多眼式立体映像の符号化方
式。
【請求項８】該補正値算出部(2) が、該マッチング結
果情報のベクトルの画素毎の回転角を検出し、座標変換
により補正値を算出することを特徴とした請求項１に記
載の多眼式立体映像の符号化方式。