JP3512919B2

JP3512919B2 - 物体形状・カメラ視点移動の復元装置及び復元方法

Info

Publication number: JP3512919B2
Application number: JP23887095A
Authority: JP
Inventors: 寛服部
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-18
Filing date: 1995-09-18
Publication date: 2004-03-31
Anticipated expiration: 2015-09-18
Also published as: JPH0979820A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自律移動ロボットの
視覚や、コンピュータグラフィクス映像作成に利用でき
る、多視点で得られた画像情報から物体の３次元形状
と、カメラの物体に対する相対的な運動（視点の移動）
を求める物体形状及びカメラ視点移動の復元装置および
復元方法に関するものである。

【０００２】

【従来の技術】近年、ＴＶカメラ等の視覚センサから得
られる情報を用いて、環境や物体の３次元形状、位置を
計測する研究が盛んに行なわれている。この技術によ
り、例えばロボットが視覚機能を備え、周囲の環境変化
に柔軟に対応して行動することが出来る。また、３次元
情報を用いた、より高度な画像監視、画像検査等を行な
うことが可能となる。コンピュータグラフィクス映像作
成の際に必要な、映像化する対象の形状データ等の入力
を省力化することも出来る。

【０００３】画像から物体の３次元形状を計測する方法
としては、ステレオ法と呼ばれる方法が代表的である。
ステレオ法は、基本的には相対的な位置と方向が既知で
ある左右２台のカメラから得られる２枚のステレオ画像
から、３次元空間中で同一点に対応する点同士を対応づ
け、三角測量の原理を用いて、その点の３次元座標を算
出する方法である。以下、ステレオ法により得られる３
次元形状をステレオデータと呼ぶ。

【０００４】ステレオデータは、物体をある方向から見
た形状を表している。従って、異なる視点から得られた
データを統合することによって、物体の全周形状を得る
ことが出来るようになり、また、ＴＶカメラ等の視覚セ
ンサを搭載したロボットが環境内を動きまわって環境の
マップを作成するといったようなことが出来る。

【０００５】多視点で得られたステレオデータを統合す
るためには、各視点間の関係、つまり、カメラの対象物
に対する相対運動（移動）に関するパラメータが必要と
なる。これに関してはターンテーブルを用いたり、マニ
ピュレータの先端にカメラを取り付ける等、視覚センサ
以外の装置を用いてカメラの運動を知ることで、このよ
うなパラメータを得ることも出来るが、ターンテーブル
の大きさ、マニピュレータの可動範囲の制約により、対
象物の大きさが制限されたり、視覚センサ以外の装置の
分、コストが大きくなるという問題がある。また、移動
ロボットの車輪に取り付けたエンコーダからの情報を用
いることによってもロボットの運動を求めることが出来
るが、精度が非常に悪い。

【０００６】従って、多視点で得られた画像情報から物
体形状とカメラの運動（物体に対するカメラ視点の移動
の推移）を同時に復元する必要がある。カメラ運動を復
元する一方法を以下に示す。例えば、図１０のように、
物体上のｎ個の特徴点を第１、第２視点から計測し、そ
の２視点間の関係を求める場合を考える。

【０００７】

【数１】

【０００８】この手法を第２・第３視点、第３・第４視
点、…、第ｍ−１・ｍ視点に順次適用すれば、１〜ｍ視
点のカメラ運動を復元することが出来る。しかし、この
方法では物体形状の修正を行なっていないから、運動パ
ラメータの推定誤差が累積するという問題がある。

【０００９】

【数２】

【００１０】しかし、この非線形連立方程式は解析的に
解くことが出来ず、反復法によって解くことになるが、
適切な初期値の設定や解の収束性等の数値計算上の問題
がある。このため、カメラの運動は２次元運動に制限さ
れる。また、全ての特徴点が全視点で計測されているこ
とを仮定しているため、カメラの運動に伴って、見えて
いた特徴点が見えなくなったり、逆に見えていなかった
特徴点が現れたりする場合を扱うことは困難である。特
に、運動が大きくなると、最初に見えていた特徴点がな
くなり、すべて新しく現れた特徴点となるが、その場合
を扱うことは出来ない。

【００１１】さらに、別の方法として、１台のビデオカ
メラによって得られる時系列画像から、カメラの投影モ
デルとして弱中心投影モデルを仮定し、線型計算でカメ
ラの相対運動と物体形状を求める方法がある。

【００１２】通常、カメラの投影モデルとしては図１１
に示す中心投影モデルが用いられる。ここで、１１は視
点、１２は撮像面、１３は光軸である。中心投影モデル
では、３次元空間中に設定されたある点を原点とするワ
ールド座標系に対する３次元座標が（ｘ，ｙ，ｚ）であ
る点Ｐ_i（ｉ＝１〜ｎ）が、画像上で（ｕ，ｖ）に投影
される時、（ｘ，ｙ，ｚ）と（ｕ，ｖ）の間には、

【数３】

【００１３】という非線型の関係式が成り立つ。ここ
で、両式の分母は、カメラの視点と点Ｐ_iの光軸方向の
距離である。これは一般に奥行きと呼ばれる。中心投影
では、奥行きｄを（ｘ，ｙ，ｚ）の関数として表す。

【００１４】ｄ＝ｄ（ｘ，ｙ，ｚ）（＝ｈ₃₁ｘ＋ｈ₃₂ｙ＋ｈ₃₃ｚ＋ｈ₃₄） …（５）弱中心投影モデルでは、まず、Ｐ_i（ｉ＝１〜ｎ）の奥
行きをＰ_i（ｉ＝１〜ｎ）の重心Ｃの奥行きｄ_cと、重
心からの変位Δｄ（ｘ，ｙ，ｚ）に分離して考える。

【００１５】ｄ＝ｄ_c＋Δｄ（ｘ，ｙ，ｚ） …（６）ｄ_cは物体とカメラとの平均距離、Δｄは物体形状を表
している。ここで、Δｄが、ｄ_cに比べて小さい場合
（Δｄ＜＜ｄ_c）、

【数４】

【００１６】となる。ｄ_cは点Ｐ_i（ｉ＝１〜ｎ）によ
らず一定であるから、点Ｐ_i（ｉ＝１〜ｎ）の奥行きｄ
は一定と近似することが出来る。この場合、式（４）で
両式の分母をｈ（一定）とおいて、（ｘ，ｙ，ｚ）と
（ｕ，ｖ）の関係が、

【数５】

【００１７】となる。つまり、ある点の３次元位置と画
像上の投影位置の関係が線型となり、従来よりも安定に
物体形状とカメラ運動を復元することが出来る。この方
法は、ステレオカメラを必要とせず、１台のカメラのみ
を用いるという利点がある反面、投影モデルとして中心
投影の近似である弱中心投影モデルを仮定しているの
で、 Δｄ＜＜ｄ_c …（９）という関係が成り立たない場合には、著しく精度が悪く
なるという問題がある。具体的に言えば、物体がカメラ
から遠く、かつ、形状の光軸方向の広がりが小さい場合
にしか適用出来ないという問題がある。

【００１８】

【発明が解決しようとする課題】ステレオ法は、基本的
には相対的な位置と方向が既知である左右２台のカメラ
から得られる２枚のステレオ画像から、３次元空間中で
同一点に対応する点同士を対応づけ、三角測量の原理を
用いて、その点の３次元座標を算出する方法である。そ
して、ステレオ法により得られる３次元形状をステレオ
データと呼ぶが、ステレオデータは、物体をある方向か
ら見た形状を表していることから、多視点のステレオデ
ータ、すなわち、物体を異なる位置で見たステレオデー
タを統合することによって、物体の全周形状を得ること
が出来るようになり、また、ＴＶカメラ等の視覚センサ
を搭載したロボットが環境内を動き回って環境のマップ
を作成するといったようなことが出来る。

【００１９】視点の違うステレオデータを統合するため
には、各視点間の関係、つまり、カメラの対象物に対す
る相対運動（移動）に関するパラメータが必要となる。
そして、これに関してはターンテーブルを用いたり、マ
ニピュレータの先端にカメラを取り付ける等、視覚セン
サ以外の装置を用いてカメラの運動を知ることで、得る
ことも出来るが、ターンテーブルの大きさ、マニピュレ
ータの可動範囲の制約により、対象物の大きさが制限さ
れたり、視覚センサ以外の装置の分、コストが大きくな
るという問題がある。また、移動ロボットの車輪に取り
付けたエンコーダからの情報を用いることによってもロ
ボットの運動を求めることが出来るが、精度が非常に悪
い。

【００２０】従って、多視点で得られた画像情報から物
体形状とカメラの運動を同時に復元する必要があり、そ
のための手法がいくつかあるが、カメラ運動が２次元に
拘束され、さらにはカメラの運動に伴う特徴点の見え隠
れには対応できず、物体形状とカメラ運動を高速かつ高
精度に復元することができない等の問題をかかえる。

【００２１】このように、従来の方法にあっては、物体
‐カメラ間の距離、物体の大きさの制約があり、カメラ
運動が２次元に拘束されるという問題があり、さらに、
カメラの運動に伴う特徴点の見え隠れには対応できず、
物体形状とカメラ運動を高速かつ高精度に復元すること
ができないという問題があった。

【００２２】そこでこの発明の目的とするところは、物
体-カメラ間の距離、物体の大きさの制約がなく、カメ
ラ運動が２次元に拘束されることもなく、さらに、カメ
ラの運動に伴う特徴点の見え隠れにも対応し、物体形状
とカメラ運動（物体形状とカメラの視点移動推移）を高
速かつ高精度に復元する物体形状・カメラ視点移動の復
元装置及び復元方法を提供することにある。

【００２３】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る物体形状・カメラ視点移動の復元装置
は、視点を移動させながら物体を撮像して複数の画像情
報を得る複数のカメラを含み、視点座標系における該複
数の画像情報中の互いに対応付けられた特徴点の３次元
軌跡を前記物体の形状を示す形状情報として入力する物
体形状入力手段と、前記物体形状入力手段により入力さ
れた前記形状情報を用いて、３次元空間中に設定された
点を原点とするワールド座標系における前記物体の形状
と前記カメラの前記物体に対する前記視点の移動推移を
前記各視点に対応して反復的に復元する形状・運動復元
手段と、前記形状・運動復元手段により復元された前記
物体の形状と前記視点移動推移の情報を出力する出力手
段とを具備することを特徴とする。

【００２４】本発明に係る他の物体形状・カメラ視点移
動の復元装置は、視点を移動させながら物体を撮像して
複数の画像情報を得る複数のカメラを含み、視点座標系
における該複数の画像情報中の互いに対応付けられた特
徴点の３次元軌跡を前記物体の形状を示す形状情報とし
て入力する物体形状入力手段と、前記視点を複数のグル
ープに分け、前記物体形状入力手段により入力された前
記形状情報のうちの前記各グループの各基準座標系に対
する形状情報を用いて、３次元空間中に設定された点を
原点とするワールド座標系における前記物体の形状と前
記カメラの前記物体に対する前記視点の移動推移を前記
各グループに対応して反復的に復元する形状・運動復元
手段と、前記形状・運動復元手段により復元された前記
物体の形状と前記視点移動推移の情報を出力する出力手
段とを具備することを特徴とする。

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】本発明では、物体形状入力手段が、視点を
変えながら種々の異なる視点での視点座標系に対する物
体形状情報を取得して提供するから、カメラ‐物体間、
物体の大きさ等の制約がない。また、視点数を増やしな
がら計算を行なうから、特徴点の見え隠れに対応し、カ
メラの視点移動の推移（カメラ運動）を高精度に復元す
ることが出来るようになり、また、このようにして高精
度に復元されたカメラ運動を用いることができるから、
高精度に物体形状を復元することが出来るようになる。
また、繰り返し計算の各段階で行なわれるのは、単なる
行列計算や重心の計算であるから、全体として非常に高
速な計算が可能である。

【００３２】

【発明の実施の形態】以下、図面を参照して、本発明の
一具体例について説明する。

【００３３】本発明装置は、それぞれ異なる視点におい
て得られた物体形状から、視点数を増やしながら繰り返
し計算を行なうことにより、物体形状とカメラの相対運
動を高速かつ高精度に復元するものであり、図１に、一
例としての本発明装置の概略構成をブロック図で示す。
ここでは本発明装置は、物体形状入力手段１、形状・運
動復元手段２、出力手段３とから構成している。

【００３４】これらのうち、物体形状入力手段１は、多
視点において視点座標系に対する物体形状を入力するも
のであり、カメラ（撮像手段）を有していて種々の視点
からの物体形状の情報を例えばステレオ画像として取得
して提供するものである。カメラは移動可能である。

【００３５】形状・運動復元手段２は、ワールド座標系
に対する物体形状とカメラ運動を復元するものであり、
出力手段３は形状・運動復元手段２により復元された物
体形状とカメラ運動の情報を出力するものである。

【００３６】座標系の定義を図２に示す。また、

【数６】

【００３７】と定義する。本具体例では、ワールド座標
系を第１視点におけるカメラ座標系にとる。

【００３８】以下に本発明装置における各構成手段の詳
細を説明する。

【００３９】物体形状入力手段１は、多視点において視
点座標系に対する物体形状を入力するものであるが、さ
らにその詳細を示すと、図３に示すように、画像入力手
段１‐１、画像蓄積手段１-２、画像処理手段１-３から
構成される。

【００４０】ここで、画像入力手段１‐１は、多視点
（種々の視点）においてのステレオ画像を入力するもの
であり、この画像入力手段１‐１は、ステレオカメラを
用いて構成されていて、このステレオカメラにより位置
を変えてそれぞれの位置でのステレオ画像を撮影するこ
とにより、種々の視点での各ステレオ画像を取り込んで
画像蓄積手段１‐２に入力することができるものであ
る。

【００４１】画像情報蓄積手段１‐２は画像情報を蓄積
するためのものであり、この画像情報蓄積手段１‐２で
は、画像メモリを用いて、画像情報入力手段１により入
力された各ステレオ画像の画像情報を蓄積するものであ
る。

【００４２】画像処理手段１‐３は、画像情報蓄積手段
１‐２に蓄積されている画像情報を用いて、各特徴点の
カメラ座標系から見た３次元軌跡を求める処理を行うも
のである。

【００４３】この画像処理手段１‐３は、具体的には図
４に示すように、特徴点抽出手段１‐３‐１、ステレオ
対応づけ手段１‐３‐２、特徴点追跡手段１‐３‐３か
ら構成されていて、図５に符号Ｏ，Ｏ´，Ｏ″，…を付
して示すような各視点別のステレオ画像から図５の実線
矢印のように、各特徴点のカメラ座標系から見た３次元
軌跡を求めるものである。

【００４４】ここで画像処理手段１‐３における特徴点
抽出手段１‐３‐１は、画像蓄積手段１‐２から送られ
てきた各視点のステレオ画像のうち、どちらか一方の画
像に対し、物体の角のような複数方向に濃度変化が存在
する特徴点を抽出する処理をするものである。つまり、
一枚のステレオ画像を構成する左右像のうちの一方の画
像（以下の例では左画像とする）における物体の角のよ
うな複数方向に濃度変化が存在する特徴点ｐ_Lを、抽出
するものである。これを各ステレオ画像毎にそれぞれ行
う。

【００４５】また、ステレオ対応づけ手段１‐３‐２は
図６のように、特徴点抽出手段１‐３‐１にて抽出され
た特徴点ｐ（座標位置は（ｘ，ｙ））の右画像中での位
置を、各ステレオ画像単位で、それぞれ求める処理を行
うものであり（例えば、左画像での特徴点ｐ_Lを右画像
での対応点ｐ_Rに対応づけるといった処理）、特徴点追
跡手段１‐３‐３は、ステレオ対応づけ手段１‐３‐２
が求めた各ステレオ画像単位での特徴点について、視点
間の対応づけを行なうものである。つまり、あるステレ
オ画像での特徴点は、別なステレオ画像ではどこに対応
するかを求めるものである。

【００４６】そのために、特徴点抽出手段１‐３‐１で
は、画像蓄積手段１‐２に蓄積されている各視点のステ
レオ画像（視点を変えて取得した各別々のステレオ画
像）を用い、それぞれのステレオ画像単位で、その左右
画像のどちらか一方の画像に対し、物体の“角”のよう
な複数方向に濃度変化が存在する特徴点を抽出する処理
をする。

【００４７】例えば、左画像に対し、特徴点抽出を行な
うとすると、この場合、ステレオ対応づけ手段１‐３‐
２は図６のように、ある視点での１枚のステレオ画像を
構成する左右一対の画像のうち、左画像において抽出し
た特徴点ｐについて、右画像中における対応点を求め
る。つまり、左右一対の画像のうちの左画像において抽
出した特徴点の、右画像中での位置を求めるわけであ
る。

【００４８】これは、具体的にはつぎのようにする。
今、左画像中の位置が（ｘ，ｙ）の特徴点ｐの右画像中
の位置を求める場合を考える。これは以下の相関関数Ｃ
から求める。

【００４９】

【数７】

【００５０】ここで、Ｉ_l（ｘ，ｙ）、Ｉ_r（ｘ，ｙ）
は各々左画像と右画像の点（ｘ，ｙ）での画像濃度を表
している。また、ａ_l，ａ_rとｖ_l，ｖ_rはウインドウ
領域内の平均と分散を表す。Ｃは、左右画像の２ｄ×２
ｄのウインドウ領域内のパターンの類似度を表してい
る。

【００５１】従って、右画像上の探索範囲内で、Ｃが最
大となる位置が、左画像における特徴点ｐの、右画像上
での位置である。探索範囲は、左右カメラの幾何学的な
関係によって決定される。例えば、両カメラを光軸を平
行にして配置した場合、各特徴点の左右画像上における
垂直方向の位置は一致する。この場合、探索範囲は同一
走査線上となる。

【００５２】このようにして、ステレオ対応づけ手段１
‐３‐２は図６のように、ある視点でのステレオ画像に
おける左画像において抽出した各特徴点について、その
ステレオ画像における右画像中において抽出した各特徴
点の対応、つまり、一つのステレオ画像を構成する左右
像におけるその左画像において抽出した各特徴点の、右
画像中での位置を求める。

【００５３】このような処理を、それぞれ視点を変えた
別のステレオ画像についても行う。その結果、各ステレ
オ画像それぞれについて、それぞれの左右像の特徴点の
対応が分かる。

【００５４】そして、特徴点追跡手段１‐３‐３は、こ
の各ステレオ画像毎に求められた左右画像の各特徴点の
対応から、各特徴点について視点間の対応づけを行な
う。

【００５５】つまり、視点を変えた各ステレオ画像があ
ったとして異なる視点のステレオ画像間における各特徴
点の対応づけを行う。

【００５６】この対応づけは、例えば、ステレオ対応づ
けと同様に、相関係数Ｃを用いる。ここで、ステレオ対
応づけの場合は、左右カメラの位置関係が既知であるの
で、探索範囲はある直線上に限定されたが、視点間の対
応づけでは、別の位置で撮った画像間の対応づけとなる
から、２次元探索となり、ある大きさの探索ウインドウ
領域を設定し、そのウインドウ領域内で対応づけを行な
うようにする。

【００５７】

【数８】

【００５８】

【数９】

【００５９】行列Ｐの各列は、１個の特徴点の各視点に
おけるカメラ座標系に対する３次元座標、つまり、カメ
ラ座標系に対する１個の特徴点の３次元的な軌跡を示し
ており、また、行列Ｐの各行は、ある視点のカメラ座標
系に対する特徴点の３次元座標を表している。

【００６０】ところで、ステレオカメラの視野や物体相
互の隠れにより、ステレオカメラが運動するに連れて、
追跡不能となる特徴点や、今まで見えていなかった新し
い特徴点が出現することがある。また、画像上の特徴が
大きく変わることにより、特徴点の追跡が出来なくなっ
たり、あるいは、ステレオ対応づけが出来なくなること
もある。このため、行列Ｐは全要素が定義される訳では
なく、定義出来ない要素も出てくる。

【００６１】定義出来ない行列Ｐの要素に対しては、任
意のベクトル、例えば零ベクトルを定義しておく。行列
Ｐの各要素が定義されているかどうかを表現するｍ×ｎ
の行列Ｗを以下のように定義する。

【００６２】

【数１０】

【００６３】物体形状入力手段１では以上のようにして
行列Ｐと信頼度行列Ｗを求め、形状・運動復元手段２に
送る。

【００６４】形状・運動復元手段２では、行列Ｐと信頼
度行列Ｗから、物体形状とカメラ運動を復元する。処理
の流れを図７に示し、その概略を以下に示す。

【００６５】図７に従い、形状・運動復元手段２での処
理を説明する。まずはじめに、ｋ＝２とおく（ステップ
Ｓ１）。そして、行列Ｐ、Ｗの１〜ｋ行から、１〜ｋ視
点までのカメラ運動Ｍ^(k)を求める（ステップＳ２）。
１〜ｋ視点までのカメラ運動Ｍ^(k)と行列Ｐ、Ｗの１〜
ｋ行から、物体形状Ｓ^(k)を求め（ステップＳ３）、Ｓ
＝Ｓ^(k)とする（ステップＳ４）。そして、ｋをインク
リメント（＋１）して、ｋがｋ≧ｎになるまでこれを繰
り返し（ステップＳ５，Ｓ１０）、ｋがｋ≧ｎに達した
ならば、計算終了の手順に移り、Ｍ⁽ⁿ⁾，Ｓ⁽ⁿ⁾，Ｓを
算出する（ステップＳ６〜Ｓ８）。

【００６６】そして、終了条件を満したか、否かを判定
し（ステップＳ９）、その結果、終了条件を満たさなけ
れば、ステップＳ６に戻り、Ｍ⁽ⁿ⁾，Ｓ⁽ⁿ⁾，Ｓを算出
し、終了条件を満たせば計算を終了する。

【００６７】

【数１１】

【００６８】ここで、このような処理を行うために、形
状・運動復元手段２は図８に示すように、加算手段２‐
１、カメラ運動復元手段２‐２、物体形状復元手段２‐
３、終了判定手段２‐４から構成されている。

【００６９】これらのうち、加算手段２‐１は、ｋ＝２
を初期値とし、終了判定手段２‐４から命令が送られる
と、ｋを１増やして、カメラ運動復元手段２‐２にその
値を送る。つまり、図７でのステップＳ１０の処理を行
う。

【００７０】カメラ運動復元手段２‐２は、加算手段２
‐１からのｋの値をもらって、行列Ｐ、Ｗの１〜ｋ行か
ら、１〜ｋ視点までのカメラ運動Ｍ^(k)を復元する処理
を行う。つまり、図７でのステップＳ２の処理を行う。

【００７１】

【数１２】

【００７２】

【数１３】

【００７３】詳細を以下に示す。まず、第１視点と第２
視点の両方で３次元計測された特徴点のワールド座標系
に対する重心位置は、

【数１４】

【００７４】これより、

【数１５】

【００７５】式（１９）を式（１５）に代入して整理す
ると、

【数１６】

【００７６】とおくと、

【数１７】

【００７７】次のような評価関数Ｅを定義する。

【００７８】

【数１８】

【００７９】この評価関数を最小にするＲ₂を求める。
これは次のようにして求めることが出来る（参考文献
［１］参照）。上式を以下のように展開する。

【００８０】

【数１９】

【００８１】但し、Ｔ_r［Ａ］は行列Ａのトレース（対
角成分の和）を表し、Ａ^tはＡの転置行列を表す。

【００８２】

【数２０】

【００８３】式（２４）の第１項は明らかにＲ₂によら
ず一定となる。

【００８４】

【数２１】

【００８５】従って、第３項だけを考えれば良いから、

【数２２】とおくと、

【数２３】

【００８６】を最大にする回転行列Ｒ₂を求めれば良い
ことになる。

【００８７】回転行列Ｒ₂は、行列の特異値分解を用い
れば、求めることが出来る。ＣをＣ＝ＵＷＶ^t（Ｕ，
Ｖ：直交行列、Ｗ：対角要素が非負の対角行列）と特異
値分解し、Ｔ_r［ＡＢ］＝Ｔ_r［ＢＡ］の関係を用いる
と、

【数２４】

【００８８】

【数２５】

【００８９】物体形状復元部２‐３は、ｋ視点までのス
テレオカメラの運動Ｍ^(k)を用いて、ｋ視点までのステ
レオデータを統合した物体形状Ｓ^(k)を求める処理を行
う。つまり、図７のステップＳ３およびステップＳ４で
の処理を行うものである。ｋ視点までのステレオカメラ
の運動Ｍ^(k)を用いて、ｋ視点までのステレオデータを
統合した物体形状Ｓ^(k)を求めるというこの処理は、以
下のようにして算出する。

【００９０】

【数２６】

【００９１】求められた物体形状をＳ（行列Ｐの第１
行）に代入する。

【００９２】Ｓ＝Ｓ^(k) …（30）終了判定手段２‐４では、ｋがｋ≧ｎに達するまで上記
のＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ１０の処理を繰り返させ
るべく加算手段２‐１にインクリメントを指示し、ｋが
ｋ≧ｎに達したならば、終了判定手段２‐４は、計算を
終了するかどうかを判定する。これは図７のステップＳ
６〜Ｓ９の処理である。

【００９３】終了判定方法としては、以下のような方法
がある。

【００９４】まず、一つ目は、１〜ｍ視点までのカメラ
運動Ｍ^(m)と、１〜ｍ視点のステレオデータから得られ
た物体形状Ｓ^(m)が算出された時点で計算を終了すると
いう手法である。

【００９５】また、二つ目のとしては、Ｍ^(m)、Ｓ^(m)
が算出された後、視点選択手段が全視点を選択し、カメ
ラ運動復元手段２‐２と物体形状復元手段２‐３によ
り、Ｍ^(m)、Ｓ^(m)を修正することも出来るので、この
場合には、計算回数、Ｍ^(m)、あるいはＳ^(m)、あるい
はＳ^(m)の前段階の値との差から終了判定を行なう。

【００９６】後者での処理を利用したのが図７のフロー
チャートであり、このフローチャートのステップＳ６か
らステップＳ９がそれに該当していて、計算回数、Ｍ
^(m)、あるいはＳ^(m)、あるいはＳ^(m)の前段階の値と
の差から終了判定を行なう。

【００９７】このような終了判定手段２‐４によるステ
ップＳ９での終了判定の結果、終了であるならば、得ら
れた物体形状とカメラ運動の情報を出力手段３に送る。
しかし、終了でなければ、加算手段２‐１での処理に戻
る。形状・運動復元手段２による以上の処理により、物
体形状とカメラ運動が復元されるので、この復元結果は
出力手段３に渡される。

【００９８】出力手段３では、形状・運動復元手段２か
ら得られた復元結果を用いて物体形状の情報と、カメラ
の物体に対する相対運動の情報を出力する。

【００９９】以上のようにして、ステレオカメラにより
種々の視点でそれぞれ得られた画像情報から、物体形状
と物体に対するカメラの相対運動を同時に復元すること
が出来る。

【０１００】なお、本具体例では、各視点における物体
形状の計測を２台のカメラによるステレオ法を用いてい
るが、３台以上のカメラを用いたり、１つのカメラを動
かして３次元位置情報を求めるようにしても良い。ある
いは、カメラ以外のレンジファインダ等の視覚センサに
より多視点における物体形状を入力するようにしても良
い。

【０１０１】また、カメラを動かして静止した物体の形
状と、カメラの運動を復元する場合について説明した
が、物体を動かしても良い。静止した環境で対象物体の
み動かせば、任意の背景から対象物体を切り出して、そ
の形状を求めることが出来る。

【０１０２】また、特徴点抽出手段１‐３‐１における
処理で、各視点でそれぞれ得られたステレオ画像から、
それぞれ画像の持つ特徴抽出を行なう場合について説明
したが、画像の特徴からではなく、予め設定したΔｆ視
点おきに特徴抽出を行う用にすることもできる。

【０１０３】また、ステレオデータの信頼度ｗの取り得
る値が上述の例では０または１であったが、以下のよう
に設定しても良い。

【０１０４】図９に視差に対する相関係数の変化を示
す。すなわち、図９（ａ）のような明確なピークが存在
する場合、ほぼ一意に対応づけられたことを示すから、
このような場合のステレオデータの信頼性は高い。

【０１０５】しかし、図９（ｂ）のようにピークはある
が、その高さが低い場合、局所パターンが最も似ている
対応候補でもかなり違うことになり、右画像上に対応す
る点がない可能性が高い。従って、このような場合のス
テレオデータの信頼性は低い。

【０１０６】また、図９（ｃ）のように複数のピークを
持つ場合、他にも局所パターンが非常に良く似た対応候
補が存在することを示すから、例えば２番目に高い候補
が真の対応点である可能性も高い。従って、このような
場合のステレオデータの信頼性も低い。

【０１０７】このように、類似度を評価する評価関数
の、視差に対する変化を考慮して、以下のような信頼度
を定義する。

【０１０８】

【数２７】

【０１０９】このように定義すると、図９（ａ）のよう
に明確な高いピークが存在する場合、Ｃ_maxが大きくな
るから、信頼度ｗは大きくなる。また、図９（ｂ）、図
９（ｃ）の場合は、各々、Ｃ_max→小、ΣＣ→大となる
から、信頼度ｗは小さくなる。形状・運動復元手段２に
おける計算は、具体例で説明した方法で行なうことが出
来る。信頼度が大きいステレオデータは、形状・運動復
元に大きく影響し、逆に、信頼度が小さいステレオデー
タの形状・運動復元に対する影響は小さく抑えることが
出来る。

【０１１０】また、ステレオ対応づけ、特徴点追跡には
相関係数による方法を用いたが、特徴抽出を行なってか
ら対応づけを行なう方法、周囲の対応結果と矛盾しない
ように対応づけを行なう方法、これらを組み合わせた方
法等がある。

【０１１１】その他、本発明の要旨を逸脱しない範囲で
変形を実施できる。

【０１１２】以上、本発明は、第１には、物体を、視点
を変えながら撮像して画像情報を得るカメラと、このカ
メラから得られた画像情報を元に、異なる視点での視点
座標系に対する前記物体の形状情報を得る物体形状入力
手段と、この物体形状入力手段により得られたそれぞれ
異なる視点での視点座標系に対する物体の形状情報を用
いて、ワールド座標系に対する前記物体の形状と前記カ
メラの前記物体に対する視点移動推移を復元する形状・
運動復元手段と、この形状・運動復元手段により復元さ
れた物体形状とカメラの視点移動推移の情報を出力する
出力手段とを具備して構成したものである。

【０１１３】更には、前記形状・運動復元手段は、視点
数を増やしながら反復的に物体形状とカメラの視点移動
推移の情報を復元する構成としたものである。

【０１１４】また、第２には、物体を、視点を変えなが
ら撮像して画像情報を得るカメラと、このカメラから得
られた画像情報を元に、異なる視点での視点座標系に対
する前記物体の形状情報を得る物体形状入力手段と、全
視点を複数のグループに分け、前記物体形状入力手段か
らの前記物体の形状情報のうち、前記各グループの各基
準座標系に対する物体形状情報からワールド座標系に対
する前記物体の形状と前記カメラの前記物体に対する視
点移動推移を復元する形状・運動復元手段と、復元され
た物体形状とカメラの視点移動推移の情報を出力する出
力手段とを具備したものである。

【０１１５】更には、前記形状・運動復元手段は、グル
ープ数を増やしながら反復的に物体形状とカメラ運動を
復元する構成としたものである。

【０１１６】このような構成によれば、カメラによりそ
れぞれ異なる視点での視点座標系に対する物体形状を取
得し、この取得したそれぞれ異なる視点での視点座標系
に対する物体形状の情報を用いて、ワールド座標系に対
する物体形状とカメラ視点移動の推移を、視点数を増や
しながら反復的に復元し、この復元された物体形状とカ
メラ視点移動推移の情報を出力する。

【０１１７】そして、物体形状とカメラ視点移動推移を
復元する際には、視点数を増やしながら反復的に復元す
る。

【０１１８】また、全視点を複数のグループに分け、前
記物体形状情報のうち、前記各グループの各基準座標系
に対する物体形状の情報からワールド座標系に対する物
体形状とカメラ視点移動推移を、グループ数を増やしな
がら反復的に復元し、この復元された物体形状とカメラ
運動の情報を出力する。

【０１１９】本発明では、物体形状入力手段が、視点を
変えながら種々の異なる視点での視点座標系に対する物
体形状情報を取得して提供するから、カメラ‐物体間、
物体の大きさ等の制約がない。また、視点数を増やしな
がら計算を行なうから、特徴点の見え隠れに対応し、カ
メラの視点移動の推移（カメラ運動）を高精度に復元す
ることが出来るようになり、また、このようにして高精
度に復元されたカメラ運動を用いることができるから、
高精度に物体形状を復元することが出来るようになる。
また、繰り返し計算の各段階で行なわれるのは、単なる
行列計算や重心の計算であるから、全体として非常に高
速な計算が可能である。

【０１２０】

【発明の効果】本発明によれば、ＴＶカメラから得られ
た画像情報から、物体形状と、物体に対するカメラの相
対的な運動を同時に求めることが出来、物体‐カメラ間
の距離や物体の大きさの制約がなく、また、カメラ運動
が２次元に拘束されることもなく、さらに、カメラの運
動に伴う特徴点の見え隠れにも対応し、物体形状とカメ
ラ運動を高速かつ高精度に復元することができるなど、
その実用的効果は多大である。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
具体例の全体構成を示すブロック図。

【図２】本発明を説明するための図であって、座標系の
定義を説明するための図。

【図３】本発明を説明するための図であって、本発明装
置の構成要素である物体形状入力手段１の構成例を示す
ブロック図。

【図４】本発明を説明するための図であって、本発明装
置の構成要素である画像処理手段１‐３の構成例を示す
ブロック図。

【図５】本発明を説明するための図であって、本発明装
置の構成要素である画像処理手段１‐３における処理を
説明するための図。

【図６】本発明を説明するための図であって、ステレオ
対応づけを説明するための図。

【図７】本発明を説明するための図であって、本発明装
置の構成要素である形状・運動復元手段２における処理
の流れを示すフローチャート。

【図８】本発明を説明するための図であって、本発明装
置の構成要素である形状・運動復元手段２の構成例を示
すブロック図。

【図９】本発明を説明するための図であって、相関係数
Ｃの視差に対する変化を説明するための図。

【図１０】本発明を説明するための図であって、カメラ
運動の復元方法を説明するための図。

【図１１】カメラの投影モデルを説明するための図。

【符号の説明】

１…物体形状入力手段１‐１…画像入力手段１‐２…画像蓄積手段１‐３…画像処理手段１‐３‐１…特徴点抽出手段１‐３‐２…ステレオ対応づけ手段１‐３‐３…特徴点追跡手段２…形状・運動復元手段２‐１…加算手段２‐２…カメラ運動復元手段２‐３…物体形状復元手段２‐４…終了判定手段３…出力手段

Claims

(57)【特許請求の範囲】

【請求項１】視点を移動させながら物体を撮像して複数
の画像情報を得る複数のカメラを含み、視点座標系にお
ける該複数の画像情報中の互いに対応付けられた特徴点
の３次元軌跡を前記物体の形状を示す形状情報として入
力する物体形状入力手段と、前記物体形状入力手段により入力された前記形状情報を
用いて、３次元空間中に設定された点を原点とするワー
ルド座標系における前記物体の形状と前記カメラの前記
物体に対する前記視点の移動推移を前記各視点に対応し
て反復的に復元する形状・運動復元手段と、前記形状・運動復元手段により復元された前記物体の形
状と前記視点移動推移の情報を出力する出力手段とを具
備することを特徴とする物体形状・カメラ視点移動の復
元装置。
【請求項２】視点を移動させながら物体を撮像して複数
の画像情報を得る複数のカメラを含み、視点座標系にお
ける該複数の画像情報中の互いに対応付けられた特徴点
の３次元軌跡を前記物体の形状を示す形状情報として入
力する物体形状入力手段と、前記視点を複数のグループに分け、前記物体形状入力手
段により入力された前記形状情報のうちの前記各グルー
プの各基準座標系に対する形状情報を用いて、３次元空
間中に設定された点を原点とするワールド座標系におけ
る前記物体の形状と前記カメラの前記物体に対する前記
視点の移動推移を前記各グループに対応して反復的に復
元する形状・運動復元手段と、前記形状・運動復元手段により復元された前記物体の形
状と前記視点移動推移の情報を出力する出力手段とを具
備することを特徴とする物体形状・カメラ視点移動の復
元装置。
【請求項３】前記形状・運動復元手段は、前記カメラの
視点移動推移を復元するカメラ運動復元手段と、復元さ
れたカメラ視点移動推移の情報を用いて前記物体の形状
を復元する物体形状復元手段を具備することを特徴とす
る請求項１または２に記載の物体形状・カメラ視点移動
の復元装置。
【請求項４】前記物体形状入力手段は、ステレオ画像計
測を用いて物体形状情報を得るものであることを特徴と
する請求項１または２に記載の物体形状・カメラ視点移
動の復元装置。
【請求項５】前記物体形状入力手段は、前記形状情報に
対して信頼度情報を求める機能を有し、前記形状・運動
復元手段は、前記信頼度情報を加味して前記物体の形状
と前記視点移動推移を復元する処理を行なうことを特徴
とする請求項１または２に記載の物体形状及びカメラ視
点移動の復元装置。
【請求項６】視点を移動させながら物体を撮像して複数
の画像情報を得る複数のカメラを含み、視点座標系にお
ける該複数の画像情報中の互いに対応付けられた特徴点
の３次元軌跡を前記物体の形状を示す形状情報として入
力するステップと、入力された前記形状情報を用いて、３次元空間中に設定
された点を原点とするワールド座標系における前記物体
の形状と前記カメラの前記物体に対する前記視点の移動
推移を前記各視点に対応して反復的に復元するステップ
と、復元された前記物体の形状と前記視点移動推移の情報を
出力するステップとを具備することを特徴とする物体形
状・カメラ視点移動の復元方法。
【請求項７】視点を移動させながら物体を撮像して複数
の画像情報を得る複数のカメラを含み、視点座標系にお
ける該複数の画像情報中の互いに対応付けられた特徴点
の３次元軌跡を前記物体の形状を示す形状情報として入
力するステップと、前記視点を複数のグループに分け、入力された前記形状
情報の前記各グループの各基準座標系に対する形状情報
を用いて、３次元空間中に設定された点を原点とするワ
ールド座標系における前記物体の形状と前記カメラの前
記物体に対する前記視点の移動推移を前記各グループに
対応して反復的に復元するステップと、復元された前記物体の形状と前記視点移動推移の情報を
出力するステップとを具備することを特徴とする物体形
状・カメラ視点移動の復元方法。