JP2006172026A - カメラ運動と３次元情報の復元装置、復元方法、およびプログラム - Google Patents

Abstract

【課題】安定してカメラ運動と３次元情報を同時に、かつ、ロバストに復元する。
【解決手段】時系列画像を格納する時系列画像データベース部１、そのデータベース部１から画像系列を取り出し、全フレーム間の特徴点の画像座標値を観測し、カメラ運動と３次元情報を復元するための元になる漸近行列データを生成する漸近行列生成部２、漸近行列データから平面運動と３次元情報を復元する平面運動・３次元情報復元部３、光軸回転以外の回転運動と光軸並進運動を復元し、カメラ運動を平面運動へ漸近（安定化）させるために次の反復が必要かどうかの判定を行い、反復が必要な場合は漸近行列生成部２へ漸近行列データを生成するために必要な情報を渡す安定化処理部４から構成される。
【選択図】 図１

Description

本発明は、カメラを使って取得した車載画像または室内画像、船上からの海上画像、空撮画像、全方位カメラで撮影した全方位画像、歩行しながら撮影した歩行撮影画像などの時系列画像全般に対してカメラ運動と３次元情報を復元する装置、方法に係り、時系列画像から、カメラの視点を原点として設定したカメラ座標系におけるロール、ピッチ、ヨー回転から構成される三軸（ＸＹＺ）周りの回転運動、三軸（ＸＹＺ）方向の並進運動、並びに、時系列映像に写っている外界の３次元形状、すなわち、被写体（物体）の外観形状を構成する３次元情報を復元する装置、方法に関する。

コンピュータビジョン分野では、時系列画像から、対象物の形状を計測または獲得する手法には、ステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から、空間形状または空間構造に関する３次元位置情報、並びに、カメラ視点に関する運動を復元することができる。しかし、移動手段などを利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像取得が困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動や物体形状を正確に復元することが困難な場合がある。

このような問題に対して、カメラで撮影した映像シーンから、ユークリッド空間でのカメラ運動と物体形状を同時に、かつ、ロバストに復元する手法が存在する。例えば、取得する画像において特徴点をつけ、この特徴点を時系列に追跡して得た画像座標値から、カメラ運動と３次元情報を復元する代表的な手法として因子分解法がある（例えば、被特許文献１参照）。

この因子分解法では、式（Ａ１）に示すように、画像上において取得した時系列のｘｙ画像座標値（式（Ａ１）左辺）から、カメラ運動に関する行列（右辺の左側の行列（（ｍ_ix，ｍ_iy，ｍ_iz）と（ｎ_ix，ｎ_iy，ｎ_iz）は第ｉフレームでの投影モデルに従ったカメラ運動の成分を表す）と３次元情報（Ｘ，Ｙ，Ｚ）に関する行列（右辺の右側の行列、（Ｘ_j，Ｙ_j，Ｚ_j）は第ｊ番目の３次元座標値）に分解する手法である。この行列分解には特異値分解なる数学的手法が使われている。式（Ａ１）左辺は計測行列と呼ばれており、行方向は特徴点の数を、列方向はフレーム順を表す。（ｘ_ij，ｙ_ij）は第ｉフレームの第ｊ番目の特徴点の画像座標値となっている。

因子分解法では、式（Ａ１）左辺は画像から得られる２次元情報（あらかじめ各フレームの重心座標値を引いた２次元座標値としている）だけになっており、式（Ａ１）右辺の行列により行列演算する（線形演算する）ことで左辺の画像座標値が得られるという投影モデルに基づいている。しかし、式（Ａ１）に分解できる投影モデルは正射影、弱透視投影、平行透視投影モデルに限る。これらの投影モデルは現実の透視投影モデルの近似形式であり、被写体とカメラの関係によってはそれぞれの条件が近似的に成り立つ場合もあるが、一般的には透視投影モデルとのギャップのために式（Ａ１）のように因子分解した場合はカメラ運動、３次元形状の精度は悪い。

これに対して、透視投影型因子分解法を使うと、式（Ａ１）の因子分解法を反復的に利用して透視投影モデルに漸近させて、透視投影像の条件でカメラ運動と３次元形状を同時に復元することができる。この方法により正射影、弱透視、平行透視投影モデルより高精度にカメラ運動と３次元形状が得られるが、各反復において分解した際の符号を考慮する必要があり、場合によっては透視投影を満たす正確なカメラ運動と３次元形状を求めることが困難であった。
C.Tomasi and T.Kanade;"Shape and Motion from Image Streams UnderOrthography:A Factorization Method",International Journal of Computer Vision,Vol.9,No.2,1992。

カメラを車両などの移動手段に搭載し、市街地を移動観測する場合、路面と車両の関係でカメラ振動（カメラの揺れ）が発生する。また、カメラ付き携帯電話、ディジタルカメラなどの市販カメラで被写体を撮影したとき、手振れが発生し、撮影中に微小に振動することで映像シーンが揺れるという問題がある。

このようなカメラ振動や手振れのある映像シーンにおいてカメラ運動と３次元形状を復元しようとするとき、因子分解法が有効な手法であるが、透視投影型因子分解法を使う場合、カメラ振動や手振れによるカメラ振動を正確に求めることができず、そのため３次元形状が歪んでしまうという問題があった。この問題は並進運動として復元されなければならないカメラ運動が回転運動に転換されてしまうことが原因の一つとなっている。

一方、市販カメラにはカメラ振動や手振れ補正機能を有するカメラもあり、撮影中のカメラ振動や手振れを低減したシームレスな映像シーンを撮影することができる。一般的に、手振れ補正は角度センサやジャイロセンサによりカメラ振動や手振れの振動を検出し、それに合わせて集光レンズを移動させるという光学式手振れ補正タイプと、画面中のオプティカルフローを検出してＣＣＤ面において画素をシフトして揺れを低減させる電子式手振れ補正タイプに大別できる。しかし、どちらの補正方式においてもカメラ運動と３次元形状を復元するための投影モデルを定式化することが困難であり、正確な投影モデルを得るには多くのパラメータが介在するため、因子分解法の適用が困難である。

そこで、移動観測でのカメラ振動や手振れがある映像シーンにおいてもロバスト、かつ、高精度にカメラ運動と３次元形状を同時に復元することが重要であるが、透視投影型因子分解法のように解を得るために符号を考慮せず、かつ、安定してカメラ運動と３次元形状を求める必要がある。

カメラを使って外界を撮像し、その得られた画像系列からカメラ視点の運動と３次元情報を復元しようとするとき、カメラ視点に関する運動と対象物の３次元座標値は、図１４の状況において、式（Ａ２）の式で関係付けられる。

式（Ａ２）の（ｘ'_ij，ｙ'_ij，ｚ'_ij）は視点を原点とした単位半球面座標値であり、画像上へ投影されて得られる対象物（特徴点）の画像座標値は（ｘ_ij，ｙ_ij）＝（ｘ'_ij／ｚ’_ij，ｙ'_ij／ｚ'_ij）として観測できる。ただし、λ_ijは画像座標値から直接得られず、しかも、時系列に依存する成分（サフィックスがｉのもの）と時系列に依存しない成分（サフィックスがｊのもの）に分離できないため、式（Ａ２）左辺においてある。式（Ａ２）右辺は４つの行列からなっているが、３つの回転行列を展開して１つの行列にして、式（Ａ１）右辺のカメラ運動に対応する行列とすることもできるが、式（Ａ２）そのものから分かるように、式（Ａ１）のように左辺には画像座標値から得た情報、右辺にはカメラ運動に対応する情報（サフィックスがｉのもの）と３次元情報に対応する情報（サフィックスがｊのもの）に変形することは困難である。言い換えれば、式（Ａ２）に基づいて因子分解法を応用してカメラ運動と３次元情報を復元することはできない。

本発明が解決しようとする課題は、式（Ａ２）に示す投影モデルにおいて、下記の特許文献の方法を利用して、解の符号などのあいまいさを考慮せず、安定してカメラ運動と３次元情報を同時に、かつ、ロバストに復元することを課題とする。

特許文献「特開２００３−２７１９２５、宮川，小澤，若林，有川：“全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元方法プログラム、及び、該プログラムを記録した記録媒体”」

（原理的な説明）
本発明は、カメラ振動を回転運動の小さな変化であるとして、式（Ａ２）においてカメラ運動に対して制限をつけ、その制限された回転運動のカメラ運動で撮像した投影モデルを前提とする。すなわち、式（Ａ２）においてｉ＝１，２，…，Ｆ；ｊ＝１，２，…，Ｐに行列展開した投影モデルにおいて、ロール回転、ピッチ回転が微小なとき、すなわち、ｃｏｓψ≒１，ｓｉｎψ≒ψ，ｃｏｓω≒１，ｓｉｎω≒ωとして、変形し整理すると、

となる。この投影モデルでは、式（Ａ３）右辺を見るとわかるように、右辺左側の行列は時系列に依存する情報（カメラの運動に関する情報）であり、右辺右側の行列は時系列に依存しない不変な情報（外界の３次元情報）となっている。これは前記の特許文献で因子分解される平面運動と３次元情報の形態となっている。一方、式（Ａ３）左辺は画像から得られる情報以外に、カメラ運動と３次元情報に関する情報がかかわっており、上記のカメラ運動を制限した場合においても、投影モデルは煩雑すぎて前記の特許文献を安易に応用して、カメラ運動と３次元情報を同時に復元することはできない。しかし、画像で観測した画像座標値（ｘ_ij，ｙ_ij）から式（Ａ３）左辺のように変換ができれば、前記の特許文献の手法によりカメラ運動と３次元形状を復元することができる。

本発明では、式（Ａ３）の投影モデルに基づき、ロール回転ω_i、ピッチ回転ψ_i、ヨー回転θ_i、ＸＹＺ並進運動（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）；ｉ＝１，２，…，Ｆ、並びに、外界の３次元情報（Ｘ_j，Ｙ_j，Ｚ_j）；ｊ＝１，２，…，Ｐ（以降、３次元情報とは、Ｐ個の特徴点に関する３次元座標値を指す）を復元する。式（Ａ３）を解くために、本発明における漸近行列入力ステップにおいて式（Ａ３）左辺の行列要素を反復的に生成し、本発明における平面運動・３次元情報復元ステップにおいて前記の特許文献の手法を利用して平面運動と３次元情報を復元する。

本発明はカメラ運動を平面運動へ漸近させることで、カメラ振動により揺れるカメラ運動を平面運動へ安定化させる。つまり、次の反復での式（Ａ３）左辺の行列要素を本発明における漸近行列入力ステップにおいて、平面運動以外のピッチ、ロール回転（光軸回転以外の回転）と光軸並進運動を使って、観測した画像座標値から平面運動で投影した画像座標値へ変換する。この変換はカメラ運動を平面運動に安定化させることと等価である。本発明における安定化処理ステップでは安定化のための必要な変換係数、並びに、平面運動以外のピッチ、ロール回転（光軸回転以外の回転）と光軸並進運動を求めており、安定化が進むことで、本発明の平面運動・３次元情報復元ステップにおいて平面運動と３次元情報を高精度に求められる。

このように、本発明では、前記の特許文献の手法を反復的に利用して段階的に復元処理を繰り返し行うことで、近似的に、式（Ａ３）の投影モデルに基づいたカメラ運動と３次元情報を復元することを可能としている。

以上のことから、本発明は、以下の装置、方法およびプログラムを特徴とする。

（装置の発明）
（１）時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値（観測座標値）を入力し、その観測座標値にカメラの回転運動、光軸座標値、並進運動、並びに、３次元情報からなる係数をかけた座標値を要素とする漸近行列データを生成する漸近行列生成手段と、
前記漸近行列データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動（これらの成分からなる自由度３の平面運動）を復元し、並びに、３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元手段と、
前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から算出する再投影誤差と、前記漸近行列生成手段で得た観測座標値に、係数εと光軸座標値で変換した座標値を行列要素とする行列データを求め、その行列データを特異値分解して雑音を除去した行列データと、前記平面運動・３次元情報復元手段で得た各特徴点のＺ座標値（Ｚ方向を鉛直方向にしたときの特徴点位置の高さ）を要素とする行列から、カメラ視点の光軸方向の並進運動を復元し、その復元した光軸並進運動により係数δを更新する光軸運動復元手段と、
前記漸近行列生成手段で得た観測座標値と、前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から得る再投影誤差に係数δで変換した座標値の間の誤差を求め、その誤差を行列要素とする行列データと、前記平面運動・３次元情報復元手段で得た平面運動、３次元情報、並びに、前記光軸運動復元手段で得た光軸並進運動から、光軸以外の互いに直交する軸周りの回転運動を求め、その復元した回転運動により係数εと光軸座標値を更新する回転運動復元手段と、
前記漸近行列生成手段で得た観測座標値を前記回転運動復元手段で更新された変換係数（係数ε）と光軸座標値、並びに、前記光軸運動復元手段で更新された変換係数（係数δ）を使って変換した座標値と、前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から各フレーム画像に対する特徴点の再投影座標値との間で平面運動への漸近値を表す漸近誤差を求め、この漸近誤差の増減により前記光軸並進運動復元手段による処理と前記回転運動復元手段における処理を切り替えて該漸近誤差を減少（カメラ運動を平面運動へ漸近）させる処理を繰り返す安定化処理手段と、
を有することを特徴とする。

（２）上記（１）において、全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求める手段と、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求める手段とを有することを特徴とする。

（３）上記（１）において、時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その観測座標値を行列要素とする行列を特異値分解する手段と、この特異値の成分から運動の自由度を表す判定値を算出する手段と、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する手段と、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元する手段とを有することを特徴とする。

（４）上記（１）において、全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求める手段と、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求める手段と、
前記観測座標値を行列要素とする行列を特異値分解する手段と、この特異値の成分から運動の自由度を表す判定値を算出する手段と、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する手段と、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元する手段と、
を有することを特徴とする。

（方法の発明）
（５）時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値（観測座標値）を入力し、その観測座標値にカメラの回転運動、光軸座標値、並進運動、並びに、３次元情報からなる係数をかけた座標値を要素とする漸近行列データを生成する漸近行列生成ステップと、
前記漸近行列データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動（これらの成分からなる自由度３の平面運動）を復元し、並びに、３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元ステップと、
前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から算出する再投影誤差と、前記漸近行列生成ステップで得た観測座標値に、係数εと光軸座標値で変換した座標値を行列要素とする行列データを求め、その行列データを特異値分解して雑音を除去した行列データと、前記平面運動・３次元情報復元ステップで得た各特徴点のＺ座標値（Ｚ方向を鉛直方向にしたときの特徴点位置の高さ）を要素とする行列から、カメラ視点の光軸方向の並進運動を復元し、その復元した光軸並進運動により係数δを更新する光軸運動復元ステップと、
前記漸近行列生成ステップで得た観測座標値と、前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から得る再投影誤差に係数δで変換した座標値の間の誤差を求め、その誤差を行列要素とする行列データと、前記平面運動・３次元情報復元ステップで得た平面運動、３次元情報、並びに、前記光軸運動復元ステップで得た光軸並進運動から、光軸以外の互いに直交する軸周りの回転運動を求め、その復元した回転運動により係数εと光軸座標値を更新する回転運動復元ステップと、
前記漸近行列生成ステップで得た観測座標値を前記回転運動復元ステップで更新された変換係数（係数ε）と光軸座標値、並びに、前記光軸運動復元ステップで更新された変換係数（係数δ）を使って変換した座標値と、前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から各フレーム画像に対する特徴点の再投影座標値との間で平面運動への漸近値を表す漸近誤差を求め、この漸近誤差の増減により前記光軸並進運動復元ステップによる処理と前記回転運動復元ステップにおける処理を切り替えて該漸近誤差を減少（カメラ運動を平面運動へ漸近）させる処理を繰り返す安定化処理ステップと、
を有することを特徴とする。

（６）上記（５）において、全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求めるステップと、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求めるステップとを有することを特徴とする。

（７）上記（５）において、時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その観測座標値を行列要素とする行列を特異値分解するステップと、この特異値の成分から運動の自由度を表す判定値を算出するステップと、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元するステップと、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元するステップとを有することを特徴とする。

（８）上記（５）において、全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求めるステップと、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求めるステップと、
前記観測座標値を行列要素とする行列を特異値分解するステップと、この特異値の成分から運動の自由度を表す判定値を算出するステップと、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元するステップと、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元するステップと、
を有することを特徴とする。

（プログラムの発明）
上記（５）〜（８）のいずれか１項に記載のカメラ運動と３次元情報の復元法における処理手順をコンピュータで実行可能に構成したことを特徴とする。

以上のとおり、本発明によれば、カメラを使って取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像、魚眼カメラや全方位カメラ、または手動撮影した画像）から、カメラの運動（回転運動と並進運動）と対象物に関する物体形状を高精度に獲得、復元することが可能となる。

手動撮影には手振れがあり、車載カメラには走行中の振動があるため、本発明は、このようなカメラ振動においても雑音にロバストに、微小なカメラ姿勢の変動（三軸周り回転運動）を復元することができる。特に、図１５でのカメラを車載した移動観測に本発明を応用した場合、ＧＰＳなどのリモートセンサを補間する精度の三軸方向の並進運動を正確に計測することが可能となる。

本発明で使用する計算は、大半が線形演算で構成されるため、コンピュータ言語での実装が容易である。

（実施形態１）
図１は請求項１等に関する基本構成図であり、図２は時系列画像データベース部などの記憶装置を必要としない、リアルタイムで処理する場合の処理構成図であり、図３は図１または図２における波線ブロック部分の処理フローである。

本実施形態を図１〜図３により説明する。本実施形態では、時系列画像を格納する時系列画像データベース部１、そのデータベース部１から画像系列を取り出し、全フレーム間の特徴点の画像座標値を観測し、カメラ運動と３次元情報を復元するための元になる行列データ（以下、漸近行列データ）を生成する漸近行列生成部２、漸近行列データから前記の特許文献の手法を利用して平面運動と３次元情報を復元する平面運動・３次元情報復元部３、光軸回転以外の回転運動と光軸並進運動を復元し、カメラ運動を平面運動へ漸近（安定化）させるために次の反復が必要かどうかの判定を行い、反復が必要な場合は漸近行列生成部２へ漸近行列データを生成するために必要な情報を渡す安定化処理部４から構成される。この構成において、時系列画像データベース部１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。また、図２の画像入力部１Ａは時系列画像データベース部１に代えて、データ資源をリアルタイムで得る。

図１４において、本発明で復元する対象の空間中の点Ｐ_j（Ｘ_j，Ｙ_j，Ｚ_j）と、カメラの運動、すなわち、ロール回転（ω_i）、ピッチ回転（ψ_i）、ヨー回転（θ_i）、並びに、並進運動Ｔ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）を説明する。図１４ではカメラと対象物（被写体）との位置関係を表しており、運動の中心は視点としており、視点を原点としたカメラ座標系ＸＹＺ、原点Ｏとした世界座標系ＸｗＹｗＺｗを設定する。説明の都合上、カメラ光軸をＺ軸方向とし、光軸に垂直な平面をＸＹ平面とする。この座標系において、カメラは、並進運動（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）で移動しながら、ロール回転（ω_i）、ピッチ回転（ψ_i）、ヨー回転（θ_i）の回転をして点Ｐ_jを観測する。像が投影される投影中心（主点）の位置（視点位置Ｔ_i）はカメラ運動の中心であり、第ｉフレームでの並進運動Ｔ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）の位置とする。対象物の点Ｐ_j（Ｘ_j，Ｙ_j，Ｚ_j）はカメラにより画像面において投影中心を原点とした画像座標値（ｘ_ij，ｙ_ij）へ投影されるとする。なお、初期フレームでの視点とＯは一致しているとし、光軸はＺｗ軸と平行関係にあり、θ_iはＸとＸｗ軸との成す角とするが、一般性を損なわない。

まず、図１又は図２の漸近行列生成部２において、対象物を撮影した時系列画像として時系列画像データベース部１からフレーム数Ｆの画像系列を取り出す。この取り出した画像系列において特徴点追跡を行う。特徴点は従来から用いられているような以下の手順により抽出する。初期画像（画像１）の領域において（１）各画素に対する２×２のヘッセ行列を求める。次に、（２）各点の３×３近傍領域において極大点かどうか判定し、極大点以外の点を削除する（non-maxima suppression）。さらに、（３）得られた各点のヘッセ行列の固有値σ_l，σ_s（σ_s≦σ_l）を求め、σ_sが所定の許容値σ_p以上となる点を抽出する。最後に、（４）抽出した点のσ_sの大きさの順にソートし、上位の点から順番にその点（ｐ_l）より上位の点（ｐ_h）が所定の画素数σ_d以内の距離に存在するかどうかを判定し、もし、存在する場合は下位の点ｐ_lを削除する。さらに、抽出した特徴点（ｊ＝１，２，…，Ｐ）をＫＬＴ法（Kanade-Lucas-Tomasi）により画像ｉ（ｉ＝２，…，Ｆ）にわたって追跡し、画像座標値（ｘ_ij，ｙ_ij）を観測する。このようにして得られた特徴の画像座標値を式（１）に示す配列に並べた２Ｆ×Ｐの行列データ（行列データ[Ａ]）を用意する。

図３の観測座標値の入力（Ｓ１）から行列データ［Ａ］を漸近行列データの生成（Ｓ２）へ渡す。漸近行列データの生成（Ｓ２）では、係数ε_ij＝１，δ_ij＝１，（ζ_i，η_i）＝（０，０），Ｔｚ_i＝０と初期化し、式（２）に従って変換座標値（ｘ'_ij，ｙ'_ij）を得る。変換座標値（ｘ'_ij，ｙ'_ij）を行列要素とする２Ｆ×Ｐの式（１ａ）の漸近行列データ［Ｂ］を生成する。このとき、初期設定として、安定化モードを“回転モード”にしておく。

次に、図１または図２の平面運動・３次元情報復元部３に漸近行列データが与えられると、図３の特異値分解（Ｓ３）において式（３）に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。

ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。さらに、図３の雑音除去（Ｓ４）では、式（４）の第二項に示すように、ランク４以上の各行列の成分を削除する。

この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する。この雑音除去は、式（５）に示すようになる。

次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（６）、（７）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

図３の変換行列算出（Ｓ５）では、保持してある行列［Ｕ’］を取り出し、式（８）〜（１０）で得られる値を行列要素にもつ式（１１）の行列［Ｄ］を準備し、この行列［Ｄ］と式（１２）に示す計算を行い、値ａ，ｂ，ｃ，ｄ，ｅ，ｆを求める。なお、式（１２）の右辺の最後の行列は１の値を上から２Ｆ個、続けて０の値をＦ個並べた３Ｆ×１の列ベクトルである。値ａ，ｂ，ｃ，ｄ，ｅ，ｆを式（１３）に示す要素に入れた行列［Ｃ］を用意し、この行列［Ｃ］を式（１４）に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、式（１５）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（１６）に従って算出する。

次に、図３の平面運動復元（Ｓ６）では、前記の式（Ａ３）の投影モデル式に基づいて、式（Ａ３）右辺左側の行列を式（１７）で得られる行列［Ｍ’］に、式（Ａ３）右辺右側の行列を式（２０）で得られる行列［Ｓ’］とする。この対応付けにより、式（１７）の行列成分から光軸周りの回転（ヨー回転角）θ_iとＸＹ並進運動を復元し、式（２０）の行列要素からユークリッド空間での３次元情報（Ｘ，Ｙ，Ｚ）を復元する。求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、式（１７）の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（１８）を使って、ヨー回転θ_i，ｉ＝１，２，…，Ｆを復元する。また、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu，Ｔ_iv）から、式（１９）を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔ_xi，Ｔ_yi），ｉ＝１，２，…，Ｆを計算する。

一方、図３の３次元情報復元（Ｓ７）では、先に保持しておいた行列［Ｖ’］と、変換行列算出（Ｓ５）で得られた行列［Ｑ］から、式（２０）に示す行列演算を行い、行列［Ｓ’］を求める。次に、行列［Ｓ’］の要素に対して、式（２１）に示す計算を行い、これを要素とする行列を［Ｐ］とする。行列を［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

次に、図１又は図２の安定化処理部４では、図３のチェック（Ｓ８）により、安定化モードが回転モードか光軸並進モードのどちらであるかをチェックし、異なる処理を行う。もし、安定化モードが回転モードのときは図３の回転運動安定化（Ｓ９）に、安定化モードが光軸並進モードのときは図３の光軸並進運動安定化（Ｓ１０）に処理を進める。

回転運動安定化（Ｓ９）では、係数δ_ijが既知としてピッチ回転とロール回転を求める。この処理では、画像系列から観測した画像座標値（ｘ_ij，ｙ_ij）と、平面運動・３次元情報復元部３で得られる再投影座標値（Ｕ_ij，Ｖ_ij）の間の誤差が、ピッチ回転とロール回転から発生する誤差であるとしている。これを数式で表現すると、

となる。これは式（Ａ３）左辺の行列要素で表現すると、

となる。式（Ａ８）左辺を式（Ａ４），（Ａ６）を使って展開すると、

となる。行列［Ｒ_i］，［Ａ_i］は式（２２），（２２ａ）〜（２２ｄ），（２３）である。したがって、式（Ａ９）の関係から、ピッチ回転ψ_i、ロール回転ω_iは、式（２４）の計算で求められる。

以上の計算についての安定化処理（Ｓ９）、（Ｓ１０）の詳細な処理フローが図４および図５である。図４に示す回転運動安定化（Ｓ９）では、式（１）に示すデータ形式の行列データ［Ａ］の各行列要素と、係数δ_ij、並びに、上記で復元した平面運動・３次元情報復元部３による再投影座標値の算出（Ｓ２２）と３次元情報復元（Ｓ２３）から、前記の式（Ａ７）に示す誤差（Δｘ_ij，Δｙ_ij）を計算する（Ｓ２１）。さらに、式（２２ａ）〜（２２ｄ）の値を計算し（Ｓ２４）、これを要素とする式（２２）の行列［Ｒ_i］を準備する（Ｓ２５）。一方、誤差（Δｘ_ij，Δｙ_ij）を行列要素とする式（２３）の行列［Ａ_i］を準備し（Ｓ２６）、式（２４）の演算を行って、ロール回転ω_i、ピッチ回転ψ_i、を復元する（Ｓ２７）。これを全フレーム（ｉ＝１，２，…，Ｆ）にわたり求める。このとき、同時に、式（２５）の計算により各フレームでの（ζ_i，η_i），ｉ＝１，２，…，Ｆを求め、以前の（ζ_i，η_i），ｉ＝１，２，…，Ｆを更新すると共に、式（Ａ６）により求めたピッチ回転ψ_i、ロール回転ω_iを代入して係数ε_ijを更新する（Ｓ２８）。

図３に示す光軸並進運動安定化Ｓ１０では、係数ε_ij、並びに、光軸座標値（ζ_i，η_i）が既知として光軸並進運動Ｔｚ_iを求める。このとき、式（Ａ３）左辺の行列要素は、

となる。式（Ａ１０）は座標値（ｕ'_ij，ｖ'_ij）の（１−Ｔｚ_i／Ｚ_j）倍が再投影座標値（ｕ_ij，ｖ_ij）となる形式である。この関係を利用して光軸並進運動Ｔｚ_iを求める。そこで、式（Ａ１０）を、

と整理し、全フレームｉ＝１，２，…，Ｆ、並びに、全特徴点ｊ＝１，２，…，Ｐに対して行列展開すると、

となる（ただし、Δｗ_ijは式（２６）である）。したがって、式（Ａ１３）に示す連立方程式を求めると光軸並進運動を復元することができる。

図５に示す光軸並進運動安定化（Ｓ１０）の詳細な処理フローでは、まず、観測座標値の入力から座標値（ｘ_ij，ｙ_ij）が与えられ、係数ε_ijと光軸座標値（ζ_i，η_i）を使って式（Ａ１１）の座標値（ｕ'_ij，ｖ'_ij）を生成する。この座標値（ｕ'_ij，ｖ'_ij）と平面運動・３次元情報復元部３からの平面運動と３次元情報から求めた再投影座標値（ｕ_ij，ｖ_ij）から式（２６）のΔｗ_ijを計算し（Ｓ３１，Ｓ３２）、これを行列要素とするＦ×Ｐの式（２７）の行列［ΔＷ］を準備する（Ｓ３３）。このとき、式（Ａ１３）左辺を見ると分かるようにランクは１である。それに対して、式（Ａ１３）右辺の行列［ΔＷ］はＦ×Ｐとなっている。そこで、式（２８）に示すように特異値分解を行い、３つの行列、すなわち、Ｆ×Ｐの［Ｕ_w］，Ｐ×Ｐの［Ｗ_w］，Ｐ×Ｐの［Ｖ_w］に分解する（Ｓ３４）。

次いで、雑音除去（Ｓ３５）では、ランク１以上の各行列の成分を削除する。この削除のときは、行列［Ｕ_w］を取り出し、この行列の要素において第２から第Ｐ列目までを削除し、残りの成分からなる行列を保持し（行列［Ｕ'_w］）、行列［Ｗ_w］を取り出し、この行列の要素において第２から第Ｐ行目並びに第２から第Ｐ列目までを削除し、残りの成分からなる行列を保持し（行列［Ｗ'_w］）、行列［Ｖ_w］を取り出し、この行列の要素において第２から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持（行列［Ｖ'_w］）し、式（２８ａ）に示す行列演算を行い、これを行列［ΔＷ］として保持する（Ｓ３６）。さらに、３次元情報復元から特徴点のＺ値の逆数からなる式（３０）の行列［１／Ｚ］を準備し（Ｓ３７）、式（２９）の計算を行い、光軸並進運動Ｔｚ_iを求める（Ｓ３８）。ここで、式（Ａ６）により求めた光軸並進運動を使って係数δ_ijを更新しておく（Ｓ３９）。

以上、安定化モードが回転モードか光軸並進モードにより、上記の処理に振り分けて、ピッチ回転とロール回転、並びに、光軸並進運動を求める。

図３に戻って、この時点での係数ε_ij、光軸座標値（ζ_i，η_i）、係数δ_ijを使って、式（２）の計算により座標値（ｘ'_ij，ｙ'_ij）を得て、式（３１）に示す漸近誤差ΔＥを求める（Ｓ１１）。この漸近誤差ΔＥが前のΔＥより減少している場合は、漸近行列データの生成に戻り、更新した係数ε_ij、光軸座標値（ζ_i，η_i）、係数δ_ijを使って得た式（２）の座標値（ｘ’_ij，ｙ’_ij）を新たな行列要素とする漸近行列［Ｂ］を得て、平面運動・３次元情報復元の処理を続ける（Ｓ１２）。

一方、この漸近誤差ΔＥが前のΔＥより増加した場合は、安定化モードを切り替える（Ｓ１３，Ｓ１４）。すなわち、回転モードから光軸並進モードへ、または、光軸並進モードから回転モードへ切り替えて、漸近行列データの生成へ処理を進める。なお、安定化モードの切替回数が最初から数えてＮ回を超えた時点で漸近誤差ΔＥが収束したと判断して反復処理を停止し、その時点でのカメラ運動と３次元情報を出力して、処理を終了する。

以上、本実施形態により、画像系列における特徴点の時間的動きから、カメラ視点の運動、すなわち、三軸周りの回転運動と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態２）
全方位カメラはロボットビジョンや移動観測において利用されており、図１５に示すように車両の屋根に搭載し、光軸を天空方向に向けて設置される。図１５は車両による移動観測のときの模式図であり、全方位カメラにより建物壁面などの市街地景観を撮像する。移動観測では車両振動により全方位カメラが変動しており、本実施形態は、このような車両振動において揺れた画像系列からカメラ運動と３次元情報を復元する。

図６は、請求項２等に関する基本構成図である。本実施形態ではカメラを全方位カメラとした場合の実施形態であり、実施形態１に対して、時系列画像データベース部１から取り出した画像において、特徴点観測部５により得た特徴点の画像座標値を座標変換部６で変換した座標値を実施形態１での特徴点の画像座標値とする点だけが異なるため、この部分だけについて説明する。

本実施形態は、時系列画像データベース部には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、図７は、リアルタイムで処理する場合の処理構成図であり、本実施形態では必ずしも各データベース部１などの記憶装置を必要としない。

全方位カメラは市販のカメラと異なり広視野を撮像できるように設計されているため、全方位画像中の特徴点の画像座標値のままでは本実施形態を応用することができない。そこで、図１６に示すように、特徴点を示す画像座標値を位相角ρ_ijと仰角φ_ijを利用する。空間中の点Ｐ_j（Ｘ_j，Ｙ_j，Ｚ_j）は、画像面において画像座標値（ｘ_ij，ｙ_ij）へ投影されるとする。式（３２ａ）は焦点距離をｆとした等距離投影と呼ばれる魚眼レンズでの光学的投影であり、図１６の位相角ρ_ijは、画像座標値（ｘ_ij，ｙ_ij）から、式（３３）を使って得ることができる。ただし、図１６は、魚眼レンズを取り付けたカメラで画像を撮像する例であり、Ｒはイメージサークルの半径であり、画像面での投影中心の画像座標値を原点としている。これ以外の全方位カメラとして、放物面ミラーで反射する投影の場合は式（３２ｂ）により仰角φ_ijが得られ（ｈは放物面のｘｙ平面での半径）、双曲線ミラーで反射する全方位カメラの場合では、式（３２ｃ）により仰角φ_ijが得られる（ｂ，ｃは双曲線パラメータ、ｆは焦点距離）。なお、これらの全方位カメラでは画像面とＸＹ面が平行と考えることができるので、全般的な全方位カメラに対して式（３３）により位相角ρ_ijを得ることができる。

図６の特徴点観測部５において、特徴点の画像座標値から位相角と仰角を得ると、次に、座標変換部６において、

なる座標変換を行い、座標値（ｐ_ij，ｑ_ij）を求める。

この座標変換の効果を図１７、図１８で説明する。図１７は全方位カメラ（魚眼など）で移動観測したときに取得した画像の例である。この図のように全方位画像では建物の壁に位置する水平、垂直のエッジが、本来、水平と垂直のエッジが直線として投影されるべきところを、曲線として投影される。これに対して、式（Ａ１４）で座標変換すると、図１８のように、水平と垂直のエッジを線分として得ることができる。この座標変換は全方位投影から透視投影への座標変換である。

座標変換部６では、式（Ａ１４）で得た（ｐ_ij，ｑ_ij）を（ｘ_ij，ｙ_ij）と見なし、この（ｘ_ij，ｙ_ij）を特徴点の画像座標値（観測座標値）として、図６の漸近行列生成部２にて扱う。

以上、本発明の実施形態により、全方位画像系列における特徴点の時間的動きから、カメラ視点の運動、すなわち、三軸周りの回転運動と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態３）
図８は本実施形態の処理構成図であり、実施形態１に対して復元処理判定部７の処理が異なるため、以降ではこの部分の説明だけにする。この構成において、時系列画像データベース部１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、図９はリアルタイムで処理する場合の処理構成図であり、本実施形態では必ずしも時系列画像データベース部１などの記憶装置を必要としない。

図８の復元処理判定部では、時系列画像データベース部１から取り出した画像系列に対して特徴点の画像座標値を観測し、式（１）の形式の行列［Ａ］として保持する。図１０はその後の処理フローであり、この処理フローに従って説明する。行列［Ａ］に対して、式（３）に示す３つの行列［Ｕ］，［Ｗ］，［Ｖ］に行列分解する。特異値行列［Ｗ］は対角要素であり、その各要素である特異値は昇降順の並びで、かつ、全て正の実数となっている。この特異値行列の中から式（４）に示す（３，３）の行列要素Ｗ₃₃と（４，４）の行列要素Ｗ₄₄の特異値を取り出す（Ｓ４１，Ｓ４２）。ランク検出では、式（３４ａ）または式（３４ｂ）に示す計算を行い、判定量Ｅ_wを得る（Ｓ４３）。この判定量Ｅ_wが許容値未満であるか、または、判定量Ｅ_wが許容値以上かを判定する（Ｓ４４）。この許容値は特定の一定値であり、ユーザ（または作業者）が逐次、値を設定することもできる。もし、判定量Ｅ_wがある許容値未満の場合は、カメラ運動が平面運動であると判断して処理Ａに進み（Ｓ４５，Ｓ４６）、判定量Ｅ_wがある許容値以上の場合は、カメラ運動が一般運動（平面運動以外）であると判断して処理Ｂに進む（Ｓ４７，Ｓ４８）。

処理Ｂとは実施形態１の処理であり、処理Ｂにより画像系列における特徴点の時間的動きから、カメラ視点の運動、すなわち、三軸周りの回転運動と三軸方向の並進運動（自由度６の運動）、並びに、物体形状を構成する３次元情報を復元する。一方、処理Ａと判定した場合、図１１にしたがって平面運動と３次元情報を復元する。この処理は、実施形態１の平面運動・３次元情報復元部の処理内容と同等であるため説明を省く。

以上の処理により、カメラ運動が平面運動の場合は、実施形態１の処理に回さずに、平面運動だけを計算するようにして、計算コストを大幅に低減させて、カメラ運動と３次元情報を復元することができる。

（実施形態４）
図１２は請求項４等に関する基本構成図である。本実施形態では、実施形態２に対して、復元処理判定部７の処理のみが異なる。本実施形態は、時系列画像データベース部１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、図１３はリアルタイムで処理する場合の処理構成図であり、本実施形態は必ずしも各データベース部１などの記憶装置を必要としない。

図１２の復元処理判定部７では、時系列画像データベース部１から取り出した画像系列に対して特徴点の画像座標値を観測し、式（１）の形式の行列[Ａ]として保持する。次に、各特徴点の画像座標値から位相角と仰角を全方位カメラの投影に応じて求め、式（Ａ１４）の座標変換を行い、座標値（ｐ_ij，ｑ_ij）を求める。この（ｐ_ij，ｑ_ij）を（ｘ_ij，ｙ_ij）と見なし、この（ｘ_ij，ｙ_ij）を特徴点の画像座標値（観測座標値）として、図１２の復元処理判定部７にて扱う。復元処理判定部７の処理は実施形態３の処理と同じであるため説明を省く。

以上の処理により、全方位カメラ運動が平面運動の場合は、実施形態１の処理に回さずに、平面運動だけを計算するようにして、計算コストを大幅に低減させて、カメラ運動と３次元情報を復元することができる。

なお、本発明は、図３〜図５等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実行可能にすることができる。また、このプログラムを記録した記録媒体を、ネットワークを通して提供することも可能である。

請求項１等に係る画像蓄積型の復元装置の基本構成図。 請求項１等に係るリアルタイム処理型の復元装置の基本構成図。 請求項１等に係る復元方法の処理フロー。 回転安定化の処理フロー。 光軸並進安定化の処理フロー。 請求項２等に係る画像蓄積型の復元装置の基本構成図。 請求項２等に係るリアルタイム処理型の復元装置の基本構成図。 請求項３等に係る画像蓄積型の復元装置の基本構成図。 請求項３等に係るリアルタイム処理型の復元装置の基本構成図。 復元処理判定部での処理フロー。 処理Ａの処理フロー。 請求項４等に係る画像蓄積型の復元装置の基本構成図。 請求項４等に係るリアルタイム処理型の復元装置の基本構成図。 カメラと被写体の位置関係とカメラ座標系を示す図。 全方位カメラを車両の天井に固定して移動観測する場合の図。 図１５における全方位カメラと被写体の位置関係とカメラ座標系を示す図。 全方位カメラが撮像した建物壁面のエッジラインを示す図。 図１７のエッジを座標変換した結果を示す図。

符号の説明

１ 時系列画像データベース部
１Ａ 画像入力部
２ 漸近行列生成部
３ 平面運動・３次元情報復元部
４ 安定化処理部
５ 特徴点観測部
６ 座標変換部
７ 復元処理判定部

Claims (9)

1. 時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
   時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値（観測座標値）を入力し、その観測座標値にカメラの回転運動、光軸座標値、並進運動、並びに、３次元情報からなる係数をかけた座標値を要素とする漸近行列データを生成する漸近行列生成手段と、
   前記漸近行列データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動（これらの成分からなる自由度３の平面運動）を復元し、並びに、３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元手段と、
   前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から算出する再投影誤差と、前記漸近行列生成手段で得た観測座標値に、係数εと光軸座標値で変換した座標値を行列要素とする行列データを求め、その行列データを特異値分解して雑音を除去した行列データと、前記平面運動・３次元情報復元手段で得た各特徴点のＺ座標値（Ｚ方向を鉛直方向にしたときの特徴点位置の高さ）を要素とする行列から、カメラ視点の光軸方向の並進運動を復元し、その復元した光軸並進運動により係数δを更新する光軸運動復元手段と、
   前記漸近行列生成手段で得た観測座標値と、前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から得る再投影誤差に係数δで変換した座標値の間の誤差を求め、その誤差を行列要素とする行列データと、前記平面運動・３次元情報復元手段で得た平面運動、３次元情報、並びに、前記光軸運動復元手段で得た光軸並進運動から、光軸以外の互いに直交する軸周りの回転運動を求め、その復元した回転運動により係数εと光軸座標値を更新する回転運動復元手段と、
   前記漸近行列生成手段で得た観測座標値を前記回転運動復元手段で更新された変換係数（係数ε）と光軸座標値、並びに、前記光軸運動復元手段で更新された変換係数（係数δ）を使って変換した座標値と、前記平面運動・３次元情報復元手段で得た平面運動と３次元情報から各フレーム画像に対する特徴点の再投影座標値との間で平面運動への漸近値を表す漸近誤差を求め、この漸近誤差の増減により前記光軸並進運動復元手段による処理と前記回転運動復元手段における処理を切り替えて該漸近誤差を減少（カメラ運動を平面運動へ漸近）させる処理を繰り返す安定化処理手段と、
   を有することを特徴とするカメラ運動と３次元情報の復元装置。
2. 請求項１において、
   全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求める手段と、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求める手段と、
   を有することを特徴とするカメラ運動と３次元情報の復元装置。
3. 請求項１において、
   時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その観測座標値を行列要素とする行列を特異値分解する手段と、この特異値の成分から運動の自由度を表す判定値を算出する手段と、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する手段と、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元する手段と、
   を有することを特徴とするカメラ運動と３次元情報の復元装置。
4. 請求項１において、
   全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力する手段と、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求める手段と、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求める手段と、
   前記観測座標値を行列要素とする行列を特異値分解する手段と、この特異値の成分から運動の自由度を表す判定値を算出する手段と、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する手段と、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元する手段と、
   を有することを特徴とするカメラ運動と３次元情報の復元装置。
5. 時系列画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列におけるカメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
   時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値（観測座標値）を入力し、その観測座標値にカメラの回転運動、光軸座標値、並進運動、並びに、３次元情報からなる係数をかけた座標値を要素とする漸近行列データを生成する漸近行列生成ステップと、
   前記漸近行列データを特異値分解し、雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報を表す行列データに前記変換行列を作用させてカメラ視点に関する光軸周りの回転運動と光軸と垂直な平面上の並進運動（これらの成分からなる自由度３の平面運動）を復元し、並びに、３次元情報を表す行列データに前記変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元する平面運動・３次元情報復元ステップと、
   前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から算出する再投影誤差と、前記漸近行列生成ステップで得た観測座標値に、係数εと光軸座標値で変換した座標値を行列要素とする行列データを求め、その行列データを特異値分解して雑音を除去した行列データと、前記平面運動・３次元情報復元ステップで得た各特徴点のＺ座標値（Ｚ方向を鉛直方向にしたときの特徴点位置の高さ）を要素とする行列から、カメラ視点の光軸方向の並進運動を復元し、その復元した光軸並進運動により係数δを更新する光軸運動復元ステップと、
   前記漸近行列生成ステップで得た観測座標値と、前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から得る再投影誤差に係数δで変換した座標値の間の誤差を求め、その誤差を行列要素とする行列データと、前記平面運動・３次元情報復元ステップで得た平面運動、３次元情報、並びに、前記光軸運動復元ステップで得た光軸並進運動から、光軸以外の互いに直交する軸周りの回転運動を求め、その復元した回転運動により係数εと光軸座標値を更新する回転運動復元ステップと、
   前記漸近行列生成ステップで得た観測座標値を前記回転運動復元ステップで更新された変換係数（係数ε）と光軸座標値、並びに、前記光軸運動復元ステップで更新された変換係数（係数δ）を使って変換した座標値と、前記平面運動・３次元情報復元ステップで得た平面運動と３次元情報から各フレーム画像に対する特徴点の再投影座標値との間で平面運動への漸近値を表す漸近誤差を求め、この漸近誤差の増減により前記光軸並進運動復元ステップによる処理と前記回転運動復元ステップにおける処理を切り替えて該漸近誤差を減少（カメラ運動を平面運動へ漸近）させる処理を繰り返す安定化処理ステップと、
   を有することを特徴とするカメラ運動と３次元情報の復元方法。
6. 請求項５において、
   全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求めるステップと、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求めるステップと、
   を有することを特徴とするカメラ運動と３次元情報の復元方法。
7. 請求項５において、
   時系列画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その観測座標値を行列要素とする行列を特異値分解するステップと、この特異値の成分から運動の自由度を表す判定値を算出するステップと、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元するステップと、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元するステップと、
   を有することを特徴とするカメラ運動と３次元情報の復元方法。
8. 請求項５において、
   全方位画像に設定した特徴点座標系において、各フレーム画像における特徴点の画像座標値を入力するステップと、その画像座標値からある基準軸からの方位角（位相角）と、全方位カメラに使用されている投影方式に従って求められる光軸方向からの角（仰角）を求めるステップと、前記位相角と仰角を使って座標変換した座標値を前記観測座標値として求めるステップと、
   前記観測座標値を行列要素とする行列を特異値分解するステップと、この特異値の成分から運動の自由度を表す判定値を算出するステップと、この判定値がある一定値未満の場合は、平面運動と見なして光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元するステップと、前記判定値がある一定値以上の場合は、カメラの回転運動と並進運動からなる自由度６の運動と３次元情報を復元するステップと、
   を有することを特徴とするカメラ運動と３次元情報の復元方法。
9. 請求項５〜８のいずれか１項に記載のカメラ運動と３次元情報の復元法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
   

Images