JP2005063013A - 全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 - Google Patents

Abstract

【課題】全方位カメラから取得した時系列画像から対象物に関する物体形状を高精度に獲得、復元する。
【解決手段】 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、各画像における特徴点の座標値を測定する特徴点計測部１１と、特徴点計測部１１で得た画像座標値をｕｖ画像に変換する計測行列変換部１２と、前記ｕｖ画像のｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１３と、計測行列入力部１３とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１４とを備える。
【選択図】 図１ａ

Description

本発明は、魚眼レンズを装着したカメラ（以下、全方位カメラ）を使って取得した車載画像または室内画像、船上からの海上画像、空撮などお時系列画像全般に対して利用するもので、特に、全方位カメラで取得した時系列画像から全方位カメラ視点に関するロール、ピッチ、ヨー回転から構成される回転運動、配信運動、並びに時系列映像に移っている外界の３次元形状、すなわち被写体（物体）の外観形状を構成する３次元情報を復元するものに関するものである。

コンピュータビジョン分野では、時系列画像データから対象物の形状を計測または獲得する手法にはステレオ計測やエピポーラ面解析を用いた３次元解析手法がある。この手法によれば、物体が撮影されている複数の時系列画像から空間形状または空間構造に関する３次元位置情報並びにカメラ視点に関する運動を復元することができる。

しかしながら、移動手段等を利用して撮影カメラを動かしながら撮影した時系列映像においては、撮影時の環境、撮影カメラの微妙な動きによりシームレスに映像取得が困難であり、時系列映像中にランダム性の雑音が混入し、カメラ運動や物体形状を正確に復元することが困難な場合がある。

さらに、画像面が平面とした直交座標系で表現できる画像座標値から因子分解法（例えば非特許文献１や非特許文献２）等を利用してユークリッド空間でのカメラ運動と物体形状の復元が可能であるが、有限画角のカメラを使用する場合、微妙なカメラの回転運動を復元することが困難であり、しかも並進と回転運動の判別も正確ではない場合もある。

一方、有限画角を回避するために、一度に３６０度の景観を取得する手段として、全方位カメラによる撮像が考えられる。全方位カメラは、そのカメラ光軸を鉛直上向きに設置して利用することが多く、全方位カメラ視点の姿勢推定や外界に関する空間計測には適する（例えば非特許文献３）。また、全方位カメラの利用により、微小な回転運動の復元も可能であり、並進運動と回転運動を双方とも正確に復元する点で優れている。
Ｃ．ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ；"Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍ Ｕｎｄｅｒ Ｏｒｔｈｏｇｒａｐｈｙ：Ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊａｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，１９９２． Ｃ．Ｊ．Ｐｏｅｌｍａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ；"Ａ Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒＳｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ Ｒｅｃｏｖｅｒｙ"，ＩＥＥＥ ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌ．ａｎｄ Ｍａｃｈ．Ｉｎｔｅｌｌ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８，１９９７． 宮川，若林，有川；"全方位投影型因子分解法による全方位画像からの運動と形状復元"，パターン認識・メディア理解（ＰＲＭＵ）研究会，Ｊｕｎｅ，２００２

移動手段を用いて全方位カメラのような一度に３６０度の景観を映像化する撮影環境で取得した時系列画像において、ステレオ視の原理を応用した計測方法により、外界の物体の空間情報を獲得、復元できるが、様々な撮影環境の中での移動撮影においては、カメラが微小に動くため、容易にシームレスな時系列画像を取得できない。そのため、ランダム性雑音の影響も大きく、常に安定的に、カメラの動きと物体の形状を同時にかつ高精度に復元することは困難である。

例えば、非特許文献３の手法を適用した場合、図１０に示したように、全方位カメラの光軸回転（ヨー回転）以外にロール回転、ピッチ回転、さらにはＺ軸方向の並進運動が加わることで、正確な運動と３次元形状の復元は困難であった。つまり、図１０に示すように、全方位カメラは光軸を鉛直上向きに設置した姿勢で用いることが多く、このため、ヨー回転とＸＹ並進運動からなる自由度３の平面運動が復元することに主眼が置かれていた。

しかしながら、実環境においては、このような平面運動以外に、ロール回転、ピッチ回転、Ｚ軸並進運動を含む場合、全方位カメラによる簡便な計算が使えず、カメラ運動と３次元形状を復元するための計算が複雑になり、上記のような全方位カメラに関する微小なカメラ姿勢変化を雑音と混在してしまい、正確かつロバストに復元できないという問題がある。

本発明は、かかる事情に鑑みなされたもので、その目的は、全方位カメラから取得した時系列画像から対象物に関する物体形状を高精度に獲得、復元することができる全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体の提供にある。

前記課題を解決するために、本発明の全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体は、全方位カメラで取得した全方位画像における特徴点の座標の時間的変化から、因子分解法によって対象物体の３次元形状及び全方位カメラの（視点の）光軸周りの回転運動とＸＹ平面上の並進運動の３自由度の運動（平面運動）を求め、さらに、演算によって全方位カメラの（視点の）Ｚ軸方向の並進運動を求めた後に、これらの誤差が所定の値以下になるまで反復計算し、その結果として、対象物体の３次元情報および全方位カメラの（視点の）４自由度の運動を復元している。

すなわち、請求項１記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値を測定するステップ（計測行列測定ステップ）と、
この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、この各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有する。

請求項２記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに外界の物体形状を構成する３次元情報を復元する方法であって、
取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値を測定するステップ（ｕｖ計測行列測定ステップ）と、
このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有する。

請求項３記載の発明は、請求項１記載の全方位カメラ視点運動と３次元情報の復元方法における計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動の自由度を表す判定値を算出し、
判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元している。

請求項４記載の発明は、請求項２記載の全方位カメラ視点運動と３次元情報の復元方法におけるｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動を表す判定値を算出し、
判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、請求項２記載の復元方法によってカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元するしている。

請求項５記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
各画像における特徴点の座標値を測定する特徴点計測部と、
前記特徴点計測部で得た画像座標値をｕｖ画像に変換する計測行列変換部と、
前記ｕｖ画像のｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
交点座標計測部と計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備える。

請求項６記載の発明は、全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
各画像をｕｖ画像に変換する画像変換処理部と、
各画像における特徴点の座標値を測定する特徴点計測部と、
前記ｕｖ画像のｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
計測行列入力部から供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備える。

請求項７記載の発明は、請求項５記載の全方位カメラ運動と３次元情報の復元装置において、前記計測行列変換部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動の自由度を表す判定値を算出する復元処理判定部を備え、
判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、
前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元する処理を行なっている。

請求項８記載の発明は、請求項６記載の全方位カメラ運動と３次元情報の復元装置において、前記特徴点計測部からｕｖ画像を特異値分解して得る特異値成分から運動を表す判定値を算出する復元処理判定部を備え、
判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元する処理を行なっている。

以上の発明において、広視野画像は全方位画像と同義の技術用語である（以下、後述の発明の実施形態においても同じ）。

ｕｖ座標値は、外界の３次元座標値を、視点を中心とした球面に投影した座標値において、カメラの進行方向の直交方向成分を高さ方向成分で割った値、およびカメラの進行方向成分を高さ方向成分で割った値を求め、それぞれをｕ座標およびｖ座標として得たものである。

変形係数は、全方位カメラの（視点の）Ｚ軸方向並進運動、および光軸以外の他軸周りの回転運動を、それらに等価なｕｖ座標値の変形で表した場合の変形の度合いを表わす係数である。

尚、本発明の全方位カメラの視点運動と３次元情報の復元方法及びその装置はコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばＦＤ（フロッピーデイスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。

本発明の全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体によれば、全方位カメラを用いて取得した時系列画像全般（移動手段を利用して撮影した車載画像、海上画像、空撮画像、屋内画像等）から対象物に関する物体形状を高精度に獲得、復元することが可能となる。また、これまでの測量技術並の高精度な３次元立体視が可能となる。

特に、車載カメラに適用した場合、そのカメラは車の走行によって振動するが、本発明はこのような事態においても、雑音にロバストに、微小なカメラ姿勢の変動（光軸周り回転：ヨー回転）、並びにＧＰＳなどのリモートセンサを補間する精度の並進運動を正確に計測することが可能となる。また、本発明で用いられる演算は、そのほとんどが線形演算で構成されているので、コンピュータ言語での実装が容易である。

以下、図面を参照しながら本発明の実施の形態について説明する。

（実施形態１）
図１ａ及び図１ｂは請求項１記載の発明を実施する装置の形態例を示した概略構成図である。本実施形態では等距離投影（光軸から入射角に比例した投影）で光学的に設計された魚眼レンズを使用した魚眼カメラ（以下、カメラと略称する場合もある。尚、以降の実施形態では全方位カメラと称す。）について説明する。尚、本発明は、他の投影（立体角投影、等立体角投影）で設計された魚眼レンズを使用したカメラ（広視野カメラ）で取得した時系列画像に対しても適用可能である。

図１０を参照しながら、本実施形態で復元する対象の空間中の点Ｐ（Ｘ_j，Ｙ_j，Ｚ_j）と、カメラの運動、すなわちヨー回転（θ_i）と並進運動Ｔ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）について説明する。

図はカメラと対象物（被写体）との位置関係を表しており、説明の都合上、カメラが進行する軸をＹ軸とする。このとき、カメラのカメラ光軸をＺ軸方向とする。このとき、カメラのカメラ光軸をＺ軸方向とする。図１０では、投影中心Ｃの位置（視点位置Ｔ_i）は運動の中心と考えて、第ｉフレームでの並進運動をＴ_i（Ｔｘ_i，Ｔｙ_i，Ｔｚ_i）で表している。また、カメラ光軸（図１０で示すＺ軸）周りの回転をヨー回転とする。一方、空間中の点Ｐ（Ｘ_j，Ｙ_j，Ｚ_j）は、イメージサークル内の画像面において画像座標値（ｘ_ij，ｙ_ij）へ投影されるとする。式（１）は等距離投影と呼ばれる光学的投影であり、図１０の位相角ρ_ijは、画像座標値（ｘ_ij，ｙ_ij）から式（２）の演算によって得ることができる。また、式（１）において、ｆは魚眼レンズの焦点距離であり、ＤはＤ＝πｆ／（２Ｒ）で決まる定数である。但し、Ｒは図１０に示すイメージサークルの半径である。また、図１０では画像面での投影中心Ｃの画像座標値を（Ｃ_x，Ｃ_y）としている。

図１ａに示された復元装置は、全方位画像を蓄積した時系列データベース１０と、各画像における特徴点の座標値を測定する特徴点計測部１１と、この計測部で得た画像座標値をｕｖ画像に変換する計測行列変換部１２、ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１３と、これらの入力データから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１４とを備える。尚、時系列画像データベース１０には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭ等の記録媒体を利用するか、またはネットワークを介したリモートなデータ資源を利用する形態でもどちらでもよい。

また、図１ｂはリアルタイムで処理する場合の復元装置の形態例を示した概略構成図である。当該復元装置は時系列画像データベース１０に代えてデータ画像入力部１５を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

以下、本実施形態の各構成部について説明する。

特徴点計測部１１は、景観を撮影した全方位画像を時系列画像データベース１０から取り出し、全方位画面上に特徴点を設定する。この特徴点設定には、濃淡の１次元的または２次元的変化による勾配値が大きくなる画素を検出（エッジ検出等）、Ｃａｎｎｙオペレータ、ハフ変換等の画像処理手法により特徴点を自動的に発生させる。また、作業者が介在して適当に特徴点をマークするなどして初期画像上に特徴点を配置してもかまわない。このとき、配置する特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置したときの特徴点の２次元座標値として、図１０での画像座標系での原点からの座標値（ｘ_1j，ｙ_1j），ｊ＝１，２，…，Ｐを記録しておく。次に、初期画像に続く時系列画像をデータベース１０から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化に着目した手法、特徴点を中心とした画素パターンを各フレーム間で追跡する方法（例えばＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法）または全方位画像特有の投影歪みを考慮した手法を駆使して追跡して追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点を画像座標値として図１０での画像座標系での原点からの２次元座標値（ｘ_ij，ｙ_ij）記録する。時系列画像を読み続けた場合、特徴点が画像間で消失やオクルージョンにより消失してしまったときは追跡を停止し、特徴点追跡を終了する。特徴点追跡が終了した時点で、読み出した時系列画像の数は初期画像を含めてＦ枚とする（ｉ＝１，２，…，Ｆ）。特徴点計測部１１では各時系列画像における特徴点の時間的な画像座標的配置の変化量は式（３）のデータ形式に配置して計測行列［Ａ］を保持しておく。

計測行列変換部１２は、特徴点計測部１１で取得した画像座標値を要素とする計測行列［Ａ］から第ｉフレームおける第ｊ番目の特徴点の画像座標値（ｘ_ij，ｙ_ij）を取り出す。さらに、投影中心（Ｃ_x，Ｃ_y）を原点とした相対的な画像座標値に一時変換し、式（１）及び（２）の演算によって位相角ρ_ijと仰角φ_ijを求める。この位相角と仰角を式（４）による演算に供して座標変換し、ｕｖ座標値（ｕ_ij，ｖ_ij）を得ている。この変換はこの全フレーム、全特徴点に対して行なわれる。尚、変換後のデータ形式として、式（５ａ）に示す要素形式の行列［Ｂ］は計測行列入力部１３において初期値として保持される。

ｕ座標値及びｖ座標値は、外界の３次元座標値（Ｘ，Ｙ，Ｚ）を、視点Ｔｉを中心とした球面に投影した座標値において、それぞれ、カメラの進行方向の直行方向成分を高さ方向成分で割った値、及びカメラの進行方向成分を高さ方向成分で割った値に相当する。すなわち、外界の３次元座標値（Ｘ，Ｙ，Ｚ）を、視点Ｔｉを中心とした半径ｌの球面に投影すると、（Ｘ’，Ｙ’，Ｚ’）＝（ｃｏｓ（φ）ｃｏｓ（ρ），ｃｏｓ（φ）ｓｉｎ（ρ），ｓｉｎ（φ））と表される（図１０参照）。ｕｖ座標値はこの単位球面座標値（Ｘ’，Ｙ’，Ｚ’）から（ｕ，ｖ）＝（Ｘ’／Ｚ’，Ｙ’／Ｚ’）＝（ｃｏｔ（φ）ｃｏｓ（ρ），ｃｏｔ（φ）ｓｉｎ（ρ））で算出される。尚、一般的な球面座標系では、図１０においてＺ軸から測った角φ’を用いて座標を定義するため、（Ｘ’，Ｙ’，Ｚ’）＝（ｓｉｎ（φ’）ｃｏｓ（ρ），ｓｉｎ（φ’）ｓｉｎ（ρ），ｃｏｓ（φ’））と表せる。

これに対して本実施形態では、図１０での視点から３次元座標値（Ｘ，Ｙ，Ｚ）を見上げたときの仰角φを用いて座標を定義しているため、φ’＝π／２−φであり、（ｓｉｎ（π／２−φ）ｃｏｓ（ρ），ｓｉｎ（π／２−φ）ｓｉｎ（ρ），ｃｏｓ（π／２−φ））＝（ｃｏｓ（φ）ｃｏｓ（ρ），ｃｏｓ（φ）ｓｉｎ（ρ），ｓｉｎ（φ））と表される。

図１５ａ（１）（２）（３）に全方位カメラが撮像した画像の例を示す。該図においてａ（１）は全方位カメラが撮像した画像の例で対象物に輪郭線を付したものを、ａ（２）は全方位カメラが撮像した画像の例で対象物の輪郭線のみを示したものを、ａ（３）は全方位カメラが撮像した画像の例で対象物の輪郭線を付してないものである。

また、図１５ｂ（１）（２）（３）は図１５ａ（１）の画像を図５に開示した処理フローに従ってｕｖ座標値に変換し、図４に示したｕｖ画像を生成した例を示したものである。図１５においてｂ（１）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物に輪郭線を付したものを、ｂ（２）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物の輪郭線のみを示したものを、ｂ（３）は全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で対象物の輪郭線を付してないものである。

図１５ｂ（１）（２）（３）から明らかなように、本座標変換では、仰角φが小さい特徴点（建物の底辺に近い点）ほどｖ軸から遠ざかる点に測定誤差が強調されて変換される。すなわち、同じ操作により特徴点を測定した場合、ｘｙ平面上では判りづらい誤差などがｕｖ平面ではより正確に把握できるようになる。したがって、この強調された誤差が最小となるようにカメラ視点の運動及び３次元座標値を求めれば、高精度な計測が可能となる。

また、ｕｖ平面において、ロール回転運動はｖ方向の座標移動、ピッチ回転運動はｕ方向の座標移動、Ｚ軸並進運動はｕｖ座標軸系におけるスケール変換に簡略的に換算できるため、ｘｙ平面よりもロール回転、ピッチ回転、Ｚ軸並進運動の判別が容易となる。この判別の容易性を利用して、本発明では反復的に変形係数を使ってｕｖ座標値を変形させて、繰り返しカメラ運動と３次元座標値の復元を続けることで、より高精度なカメラ運動と３次元座標値を復元することが可能となっている。

次に、因子分解法処理部１４の処理概要について説明する。図２は当該処理工程をフローチャートで示したものである。先ず、計測行列入力部１４から計測行列データが供されると、係数ε_ijを式（５ｂ）のように初期化し、処理値の行列［Ｂ］と交点座標値から式（６）に示すデータを求めておき、これを改めて行列［Ｂ］として保持しておく（ステップ１０１）。このとき、計測行列入力部に保持してある処理値の行列［Ｂ］は上書きせず、図２の処理が終了するまでに保持しておく。この行列［Ｂ］が分解行列データとなる。

前記行列［Ｂ］は特異値分解（ステップ１０２）に供されて式（７）に示す３つの行列［Ｕ］、［Ｗ］、［Ｖ］に行列分解される。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。

さらに、雑音除去（ステップ１０３）において、式（８）の第二項に示すように、ランク４以上の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する（式（９））。次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（１０）及び式（ｌｌ）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

次いで、変換行列算出（ステップ１０４）では、保持してある行列［Ｕ’］を取り出し、式（１３）〜式（１５）に示す連立する条件式における対称行列［Ｃ］（式（１２）で表されている）の各要素にかかる係数を計算する。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式（１３）〜（１５）に示す連立する条件式に対して、最小二乗法などの数値計算を利用して３×３サイズの行列［Ｃ］の各要素を決定する。さらに、求めた行列［Ｃ］を式（１６）に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、式（１７）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（１８）に従って算出する。

次いで、求めた行列［Ｑ］と、保持しておいた行列［Ｕ’］から、式（１９）の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（２０）を使って、ヨー回転θ_iを復元する。

また、行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu、Ｔ_iv）から、式（２１）を使って第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を計算する（ステップ１０５）。また、式（２４）（２５）に示す誤差を計算する。

次に、式（２６）の計算を行い、各フレーム（第ｉフレーム）でのＺ軸の並進運動Ｔｚ_iを復元する（ステップ１０６）。

続いて、先に保持しておいた行列［Ｖ’］と、変換行列算出で得られた行列［Ｑ］から、式（２２）に示す行列演算を行い、行列［Ｓ’］を求める、次に、行列［Ｓ’］の要素に対して、式（２３）に示す変換を行い、これを要素とする行列を［Ｐ］とする（ステップ１０７）。行列が［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

ここで、式（２７）（２７ａ）で得られる誤差ΔＷを算出する（ステップ１０８）。ここで、この誤差がある一定値以下に収束しているか否かの場合の判断がなされる（ステップ１０９）。そして、誤差が一定値に収束している場合は処理を終了する。一方、収束していない場合は、式（２８）の演算によって変形係数δ_ijを更新する（ステップ１１０）。さらに、この係数更新に伴い式（６）により行列分解データとなる行列［Ｂ］を更新する。以上の工程を誤差ΔＷが一定値以下に収束するまで反復を繰り返す。

尚、変形係数ε_ij、δ_ijは、全方位カメラの（視点の）。Ｚ軸方向の並進運動、および光軸以外の他軸周りの回転運動ωｉ、ψｉを、それらに等価なｕｖ座標値の変形で表した場合の変形の度合いを表わす係数である。本実施形態では、平面運動と３次元情報の復元ステップで得たカメラ視点のＸＹ並進成分（Ｔｘｉ，Ｔｙｉ）と３次元情報（Ｘｊ，Ｙｊ，Ｚｊ）、並びに、光軸以外のＸＹ軸周りの回転角（ωｉ、ψｉ）を使って、ｕＶ座標値を変形させる係数（ε係数；式（２９）のε_ij）を求めると共に、平面運動と３次元情報の復元ステップで得た各特徴点の高さ情報（Ｚｊ）と前記Ｚ軸並進運動を復元するステップで得た各視点のＺ軸上の位置（Ｔｚｉ）を使って、ｕｖ座標値をスケール変換する係数（δ係数；式（２９）のδ_ij）を求めている。そして、ε係数を前記計測行列の測定ステップで得た計測行列（式（５ａ）の［Ｂ］）の各行列要素にそれぞれ掛け合わせて得た値と、計測行列測定ステップで得た計測行列の各行列要素から交点座標値（ζ、η）を差し引いた各座標値にδ係数をそれぞれ掛け合わせて得た値を合わせた新たな行列要素とする行列分解データ（式（５ｃ）の［Ｂ］）を生成している。

以上のように、本実施形態の復元装置によれば、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、光軸周りの回転と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態２）
図３ａは請求項２の発明を実施する装置の形態例を示した概略構成図である。本実施形態の復元装置は、実施形態１の復元装置において、画像変換処理部２１を備える。ここでは、時系列画像データベース１０から取り出した画像を画像変換処理部２１に供して変形画像（ｕｖ画像）を生成する点が実施形態１の復元装置と異なるため、この点だけについて説明する。

本実施形態の復元装置は、全方位画像を蓄積した時系列画像データベース１０と、各画像をｕｖ画像に変換する画像変換処理部２１と、各画像における特徴点の座標値を測定する特徴点計測部１１と、ｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部１３と、これら入カデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部１４とを備える。尚、時系列画像データベース１４には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図３ｂはリアルタイムで処理する場合の処理構成図である。当該復元装置は時系列画像データベース１０に代えて画像入力部１５を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

本実施形態では、画像変換処理部２１が時系列画像データベース１０から取り出した画像からｕｖ画像を生成する。画像変換処理部２１は、ｕｖ画像を生成するのに、ｕｖ座標値を指定して、これに該当するｘｙ座標値を算出し、その座標値の画素値を抽出してｕｖ画素とする（図５）。

図４はこの処理工程をフローチャートで示したものである。先ず、ｕｖ画像におけるｕ方向、ｖ方向の単位画素あたりの重み付けを行う。ｕｖ画像の画像サイズをＵ×Ｖ画素とし、並びに、仰角φについてφ_min≦φ≦９０度の範囲と決めたとする（ステップ２０１，２０２）。これにより、ｕ方向、ｖ方向の単位画素あたりの重み付けが式（２９）に従い決定する。

また、ｕｖ画像のｕｖ座標値範囲は画像の中心を原点（０，０）として、ｕ方向に−Ｕ／２から＋Ｕ／２，ｖ方向に−Ｖ／２から＋Ｖ／２とする。ｕ方向、ｖ方向の各座標値を表す整数ｍ，ｎ（−Ｍ’≦ｍ≦Ｍ、−Ｎ≦ｎ≦Ｎ，Ｍ：整数、Ｎ：整数、ＭとＮは同じ、すなわちｕｖ画像が正方形でもよい）を使って、ｕｖ座標値は式（３０）の演算によって得る（ステップ２０３）。

整数ｍ，ｎを変化させながら、式（３１）の演算によってその（ｕ_ij，ｖ_ij）座標値に対応する位相角ρと仰角φを求める（ステップ２０４，２０５）。

次に、式（３２）の演算によって画像座標値を算出する。この画像座標値を四捨五入で整数化したものを（ｘ_ij，ｙ_ij）とする（ステップ２０６）。

画像座標値（ｘ_ij，ｙ_ij）に対応する画素値を取り出し（ステップ２０７）、ｕｖ画像上でのｕｖ座標値に該当する座標値にその画素値を埋め込む（ステップ２０８）。これを全ｕｖ座標値に対して行うことで、ｕｖ画像を生成する（ステップ２０９）。さらに、対象とする全時系列画像を逐次、この変換を使って時系列のｕｖ画像を生成する。

その後は、実施形態１と同様の処理工程により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、光軸周りの回転と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態３）
図６ａは請求項３の発明に関する基本構成図である。本実施形態の復元装置は、実施形態１の復元装置において復元処理判定部３１を備えている。ここでは、特徴点計測部１１により得た特徴点の画像座標値を計測行列変換部１２によってｕｖ座標値に変換したとき復元処理判定部３１においてカメラ運動と３次元情報を復元するための処理を判定する点が実施形態１の復元装置と異なるので、この点だけについて説明する。尚、時系列画像データベース１０には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図６ｂはリアルタイムで処理する場合の復元装置の概略構成を示し、当該復元装置は時系列画像データベース１０に代えて画像入力部１６を備えている。したがって、本実施形態の復元装置は必ずしも各データベース部等の記憶手段を必要としない。

計測行列変換部１２は特徴点計測部１１で得た特徴点の画像座標値からｕｖ座標値に変換して計測行列［Ｂ］を保持する。この計測行列［Ｂ］は式（５ａ）の形式で保持している。次に、復元処理判定部３１での処理を行う。

図７は復元処理判定部３１での処理をフローチャートで示したものである。計測行列変換部１２かから計測行列［Ｂ］が入力されると（ステップ３０１）、この行列は式（８）の演算による特異値分解によって特異値行列［Ｗ］に変換される（ステップ３０２）。特異値行列［Ｗ］は対角行列であり、その各要素である特異値は昇降順の並びで、かつ全て正の実数となっている。この特異値の中から３×３の行列要素Ｗ₃₃と４×４の行列要素Ｗ₄₄の特異値が取り出される。ランク検出（ステップ３０３）では、式（３３ａ）または式（３３ｂ）に示した演算によって判定量Ｅ_Wを得ている。

特異値Ｗ₃₃は、カメラが自由度３以上の運動を行う場合に正の有限値となり、また、特異値Ｗ₄₄は、カメラが自由度４以上の運動を行う場合に正の有限値となり、かつ自由度３未満の運動を行う場合にはほぼ０となる、という性質を有しているため、判定量Ｅ_Wはカメラの運動の自由度を判定する目安とすることができる。

そして、判定量Ｅ_Wがある許容値δＷ未満であるか、または判定量Ｅ_Wが許容値δＷ以上かを判定する（ステップ３０４）。この許容値δＷは特定の一定値であり、作業者が逐次、その値を設定することもできる。

ここで、判定量Ｅ_Wがある許容値δｗ未満の場合は、カメラ運動が平面進動をしたと判断（ステップ３０５）して処理Ａに進む（ステップ３０６）。一方、判定量Ｅ_Wがある許容値δＷ以上の場合は、カメラ運動が自由度４の運動をしたと判断（ステップ３０７）して処理Ｂに進む（ステップ３０８）。

処理Ｂとは実施形態１の処理を行って、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち光軸周りの回転とＸＹＺ並進運動、並びに物体形状を構成する３次元情報を復元する処理である。そのため、以降では、処理Ａについて説明する。

図８は因子分解法処理部１４において行なわれる処理Ａのフローチャートを示したものである。

復元処理判定部１５において行った特異値分解により式（７）の３つの行列［Ｕ］、［Ｗ］、［Ｖ］に行列分解した各行列データを入力する（ステップ３０９）。ここで、［Ｕ］は２Ｆ×Ｐサイズの行列、［Ｗ］はＰ×Ｐサイズの対角行列、［Ｖ］はＰ×Ｐサイズの行列である。先ず、雑音除去（ステップ３１０）において、式（８）の第二項に示すようにランク４以上の各行列の成分を削除する。この削除のときは、行列［Ｕ］を取り出し、この行列の要素において第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｗ］を取り出し、この行列の要素において第４から第Ｐ行目並びに第４から第Ｐ列目までを削除し、残りの成分からなる行列を保持し、行列［Ｖ］を取り出し、この行列の要素において第４から第Ｐ行目までを削除し、残りの成分からなる行列をそれぞれ保持する（式（９））。次に、第４から第Ｐ行目並びに第４から第Ｐ列目までを削除した行列［Ｗ］の対角要素の平方をとった行列から、式（１０）（１１）に示す行列［Ｕ’］と行列［Ｖ’］を得る。

続いて、変換行列算出（ステップ３１１）では、保持してある行列［Ｕ’］を取り出し、式（１３）〜（１５）に示す連立する条件式における対称行列［Ｃ］（式（１２）で表されている）の各要素にかかる係数を計算する。これらの係数計算は、行列演算により容易に得られるものであり、この条件式を全フレームに対して計算する。次に、全フレームの式（１３）〜（１５）に示す連立する条件式に対して、最小二乗法などの数値計算を利用するなどして３×３サイズの行列［Ｃ］の各要素を決定する。

さらに、求めた行列［Ｃ］を式（１６）に示すように固有値分解する。ここで、固有値行列の平方と固有値行列から、式（１７）の行列［Ｃ’］を生成し、この行列要素を成分にもつ行列［Ｑ］を式（１８）に従って算出する。

続いて、平面運動復元（ステップ３１２）において、前記行列［Ｑ］と、保持しておいた行列［Ｕ’］から、式（１９）の行列演算により行列［Ｍ’］を計算する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（ｍ_ix，ｎ_ix）または（ｍ_iy，ｎ_iy）を取り出し、式（２０）の演算によってヨー回転θ_iを復元する。行列［Ｍ’］から各フレーム（第ｉフレーム）の行列要素（Ｔ_iu，Ｔ_iv）を取り出す。この（Ｔ_iu，Ｔ_iv）から、式（２１）の演算によって第ｉフレームにおけるユークリッド空間でのＸＹ並進運動（Ｔｘ_i，Ｔｙ_i）を算出する。

さらに、３次元情報復元（ステップ３１３）では、先に保持しておいた行列［ｖ’］と、変換行列算出で得られた行列［Ｑ］から、式（２２）に示す行列演算を行い、行列［Ｓ’］を求める。次に、行列［Ｓ’］の要素に対して、式（２３）に示す変換を行い、これを要素とする行列を［Ｐ］とする。行列を［Ｐ］の列ベクトルは、それぞれ第ｊ番目の特徴点のユークリッド空間での３次元座標値（Ｘ_j，Ｙ_j，Ｚ_j）になっている。

このようにして本実施形態の復元装置によれば、復元処理判定部３１においてカメラ運動が平面運動をしていると判定された場合、処理Ａの実行によって、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち光軸周りの回転とＸＹ並進運動、並びに物体形状を構成する３次元情報を復元する。

また、復元処理判定部３１においてカメラ運動が自由度４の運動をしていると判定された場合、実施形態１と同様に、図２に示した処理工程に基づく処理Ｂの実行により、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち、光軸周りの回転と三軸方向の並進運動、並びに、物体形状を構成する３次元情報を復元することができる。

（実施形態４）
図９ａは請求項４の発明を実施する形態例の概略構成図である。本実施形態の復元装置は、実施形態２の復元装置において復元処理判定部３１を備えている。ここでは、時系列のｕｖ画像において特徴点計測部１１にて各特徴点のｕｖ座標値を測定したとき、この座標値を復元処理判定部３１に供してカメラ運動と３次元情報を復元する処理を判定する点が実施形態２の復元処理装置と異なるため、この点だけについて説明する。本実施例において、時系列画像データベースは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。

また、図９ｂはリアルタイムで処理する場合の処理構成図であり、本実施形態の復元装置も実施形態１、２及び３の復元装置と同様に時系列画像データベース１０の代わりに画像入力部１６を備えている。したがって、本実施形態の復元装置も必ずしも各データベース部１０等の記憶手段を必要としない。

特徴点計測部１１は、各特徴点のｕｖ座標値を得て、これらを行列要素とする計測行列［Ｂ］を保持する。この計測行列［Ｂ］は式（５ａ）の形式で保持されている。次に、計測行列［Ｂ］は復元処理判定部３１での処理に供される。復元処理判定部３１での処理フローは図７に示したフローチャートに基づく。すなわち、計測行列［Ｂ］を式（７）の演算に供して特異値分解を行い、特異値行列［Ｗ］を得る。特異値行列［Ｗ］は対角要素であり、その各要素である特異値は昇降順の並びで、かつ全て正の実数となっている。そして、この特異値の中から３×３の行列要素Ｗ₃₃と４×４の行列要素Ｗ₄₄の特異値を取り出している。ランク検出では、式（３３ａ）または式（３３ｂ）に示す演算によって判定量Ｅ_Wを得ている。

次いで、判定量Ｅ_Wがある許容値δＷ未満であるか、または判定量Ｅ_Wが許容値δＷ以上かを判定する。この許容値δＷは特定の一定値であり、作業者が逐次、値を設定することもできる。そして、判定量Ｅ_Wがある許容値δＷ未満の場合は、カメラ運動が平面運動をしたと判断して処理Ａに進む。一方、判定量Ｅｗがある許容値δＷ以上の場合は、カメラ運動が自由度４の運動をしたと判断して処理Ｂに進む。処理Ｂは、実施形態２と同様の処理を行なって、全方位映像の特徴点の時間的動きから、全方位カメラ視点の運動、すなわち光軸周りの回転と三軸方向の並進運動、並びに物体形状を構成する３次元情報を復元する処理である。尚、処理Ａについては、実施形態３における処理Ａと同じであるので、その説明は省略する。

次に、本発明の復元装置の様々な利用形態について述べる。

図１１は階段２などの上下方向の上り下りがある場合に、本発明の復元装置を備えた全方位カメラ１を使って撮影した場合の形態を示したものである。この場合、Ｚ軸方向の運動があるため、本発明の復元装置によればＺ軸運動の復元、並びに外界の３次元情報を同時に復元することができる。

図１２は本発明の復元装置を備えた全方位カメラ１を吊るして撮影した場合の形態である。左図は建物５の屋上または天井から水平維持部４によって吊るした全方位カメラ１をワイヤ等の吊り下げ手段３によって上下方向に運動させて撮影する場合の形態を示したものである。右図は配管などの中空円筒状部材６の中空部において水平維持部４によって全方向カメラ１を吊るしながら撮影する場合の形態である。いずれの場合においてＺ軸方向の運動があり、本発明の復元装置によれば、Ｚ軸運動の復元、並びに外界の３次元情報を同時に復元することができる。

図１３は部屋７の天井部７０に設置した本発明の復元装置を備えた全方位カメラ１を水平方向、または上下方向に移動させて撮影する形態である。この場合、本発明の復元装置によれば、部屋７内の３次元化を行うことができ、Ｚ軸方向に移動させるだけでも人物７１を含めたオブジェクト７１，７２に関する３次元情報の復元ができる。

図１４は、本発明の復元装置を備えた全方位カメラ１を車載８に取り付けた場合である。車両の移動を伴う全方位カメラ１を使って運動と３次元情報を復元する場合、従来は全方位カメラが微小に振動するためロバストに復元することが困難である。本発明の復元装置を備えた全方位カメラ１によれば車両を運転または停止させた状態でも、外界の３次元情報をロバストに復元することができる。また、車両８に取り付けなくても、本発明の復元装置を備えた全方位カメラ１を三脚に取り付けて、このカメラを上下方向に移動させることで、同様の効果がある。

以上の実施形態で述べた復元方法は、図１ａ〜図９ｂで示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、ＦＤ（フロッピーデイスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。

そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。

請求項１記載の発明を実施する装置の形態例を示した概略構成図。 請求項１記載の発明を実施する装置の形態例を示した概略構成図。 因子分解法処理部１５における処理工程を説明したフローチャート。 請求項２記載の発明を実施する装置の形態例を示した概略構成図。 請求項２記載の発明を実施する装置の形態例を示した概略構成図。 画像変換処理部２１におけるｕｖ画像変換の処理工程を説明したフローチャート。 ｕｖ画像生成を説明した説明図。 請求項３記載の発明を実施する装置の形態例を示した概略構成図。 請求項３記載の発明を実施する装置の形態例を示した概略構成図。 復元処理判定部３１での処理工程を説明したフローチャート。 因子分解法処理部１５において行なわれる処理Ａを説明したフローチャート。 請求項４記載の発明を実施する装置の形態例を示した概略構成図。 請求項４記載の発明を実施する装置の形態例を示した概略構成図。 全方位カメラと復元する空間情報とカメラ座標を示す図。 本発明の復元装置を備えた全方位カメラ１の利用形態。 本発明の復元装置を備えた全方位カメラ１の利用形態。 本発明の復元装置を備えた全方位カメラ１の利用形態。 本発明の復元装置を備えた全方位カメラ１の利用形態。 全方位カメラが撮像した画像の例で、対象物に輪郭線を付したもの。 全方位カメラが撮像した画像の例で、対象物の輪郭線のみを示したもの。 全方位カメラが撮像した画像の例で、対象物に輪郭線を付していないもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物に輪郭線を付したもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物の輪郭線のみを示したもの。 全方位カメラが撮像した画像をｕｖ座標変換して得た画像の例で、対象物に輪郭線を付していないもの。

符号の説明

１０…時系列画像データベース、１１…特徴点計測部、１２…計測行列変換部、１３…交点座標計測部、１４…計測行列入力部、１５…分子分解法処理部、１６画像入力部
２１…画像変換処理部
３１…復元処理判定部

Claims (16)

1. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法であって、
   取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値を測定するステップ（計測行列測定ステップ）と、
   この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、この各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
   を特徴とする全方位カメラ視点運動と３次元情報の復元方法。
2. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに外界の物体形状を構成する３次元情報を復元する方法であって、
   取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値を測定するステップ（ｕｖ計測行列測定ステップ）と、
   このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
   を特徴とする全方位カメラ視点運動と３次元情報の復元方法。
3. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動の自由度を表す判定値を算出し、
   判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
   を特徴とする請求項１記載の全方位カメラ視点運動と３次元情報の復元方法。
4. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動を表す判定値を算出し、
   判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、請求項２記載の復元方法によってカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
   を特徴とする請求項２記載の全方位カメラ視点運動と３次元情報の復元方法。
5. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
   各画像における特徴点の座標値を測定する特徴点計測部と、
   前記特徴点計測部で得た画像座標値をｕｖ画像に変換する計測行列変換部と、
   前記ｕｖ画像のｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
   計測行列入力部とから供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備えたこと
   を特徴とする全方位カメラ運動と３次元情報の復元装置。
6. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する装置であって、
   各画像をｕｖ画像に変換する画像変換処理部と、
   各画像における特徴点の座標値を測定する特徴点計測部と、
   前記ｕｖ画像のｕｖ座標値を行列要素とする行列を初期値として与える計測行列入力部と、
   計測行列入力部から供給されたデータから因子分解法によりカメラの運動と外界の３次元情報を復元する因子分解法処理部とを備えたこと
   を特徴とする全方位カメラ運動と３次元情報の復元装置。
7. 前記計測行列変換部から供給されたｕｖ画像を特異値分解して得た特異値成分から運動の自由度を表す判定値を算出する復元処理判定部を備え、
   判定値がある一定値未満の場合は、カメラ運動が平面運動をしたとみなして、
   前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元する処理を行なうこと
   を特徴とする請求項５記載の全方位カメラ運動と３次元情報の復元装置。
8. 前記特徴点計測部からｕｖ画像を特異値分解して得る特異値成分から運動を表す判定値を算出する復元処理判定部を備え、
   判定値がある一定値末満の場合は、カメラ運動が平面運動をしたとみなして、前記因子分解法処理部は光軸周りの回転とその光軸に垂直な平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
   判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしたとみなして、前記因子分解法処理部はカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元する処理を行なうこと
   を特徴とする請求項６記載の全方位カメラ運動と３次元情報の復元装置。
9. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムであって、
   取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値を測定するステップ（計測行列測定ステップ）と、
   この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、この各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
   この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
   このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
   を特徴とする全方位カメラ視点運動と３次元情報の復元方法を実行するプログラム。
10. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムであって、
    取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値を測定するステップ（ｕｖ計測行列測定ステップ）と、
    このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ視点運動と３次元情報の復元方法を実行するプログラム。
11. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動の自由度を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
    を特徴とする請求項９記載の全方位カメラ視点運動と３次元情報の復元方法を実行するプログラム。
12. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、請求項２記載の復元方法によってカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
    を特徴とする請求項１０記載の全方位カメラ視点運動と３次元情報の復元方法を実行するプログラム。
13. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに、外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    取得した時系列の全方位画像（または広視野画像）に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示す画像座標値を測定するステップ（計測行列測定ステップ）と、
    この計測行列測定ステップにおいて得た各特徴点の画像座標値から算出される位相角と仰角により別の座標値（ｕｖ座標値）を求め、この各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元ステップで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ視点運動と３次元情報の復元方法を実行するプログラムを記録した記録媒体。
14. 全方位カメラから取得した時系列の全方位画像（または広視野画像）中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、時系列における全方位カメラ視点の運動、並びに外界の物体形状を構成する３次元情報を復元する方法をコンピュータによって実行するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    取得した時系列の全方位画像（または広視野画像）に対して、各画像座標値から得られる位相角と仰角により各画像座標値をｕｖ座標値に変換して各画素をそのｕｖ座標値に対応付けるように時系列画像（ｕｖ画像）を生成し、このｕｖ画像に設定した特徴点座標系において、各画像における特徴点の時間的変化量を示すｕｖ座標値を測定するステップ（ｕｖ計測行列測定ステップ）と、
    このｕｖ計測行列測定ステップにおいて得た各特徴点のｕｖ座標値から復元処理するための行列データ（行列分解データ）を生成し、この行列分解データを特異値分解し雑音除去を行って運動情報を表す行列データと３次元情報を表す行列データを得て、その運動情報の成分において、運動を規定するために設定した条件を満足する変換行列を求め、運動情報となる行列データにこの変換行列を作用させて全方位カメラ視点の光軸周りの回転運動とその軸に垂直な平面（ＸＹ平面）上の並進運動（この自由度３の運動を平面運動と称する）を復元し、さらに、３次元情報を表す行列データにこの変換行列の逆行列を作用させて物体形状を構成する３次元情報を復元するステップ（平面運動と３次元情報の復元ステップ）と、
    この平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から各特徴点に関するｕｖ座標系での再投影座標値を求め、その再投影座標値と行列分解データを構成する行列要素との間の誤差を算出し、この誤差と、平面運動と３次元情報の復元ステップで得た特徴点のＺ座標値（３次元情報の成分）を使って、カメラ視点のＺ軸方向の並進運動を復元するステップ（Ｚ軸並進運動復元ステップ）と、
    このＺ軸並進運動復元スナッブで得た誤差が、ある一定値以下に収束しているかどうかを判断し、もし、収束していないならば、平面運動と３次元情報の復元ステップで得た平面運動と３次元情報から変形係数を求め、この変形係数を各特徴点のｕｖ座標値に結合させて新たなｕｖ座標値を求め、これを行列要素とする行列分解データを生成し、平面運動と３次元情報の復元ステップに戻り、誤差が一定値以下に収束するまで反復して、全方位カメラ運動と３次元情報を復元するステップとを有すること
    を特徴とする全方位カメラ視点運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録した記録媒体。
15. 前記計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動の自由度を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、カメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
    を特徴とする請求項１３記載の全方位カメラ視点運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録した記録媒体。
16. 前記ｕｖ計測行列測定ステップにおいて、計測行列を特異値分解して得る特異値成分において、その成分から運動を表す判定値を算出し、
    判定値がある一定値未満の場合は、カメラ運動が平面運動とみなして、前記全方位カメラ運動と３次元情報を復元するステップにおいて、光軸周りの回転とある平面上の運動からなる自由度３の平面運動と３次元情報を復元する処理を行い、
    判定値がある一定値以上の場合は、カメラ運動が自由度４の運動をしているとみなして、前記全方位カメラ運動と３次元情報を復元するステップによって、請求項２記載の復元方法によってカメラに関する回転と並進運動からなる自由度４の運動と外界の３次元情報を復元すること
    を特徴とする請求項１４記載の全方位カメラ視点運動と３次元情報の復元方法をコンピュータによって実行するプログラムを記録した記録媒体。
    

Images