JP4886661B2 - カメラパラメータ推定装置およびカメラパラメータ推定プログラム - Google Patents

Description

本発明は、被写体をカメラで撮像した際のカメラパラメータを推定するカメラパラメータ推定装置およびカメラパラメータ推定プログラムに関する。

一般に、被写体をカメラで撮像した画像と他の画像とを合成する場合、カメラの撮像時における姿勢、位置、画角等のカメラパラメータを基準にして合成される。この場合、予めカメラ位置等が既知のカメラとして較正されたカメラパラメータを用いたり、カメラ位置等が未知のカメラで撮像した画像から推定したカメラパラメータを用いたりすることが一般的である。

なお、画像からカメラパラメータを推定する手法は種々存在する。例えば、三次元の相対位置関係が時間によって変化しない既知の複数の対象物（ランドマーク群）を用い、画像内の各対象物の座標（画像座標群）を観測することで、当該画像を撮像したカメラのカメラパラメータを推定する手法がある（特許文献１参照）。また、透視４点問題（Ｐ４Ｐ問題：Ｐｅｒｓｐｅｃｔｉｖｅ Ｆｏｕｒ−Ｐｏｉｎｔ Ｐｒｏｂｌｅｍ）を解くことにより、ランドマーク群に対するカメラの相対位置や姿勢を推定する手法がある（非特許文献１参照）。また、例えば、長方形のマーカの時間的な軌跡からカメラの相対位置や姿勢を推定する手法がある（特許文献２参照）。

また、三次元的な相対位置関係が時間によって変化しない、互いの相対位置関係が未知のランドマーク群を用い、当該ランドマーク群に対して相対的に移動するカメラでランドマーク群の画像座標群を複数時点にわたって観測することにより、ランドマーク群に対するカメラの相対位置や姿勢、ランドマーク間の相対位置関係を推定する手法がある（非特許文献２参照）。

さらにまた、スポーツ競技場に引かれたライン等、その三次元形状が既知の線状のランドマーク群の画像をハフ変換や一般化ハフ変換により検出し、そのハフパラメータに基づいて、ランドマーク群に対するカメラの相対位置や姿勢を推定する手法がある（特許文献３参照）。
特開２００６−３３４４９号公報 特開２００３−１９６６６３号公報 特開２００４−２３４３３３号公報 H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, K. Tachibana. Virtual Object Manipulation on a Table-Top AR Environment. In Proceedings of ISAR 2000, Oct 5th-6th, 2000. J. Weng, T. S. Huang, N. Ahuja. Motion and Structure from Two Perspective Views: Algorithms, Error Analysis, and Error Estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 11, Issue 5, pp. 451-476, May 1989.

しかし、前記した特許文献１，２や非特許文献１に記載された手法では、ランドマーク群の配置が固定されるため、カメラの撮像範囲が狭い場合には有効であるが、広範囲なカメラの姿勢、位置、画角等に対してカメラパラメータを取得するためには、予め想定される撮影領域に一定個数以上のランドマークが含まれるように、数多くのランドマークを広範囲にわたって密に設置する必要がある。

また、非特許文献２に記載された手法では、カメラ（具体的には第一光学主点）がランドマーク群に対して移動しない限り、原理的にカメラパラメータを取得することができないという問題がある。また、その移動量が小さい場合、カメラの操作がない場合、カメラの操作がパン、チルトおよびズームまでに限定される場合等、カメラが十分な移動を伴わない場合には本手法を使用することができないという問題がある。

さらに、特許文献３に記載された手法では、特許文献１，２や非特許文献１に記載された手法と同様に、予め想定される撮影領域に一定個数以上のランドマークが含まれるようにする必要がある上、ランドマークの形状も既定の直線や曲線に限定されてしまう。

本発明は、以上のような課題を解決するためになされたものであり、ランドマークの位置を固定することなく、任意の固定物体や移動物体をランドマークとしてカメラパラメータを推定することが可能なカメラパラメータ推定装置およびカメラパラメータ推定プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラパラメータ推定装置は、外部パラメータであるカメラの設置位置および設置姿勢と、内部パラメータであるレンズの焦点距離とからなるカメラパラメータが既知である第一カメラが撮像した第一画像と、そのカメラパラメータの少なくとも１つが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するカメラパラメータ推定装置であって、第一ランドマーク抽出手段と、第二ランドマーク抽出手段と、ランドマーク対応付け手段と、位置推定手段と、パラメータ推定手段と、を備える構成とした。

かかる構成において、カメラパラメータ推定装置は、第一ランドマーク抽出手段によって、ランドマークの画像特徴により、第一画像からランドマークの当該画像における座標を参照画像座標として抽出する。また、カメラパラメータ推定装置は、第二ランドマーク抽出手段によって、ランドマークの画像特徴により、第二画像からランドマークの当該画像における座標を観測画像座標として抽出する。このランドマークの画像特徴は、輝度、色、パターン等の予め定めた特徴とすることができる。なお、第一ランドマーク抽出手段と第二ランドマーク抽出手段とでは、ランドマークの座標の位置を抽出すればよいため、必ずしも同じ画像特徴を用いる必要はない。

そして、カメラパラメータ推定装置は、ランドマーク対応付け手段によって、第一画像上の参照画像座標に対応する画像特徴と、第二画像上の観測画像座標に対応する画像特徴との類似の度合いに基づいて、第一画像と第二画像との間でランドマークの対応付けを行う。これによって、ランドマークが複数抽出された場合に、第一画像上のランドマークと第二画像上のランドマークとが１対１に対応付けられることになる。

また、カメラパラメータ推定装置は、位置推定手段によって、第一カメラのカメラパラメータである既知カメラパラメータに基づいて、参照画像座標を予め定めた拘束条件で逆投影変換することで、ランドマークの三次元座標を推定する。例えば、位置推定手段は、ランドマークが地面に存在するという拘束条件を与えることで、二次元の座標から、三次元の座標を推定することができる。

そして、カメラパラメータ推定装置は、パラメータ推定手段によって、ランドマーク対応付け手段により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する三次元座標と観測画像座標とに基づいて、第二カメラのカメラパラメータである推定カメラパラメータを推定する。なお、パラメータ推定手段における推定カメラパラメータの推定は、既知の透視ｎ点問題の解法を適用することができる。

また、請求項２に記載のカメラパラメータ推定装置は、請求項１に記載のカメラパラメータ推定装置において、ランドマーク対応付け手段が、第一特徴抽出手段と、第二特徴抽出手段と、照合手段と、を備える構成とした。

かかる構成において、カメラパラメータ推定装置は、ランドマーク対応付け手段において、第一特徴抽出手段によって、第一画像から、参照画像座標の近傍領域の画像特徴を第一特徴として抽出する。また、カメラパラメータ推定装置は、第二特徴抽出手段によって、第二画像から、観測画像座標の近傍領域の画像特徴を第二特徴として抽出する。これによって、画像特徴はある程度の誤差を許容した特徴量となる。そして、カメラパラメータ推定装置は、照合手段によって、第一特徴と第二特徴との類似の度合いに基づいてランドマークを対応付ける。

さらに、請求項３に記載のカメラパラメータ推定装置は、請求項１または請求項２に記載のカメラパラメータ推定装置において、パラメータ推定手段が、座標対応付け手段と、パラメータ算出手段と、を備える構成とした。

かかる構成において、カメラパラメータ推定装置は、パラメータ推定手段において、座標対応付け手段によって、位置推定手段で推定された三次元座標とランドマーク対応付け手段での対応結果とに基づいて、観測画像座標に三次元座標を対応付ける。これによって、第二カメラが撮像した第二画像から得られた二次元の観測画像座標が、実空間上の三次元座標に変換されることになる。

そして、カメラパラメータ推定装置は、パラメータ算出手段によって、複数の観測画像座標の三次元座標から推定カメラパラメータを算出する。このように、パラメータ算出手段は、座標対応付け手段で対応付けられた観測画像座標の三次元座標を逐次入力することで、透視ｎ点問題を解決するための座標が入力された段階で、透視ｎ点問題の解決手法により、推定カメラパラメータを算出する。

また、請求項４に記載のカメラパラメータ推定プログラムは、外部パラメータであるカメラの設置位置および設置姿勢と、内部パラメータであるレンズの焦点距離とからなるカメラパラメータが既知である第一カメラが撮像した第一画像と、そのカメラパラメータの少なくとも１つが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するために、コンピュータを、第一ランドマーク抽出手段、第二ランドマーク抽出手段、ランドマーク対応付け手段、位置推定手段、パラメータ推定手段、として機能させる構成とした。

かかる構成において、カメラパラメータ推定プログラムは、第一ランドマーク抽出手段によって、ランドマークの画像特徴により、第一画像からランドマークの当該画像における座標を参照画像座標として抽出する。また、カメラパラメータ推定プログラムは、第二ランドマーク抽出手段によって、ランドマークの画像特徴により、第二画像からランドマークの当該画像における座標を観測画像座標として抽出する。

そして、カメラパラメータ推定プログラムは、ランドマーク対応付け手段によって、第一画像上の参照画像座標に対応する画像特徴と、第二画像上の観測画像座標に対応する画像特徴との類似の度合いに基づいて、第一画像と第二画像との間でランドマークの対応付けを行う。

また、カメラパラメータ推定プログラムは、位置推定手段によって、第一カメラのカメラパラメータである既知カメラパラメータに基づいて、参照画像座標を予め定めた拘束条件で逆投影変換することで、ランドマークの三次元座標を推定する。

そして、カメラパラメータ推定プログラムは、座標対応付け手段によって、位置推定手段で推定された三次元座標とランドマーク対応付け手段での対応結果とに基づいて、観測画像座標に三次元座標を対応付ける。そして、カメラパラメータ推定プログラムは、パラメータ算出手段によって、複数の観測画像座標の三次元座標から推定カメラパラメータを算出する。

請求項１，３，４に記載の発明によれば、カメラパラメータが既知のカメラで撮像した画像と、カメラパラメータが未知のカメラで撮像した画像とから、同一のランドマークを抽出し対応付けることができるため、ランドマークの位置を固定することなく、任意の固定物体や移動物体をランドマークとして未知のカメラパラメータを推定することができる。これによって、固有のランドマークを設置する必要がないため、撮像現場において、不要なマークを除去することができ、自然な映像を撮像することができる。また、請求項１，３，４に記載の発明によれば、カメラパラメータが既知のカメラと未知のカメラとで、それぞれの撮像画像内に少なくともランドマークを１個以上含んでいれば、逐次撮像される画像から、複数のランドマークの位置を検出することができ、未知のカメラパラメータを推定することができる。これによって、カメラパラメータを推定する際のランドマークの数を減らすことができる。

請求項２に記載の発明によれば、第一画像における参照画像座標の画像特徴と、第二画像における観測画像座標の画像特徴とを、それぞれ座標位置の近傍領域の画像特徴とするため、誤差を吸収し、第一画像と第二画像とにおいてランドマークを精度よく対応付けることができる。これによって、未知のカメラパラメータの推定精度を高めることができる。

以下、本発明の実施形態について図面を参照して説明する。
［本発明の概要］
最初に、図１を参照して、本発明の概要について説明する。図１は、本発明の概要を説明するための説明図である。

カメラパラメータ推定装置１は、カメラパラメータが既知であるカメラ（第一カメラ）Ｃ１が撮像した画像（第一画像）と、カメラパラメータが未知であるカメラ（第二カメラ）Ｃ２が撮像した画像（第二画像）とに基づいて、カメラＣ２のカメラパラメータを推定するものである。

ここでは、カメラパラメータ推定装置１は、カメラＣ１が撮像した画像と、カメラＣ１が撮像した画像とから、複数の動物体や静止物体をランドマークＭ（図１では、選手）として抽出する。なお、ランドマークは、画像上において他の局所領域から区別可能な濃淡または色の変化を有する領域である。

そして、カメラパラメータ推定装置１は、カメラＣ１で捉えたランドマークＭとカメラＣ１の既知のカメラパラメータとに基づいて、ランドマークＭの実空間上における座標（三次元座標）を算出し、カメラＣ２で捉えたランドマークＭの画像座標との対応付けを行うことで、カメラＣ２のカメラパラメータを推定する。

なお、図１では、カメラＣ１，Ｃ２をサッカー競技場に設置し、選手をランドマークとした例を示しているが、ランドマークＭの一部がカメラＣ１，Ｃ２で同時に観測可能であれば、設置場所に限定されるものではない。

［カメラパラメータについて］
次に、本発明の実施形態に係るカメラパラメータ推定装置におけるカメラパラメータについて説明する。

カメラパラメータとは、カメラの設置位置と設置姿勢とで決まる外部パラメータ、並びに、レンズの焦点距離および歪と、撮像素子の形状、画素サイズおよび画素数と、レンズおよび撮像素子の相対位置関係とを含む内部パラメータの両者を包含する指標である。なお、本実施形態においては、カメラパラメータとして、カメラの設置位置および設置姿勢、並びに、レンズの焦点距離を用いることとする。このカメラの設置位置および設置姿勢は、実空間上に固定して定義した任意の座標系（以下、ワールド座標系という）を基準として定義することができる。

このワールド座標系は、カメラＣ１，Ｃ２（図１参照）が設置された空間の代表的な任意の点を原点とし、また、代表的かつ独立な３方向を軸方向とする。例えば、カメラＣ１，Ｃ２を図１に示したようなサッカー競技場に設置する場合、サッカーコートのセンターマークの位置をワールド座標系の原点とし、タッチライン方向（ｘ軸）、ハーフウェイライン方向（ｙ軸）および鉛直上方向（ｚ軸）をワールド座標系の３軸とする。また、例えば、カメラＣ１，Ｃ２をスタジオ等の室内に設置する場合には、その室内の床の中心をワールド座標系の原点とし、水平東方向、水平北方向および鉛直上方向をワールド座標系の３軸とする。

そして、カメラの設置姿勢は、カメラに固定されたカメラ座標系と、前記したワールド座標系との間の姿勢変換により表現することができる。例えば、カメラの設置姿勢は、以下の（１）式に示すように、実空間上のある方向ベクトルをワールド座標系から見たときのベクトルｖ^（ｗ）をカメラ座標系で見たときのベクトルｖ^（ｃ）に変換する３行３列の回転行列Ｒにより表現することができる。

また、カメラの設置位置は、カメラ座標系の原点位置をワールド座標系で見たときの位置ベクトルとして定義することができる。例えば、カメラの設置位置は、前記した回転行列Ｒと、カメラの設置位置の位置ベクトルｔとを用いることで、以下の（２）式に示すように、ワールド座標系における位置ベクトルｐ^（ｗ）をカメラ座標系における位置ベクトルｑ^（ｃ）に変換することができる。なお、位置ベクトルの各成分の単位は任意であるが、例えばメートルを単位とすることができる。

前記した（１）式および（２）式で用いたカメラ座標系は、例えば、カメラのレンズの第一光学主点を原点とし、カメラの画像平面上の独立な２方向に２軸をとり、光軸方向に残りの１軸をとることができる。また、カメラの画像平面上の独立な２方向は、例えば、カメラの撮像素子の水平方向と垂直方向とにより定義することができる。
以下、本発明の実施形態に係るカメラパラメータ推定装置の構成および動作について詳細に説明を行う。

［カメラパラメータ推定装置の構成］
まず、図２を参照して、本発明の実施形態に係るカメラパラメータ推定装置の構成について説明する。図２は、本発明の実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。

ここでは、カメラパラメータ推定装置１は、第一ランドマーク抽出手段１０と、第二ランドマーク抽出手段１１と、ランドマーク対応付け手段１２と、位置推定手段１３と、パラメータ推定手段１４とを備える。そして、カメラパラメータ推定装置１は、カメラＣ１とカメラＣ２とを外部に接続している。

カメラＣ１は、カメラパラメータが既知のカメラである。また、カメラＣ２は、カメラパラメータが未知のカメラである。カメラＣ１で撮像された画像（第一画像）と、カメラＣ２で撮像された画像（第二画像）とが、カメラパラメータ推定装置１に入力される。

ここで、第一画像および第二画像の画像座標系は、画像面上における二次元の座標系を用い、ここでは、カメラ座標系を構成する３軸のうち、画像平面上にとった２軸をもって画像座標系とする。また、以下の説明において、カメラＣ１で撮像された第一画像をＩ、第一画像Ｉの画像座標ｒにおける画素値をＩ（ｒ）と表記することとする。また、カメラＣ２で撮像された第二画像をＪ、第二画像Ｊの画像座標ｏにおける画素値をＪ（ｏ）と表記することとする。

なお、カメラＣ１，Ｃ２がモノクロカメラの場合、画素値は、例えば、２値以上（例えば２５６値）の離散スカラ値で表すことができる。また、カメラＣ１，Ｃ２がカラーカメラや多バンドカメラの場合、画素値は、例えば、二次元以上（例えば赤、緑、青の三次元）、かつ、各次元２値以上（例えば２５６値）の離散ベクトル値で表すことができる。また、カメラＣ１，Ｃ２がカラーカメラや多バンドカメラの場合、カラーテーブル（色変換テーブル：離散的なインデックス値と画素の色とを関連付ける表）を用いることにより、画素値を２値以上（例えば６５５３６値）の離散スカラ値のカラーインデックスで表しても構わない。

また、カメラＣ１とカメラＣ２とは、ランドマークを対応付けるため、少なくとも１個以上のランドマークを共通に撮像する必要がある。例えば、図１に示したサッカー競技場で使用する場合、カメラＣ１がサッカーフィールド全体を撮像し、カメラＣ２がサッカーフィールド内のランドマークを含んだ一部を撮像することとすることで、少なくとも１個以上のランドマークを共通に撮像することができる。

第一ランドマーク抽出手段１０は、ランドマークの予め定めた画像特徴に基づいて、カメラパラメータが既知であるカメラＣ１が撮像した第一画像から、複数のランドマークの当該画像における座標（以下、参照画像座標という）を抽出するものである。第一ランドマーク抽出手段１０は、抽出した参照画像座標に識別子（第一識別子）を付してランドマーク対応付け手段１２および位置推定手段１３に出力する。また、第一ランドマーク抽出手段１０で抽出されたランドマークの個数をＭ個とし、そのｍ番目（ｍ＝１，２，…，Ｍ）のランドマークの参照画像座標をｒ_ｍとする。また、前記ｍを第一識別子として使用する。

なお、第一ランドマーク抽出手段１０は、例えば、画像上の局所領域における方向分散の最小値を画像特徴とし、当該画像特徴が極大になる点を選択するＭｏｒａｖｅｃのインスタントオペレータを用いることでランドマークを抽出することができる。また、特定の色で塗装された物体、同心円パターンを有する円盤等のマーカを被写界に人為的に設置する場合、第一ランドマーク抽出手段１０は、特定の色やパターンを検出するオペレータを画像に適用し、検出された点あるいは検出領域の代表点（例えば重心）を、ランドマークとして抽出することとしてもよい。

さらに、第一ランドマーク抽出手段１０は、動物、人物（あるいは人物の顔）等の移動物体をランドマークとして抽出することとしてもよい。例えば、人物の顔をランドマークとする場合、第一ランドマーク抽出手段１０は、一般的な顔検出器（例えば、P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Kauai, HI, December 2001.）を用い、検出された顔領域の代表点をランドマークとすることができる。

第二ランドマーク抽出手段１１は、ランドマークの予め定めた画像特徴に基づいて、カメラパラメータが未知であるカメラＣ２が撮像した第二画像から、複数のランドマークの当該画像における座標（以下、観測画像座標という）を抽出するものである。第二ランドマーク抽出手段１１は、抽出した観測画像座標に識別子（第二識別子）を付してランドマーク対応付け手段１２およびパラメータ推定手段１４に出力する。また、第二ランドマーク抽出手段１１で抽出されたランドマークの個数をＮ個とし、そのｎ番目（ｎ＝１，２，…，Ｎ）のランドマークの観測画像座標をｏ_ｎとする。また、前記ｎを第二識別子として使用する。

なお、第二ランドマーク抽出手段１１におけるランドマークの抽出処理は、第一ランドマーク抽出手段１０と同じ処理であってもよいし、異なる処理であってもよい。例えば、人為的なパターンである赤い円盤をランドマークとして使用した場合、第一ランドマーク抽出手段１０では、赤い円盤の形状である円形パターンに着目してランドマークを抽出し、第二ランドマーク抽出手段１１では、赤い円盤の色である赤色に着目してランドマークを抽出することとしてもよい。

ランドマーク対応付け手段１２は、参照画像座標に対応する第一画像の画像特徴と、観測画像座標に対応する第二画像の画像特徴との類似の度合いに基づいて、第一画像と第二画像との間でランドマークの対応付けを行うものである。このランドマーク対応付け手段１２は、実空間上の同一の点（場所）に対応する、あるいは、一定の誤差を許して対応する参照画像座標ｒ_ｍと観測画像座標ｏ_ｎとの組をすべて求め、第一識別子ｍと第二識別子ｎとの組をすべて出力することで、ランドマークの対応付けを行うこととする。ここでは、ランドマーク対応付け手段１２は、第一特徴抽出手段１２１と、第二特徴抽出手段１２２と、照合手段１２３とを備える。

第一特徴抽出手段１２１は、第一画像Ｉから第一ランドマーク抽出手段１０で抽出された参照画像座標群｛ｒ_ｍ｝に対応するそれぞれの画像特徴を第一特徴群｛Ｆ_ｍ｝として抽出するものである。ここで、第一特徴Ｆ_ｍは、第一画像Ｉの第一識別子ｍに対応する参照画像座標ｒ_ｍ（または参照画像座標ｒ_ｍの近傍領域）における画像特徴である。
この第一特徴Ｆ_ｍは、例えば、以下の（３）式に示すように、参照画像座標ｒ_ｍにおける画素値Ｉ（ｒ_ｍ）を用いることができる。

このとき第一特徴Ｆ_ｍは、第一画像Ｉがモノクロ画像のとき、または、カラーインデックスで表されるときはスカラ値となり、第一画像Ｉがカラー画像等の多バンド画像で、色がベクトル値として表されるときはベクトル値となる。
また、第一特徴Ｆ_ｍは、例えば、参照画像座標ｒ_ｍの近傍領域の画素値群を用いることとしてもよい。この場合、例えば、以下の（４）式に示すように、参照画像座標ｒ_ｍおよびその４近傍の画素の合計５画素をもって第一特徴Ｆ_ｍとする。

ここで、Δｘはある画素の中心からその１画素右隣の画素の中心に至るベクトルであり、Δｙはある画素中心からその１画素下隣の画素中心に至るベクトルである。なお、近傍の範囲を拡げて、画素値パターンのテンプレートとして第一特徴Ｆ_ｍを構成してもよい。
また、第一特徴Ｆ_ｍは、例えば、以下の（５）式に示すように、参照画像座標ｒ_ｍの近傍の色ヒストグラムｈ_ｍ（ｃ）を用いることとしてもよい。ここで、ｃは画素値（すなわち色）を表す。このとき、第一特徴Ｆ_ｍは、色ｃに関するテーブルとなる。

この場合、第一特徴抽出手段１２１は、まず、参照画像座標ｒ_ｍを中心として既定の半径の円形領域（その他、楕円領域、矩形領域等の既定の形状領域）内に存在する画素位置の集合Ｄ_ｍを設定する。続いて、第一特徴抽出手段１２１は、画像座標ｒ∈Ｄ_ｍを満たすすべての画像座標ｒに関して、画素値Ｉ（ｒ）の色ヒストグラムｈ_ｍ（ｃ）を求める（（６）式参照）。なお、この（６）式において、｜Ｘ｜は、有限集合Ｘの元の数を表す。

第二特徴抽出手段１２２は、第二画像Ｊから第二ランドマーク抽出手段１１で抽出された観測画像座標群｛ｏ_ｎ｝に対応するそれぞれの画像特徴を第二特徴群｛Ｇ_ｎ｝として抽出するものである。なお、第二特徴は、第一特徴抽出手段１２１が第一特徴を抽出した手法と同一の手法により抽出することとする。

例えば、第一特徴抽出手段１２１が前記（３）式によって第一特徴を抽出する場合、第二特徴抽出手段１２２は、第二特徴Ｇ_ｎとして、以下の（７）式に示すように、観測画像座標ｏ_ｎにおける画素値Ｊ（ｏ_ｎ）を用いる。

また、第一特徴抽出手段１２１が前記（４）式によって第一特徴を抽出する場合、第二特徴抽出手段１２２は、以下の（８）式に示すように、観測画像座標ｏ_ｎおよびその４近傍の画素の合計５画素をもって第二特徴Ｇ_ｎとする。

また、第一特徴抽出手段１２１が前記（５）式によって第一特徴を抽出する場合、第二特徴抽出手段１２２は、第二特徴Ｇ_ｎとして、以下の（９）式に示すように、観測画像座標ｏ_ｎの近傍の色ヒストグラムｇ_ｎ（ｃ）を用いる。ここで、ｃは画素値（すなわち色）を表す。このとき、第二特徴Ｇ_ｎは、色ｃに関するテーブルとなる。

この場合、第二特徴抽出手段１２２は、まず、観測画像座標ｏ_ｎを中心として既定の半径の円形領域（その他、楕円領域、矩形領域等の既定の形状領域）内に存在する画素位置の集合Ｅ_ｎを設定する。続いて、第二特徴抽出手段１２２は、画像座標ｏ∈Ｅ_ｎを満たすすべての画像座標ｏに関して、画素値Ｊ（ｏ）の色ヒストグラムｇ_ｎ（ｃ）を求める（（１０）式参照）。

照合手段１２３は、第一特徴抽出手段１２１で抽出された第一特徴と、第二特徴抽出手段１２２で抽出された第二特徴との類似の度合いに基づいてランドマークを対応付けるものである。ここでは、照合手段１２３は、画像特徴の距離（非類似性）に基づいて、第一特徴に最も近接（類似）する第二特徴を探索し、対応する第一識別子と第二識別子との対を対応結果としてパラメータ推定手段１４に出力する。

すなわち、照合手段１２３は、第一識別子ｍの第一特徴Ｆ_ｍと第二識別子ｎの第二特徴Ｇ_ｎとの特徴間の距離ｄ（ｍ，ｎ）を求め（（１１）式参照）、各第一識別子ｍの第一特徴Ｆ_ｍに最も近接している第二特徴Ｇ_ｎを探索し、第二特徴Ｇ_ｎに対応する第二識別子ｎを、第一識別子ｍに対応する第二識別子ｎ_ｍとして求める（（１２）式参照）。

そして、照合手段１２３は、対応する第一識別子ｍと第二識別子ｎ_ｍとの対である（１，ｎ_１），（２，ｎ_２），…，（Ｍ，ｎ_Ｍ）を対応結果としてパラメータ推定手段１４に出力する。ただし、第一識別子ｍと第二識別子ｎ_ｍとの特徴間の距離ｄ（ｍ，ｎ_ｍ）がある閾値以上のとき（あるいはある閾値を超えたとき）には、対応する第一識別子ｍと第二識別子ｎ_ｍとの対である（ｍ，ｎ_ｍ）を出力しないこととしてもよい。これによって、ランドマークの対応付けの精度を高めることができる。
なお、前記（１１）式で示した‖Ｇ_ｎ−Ｆ_ｍ‖は、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとの距離を表す。例えば、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにスカラ値の場合、照合手段１２３は、距離の絶対値演算で距離ｄを求めることができる。

また、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにベクトル値（例えば、複数画素の画素値、カラー画像の画素値等）の場合、照合手段１２３は、距離ｄとして、ユークリッド距離、マンハッタン距離等を用いることができる。また、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにヒストグラム（例えば、色ヒストグラム等）の場合、照合手段１２３は、距離ｄとして、Bhattacharyya距離を用いることができる。

位置推定手段１３は、第一ランドマーク抽出手段１０で抽出された参照画像座標をカメラＣ１のカメラパラメータである既知カメラパラメータにより逆投影変換することで、ランドマークの実座標（三次元座標）を推定するものである。また、位置推定手段１３は、第一識別子ｍのランドマークの実座標ｐ_ｍを第一識別子の数だけ（ｍ，ｐ_ｍ）の対のデータとして求め、パラメータ推定手段１４に出力する。なお、位置推定手段１３は、既知カメラパラメータをカメラＣ１から逐次入力することとしてもよいし、カメラＣ１が固定カメラである場合は、予め図示を省略した記憶手段に既知カメラパラメータを記憶しておき、読み出すこととしてもよい。

なお、参照画像座標ｒ_ｍは二次元座標であるのに対し、ランドマークの実座標ｐ_ｍは三次元座標である。このため、位置推定手段１３が逆投影を行うには、ランドマークが存在する実座標への面的な拘束条件が必要となる。例えば、ランドマークが床、地面等の平面上にあるといった拘束条件を与えることで、位置推定手段１３は、参照画像座標を実座標に逆投影することができる。

ここで、図３を参照して、位置推定手段１３における参照画像座標を実座標に逆投影する手法について詳細に説明する。図３は、位置推定手段における逆投影の手法を説明するための説明図である。図３では、ある曲面ＫにランドマークＭが存在し、カメラＣ１が撮像した第一画像Ｉ上にランドマーク像ｍが撮像されているものとする。
図３の例において、ランドマークＭ（実座標ｐ）が存在する曲面Ｋを、関数ｆを用いて、以下の（１３）式とおく。

例えば、ワールド座標系の３軸をＸ軸、Ｙ軸およびＺ軸としたとき、ランドマークＭを平面Ｚ＝０に拘束するには、曲面Ｋを以下の（１４）式に示す関数ｆとすればよい。

ここで、カメラＣ１のカメラ座標系の原点を、第一光学主点Ｔにとり、ワールド座標系における位置ベクトルをｔとする。また、ワールド座標系からカメラ座標系への姿勢変換の回転行列をＲとする。また、カメラＣ１のカメラ座標系のｘ軸およびｙ軸は、第一画像Ｉの画像平面と平行な面内にとり、ｚ軸は、光軸と平行かつ被写界向きにとるものとする。なお、光軸は画像平面に対して垂直であるものとする。

また、第一画像Ｉの画像平面における画像座標系は、カメラ座標系のうちｘ軸およびｙ軸の２軸のみにより張られる二次元の座標系とし、その原点は、画像平面と光軸との交点にとる。また、カメラＣ１のレンズは、ピンホールモデルに従うものとし、その焦点距離をｆとする。

また、位置推定手段１３に入力される第一画像Ｉにおける参照画像座標をｒとし、既知カメラパラメータとして入力されるカメラパラメータには、位置ベクトルｔと回転行列Ｒとが含まれているものとする。

図３に示すように、ランドマークＭは、第一光学主点Ｔを始点とし、第一画像Ｉの画像平面上のランドマーク像ｍへ至るベクトルのｋ倍（ｋは正の実数の係数）の場所にあると考えると、実座標ｐは、以下の（１５）式で表すことができる。

ここで、前記（１３）式と前記（１４）式とを連立させることで、係数ｋ（ただし、ｋ＞０）を求めることができる。なお、連立方程式の解が、係数ｋに関して２個以上存在する場合には、その中の最も小さい値を用いることとする。このように求められた係数ｋを前記（１５）式に代入することで、実座標ｐが求められる。例えば、ランドマークがＺ＝０なる平面上にある場合、前記（１４）式により、以下の（１６）式の関係が成り立つ。また、この（１６）式から、以下の（１７）式に示すように、係数ｋが求められる。

そして、この（１７）式で求められた係数ｋを、前記（１５）式に代入することで、以下の（１８）式に示すように、実座標ｐが求められる。

この（１８）式は、例えば、平面状の床面にランドマークがある場合等、床面にワールド座標系のＸ軸およびＹ軸をとり、それらと直交して、例えば上向きにＺ軸をとることで適用することができる。

なお、ここでは、平面Ｚ＝０の拘束条件を与えて実座標を求める手法について説明したが、ＸやＹについて拘束条件を与えてもよい。これによって、例えば、位置推定手段１３は、床面から鉛直方向に存在する壁面上のランドマークの実座標を求めることができる。
図２に戻って、カメラパラメータ推定装置１の構成について説明を続ける。

パラメータ推定手段１４は、ランドマーク対応付け手段１２により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する位置推定手段１３で推定された参照画像座標の実座標（三次元座標）と、第二ランドマーク抽出手段１１で抽出された観測画像座標とに基づいて、カメラＣ２のカメラパラメータ（推定カメラパラメータ）を推定するものである。ここでは、パラメータ推定手段１４は、座標対応付け手段１４１と、パラメータ算出手段１４２とを備える。

座標対応付け手段１４１は、位置推定手段１３で推定された実座標（三次元座標）とランドマーク対応付け手段１２での対応結果とに基づいて、第二ランドマーク抽出手段１１で抽出された観測画像座標に実座標を対応付けるものである。

ここでは、座標対応付け手段１４１は、位置推定手段１３から出力される第一識別子とランドマークの実座標との対（ｍ，ｐ_ｍ）の集合、ランドマーク対応付け手段１２から出力される第一識別子と第二識別子との対（ｍ，ｎ_ｍ）の集合、および、第二ランドマーク抽出手段１１から出力される第二識別子と観測画像座標との対（ｎ，ｏ_ｎ）の集合から、同一のランドマークに関する実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合を求める。なお、ｏ_ｎｍは、第一識別子ｍと対となる第二識別子ｎ_ｍに対応付けられた観測画像座標を示す。そして、座標対応付け手段１４１は、第一識別子と第二識別子との対（ｍ，ｎ_ｍ）の数だけ、実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合をパラメータ算出手段１４２に出力する。

パラメータ算出手段１４２は、座標対応付け手段１４１で対応付けられた複数の観測画像座標の実座標（三次元座標）に基づいて、カメラＣ２のカメラパラメータである推定カメラパラメータを算出するものである。このパラメータ算出手段１４２で算出されたカメラパラメータは、カメラＣ２のカメラパラメータとして逐次外部に出力される。

ここでは、パラメータ算出手段１４２は、ランドマークの実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合が所定数入力された段階で、カメラＣ２のカメラパラメータを算出することとする。この算出には、二次元平面（画像平面）におけるｎ点の三次元座標（実座標）が特定されたとき、カメラパラメータを推定する透視ｎ点問題を解く一般的な手法を用いることができる。例えば、パラメータ算出手段１４２は、ランドマークが同一平面上に存在する場合、ランドマークの実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）が４対入力された段階で、透視４点問題を解くことでカメラＣ２のカメラパラメータを算出する。

このようにカメラパラメータ推定装置１を構成することで、カメラパラメータ推定装置１は、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、カメラＣ２のカメラパラメータを推定することができる。

また、カメラパラメータ推定装置１は、ランドマークの位置を固定することなく、カメラＣ１とカメラＣ２とで共通に観測可能な任意の物体やパターンをランドマークとして使用して、カメラＣ２のカメラパラメータを推定することができる。また、カメラパラメータ推定装置１は、被写界に恣意的に設置した物体やパターンに限らず、被写界に投影した静的または動的パターン、被写界にもともと存在する物体やパターン、あるいは被写界を移動する物体、人物等をランドマークとして活用することができる。

これによって、カメラパラメータ推定装置１は、例えば、スポーツ中継に用いられるカメラのカメラパラメータを推定するために、中継用カメラをカメラＣ２とし、カメラパラメータが既知のカメラＣ１で競技場の広い範囲を撮影し、スポーツ選手、ボール、地面上に引かれたラインや印、場内に置かれた器具等をランドマークとすることで、競技の邪魔をすることなく、カメラＣ２のカメラパラメータを推定することができる。
なお、カメラパラメータ推定装置１は、一般的なコンピュータを、前記した各手段として機能させるカメラパラメータ推定プログラムによって動作させることができる。

［カメラパラメータ推定装置の動作］
次に、図４を参照（適宜図２参照）して、本発明の実施形態に係るカメラパラメータ推定装置の動作について説明する。図４は、本発明の実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。

まず、カメラパラメータ推定装置１は、第一ランドマーク抽出手段１０によって、カメラパラメータが既知のカメラＣ１が撮像した撮像画像（第一画像）から、ランドマークの座標（参照画像座標）を抽出する（ステップＳ１）。また、カメラパラメータ推定装置１は、第二ランドマーク抽出手段１１によって、カメラパラメータが未知のカメラＣ２が撮像した撮像画像（第二画像）から、ランドマークの座標（観測画像座標）を抽出する（ステップＳ２）。

そして、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２によって、ステップＳ１で抽出した参照画像座標とステップＳ２で抽出した観測画像座標とに基づいてランドマークの対応付けを行う。

すなわち、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の第一特徴抽出手段１２１によって、参照画像座標（参照画像座標群）に対応する第一画像における画像特徴を第一特徴（第一特徴群）として抽出する（ステップＳ３）。また、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の第二特徴抽出手段１２２によって、観測画像座標（観測画像座標群）に対応する第二画像における画像特徴を第二特徴（第二特徴群）として抽出する（ステップＳ４）。

そして、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の照合手段１２３によって、ステップＳ３で抽出した第一特徴群と、ステップＳ４で抽出した第二特徴群とで画像特徴が最も類似するように、ランドマークを対応付ける（ステップＳ５）。

さらに、カメラパラメータ推定装置１は、位置推定手段１３によって、ステップＳ１で抽出した参照画像座標をカメラＣ１のカメラパラメータである既知カメラパラメータにより逆投影変換することでランドマークの実座標（三次元座標）を算出する（ステップＳ６）。

そして、カメラパラメータ推定装置１は、パラメータ推定手段１４によって、ステップＳ２で抽出した観測画像座標と、ステップＳ５で対応付けされたランドマークの対応結果と、ステップＳ６で算出したランドマーク（参照画像座標）の実座標とに基づいて、カメラＣ２のカメラパラメータを推定する。

すなわち、カメラパラメータ推定装置１は、パラメータ推定手段１４の座標対応付け手段１４１によって、ステップＳ６で算出した実座標（三次元座標）と、ステップＳ５での対応結果とに基づいて、ステップＳ２で抽出した観測画像座標に実座標を対応付ける（ステップＳ７）。
そして、カメラパラメータ推定装置１は、パラメータ推定手段１４のパラメータ算出手段１４２によって、ステップＳ７で対応付けた複数の観測画像座標の実座標から、透視ｎ点問題の解答手法により、カメラＣ２のカメラパラメータ（推定カメラパラメータ）を算出する（ステップＳ８）。

以上の動作によって、カメラパラメータ推定装置１は、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、カメラＣ２のカメラパラメータを推定することができる。

本発明の概要を説明するための説明図である。 本発明の実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。 本発明の実施形態に係るカメラパラメータ推定装置の位置推定手段における逆投影の手法を説明するための説明図である。 本発明の実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。

符号の説明

１ カメラパラメータ推定装置
１０ 第一ランドマーク抽出手段
１１ 第二ランドマーク抽出手段
１２ ランドマーク対応付け手段
１２１ 第一特徴抽出手段
１２２ 第二特徴抽出手段
１２３ 照合手段
１３ 位置推定手段
１４ パラメータ推定手段
１４１ 座標対応付け手段
１４２ パラメータ算出手段
Ｃ１ カメラ（第一カメラ）
Ｃ２ カメラ（第二カメラ）

Claims (4)

1. 外部パラメータであるカメラの設置位置および設置姿勢と、内部パラメータであるレンズの焦点距離とからなるカメラパラメータが既知である第一カメラが撮像した第一画像と、前記カメラパラメータの少なくとも１つが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するカメラパラメータ推定装置であって、
   ランドマークの予め定めた画像特徴に基づいて、前記第一画像からランドマークの当該画像における座標を参照画像座標として抽出する第一ランドマーク抽出手段と、
   前記ランドマークの画像特徴に基づいて、前記第二画像からランドマークの当該画像における座標を観測画像座標として抽出する第二ランドマーク抽出手段と、
   前記第一画像上の前記参照画像座標に対応する画像特徴と、前記第二画像上の前記観測画像座標に対応する画像特徴との類似の度合いに基づいて、前記第一画像と前記第二画像との間で前記ランドマークの対応付けを行うランドマーク対応付け手段と、
   前記第一カメラのカメラパラメータである既知カメラパラメータに基づいて、前記参照画像座標を予め定めた拘束条件で逆投影変換することで、前記ランドマークの三次元座標を推定する位置推定手段と、
   前記ランドマーク対応付け手段により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する前記三次元座標と前記観測画像座標とに基づいて、前記第二カメラのカメラパラメータである推定カメラパラメータを推定するパラメータ推定手段と、
   を備えることを特徴とするカメラパラメータ推定装置。
2. 前記ランドマーク対応付け手段は、
   前記第一画像から、前記参照画像座標の近傍領域の画像特徴を第一特徴として抽出する第一特徴抽出手段と、
   前記第二画像から、前記観測画像座標の近傍領域の画像特徴を第二特徴として抽出する第二特徴抽出手段と、
   前記第一特徴と前記第二特徴との類似の度合いに基づいて前記ランドマークを対応付ける照合手段と、
   を備えることを特徴とする請求項１に記載のカメラパラメータ推定装置。
3. 前記パラメータ推定手段は、
   前記位置推定手段で推定された三次元座標と前記ランドマーク対応付け手段での対応結果とに基づいて、前記観測画像座標に前記三次元座標を対応付ける座標対応付け手段と、
   この座標対応付け手段で対応付けられた複数の観測画像座標の三次元座標に基づいて、前記推定カメラパラメータを算出するパラメータ算出手段と、
   を備えることを特徴とする請求項１または請求項２に記載のカメラパラメータ推定装置。
4. 外部パラメータであるカメラの設置位置および設置姿勢と、内部パラメータであるレンズの焦点距離とからなるカメラパラメータが既知である第一カメラが撮像した第一画像と、前記カメラパラメータの少なくとも１つが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するために、コンピュータを、
   ランドマークの予め定めた画像特徴に基づいて、前記第一画像からランドマークの当該画像における座標を参照画像座標として抽出する第一ランドマーク抽出手段、
   前記ランドマークの画像特徴に基づいて、前記第二画像からランドマークの当該画像における座標を観測画像座標として抽出する第二ランドマーク抽出手段、
   前記第一画像上の前記参照画像座標に対応する画像特徴と、前記第二画像上の前記観測画像座標に対応する画像特徴との類似の度合いに基づいて、前記第一画像と前記第二画像との間で前記ランドマークの対応付けを行うランドマーク対応付け手段、
   前記第一カメラのカメラパラメータである既知カメラパラメータに基づいて、前記参照画像座標を予め定めた拘束条件で逆投影変換することで、前記ランドマークの三次元座標を推定する位置推定手段、
   前記位置推定手段で推定された三次元座標と前記ランドマーク対応付け手段での対応結果とに基づいて、前記観測画像座標に前記三次元座標を対応付ける座標対応付け手段、
   この座標対応付け手段で対応付けられた複数の観測画像座標の三次元座標に基づいて、前記第二カメラのカメラパラメータである推定カメラパラメータを算出するパラメータ算出手段、
   として機能させることを特徴とするカメラパラメータ推定プログラム。

Images