JP2016057108A - 演算装置、演算システム、演算方法およびプログラム - Google Patents

Abstract

【課題】カメラのキャリブレーションを効率よく行える技術を提供する。
【解決手段】車両１００に固定され、外部標定要素が取得されたレーザスキャナ１１５により、車両１００を移動させながらビル１３１のレーザスキャンを行って基準レーザスキャンデータを取得する。また、この際の特定の時刻に車載のカメラ１１４でビル１３１を撮影する。そして、移動した車両１００の軌跡に基づき、基準レーザスキャンデータを前記特定の時刻における車両１００上での座標系で記述した基準点群位置データを算出する。次に、基準点群位置データにおける特徴点とカメラ１１４が撮影した画像上の特徴点の対応する点を指定する。最後に、対応点の基準点群位置データと前記画像上の画面座標値との対応関係に基づき、カメラ１１３の外部標定要素を算出する。
【選択図】図１

Description

本発明は、カメラのキャリブレーションを行う技術に関する。

車両に、ＧＮＳＳユニット、ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等を搭載し、走行した周囲環境の３Ｄイメージデータを取得する技術が知られている（例えば、特許文献１を参照）。

特開２０１３−４０８８６号公報

この技術では、予め車両に対するＩＭＵの位置と姿勢、ＩＭＵに対するカメラとレーザスキャナの外部標定要素（位置と姿勢）を取得するキャリブレーションを行う必要がある。通常、キャリブレーションは、製品の出荷時に行われている。しかしながら、ユーザ側の要望として、カメラをユーザが希望する位置や姿勢で取り付けたい場合がある。また、何らかの事情により、カメラの位置や向きを変更したい場合もある。

しかしながら、一般的な手法によるキャリブレーションは、煩雑な手順が必要であり、ユーザ側で行うのは容易ではない。このような背景において、本発明は、カメラのキャリブレーションを効率よく行える技術の提供を目的とする。

請求項１に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得部と、前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得部と、前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出部と、前記基準点群位置データと前記画像における対応点を指定する対応点指定部と、前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出部とを備えることを特徴とする演算装置である。

請求項２に記載の発明は、請求項１に記載の発明において、前記画像は、複数の時刻において撮影され、前記基準点群位置データ算出部は、前記複数の時刻における前記移動体上での座標系で記述した複数の基準点群位置データを算出し、前記対応点指定部は、同時刻において撮影された前記画像および前記基準点群位置データにおける対応点を指定し、前記外部標定要素算出部は、前記複数の時刻において重ねた前記対応点の前記基準点群位置データと前記複数の時刻において重ねた前記対応点の前記画像における画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素の算出を行うことを特徴とする。

請求項３に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得手段と、前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得手段と、前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出手段と、前記基準点群位置データと前記画像における対応点を指定する対応点指定手段と、前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出手段とを備えることを特徴とする演算システムである。

請求項４に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得ステップと、前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得ステップと、前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出ステップと、前記基準点群位置データと前記画像における対応点を指定する対応点指定ステップと、前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出ステップとを備えることを特徴とする演算方法である。

請求項５に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得部と、前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得部と、前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出部と、前記基準点群位置データと前記画像における対応点を指定する対応点指定部と、前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出部として機能させることを特徴とするプログラムである。

本発明によれば、カメラのキャリブレーションを効率よく行うことができる。

実施形態の概念図である。 演算部のブロック図である。 処理の手順の一例を示すフローチャートである。 基準レーザスキャンデータに係る説明図である。 後方交会法を説明する説明図である。

（構成）
図１には、実施形態の概念図が示されている。本実施形態では、車両１００に取り付けたカメラ１１３の外部標定要素を求める。ここでは、カメラ１１３の外部標定要素としてＩＭＵ１１４に対する位置と姿勢を用いる。なお、ＩＭＵ１１４の計測システム１１０に対する位置と姿勢は予め決められており、計測システム１１０の車両１００に対する姿勢と位置も予め決められているので、ＩＭＵ１１４に対するカメラ１１３の外部標定要素を求めることは、車両１００に対するカメラ１１３の外部標定要素を求めることと等価である。

車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台上にＧＮＳＳユニット１１１、演算部１２０、ＩＭＵ１１４、カメラ１１３およびレーザスキャナ１１５を配置した構造を有している。

ＧＮＳＳユニット１１１は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。カメラ１１２は、特定の方向に向けられ、向けられた範囲の特定の視野内の動画撮影を行う。カメラ１１２としては、周囲３６０°を撮影する全周カメラや広角カメラを用いることもできる。

ＩＭＵ１１４は、慣性計測装置であり、加速度を検出し、自身の位置の変化、向きの変化を計測する。レーザスキャナ１１５は、レーザ光を線状に走査しながら測定対象物に対して照射し、その反射光を検出することで、測定対象物の点群位置データを取得する。車両１００を走行させながらレーザスキャナ１１５によるレーザスキャンを行うことで、レーザスキャナ１１５が向けられている方向における点群位置データが取得される。

点群位置データは、多数の点の三次元座標のデータにより構成される。点群位置データによれば、三次元座標を特定した点の集合により測定対象物の外形がデータ化される。また、点群位置データは、レーザ光の反射強度の違いに関するデータを含んでおり、この反射強度の違いを輝点の強さの違いとして表示することで、点群位置データを２次元画面上に表示させた際に、測定対象物の外観を点状の輝点の集まりとして視認することができる。

カメラ１１３、ＩＭＵ１１４、レーザスキャナ１１５および演算部１２０には、ＧＮＳＳユニット１１１からＧＮＳＳを利用した同期信号が提供され、各装置は同期して動作する。また、ＩＭＵ１１４は、予め地上座標系上で校正されている。地上座標系というのは、地上に固定された絶対座標系であり、ＧＮＳＳユニットにより測位される地上での位置を記述する３次元直交座標系である。また、ＩＭＵ１１４は、ＧＮＳＳユニット１１１から得られる位置情報と時刻情報に基づき特定のタイミングで校正される。なお、同期信号を発生する装置を用意し、そこからの同期信号に基づき各部に同期しての動作を行わせる構成も可能である。

計測システム１１０の車両１００に対する位置と姿勢、計測システム１１０上におけるＩＭＵ１１４の位置と姿勢、ＩＭＵ１１４に対するＧＮＳＳユニット１１１の位置（アンテナ部分の位置）、ＩＭＵ１１４に対するレーザスキャナ１１５の位置と姿勢は予め測定され、それらの情報は演算部１２０内のメモリに記憶されている。つまり、ＩＭＵ１１４に対するレーザスキャナ１１５の外部標定要素は予め取得されている。

カメラ１１３は、ユーザにより計測システム１１０の希望する位置に希望する向き（姿勢）で取り付けられている。このため、車両に取り付けられた段階におけるカメラ１１３のＩＭＵ１１４に対する外部標定要素は明確でない。なお、カメラ１１３の取り付け位置は、計測システム１００の基台上に限定されず、車両１００上の任意の位置が可能である。

演算部１２０は、コンピュータとして機能するハードウェアであり、ＣＰＵ、メモリ、各種インタフェース、その他必要な電子回路を備えている。演算部１２０は、図２に示す各機能部を備えたハードウェアとして捉えることができる。なお、図２に示す各機能部は、ソフトウェア的に構成されていてもよいし、その一または複数が専用のハードウェアで構成されていてもよい。演算部１２０の機能を実行するためのプログラムは、演算部１２０内のメモリに記憶されている。なお、当該プログラムを外部の記憶媒体に記憶させ、そこから提供する形態も可能である。

演算部１２０は、レーザスキャンデータ取得部１２１、画像データ受付部１２２、基準点群位置データ算出部１２３、対応点指定部１２４、外部標定要素算出部１２５、３次元モデルおよび軌跡算出部１２７を備えている。なお、図示省略されているが、演算部１２０は、画像データやレーザスキャンデータを統合的に処理し、車両１００が走行した周囲環境の３次元データを得る機能を有している。この３次元データを用いることで、車両１００が走行した環境の３次元モデルを作成することができる。

レーザスキャンデータ取得部１２１は、レーザスキャナ１１５が測定したレーザスキャンデータを取得する。レーザスキャンデータ取得部１２１が取得するレーザスキャンデータには、基準レーザスキャンデータが含まれる。基準レーザスキャンデータは、カメラ１１３のキャリブレーションを行うためのレーザスキャンデータである。この例では、ビル１３１をスキャン対象（測定対象）としたレーザスキャンデータが基準レーザスキャンデータとなる。また、レーザスキャンデータ取得部１２１は、基準レーザスキャンデータ以外のスキャンデータも取得する。

画像データ取得部１２２は、カメラ１１３が撮影した画像の画像データを取得する。例えば、カメラ１１３が動画像を撮影した場合、その動画像データが画像データ受付部１２２で取得される。画像データ取得部１２２は、カメラ１１３の外部標定要素を求めるために用いられる比較画像の画像データを取得する。比較画像は、基準レーザスキャンデータに係るスキャン対象（この例では、ビル１３１）と重複する部分を撮影した画像である。なお、画像データ取得部１２２は、比較画像以外の画像データも取得する。

基準点群位置データ算出部１２３は、レーザスキャナ１１５が測定した基準スキャンデータに基づき、基準点群位置データを作成する。基準点群位置データは、カメラ１１３が比較画像を撮影した時刻ｔにおけるＩＭＵ座標系（ＩＭＵ１１４を原点とするＩＭＵ１１４に固定された座標系）に基準レーザスキャンデータを座標変換することで得られる。

基準レーザスキャンデータは、車両１００が移動している最中において取得されるので、各点を得た際の視点の位置（レーザスキャナ１１５の位置）は、同じではなく、各点を記述する座標系も同じではない。この基準レーザスキャンデータをカメラ１１３が比較画像を撮影した時刻ｔにおけるＩＭＵ座標系（ＩＭＵ１１４を原点とする座標系）で捉え直す演算を行うことで基準点群位置データが得られる。この処理が基準点群位置データ算出部１２３で行われる。

対応点指定部１２４は、基準点群位置データ中の特徴点と、カメラ１１３が撮影した比較画像の中の特徴点とにおける対応する点（共通の点）を指定する。例えば、特定の時刻ｔにおけるＩＭＵ座標系で記述したビル１３１に係る基準点群位置データを適当なディスプレイ上（例えば、パーソナルコンピュータのディスプレイ上）の左半分に画像表示する。この際、点状の輝点の集合によるビル１３１の外観が表示される。他方において、時刻ｔにおいてカメラ１１３が撮影したビル１３１の画像を上記のディスプレイ上の右半分に表示する。

この際、当該ディスプレイ上には、車両１００上の少し異なる位置から見たビル１３１の外観を示す２つの画像が表示される。ここで、表示される左側の画像は輝点で構成される点群画像であり、右側の画像は写真画像である。

対応点指定部１２４では、上記の２つの画像において共通の特徴点が指定される。対応点を指定する方法としては、ユーザが行う方法、ソフトウェア処理により候補点を抽出し、その中からユーザが指定する方法、ソフトウェア処理により自動的に行う方法が挙げられる。

対応点指定部１２４において指定される対応点の最低数は、用いる標定の手法により異なる。例えば、単写真標定を用いる場合は、最低４点の対応点が指定される。また例えば、ＤＬＴ法を用いる場合は、最低６点の対応点が指定される。勿論、これらの最低数を超える対応点を指定してもよい。

外部標定要素算出部１２５は、対応点指定部１２４で指定された特徴点の三次元座標（ＩＭＵ座標系での三次元座標）と、対応点指定部１２４で指定された比較画像中の対応点の画面座標値とに基づき、カメラ１１３の外部標定要素を算出する。この処理は、単写真標定またはＤＬＴ法を用いて行われる。

軌跡算出部１２７は、車両１００が走行した地上座標系上における軌跡を算出する。車両１００の軌跡を算出する方法としては、ＩＭＵ１１４とＧＮＳＳユニット１１１の出力に基づく方法が挙げられる。また、軌跡算出部１２７で行われる処理としては、ＩＭＵ１１４およびＧＮＳＳユニット１１１の出力と外部の機器の出力とに基づいて車両１００の軌跡を算出する処理も可能である。

また、移動する車両から撮影した動画像から、当該車両の移動経路（軌跡）を求める処理を軌跡算出部１２７において行ってもよい。この技術に関しては、例えば特開２０１３−１８６８１６号公報に記載されている。この場合、カメラ１１３が撮影した画像を用いて車両１００の刻々と変化する位置（すなわち、車両１００の軌跡）を算出する処理が軌跡算出部１２７において行われる。

なお、トータルステーション等の外部に設置された機器により、車両１００の軌跡を測定することも可能である。トータルステーションは、測定対象物にレーザ光を照射し、対象物までの測距と方位を刻々と測定し、測定対象物の移動経路を測定する。

（処理の一例）
以下、カメラ１１３の外部標定要素を取得する処理の手順の詳細な一例を説明する。まず、計測システム１１０を搭載した車両１００を用意する（図１参照）。この段階では、計測システム１１０の車両１００に対する位置と姿勢、計測システム１１０上におけるＩＭＵ１１４の位置と姿勢、ＩＭＵ１１４に対するＧＮＳＳユニット１１１の位置（アンテナ部分の位置）、ＩＭＵ１１４に対するレーザスキャナ１１５の位置と姿勢は予め測定され取得されている。他方において、カメラ１１３のＩＭＵに対する外部標定要素（ＩＭＵ１１４に対する位置と姿勢）は取得されていない。

計測システム１１０を搭載した車両１００を用意したら、適当なキャリブレーション用コース１３０を走行させる。キャリブレーション用コース１３０は、直線でビル１３１のような特徴点を捉えやすい測定対象物をレーザスキャンおよび撮影できる環境が好ましい。

図３に処理の手順の一例を示す。なお、図３の処理の手順を実行するためのプログラムは、演算部１２０内のメモリ領域に記憶されている。なお、当該プログラムを外部の記憶媒体に記憶させ、そこから提供する形態も可能である。

図３の処理は、キャリブレーション用コース１３０上で車両１００を走行させながら行うことができる。もちろん、基準レーザスキャンデータと比較画像を取得し、その後の適当なタイミングにおいてステップＳ３０３以下の処理を行うこともできる。

処理が開始されると、車両１００をキャリブレーション用コース１３０上で走行させながらレーザスキャナ１１５によるビル１３１のレーザスキャンを行う（ステップＳ３０１）。この処理によって、基準レーザスキャンデータが得られる。

上記のレーザスキャンが行われている期間の適当なタイミングでカメラ１１３によるビル１３１の動画撮影を行う（ステップＳ３０２）。この動画撮影により比較画像が得られる。この場合、動画中の適当なタイミングにおけるフレーム画像が比較画像として利用される。ここで、動画撮影ではなく、１または複数の写真撮影を行うのでもよい。

次に基準レーザスキャンデータを座標変換し、基準点群位置データを得る（ステップＳ３０３）。この処理は、基準点群位置データ算出部１２３において行われる。以下、ステップＳ３０３で行われる処理の詳細について説明する。

基準レーザスキャンデータは、移動しながらのレーザスキャンによって取得される。そのため、レーザスキャナ１１５が得た基準レーザスキャンデータの原点（視点）は、刻々と移動している。図４には、基準レーザスキャンデータＰ_１とＰ_２が位置関係を誇張した状態で示されている。図４には、まず点Ｐ_１のスキャン点が取得され、その後でＰ_２のスキャン点が取得され、その際にレーザスキャナ１１５はＯ_１からＯ_２に移動した場合が示されている。

図４に示す場合、位置Ｏ_１において得たスキャン点Ｐ_１、位置Ｏ_２において得たスキャン点Ｐ_２といった関係がある。ここで、Ｏ_１とＯ_２は異なる位置であるので、２つのスキャン点を記述する座標系１と座標系２は、同じではない。

そこで、以下の原理により、Ｐ_１とＰ_２の座標系を統合する。まず、基準スキャンデータを得る過程における車両１００の地上座標系上における軌跡を取得する。車両１００の地上座標系上における軌跡は、ＩＭＵ１１４による計測や外部標定要素が既知であるトータルステーションに車両を自動追尾させることで得られる。車両１００の軌跡から、各時刻における車両１００の位置と向き（姿勢）が判明する。

他方において、レーザスキャナ１１５には、基準となる時刻がＧＮＳＳユニット１１１から供給されているので、基準レーザスキャンデータでは、各スキャン点とそのスキャン点が得られた時刻とは関連付けされている。図４の場合でいうと、点Ｐ_１の座標データと点Ｐ_１が得られた時刻とが関連付けされたものが比較用レーザスキャンデータには含まれている。

車両１００は、点Ｏ_１と点Ｏ_２を通過しているので時刻を手掛かりに車両１００の軌跡のデータから図４の座標系１と座標系２の相対的な関係（位置の関係と向きの関係）が判る。この座標系１と座標系２の相対的な関係（位置の関係と向きの関係）から、座標系２をどのように平行移動させ、更にどのように回転させれば、座標系１に変換できるのかが判る。

よって、車両１００の軌跡に基づき、Ｐ_２を座標系１に座標変換することができる。すなわち、Ｐ_２を座標系１上で記述することができる。この原理により、カメラ１１３が比較画像を撮影した時刻をｔ_１とした場合に、時刻ｔ_１のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することができ、それにより基準点群位置データを得ることができる。

数１には、カメラ１１３がｋ番目のフレーム画像を撮影した時刻におけるＩＭＵ座標系でのｉ番目の基準点群位置データ（Ｐ_imu(i)）が示されている。

ここで、（１）と（３）は、車両１００の軌跡から得られる。（２）は、基準レーザスキャンデータと車両１００の軌跡とから得られる。すなわち、車両１００の軌跡は、地上座標系上で記述されているので、基準レーザスキャンデータの各点の座標を車両１００の軌跡に基づき、地上座標系に変換することで（２）が得られる。数１の演算が基準点群位置データ算出部１２３において行われる。

ステップＳ３０３における基準点群位置データの算出を行ったら、対応点の指定を行う（ステップＳ３０４）。この処理は対応点指定部１２４において行われる。対応点の選定は、表示された画像を見ながらユーザが指定する方法が挙げられるが、ソフトウェア的に特徴点を抽出し、その特徴を数値的に判定することで行うことも可能である。この場合、対応点の選出がソフトウェアによって自動的に行われる。

対応点の選出は１フレームにおいて行うこともできるが、複数フレームを対象に行ってもよい。例えば、時刻ｔ_１においてカメラ１１３が撮影した第１の比較画像と、時刻ｔ_１のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第１の基準点群位置データとの間で対応点を指定し、更に、時刻ｔ_２においてカメラ１１３が撮影した第２の比較画像と、時刻ｔ_２のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第２の基準点群位置データとの間で対応点を指定し、更に、時刻ｔ_３においてカメラ１１３が撮影した第３の比較画像と、時刻ｔ_３のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第３の基準点群位置データとの間で対応点を指定し、といった処理を行うことも可能である。

対応点が指定されたら、カメラ１１３の外部標定要素の算出が行われる（ステップＳ３０５）。この処理は外部標定要素算出部１２５において行われる。以下、カメラ１１３の外部標定要素を算出する処理の詳細について説明する。

図５は、後方交会法を説明する説明図である。後方交会法とは、未知点Ｏから３つ以上の既知点Ｐ_１、Ｐ_２、Ｐ_３へ向かう方向を観測して、それらの方向線の交点として未知点Ｏの位置を求める方法である。ここでは、ステップＳ３０４で指定された対応点の３次元座標を図５の基準点Ｐ_１、Ｐ_２、Ｐ_３とし、それを基にして、後方交会法によって比較画像を撮影したカメラ１３１の外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する。ここでは、後方交会法として、単写真標定とＤＬＴ法を説明する。

まず、単写真標定を用いてカメラ１１３の外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する場合を説明する。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）およびカメラの姿勢（ω，φ，κ）を求める手法である。共線条件とは、投影中心Ｏ、写真像（ｐ_１，ｐ_２，ｐ_３）および測定対象点（この場合は対応点）（Ｏｐ_１Ｐ_１，Ｏｐ_２Ｐ_２，Ｏｐ_３Ｐ_３）が、一直線上にあるという条件である。ここで、カメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）とカメラの姿勢（ω，φ，κ）が、図１におけるカメラ１１３の外部標定要素となる。

まず、カメラ座標系（ｘ，ｙ，ｚ）、写真座標系（ｘ，ｙ）、測定対象物の座標系である基準座標系（Ｘ，Ｙ，Ｚ）を考える。ここで、写真座標系が比較画像中の座標系であり、基準座標系がＩＭＵ座標系となる。

ここで、カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、ステップＳ３０４で指定された４点の対応点の画像座標値（図５では３点のみ記載）と対応する基準点の三次元座標を取得する。ここで、画面座標値は、比較画像における画面上の座標値（ｘ値およびｙ値）であり、基準点の三次元座標は、基準点群位置データから得られる。上記の画面座標値と基準点の三次元座標を下記の数２に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

そして、数２のパラメータｂ１〜ｂ８を用いて、以下の数３から外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を求める。ここで、（Ｘ_０，Ｙ_０，Ｚ_０）はカメラ１１３のＩＭＵ１１４に対する位置であり、（ω，φ，κ）は、そのカメラ１１３のＩＭＵ１１４に対する姿勢（向き）である。

以上のようにして、基準点群位置データと比較画像とにおいて共通の特徴点となる対応点を指定し、更に単写真標定を行うことでカメラ１１３の外部標定要素の算出が行われる。

次に、ＤＬＴ法によって、カメラ１１３の外部標定要素を算出する手順について説明する。ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数４となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等に記載されている。

数４の式の分母を消去すると、数５の線形式が導出される。

さらに、数５を変形すると、以下の数６が得られる。

数６に６点以上の対応点（Ｘ，Ｙ，Ｚ）の三次元座標と比較画像の画面座標値（写真座標）を代入し、最小二乗法を用いて解くと、Ｌ_１〜Ｌ_１１の１１個の未知変量が得られる。Ｌ_１〜Ｌ_１１には、カメラ１１３の外部標定要素（ＩＭＵ１１４に対する位置と姿勢）が含まれており、Ｌ_１〜Ｌ_１１を求めることで、カメラ１１３の外部標定要素が得られる。以上のようにして、ＤＬＴ法によりカメラ１１３の外部標定要素を算出することができる。

本実施形態によれば、カメラ１１３の設置位置や姿勢が未知の場合であっても、車両１１０をキャリブレーション用コース１３０上で走らせつつレーザスキャナ１１５によるレーザスキャンを行い、更にその際にカメラ１１３による撮影を行うことで、カメラ１１３の外部標定要素を求めることができる。特に、キャリブレーションコース１３０は特別に設けられたコースである必要はなく、通常の道路を利用できるので、簡便な方法によりカメラ１１３の外部標定要素を求めることができる。よって、例えば、カメラ１１３がユーザにより取り付けられた場合やカメラ１１３の位置や姿勢が変更された場合であっても簡便な方法でカメラ１１３の外部標定要素を求めることができる。

複数フレームを対象とする場合、各フレームにおいて比較画像と基準点群位置データとにおける対応点の指定を行い、次に各フレームにおいて指定した対応点のデータを重ねて重畳対応点データを得、この重畳対応点データを用いて、上述した後方交会法あるいはＤＬＴ法により外部標定要素の算出を行う。

例えば、時刻ｔ_１においてカメラ１１３が撮影した第１の比較画像と、時刻ｔ_１のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第１の基準点群位置データとの間で対応点を指定し、更に、時刻ｔ_２においてカメラ１１３が撮影した第２の比較画像と、時刻ｔ_２のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第２の基準点群位置データとの間で対応点を指定し、更に、時刻ｔ_３においてカメラ１１３が撮影した第３の比較画像と、時刻ｔ_３のＩＭＵ座標系に基準レーザスキャンデータのそれぞれを座標変換することで得た第３の基準点群位置データとの間で対応点を指定する場合、以下の処理が行われる。

この場合、第１の比較画像と第１の基準点群位置データとの間で対応点を指定した第１の対応点データと、第２の比較画像と第２の基準点群位置データとの間で対応点を指定した第２の対応点データと、第３の比較画像と第３の基準点群位置データとの間で対応点を指定した第３の対応点データとを重ね、重畳対応点データを得る。この重畳対応点データは、第１〜第３の比較画像における対応点が重畳された比較画像側の重畳対応点データと、第１〜第３の基準点群位置データにおける対応点が重畳された基準点群位置データ側の重畳対応点データにより構成される。そして、比較画像側の重畳対応点データと基準点群位置データ側の重畳対応点データとを対象に、上述した後方交会法あるいはＤＬＴ法によりカメラ１１３の外部標定要素の算出が行われる。

具体的には、比較画像側の重畳対応点の画面座標値（カメラ１１３の撮像画像中での座標値）と基準点群位置データ側の重畳対応点の三次元座標値とを用いて、上述した後方交会法あるいはＤＬＴ法によりカメラ１１３の外部標定要素の算出が行われる。この方法によれば、多様な視点から得られる対応点が利用されるので、外部標定要素の算出精度を高めることができる。

また別の方法として、複数フレームを対象に対応点の指定を行った場合に、フレーム毎にカメラ１１３の外部標定要素を算出し、得られた複数の外部標定要素の平均値や特定の偏差範囲の中心値を採用する方法も可能である。

（その他）
図２の演算部１２０の機能部の一または複数を別のハードウェアとし、それらを適当な通信手段で接続し、システムとして演算部１２０の機能を実現することもできる。例えば、演算部１２０の機能の一部を実行する外部機器（パーソナルコンピュータや専用のコンピュータ）を演算部１２０に接続し、演算部１２０の機能の一部を当該外部機器で行う構成が可能である。

上記の例では、ＩＭＵ１１４に対する外部標定要素が取得されていない状態のカメラ１１３を用いて比較画像を撮影し、カメラ１１３の外部標定要素を求める場合を説明したが、カメラ１１３の外部標定要素が誤差を含む形で求められている（あるいは設定されている）状態において、同様な方法によってカメラ１１３の外部標定要素の算出を行ってもよい。

軌道等を用いてキャリブレーション用コース１３０を固定してもよい。こうすることで、キャリブレーション用コース１３０における車両１００の軌跡をより高精度に取得することができる。

特徴点となり易いマーカやターゲットを測定対象物とし、基準点群位置データの取得と比較画像の撮影を行ってもよい。

近年、車両周囲の三次元情報を取得し、車両の自動運転や運転の補助を行う技術が知られている。この技術に車載のカメラを用いる場合に、当該車載カメラのキャリブレーションに本発明を利用することができる。

本発明は、カメラの外部標定要素を求める技術に利用可能である。

１００…車両、１１０…計測システム、１１１…ＧＮＳＳユニット、１１３…カメラ、１１４…ＩＭＵ、１１５…レーザスキャナ、１３０…キャリブレーション用コース、１３１…ビル。

Claims (5)

1. 移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得部と、
   前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得部と、
   前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出部と、
   前記基準点群位置データと前記画像における対応点を指定する対応点指定部と、
   前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出部と
   を備えることを特徴とする演算装置。
2. 前記画像は、複数の時刻において撮影され、
   前記基準点群位置データ算出部は、前記複数の時刻における前記移動体上での座標系で記述した複数の基準点群位置データを算出し、
   前記対応点指定部は、同時刻において撮影された前記画像および前記基準点群位置データにおける対応点を指定し、
   前記外部標定要素算出部は、前記複数の時刻において重ねた前記対応点の前記基準点群位置データと前記複数の時刻において重ねた前記対応点の前記画像における画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素の算出を行うことを特徴とする請求項１に記載の演算装置。
3. 移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得手段と、
   前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得手段と、
   前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出手段と、
   前記基準点群位置データと前記画像における対応点を指定する対応点指定手段と、
   前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出手段と
   を備えることを特徴とする演算システム。
4. 移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得ステップと、
   前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得ステップと、
   前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出ステップと、
   前記基準点群位置データと前記画像における対応点を指定する対応点指定ステップと、
   前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出ステップと
   を備えることを特徴とする演算方法。
5. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータを
   移動体に固定され、前記移動体に対する外部標定要素が取得されたレーザスキャナを用い、前記移動体を移動させながら測定対象物のレーザスキャンを行うことで得られたレーザスキャンデータを基準レーザスキャンデータとして取得する基準レーザスキャンデータ取得部と、
   前記移動体に固定されたカメラを用い、前記移動体の前記移動時における特定の時刻に前記測定対象物を撮影した画像の画像データを取得する画像データ取得部と、
   前記移動時における前記移動体の軌跡に基づき、前記基準レーザスキャンデータを前記特定の時刻における前記移動体上での座標系で記述した基準点群位置データを算出する基準点群位置データ算出部と、
   前記基準点群位置データと前記画像における対応点を指定する対応点指定部と、
   前記対応点の前記基準点群位置データと前記画像における前記対応点の画面座標値とに基づき、前記カメラの前記移動体に対する外部標定要素を算出する外部標定要素算出部と
   して機能させることを特徴とするプログラム。

Images