JP3779308B2

JP3779308B2 - カメラ校正システム及び三次元計測システム

Info

Publication number: JP3779308B2
Application number: JP2004212947A
Authority: JP
Inventors: 幸男佐藤; 進柴田
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2004-07-21
Filing date: 2004-07-21
Publication date: 2006-05-24
Anticipated expiration: 2024-07-21
Also published as: US20080075324A1; WO2006009192A1; US7750969B2; JP2006030127A

Description

本発明は三次元計測等における、自由視点からの撮影画像に基づく情報の統合のためのカメラ校正システム、及びこれを利用した三次元計測システムに関する。

対象物の三次元形状を光学的に求める手法としては、古くから受動的な形状計測法であるステレオ画像法や、アクティブ方式の形状計測法である光切断法、空間コード化法など様々な手法が開発され、利用されてきている。しかしながら、これら手法はいずれも、対象物のうちカメラから見て裏面になる部分や死角に入ってしまう部分までは形状計測ができない。

そこで、例えば対象物を取り囲む枠組みに多数のカメラを設け、それらカメラにより多視点からの画像を取得し、それら画像の情報を例えばステレオ法で統合して三次元形状を計算することも行われている。ただしこの方法は設備が大がかりになってしまうという問題がある。

また特許文献１に示される装置は、対象物を回転テーブルの上に置き、回転テーブルを回転させながらその上の対象物を三次元カメラで撮影する。これにより、１台のカメラで複数の視点からみた三次元形状（距離画像）を得、これらを統合することで死角の少ない三次元形状を計算している。ただしこの方式も、回転テーブルという比較的大がかりな装置が必要である。

また別の手法としては、１台のカメラを移動させて対象物を様々な位置から撮影し、これにより得られた多視点からの画像から三次元形状を計算する手法も知られている。この方式は、多数のカメラを用いる代わりに、一台のカメラを動かして利用するものであるが、移動させたカメラの位置や姿勢が分からないと、多視点からの情報を統合することができない。ここで、カメラを軌道に沿って移動させるなどの機構にすれば、各撮影時点でのカメラの位置・姿勢を求めることは容易であるが、装置が大規模化してしまう。

このような比較的大がかりな従来技術に対し、近年では、カメラを例えば手に持って、自由な位置から撮影した画像から対象物の三次元形状を復元する手法が研究されている。この場合、各撮影時点でのカメラの位置・姿勢を求める必要があるが、そのための手法の１つにカメラ校正（カメラキャリブレーションとも呼ばれる）がある。

カメラ校正にはいくつかの手法があるが、代表的なものとして、例えば特許文献２に示すように、互いに異なる形状の図形（例えば、数字、バーコード等）を複数配列した校正用のパネルを用いるものがある。この従来技術では、校正用のパネルを対象物とを同時にカメラの視野内に捉えて撮影し、校正用のソフトウエアが、パネル上の各図形の形状や世界座標系での位置についての既知情報を用い、撮影した画像内から各図形をそれぞれ識別し、各図形の画面座標系での位置と世界座標系での位置の対応から、両座標系での座標変換のパラメータを計算する。この座標変換のパラメータは、パネルに対するカメラの位置及び姿勢を表すものである。

また別の方式として、特許文献３には、光切断法により三次元形状を計測する測定ヘッドの上面に、ＬＥＤ（発光ダイオード）からなるマーカーを複数設け、対象物に対して自由に配置した測定ヘッドを情報からステレオカメラで撮影することで、測定ヘッドの世界座標系での位置・姿勢を求める方式が示されている。この方式では、測定ヘッドで計測した測定ヘッド中心座標系での対象物の各点の座標を、ステレオカメラで求めた測定ヘッドの位置・姿勢の情報を用いて変換することで、世界座標系での対象物の形状を求めている。

特開２００２−０９８５２１号公報特開２００１−２６４０３７号公報特開２００１−２４１９２７号公報

特許文献２の方式では、校正用のパネルに描かれたマーカー（図形）は、カメラに対するパネルの相対的な傾きにより形状が変わってくる。マーカーの形状が変化すると、校正用の装置に登録されているマーカーの形状と異なってくるため、パネル上のマーカーの識別精度が低下し、校正ができなくなる場合があった。また、マーカーを形状でなく色で識別する方式も従来提案されているが、パネル上のマーカーの色は照明光の状況等によって変化するので、照明状況によってはマーカーの識別精度が低下するという問題があった。

一方、特許文献３の方式は、測定ヘッドの位置・姿勢を求めるためのマーカーとして自ら発光するＬＥＤを用いているので、照明の違いがマーカー識別に与える影響はかなり低減できる。しかし、この方式では、複数のマーカーに同じＬＥＤを用い、個々のマーカーの識別は、１つ１つのマーカーの特徴から行うのではなく、それらマーカーのヘッド上面での配置パターンに基づき判定している。このため、ヘッド上面のマーカーのどれかが対象物の影になるなどしてステレオカメラで撮影できなくなると、撮影画像中のマーカーが複数のマーカーのうちのどれに当たるのか、自動判定することが事実上不可能になる。

本発明では、カメラ校正の基準として用いるマーカーとして、明暗状態を能動的に切り換えることができる発光ダイオード等の発光マーカーを用い、それら発光マーカーをそれぞれ一意な切換パターンに従って明暗切換する。そして、それら発光マーカーを連続撮影した画像フレーム群からマーカーごとに明暗変化のパターンを求め、求めたパターンから各マーカーを識別する。このような仕組みにより、環境光が変化したり、物体により一部のマーカーが隠されたりした場合でも、個々のマーカーの識別を行うことができる。

本発明に係るカメラ校正システムは、撮影装置と、対象物の近傍に配置され、対象物と共に撮影される基準パネルと、撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算する校正パラメータ計算装置と、を備え、基準パネルは、その基準パネル上の異なる位置にそれぞれ設けられかつ各々が明状態と暗状態の２つの状態をとることができる複数の発光マーカーと、各発光マーカーの状態を、互いに異なる切換パターンに従って、撮影装置の連続撮影時のフレームの切換に同期して切り換える制御手段と、を備え、校正パラメータ計算装置は、対象物と基準パネルを含むシーンを撮影装置が同じ視点位置から連続撮影して得たフレーム画像群に基づき、フレーム画像中での各発光マーカーに対応する点を特定し、特定した点ごとに、その点のフレーム画像間での明暗の変化パターンと、各発光マーカーの状態の切り換えパターンとの照合により、その点がどの発光マーカーに対応するかを識別するマーカー識別手段と、マーカー識別手段が識別したフレーム画像の各発光マーカーに基づき、撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算するパラメータ計算手段と、を備える。

なお、発光マーカーの暗状態は、発光マーカーが無点灯状態である場合に限らない。明状態と明確に識別できるだけ暗ければ、発光していてもよい。

そして本発明のシステムは、撮影装置が撮影した画像に基づき、該画像内各点の撮影装置中心座標系での三次元座標を求める三次元計算装置を更に備え、パラメータ計算手段は、フレーム画像中の各発光マーカーの撮影装置中心座標系での三次元座標を三次元計算装置の計算結果から求め、撮影装置中心座標系におけるそれら各発光マーカーの三次元座標と、世界座標系におけるそれら各発光マーカーの既知の三次元座標とに基づき、前記座標変換パラメータを計算する。そして、このシステムは、アクティブ方式の形状計測のためのコード化光を投光する投光器を更に備え、投光器と発光マーカーとは、各々の発光波長域の少なくとも一部が重ならないように設定されており、校正パラメータ計算装置は、撮影装置が連続撮影した各フレーム画像から、発光マーカーの発光波長域内でありかつ投光器の発光波長域と重ならない波長域の画像を求め、求めた画像群からカメラ校正パラメータを計算し、三次元計算装置は、撮影装置が連続撮影した各フレーム画像から、投光器の発光波長域内でありかつ発光マーカーの発光波長域と重ならない波長域の画像を求め、求めた画像群から該画像内各点の撮影装置中心座標系での三次元座標を求める。

本発明に係る三次元計測システムは、撮影装置と、三次元計測の対象物の近傍に配置され、対象物と共に撮影される基準パネルと、撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算する校正パラメータ計算装置と、撮影装置が撮影した画像に基づき、該画像内各点の撮影装置中心座標系での三次元座標を求める三次元計算装置と、各視点位置から撮影装置が撮影した画像から三次元計算装置が求めた各視点位置における撮影装置中心座標系での該画像内各点の三次元座標を、校正パラメータ計算装置が計算した各視点位置についての座標変換パラメータを用いて共通の世界座標系に変換し、統合する三次元形状統合装置と、を備え、基準パネルは、その基準パネル上の異なる位置にそれぞれ設けられかつ各々が明状態と暗状態の２つの状態をとることができる複数の発光マーカーと、各発光マーカーの状態を、互いに異なる切換パターンに従って、撮影装置の連続撮影時のフレームの切換に同期して切り換える制御手段と、を備え、校正パラメータ計算装置は、対象物と基準パネルを含むシーンを撮影装置が同じ視点位置から連続撮影して得たフレーム画像群に基づき、フレーム画像中での各発光マーカーに対応する点を特定し、特定した点ごとに、その点のフレーム画像間での明暗の変化パターンと、各発光マーカーの状態の切り換えパターンとの照合により、その点がどの発光マーカーに対応するかを識別するマーカー識別手段と、マーカー識別手段が識別したフレーム画像の各発光マーカーに基づき、撮影装置中心の座標系から所定の世界座標系への座標変換パラメータを計算するパラメータ計算手段と、を備える。

そしてこのシステムは、アクティブ方式の形状計測のためのコード化光を投光する投光器を更に備え、投光器と発光マーカーとは、各々の発光波長域の少なくとも一部が重ならないように設定されており、校正パラメータ計算装置は、撮影装置が連続撮影した各フレーム画像から、発光マーカーの発光波長域内でありかつ投光器の発光波長域と重ならない波長域の画像を求め、求めた画像群からカメラ校正パラメータを計算し、三次元計算装置は、撮影装置が連続撮影した各フレーム画像から、投光器の発光波長域内でありかつ発光マーカーの発光波長域と重ならない波長域の画像を求め、求めた画像群から該画像内各点の撮影装置中心座標系での三次元座標を求める。

ここで、投光器が投光するアクティブ方式の形状計測のためのコード化光には、空間コード化法で用いられる各種パターン光や、光切断法で用いられる、走査されるスリット光やスポット光などが含まれる。

以下、図面を参照して、本発明を実施するための最良の形態（以下「実施形態」と呼ぶ）について説明する。

図１は、本発明に係る三次元計測システムの構成を模式的に示す図である。

図１に示すように、このシステムは、三次元計測装置１０と基準パネル２０からなる。三次元計測装置１０は、空間コード化法による三次元形状計測を行う装置であり、空間コード化法のためのパターン光３０を投光する投光器１２と、対象を撮影して電子的な撮影画像データを生成するカメラ１４を備える。また、図示は省略するが、三次元計測装置１０は、記憶装置やＣＰＵ（中央演算装置）、計測処理プログラムを保持した不揮発性記憶媒体などを備えており、カメラ１４で撮影した画像群をそのプログラムによって処理することで、対象物の三次元形状を計算する（詳細は後述）。

一方、基準パネル２０は、計測の対象物４０を載置する台となるパネルであり、その表面上に、対象物４０上の各点の座標を決める基準となる発光マーカー２２が行列状（図示例では８×８で合計６４個）に配置されている。発光マーカー２２としては、例えばＬＥＤ（発光ダイオード）を用いることができる。

本実施形態では、この基準パネル２０の各発光マーカー２２を、それぞれ異なるパターンで点滅させる。これをカメラ１４で動画撮影すれば、その動画における各画像フレーム間での各点の点滅パターンにより、それら各点がどの発光マーカー２２であるかを識別することができる。

三次元計測装置１０に設けられた通信器１６と、基準パネル２０に設けられた通信器２４は、三次元計測装置１０の動画撮影時の画像フレームの切り換わりと、基準パネル２０における各発光マーカー２２の点灯状態、消灯（無点灯）状態の切換とを同期させるための無線通信を行う。好適な例では、カメラ１４の撮像デバイス（例えばＣＣＤ）が動画撮影時の各フレームの画像信号を順次出力する際の各フレーム期間の基準として用いられるフレーム同期の同期信号を、通信器１６にて変調して基準パネル２０の通信器２４に無線送信することで、両者の同期をとる。

この同期信号５０の通信に無線を用いるのは、三次元計測装置１０の移動の自由度を高めるためである。この点では、無線通信の代わりに赤外線通信など他の非接触通信方式を用いてもよい。また、両者間をケーブルで有線接続して同期信号をやりとりするシステム構成は、三次元計測装置１０の移動範囲や移動のしやすさがケーブルや基準パネル２０によって一部拘束されはするものの、その点を除けば無線利用の場合と同等の機能を発揮する。

図２に、基準パネル２０における発光マーカー２２の発光制御機構の概略を示す。この構成では、発光マーカー２２として機能するＬＥＤ２２ａが行列状に配列（図では簡単のため４行４列の例を示す）されている。各ＬＥＤ２２ａの一方の端子は列（垂直）電源ラインに、他方の端子は行（水平）電源ラインにそれぞれ接続されている。同一列上のＬＥＤ２２ａは同じ列電源ラインに接続され、同一行上のＬＥＤ２２ａは同じ行電源ラインに接続される。また、各列電源ラインはそれぞれスイッチ２５を介して電源２７の一方の極に接続され、各行電源ラインはそれぞれスイッチ２６を介して電源２７の他方の極に接続される。ＬＥＤ２２ａは消費電力が小さいので、電源２７は乾電池や充電池でよい。

列電源ラインの各スイッチ２５と行電源ラインの各スイッチ２６は、それぞれ走査制御回路２８により個別に開閉制御される。この構成では、少なくとも行単位、列単位でＬＥＤ２２ａの状態を同期的に切り換えることができる。

通信器２４は三次元計測装置１０から受信した無線の同期信号５０を復調し、走査制御回路２８に供給する。走査制御回路２８は、その同期信号に従って各画像フレームの開始タイミングを求め、求めたタイミングでそれらＬＥＤ２２ａの点灯、消灯の状態を同期して切り換える。ここで、同期して切り換えると言っても、すべてを同時に点灯したり、同時に消灯したりするという意味ではなく、各ＬＥＤ２２ａの状態をそれぞれ個別の切換パターンで時系列的に切り換えていく場合において、状態を切り換えるかどうかをフレームの開始タイミングで判断するという意味である。

図３に、発光マーカー２２の８×８行列全体での切換パターンの例を示す。パターン（ａ）は全ての発光マーカー２２を消灯状態としたもの、パターン（ｅ）は全ての発光マーカー２２を点灯状態としたものである。またパターン（ｂ）は、行列の左半分の４列のみを点灯し左半分の４列を消灯したもの、パターン（ｃ）は点灯、消灯を２列ずつ交互に変えたもの、パターン（ｄ）は点灯、消灯を一列ずつ交互に変えたものである。パターン（ｆ）〜（ｈ）は、パターン（ｂ）〜（ｄ）をそれぞれ９０度回転させたパターンである。当業者なら明らかなように、これらパターン（ｂ）〜（ｄ），（ｆ）〜（ｈ）は、それぞれ空間コード化法における２進コード（ビット数は３ビット）のパターン光の組と同様の空間パターンの組を構成している。

これら各パターン（ａ）〜（ｈ）は、図２に例示した回路構成（もちろんこれは８行８列に容易に拡張できる）にて、スイッチ２５，２６の開閉制御により実現可能である。

走査制御回路２８は、これら８つの空間パターン（ａ）〜（ｈ）を撮像のフレームごとに順に切り換えていく。この切換制御により、個々の発光マーカー２２が、それぞれ異なる時間的な切換パターンで点滅することになる。例えば、図３に例示したパターン（ａ）から（ｈ）へと順に空間パターンを切り換えていく場合を例にとると、点灯状態を１，消灯状態を０として切換パターンを表わせば、第１行第１列（すなわち左上隅）の発光マーカーの時間的な切換パターンは01111111、第８行第１列の発光マーカーの切換パターンは01111000、という８ビットのコードでそれぞれ表現できる。

なお、８×８の行列の場合、個々の発光マーカー２２の識別は、原理的には、パターン（ｂ）〜（ｄ）、（ｆ）〜（ｈ）の６パターンによる６ビットのコードで足りる。しかし、その６パターンだけでは、コードが000000（すなわち６空間パターンの全てで消灯状態）となる第８行第８列（右下隅）の発光マーカー２２の位置が識別できなってしまう。そこで、本実施形態では、全マーカーを点灯する空間パターン（ｅ）を加えることで、６ビット全てが０であるマーカーについても、その位置を点灯時の撮影画像から特定することができる。また、全マーカー２２を消灯状態とした空間パターン（ａ）は、コード情報に用いるのではなく、他の空間パターンを撮影したフレーム画像のノイズ除去に利用する。すなわち、基準パネル２０に環境光が映り込むと、それが発光マーカー２２の発光と誤認識されるなどの問題が生じる可能性があるが、パターン（ａ）を撮影したフレーム画像を、他の各パターン（ｂ）〜（ｈ）を撮影したフレーム画像からそれぞれ減算すれば、そのような映り込みの影響を画像から除去することができる。

なお、以上ではパターン（ａ）〜（ｈ）の順に切り換えるとしたが、別の順序でも構わない。また、発光マーカー２２の識別は時系列的な切換パターンのコードによって行うので、各発光マーカー２２は全て同色のものでよい。

次に、図４を参照して、三次元計測装置１０の計測処理の手順を説明する。

この手順では、まず撮影者が自由に選んだＮ（自然数）箇所の視点位置に順に三次元計測装置１０を移動させながら、各視点位置から基準パネル２０とその上に置かれた対象物４０の両方を含んだシーンを撮影する（Ｓ１０）。

１つの視点位置からの撮影では、撮影者がその視点位置で三次元計測装置１０を基準パネル２０及び対象物４０に向けて構え、連続して８フレームの画像を撮影する。例えば１回シャッターボタンを押すと、８フレーム連続して撮影を実行するように三次元計測装置１０をプログラムしておけばよい。この連続撮影の間、三次元計測装置１０の位置及び姿勢は動かないようにする。この連続（すなわち動画）撮影の際、フレームの切換に同期して、空間コード化法のパターン光３０のパターンと、基準パネル２０の発光マーカー行列の空間的な発光パターンとを切り換える。パターン光３０として８種類のパターンを用いれば、基準パネル２０の切換パターン数と同じになり、８フレームで全てのパターンを撮影できる。

ここで、本実施形態では、パターン光３０の波長域と発光マーカー２２の発光波長域に少なくとも一部は重ならないようにし、光学的、或いは信号処理上、或いは画像データ上でのフィルタ処理により、発光マーカー２２の発光を含まないパターン光３０のみの波長域の画像と、パターン光３０を含まない発光マーカー２２の発光のみの波長域の画像とを抽出できるようにする。好適には、例えばパターン光３０に赤色レーザを、発光マーカー２２には青色発光のＬＥＤを用いるといった具合に、パターン光３０と発光マーカー２２の色がカメラ１４の撮像デバイスの原色（ＲＧＢの３色でもＣＭＹの３色でもどちらでもよい）のうちの異なるものとなるようにする。これにより、カメラ１４で撮影した画像の各原色の画像信号又は画像データを別々に取り出すだけで、パターン光３０の画像と発光マーカー２２の画像とを分離して獲得することができる。以下では、パターン光３０を赤色、発光マーカー２２を青色発光とした場合を例にとって説明する。

以上に説明した連続８フレームの撮影は、例えば１フレーム３０ｍｓのフレームレートで行えば０．２４ｓの時間を要する。三脚等に三次元計測装置１０を取り付けて撮影すれば、手ブレは防げる。もちろん、フレームレートをもっと高くすれば、三次元計測装置１０を手で持って撮影しても、手ブレが起こらないようにすることができる。

以上が１つの視点位置からの撮影の手順である。Ｓ１０では、これを対象物４０の死角をなくすように選んだＮ個の視点位置の各々について繰り返し、その撮影により得られたフレーム画像を記憶装置に蓄積する。視点位置ごとに、８フレームのフルカラーの画像データが蓄積される。これらの画像には、赤色のパターン光３０の反射光と、発光マーカー２２の青色の発光の両方が写っている。この画像データからＢ成分のみを取り出せば発光マーカー２２の画像が、Ｒ成分のみを取り出せばパターン光３０の画像が、それぞれ得られる。もちろん、このように一旦フルカラー画像として蓄積してから各成分を取り出す代わりに、カメラ１４の撮像デバイスから出力されるＲ成分の画像信号とＢ成分の画像信号を別々の画像として蓄積するようにしてもよい（ただし、それら両画像が同じ視点位置の同じフレームに対応するという情報は何らかの形で記憶しておく）。

Ｓ１２では、８箇所の視点位置の各々について、その視点位置に対応する８フレームののＲ画像に基づき、対象物４０及び基準パネル２０上の各点の３次元座標を空間コード化法のアルゴリズムに従って計算する。空間コード化法のアルゴリズムは周知なので、個々では説明は省略する。この計算で得られる各点の三次元座標は、カメラ中心の座標系での座標である。

一方Ｓ１４では、８箇所の視点位置の各々について、その視点位置に対応する８フレームのＢ画像に基づき、カメラ１４を中心とした画像の座標系から、基準パネル２０を基準とした世界座標系（ワールド座標系又はグローバル座標系とも言う）への変換パラメータを計算する。

Ｓ１４の計算では、まずそれら８枚のＢ画像から各発光マーカー２２の画像内での位置を求める。これには、行列を構成する全ての発光マーカー２２を点灯状態としたときのフレーム画像（より好適には、全部消灯したときの画像との差分）から、高輝度の点（より厳密には１以上の画素からなる連結領域）を求めればよい。ここで、Ｂ画像では、発光マーカー２２の発光が対象物４０に映り込んだ像もある程度の輝度となり、これを発光マーカー２２と誤判定する可能性もある。しかし、対象物４０への映り込みは発光マーカー２２の輝度よりは大幅に低いので、二値化のしきい値を適切に定めることで除去することができ、誤判定の可能性を大幅に低減できる。また、発光マーカー２２のうち視点位置から見て対象物４０の背後に隠れるものは、検出することができないが、これでも基本的には問題ない。６４個のうち少なくとも３個の発光マーカー２２が判別できれば、変換パラメータは計算できるからである。基準パネル２０上の発光マーカー２２の分布範囲を対象物４０に比べて十分に大きくとっておけば、対象物４０の周囲のどこから見ても発光マーカー２２を３個以上捉えるのはさほど困難ではない。なお３個というのは、撮影時にズームを用いない場合の最小限の数であり、ズームを用いる場合には倍率も求める必要があるため最低４個の発光マーカー２２を捉える必要がある。

このように各発光マーカー２２の位置が画像上で特定されると、パターン（ｂ）〜（ｄ）及び（ｆ）〜（ｈ）に対応する６フレームの画像（好適には全消灯時の画像との差分）から、各発光マーカー２２の位置での明暗の変化パターンを求める。８フレームを連続撮影している間は、カメラ１４の位置・姿勢は変化しないと想定できるので、いずれのフレーム画像でも、同じ発光マーカー２２は同じ位置にあるものと想定できる。従って、同じ位置の明暗の変化を求めればよい。一方、三次元計測装置１０は、各発光マーカー２２の時間的な点滅パターンを示すコードの情報を有している。したがって、それら各位置の明暗の変化パターンがどのコードに該当するかを判別することで、画像上での各発光マーカーの像がそれぞれどの発光マーカー２２のものであるかを判定する。このような判定方式なので、対象物４０により一部の発光マーカー２２が隠されたとしても、そのようなこととは無関係に、撮影された発光マーカー２２を識別することができる。

このように各発光マーカー２２とその画像中での位置が判別できると、それらの情報に基づきそれら８フレームの画像を撮影したときのカメラ中心の座標系から、基準パネル２０により規定される世界座標系への変換パラメータを計算する。この計算では、Ｓ１２で求められた各点の三次元座標の情報から、判別した各発光マーカー２２の三次元座標を求める。Ｓ１２で求めた三次元形状は距離画像と等価であり、その中の各発光マーカー２２を示す点の三次元座標はそれら各マーカー２２の画像内での位置と対応づけられるので、これは求めることができる。これにより、カメラ中心座標系での３以上の発光マーカー２２の三次元座標が得られる。

３点の座標が分かればその３点を通る１つの平面が定まる。したがって、カメラ中心座標系で発光マーカー群が載る平面の法線ベクトルとある特定の一点（例えばある発光マーカー）を、世界座標系でのそれら発光マーカ群が載る平面の法線ベクトルとその特定の一点の対応点に移す座標変換を求めれば、その変換により、Ｓ１２で求めたカメラ中心座標系での各点の三次元座標を、世界座標系での座標に変換できる。世界座標系での各発光マーカー２２の三次元座標は既知（予め定めておけばよい）なので、これで両座標系間の座標変換のための１組の変換パラメータを求めることができる。

４点以上の発光マーカー２２が画像中から判別できた場合は、それら各点が同一平面に載るものと仮定し、最小自乗法によりその平面の法線ベクトルを計算する。すなわち例えば、それら各点のカメラ中心座標系での位置ベクトルをＰi(xi,yi,zi) として、それら位置ベクトルを並べた行列Ｍ＝[Ｐ1，Ｐ2，．．．，Ｐn ]^T を求め、この行列Ｍの各一ベクトルの成分からそれら各点の重心を引いた行列Ｍ' を求める。そして、それら各点が全て同一平面に載るものとして、その平面の単位法線ベクトルｎとすれば、Ｍ'・ｎ＝０が成立する。この誤差が少なくなるようなｎを最小自乗法により推定すればよい。法線ベクトルを求めた以降の処理は上述の通りである。

以上、各視点位置での撮影がすべて同じズーム倍率で行われた場合の処理を説明したが、視点位置ごとにズーム倍率が変わる場合も、上述の処理を拡張することで対応できることは明らかであろう。

Ｓ１２では、以上のような変換パラメータの計算を、撮影したＮ個の視点位置の各々について行う。

このようにして、各視点位置についての変換パラメータが求められると、次にＳ１６では、各視点位置から見た対象物４０のカメラ中心座標系での三次元形状（Ｓ１２で計算済み）を、それぞれ対応する変換パラメータを用いて共通の世界座標系へと座標変換する（Ｓ１６）。そして、それら座標変換済みの三次元形状を統合することで、対象物４０の死角の少ない三次元形状を求めることができる（Ｓ１８）。複数視点から求めた三次元形状の統合処理は公知なので、Ｓ１８ではその公知手法を用いればよい。

以上、本発明の好適な実施形態を説明した。以上説明したように、本実施形態では、位置基準となる各発光マーカー２２をその明暗変化のパターンで個別に識別できるので、各発光マーカー２２を相互の位置関係によらず識別することができる。したがって、対象物４０により基準パネル２０上のいくつかの発光マーカー２２が隠されてしまっても、隠されていない発光マーカー２２は問題なく識別できる。また、発光マーカー２２を用いているので、照明状態の影響を受けにくいというメリットもある。

以上の実施形態はあくまで一例であり、本発明の範囲内で様々な変形が可能である。

例えば、上記実施形態では、発光マーカー２２群の空間的な明暗パターンとして図３に示した純２進コードパターンを用いたが、これに限らず、例えばグレイコードパターン等の他の２進コードパターンでもよいし、その他の空間コードパターンでもよい。

また、行列を構成する各発光マーカー２２を個別に制御できるような回路構成にすることも可能であり、こうすれば各発光マーカー２２を個別に、互いに異なる自由な切換パターンに従って点灯、消灯させることができる。

また、発光マーカー２２としてＬＥＤを例示したが、これに限らず、明暗の制御ができるものであればどのような発光機構を用いてもよい。

また、上記実施形態では、三次元計測装置１０として空間コード化法によるものを例示したが、この他にも、光切断法によるもの、複数のカメラを用いる受動的ステレオ法によるものなど、様々なものを用いることができる。

また、上記実施形態では、三次元計測のための獲得画像フレーム数（すなわち空間コードパターンの数）と、発光マーカー識別のための獲得画像フレーム数（すなわちマーカー行列の明暗パターンの数）とが同じであったが、これは必須のことではない。

また、上記実施形態では、カメラ１４の撮像フレームの１フレームごとに発光マーカーの点灯・消灯の切換を判定していたが、１フレームごとでなく所定の複数フレームごとであっても構わない。

また、上記実施形態では、三次元計測装置１０がパターン光投影と撮影を行うのみならず、三次元形状の計算や各視点の三次元形状の統合（カメラ校正処理も含む）などの計算処理まで行ったが、このようなシステム構成のみならず、例えば三次元計測装置１０は撮影までを行い、撮影した画像データ群を別の計算装置に渡して計算処理を行うようなシステム構成でもよい。

また、上記実施形態では、基準パネル２０として正方形の平板を用いたが、この他の形状のものを用いることもできる。例えば正方形でなくてもよい。また、平板でなく、凹面や凸面などの立体的な形状でもよい。立体的な形状とした場合は、その表面上の発光マーカー群がその立体的な面の各位置にあるものとして、変換パラメータを計算すればよい。また、基準パネル２０は、例示のように対象物を載置する台として使用するものに限らず、例えば立てて対象物の背景としたりしてもよい。

また、基準パネル２０利用の座標変換パラメータの計算は、例示した多視点からの三次元形状の合成に利用するに限らず、この他にもカメラ校正が利用される様々な分野に適用が見込める。

実施形態のシステム構成例を示す図である。基準パネルにおける発光マーカーの発光制御機構の概略を示すである。発光マーカー行列の明暗パターンの例を示す図である。三次元形状計測の処理手順を示す図である。

符号の説明

１０三次元計測装置、１２投光器、１４カメラ、１６通信器、２０基準パネル、２２発光マーカー、２４通信器、３０パターン光、４０対象物、５０同期信号。

Claims

撮影装置と、
対象物の近傍に配置され、対象物と共に撮影される基準パネルと、
撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算する校正パラメータ計算装置と、
を備え、
基準パネルは、
その基準パネル上の異なる位置にそれぞれ設けられかつ各々が明状態と暗状態の２つの状態をとることができる複数の発光マーカーと、
各発光マーカーの状態を、互いに異なる切換パターンに従って、撮影装置の連続撮影時のフレームの切換に同期して切り換える制御手段と、
撮影装置が撮影した画像に基づき、該画像内各点の撮影装置中心座標系での三次元座標を求める三次元計算装置と、
アクティブ方式による形状計測のためのコード化光を投光する投光器と、
を備え、
校正パラメータ計算装置は、
基準パネルを撮影装置が同じ視点位置から連続撮影して得たフレーム画像群に基づき、フレーム画像中での各発光マーカーに対応する点を特定し、特定した点ごとに、その点のフレーム画像間での明暗の変化パターンと、各発光マーカーの状態の切り換えパターンとの照合により、その点がどの発光マーカーに対応するかを識別するマーカー識別手段と、
マーカー識別手段が識別したフレーム画像の各発光マーカーに基づき、撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算するパラメータ計算手段と、
を備え、
パラメータ計算手段は、フレーム画像中の各発光マーカーの撮影装置中心座標系での三次元座標を三次元計算装置の計算結果から求め、撮影装置中心座標系におけるそれら各発光マーカーの三次元座標と、世界座標系におけるそれら各発光マーカーの既知の三次元座標とに基づき、前記座標変換パラメータを計算し、
投光器と発光マーカーとは、各々の発光波長域の少なくとも一部が重ならないように設定されており、
校正パラメータ計算装置は、撮影装置が連続撮影した各フレーム画像から、発光マーカーの発光波長域内でありかつ投光器の発光波長域と重ならない波長域の画像を求め、求めた画像群からカメラ校正パラメータを計算し、
三次元計算装置は、撮影装置が連続撮影した各フレーム画像から、投光器の発光波長域内でありかつ発光マーカーの発光波長域と重ならない波長域の画像を求め、求めた画像群から該画像内各点の撮影装置中心座標系での三次元座標を求める、
カメラ校正システム。
撮影装置と、
三次元計測の対象物の近傍に配置され、対象物と共に撮影される基準パネルと、
撮影装置中心座標系から所定の世界座標系への座標変換パラメータを計算する校正パラメータ計算装置と、
撮影装置が撮影した画像に基づき、該画像内各点の撮影装置中心座標系での三次元座標を求める三次元計算装置と、
各視点位置から撮影装置が撮影した画像から三次元計算装置が求めた各視点位置における撮影装置中心座標系での該画像内各点の三次元座標を、校正パラメータ計算装置が計算した各視点位置についての座標変換パラメータを用いて共通の世界座標系に変換し、統合する三次元形状統合装置と、
アクティブ方式による形状計測のためのコード化光を投光する投光器と、
を備え、
基準パネルは、
その基準パネル上の異なる位置にそれぞれ設けられかつ各々が明状態と暗状態の２つの状態をとることができる複数の発光マーカーと、
各発光マーカーの状態を、互いに異なる切換パターンに従って、撮影装置の連続撮影時のフレームの切換に同期して切り換える制御手段と、
を備え、
校正パラメータ計算装置は、
対象物と基準パネルを含むシーンを撮影装置が同じ視点位置から連続撮影して得たフレーム画像群に基づき、フレーム画像中での各発光マーカーに対応する点を特定し、特定した点ごとに、その点のフレーム画像間での明暗の変化パターンと、各発光マーカーの状態の切り換えパターンとの照合により、その点がどの発光マーカーに対応するかを識別するマーカー識別手段と、
マーカー識別手段が識別したフレーム画像の各発光マーカーに基づき、撮影装置中心の座標系から所定の世界座標系への座標変換パラメータを計算するパラメータ計算手段と、
を備え、
投光器と発光マーカーとは、各々の発光波長域の少なくとも一部が重ならないように設定されており、
校正パラメータ計算装置は、撮影装置が連続撮影した各フレーム画像から、発光マーカーの発光波長域内でありかつ投光器の発光波長域と重ならない波長域の画像を求め、求めた画像群からカメラ校正パラメータを計算し、
三次元計算装置は、撮影装置が連続撮影した各フレーム画像から、投光器の発光波長域内でありかつ発光マーカーの発光波長域と重ならない波長域の画像を求め、求めた画像群から該画像内各点の撮影装置中心座標系での三次元座標を求める、三次元計測システム。
撮影装置は、フレーム同期タイミングを示す同期信号を発信する発信器を備え、
基準パネルは、発信された同期信号を受信する受信器を備え、
基準パネルの制御手段は、受信器が受信そた同期信号に従って各発光マーカーの状態を切り換える、
ことを特徴とする請求項１又は２のいずれか１項に記載のシステム。
基準パネルに設けられた発光マーカー群が行列状に配列され、
基準パネルの制御手段は、発光マーカー群の行列が２進コード系列に従った明暗パターンをなすように各発光マーカーの状態を切り換える、
ことを特徴とする請求項１〜３のいずれか１項に記載のシステム。
基準パネルの制御手段は、撮像装置が同一視点位置から連続撮影するフレーム群のうちの所定の基準フレームに対応する期間は、基準パネル上の発光マーカーを全て所定の基準明るさで発光させ、
マーカー識別手段は、撮像装置が同一視点位置から連続撮影したフレーム画像の各々から基準フレームのフレーム画像を減算し、減算結果のフレーム画像群に基づき発光マーカーを識別する、
ことを特徴とする請求項１〜４のいずれか１項に記載のシステム。