JP4306006B2

JP4306006B2 - ３次元データ入力方法及び装置

Info

Publication number: JP4306006B2
Application number: JP08755299A
Authority: JP
Inventors: 佳子坂川; 英郎藤井; 光一塩野; 雄一川上
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 1999-03-30
Filing date: 1999-03-30
Publication date: 2009-07-29
Anticipated expiration: 2019-03-30
Also published as: JP2000283720A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の３次元データを入力するための３次元データ入力方法及び装置に関する。
【０００２】
【従来の技術】
光学式の３次元データ入力装置（３次元カメラ）は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。このような３次元データ入力装置に好適な計測方法としてスリット光投影法（光切断法ともいう）が知られている。
【０００３】
図８はスリット光投影法を適用した３次元カメラ８０の入力原理を示す図である。
図８において、３次元カメラ８０は、投光部８１と受光部８２とを有する。投光部８１は、断面が直線状のスリット光Ｓを照射する。受光部８２は、撮像面８３及び図示しない結像レンズを有する。投光部８１と受光部８２とは、通常、互いに所定の寸法だけ離れた状態で、１つのハウジングに一体的に組み込まれている。
【０００４】
被写体Ｑ１は、投光部８１からのスリット光Ｓによって照射され、その反射光が撮像面８３上でスリット像として捕らえられる。このスリット像における１つの点ｐ' に対応する被写体Ｑ１上の点ｐの空間座標は、スリット光Ｓによって形成される平面と、点ｐ' 及び結像レンズの中心点Ｏを結ぶ直線Ｌとの交点の座標として求められる。したがって、スリット光Ｓで得られた１枚のスリット像から、このスリット像上の各点に対応した被写体Ｑ１の表面の点群の空間座標が求められる。スリット光Ｓを水平方向に移動させることで被写体Ｑ１を走査し、各走査位置でのスリット像を入力することで被写体Ｑ１の表側部分、つまりスリット光Ｓの照射を受けた部分の３次元データが入力される。
【０００５】
被写体Ｑ１の全周における３次元データを得たい場合には、被写体Ｑ１について複数方向から入力することが必要となる。そのための方法として２つの方法が知られている。第１の方法では、３次元カメラ８０を、その撮影方向が被写体Ｑ１に向いた状態で被写体Ｑ１を中心とした所定の軌道上を移動させ、被写体Ｑ１に対して複数方向から撮影を行う。第２の方法では、回転ステージに被写体Ｑ１を載せて回転させ、所定位置に設置した３次元カメラ８０により、被写体Ｑ１に対して複数方向から撮影を行う。
【０００６】
複数方向から入力された被写体Ｑ１の３次元データは、３次元カメラ８０の移動する軌道上における位置、又は回転ステージの位置に基づいて算出された変換パラメータにより、それぞれ位置合わせの処理が行われる。これにより、被写体Ｑ１の全周における３次元デ−タが得られる。
【０００７】
しかし、上述した方法では、位置合わせの精度を向上するために、３次元カメラ８０の位置又は回転ステージの角度位置を高精度に検出する必要があり、コスト高となる。
【０００８】
しかも、３次元カメラ８０を移動装置などにセットすることとなるため、３次元カメラ８０を手に持って撮影することができない。そのため、入力を行うことのできる被写体が制限される。つまり、例えば、既設の石像又は銅像などのように移動できない被写体は、この方法によっては３次元デ−タの入力ができない。
【０００９】
このような問題を解決するために、特開平９−５０５１号公報に記載の装置が提案されている。この従来の装置によると、被写体Ｑ１を任意の複数方向から撮影し、３次元デ−タの入力を行う。入力を行った後、複数方向から入力された３次元形状、及び、それらと同時に同一の視野から入力され且つ３次元データとの対応付けがなされているカラー画像を表示する。ユーザは、表示されたカラー画像を見ながら、それらの３次元形状における互いの対応点を色の変化などに基づいて手動で指定する。ユーザにより指定された対応点に基づいて、入力された３次元データの相互間の位置合わせが行われる。
【００１０】
【発明が解決しようとする課題】
しかし、上に述べた従来の装置によると、複数の３次元データの相互間の位置合わせのために、ユーザが対応点を指定する作業を行う必要があり、その作業が極めて面倒である。
【００１１】
また、３次元デ−タの入力を行う際には、被写体Ｑ１の全周について旨く撮影が行われたか否かを確認する方法がない。そのため、複数の３次元データが適切な重なりを持って連続していなかったり、データが不足する場合には、３次元データの相互間の対応点を旨くとることができない。そのような場合には、３次元データの相互間の位置合わせの精度が低下したり、酷い場合には撮影をやり直す必要がある。
【００１２】
本発明は、上述の問題に鑑みてなされたもので、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができ、被写体の全周又は所定範囲における欠落のない合成画像を容易に取得することを可能とする３次元データ入力方法及び装置を提供することを目的とする。
【００１３】
請求項１に係る３次元データ入力方法は、図５及び図６に示すように、被写体Ｑを確認するためのモニタ画面２１を有し、撮影により前記被写体Ｑを撮影することによって前記被写体Ｑの３次元データの入力を行うように構成された３次元データ入力装置２における３次元データ入力方法であって、前記被写体Ｑの一部分から入力した３次元データに基づいてその形状に対応する３次元形状モデルの画像を生成し、前記３次元形状モデルの画像をフレーミングの案内画像ＧＰとして前記モニタ画面２１に表示し、その際に、前記案内画像ＧＰを、次の撮影時の視点方向からの画像に変換して表示し、前記案内画像ＧＰと前記被写体Ｑの画像ＱＰのうち前記案内画像ＧＰに対応する画像とが重なるようにフレーミングを行い、前記フレーミングがなされた状態で前記被写体Ｑの次の撮影を行う。
【００１４】
請求項２に係る３次元データ入力装置は、図２乃至図６に示すように、被写体Ｑを確認するためのモニタ画面２１を有し、前記被写体Ｑを撮影することによって前記被写体Ｑの３次元データの入力を行うように構成された３次元データ入力装置２であって、撮影により前記被写体Ｑの一部分から入力した３次元データに基づいてその形状に対応する３次元形状モデルの画像を生成する３次元形状モデル画像生成手段７３と、前記３次元形状モデルの画像をフレーミングの案内画像ＧＰとして前記モニタ画面２１に表示させる表示指示手段７６と、前記案内画像ＧＰを表示する際に、当該案内画像ＧＰを次の撮影時の視点方向からの画像に変換する手段と、フレーミングがなされた被写体Ｑを次に撮影することによって入力される３次元データを記憶する記憶手段６３と、を有する。
【００１５】
【発明の実施の形態】
図１は本発明に係る３次元カメラ２を用いた計測システム１の構成図、図２は３次元カメラ２の外観を示す図である。
【００１６】
図１に示すように、計測システム１は、３次元カメラ２及びホスト３から構成される。
３次元カメラ２は、スリット光投影法によって立体計測を行う可搬型の３次元データ入力装置であり、入力対象となる被写体Ｑを撮影することにより、３次元データ（距離データ）を入力し、この３次元データに基づいて被写体Ｑの３次元形状を求めるための基となるデータを算出し出力する。
【００１７】
ホスト３は、ＣＰＵ３ａ、ディスプレイ３ｂ、キーボード３ｃ、及びマウス３ｄなどから構成されたコンピュータシステムである。３次元カメラ２とホスト３との間では、オンライン及び可搬型の記録メディア４によるオフラインの両方の形態のデータ受渡しが可能である。記録メディア４としては、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモリカードなどがある。
【００１８】
ホスト３は、３次元カメラ２から送られた３次元データに基づいて、三角測量法を用いてサンプリング点の座標を求める演算処理や貼り合わせ処理（合成処理）などを行う。そのためのソフトウエアはＣＰＵ３ａに組み込まれている。
【００１９】
図２（ａ）に示すように、３次元カメラ２は、そのハウジング２０の前面に投光窓２０ａ及び受光窓２０ｂを有する。投光窓２０ａは受光窓２０ｂに対して上側に位置する。内部の光学ユニットＯＵが射出するスリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓２０ａを通って被写体Ｑに向かう。スリット光Ｕの長さ方向Ｍ１の放射角度φは固定である。被写体Ｑの表面で反射したスリット光Ｕの一部が受光窓２０ｂを通って光学ユニットＯＵに入射する。なお、光学ユニットＯＵは、投光軸と受光軸との相対関係を適正化するための２軸調整機構を備えている。
【００２０】
ハウジング２０の上面には、ズーミングボタン２５ａ，２５ｂ、手動フォーカシングボタン２６ａ，２６ｂ、及びシャッターボタン２７が設けられている。
また、図２（ｂ）に示すように、ハウジング２０の背面には、ファインダー２１、カーソルボタン２２、セレクトボタン２３、キャンセルボタン２４、アナログ出力端子３２、ディジタル出力端子３３、及び記録メディア４の着脱口３０ａが設けられている。
【００２１】
ファインダー２１は、液晶ディスプレイなどのモニタ画面を有した画像表示装置である。ファインダー２１上には、モニタ画像ＱＰ及び本発明の特徴である案内画像ＧＰが表示される。モニタ画像ＱＰ及び案内画像ＧＰの詳細については後述する。また、各操作段階においてユーザが次に行うべき操作を文字や記号によって指示する操作手順情報、及び撮影した部分の３次元データが濃淡によって表現された距離画像（濃淡画像）が表示される。
【００２２】
背面の各ボタン２２〜２４は、撮影モード等の設定を行うためのものである。
アナログ出力端子３２からは、被写体Ｑの２次元画像信号が例えばＮＴＳＣ形式で出力される。ディジタル出力端子３３は例えばＳＣＳＩ端子である。
【００２３】
次に、３次元カメラ２の機能について説明する。
図３は３次元カメラ２の機能構成を示すブロック図である。図３における実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【００２４】
図３に示すように、３次元カメラ２は、上述の光学ユニットＯＵを構成する投光側及び受光側の２つの光学系４０，５０を有している。光学系４０において、半導体レーザ（ＬＤ）４１が射出する波長６８５ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、及びガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。
【００２５】
光学系５０において、ズームユニット５１によって集光された光はビームスプリッタ５２によって分光される。
半導体レーザ４１の発振波長帯域の光は、計測用センサ５３に入射する。可視帯域の光は、モニタ用カラーセンサ５４に入射する。計測用センサ５３及びモニタ用カラーセンサ５４は、どちらもＣＣＤエリアセンサである。計測用センサ５３及びモニタ用カラーセンサ５４は、それぞれ、被写体Ｑの撮影情報又は撮像情報を電気信号として出力する。
【００２６】
ズームユニット５１は内焦型であり、図示しないズームレンズが設けられている。このズームレンズを長焦点側と短焦点側との間で撮影方向に沿って移動することにより、３次元データを様々な解像度で入力することができる。また、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７、レンズコントローラ５８、及びフォーカシング駆動系５９によって実現される。ズーミング駆動系６０は電動ズーミングのために設けられている。
【００２７】
次に、３次元カメラ２における電気信号の主な流れについて説明する。
まず、計測用センサ５３による撮影情報は、ドライバ５５からのクロックに同期して出力処理回路６２へ転送される。出力処理回路６２は、計測用センサ５３の出力する各画素の光電変換信号を増幅する増幅器、及び光電変換信号を８ビットの受光データに変換するＡＤ変換部を有している。出力処理回路６２で得られた受光データはメモリ６３によって一時的に記憶された後、重心演算回路７３へ送られる。その際のアドレス指定はメモリ制御回路６３Ａが行う。重心演算回路７３は、入力された受光データに基づいて３次元形状を算出するための基となるデータを算出し、それを出力用メモリ６４に出力する。出力用メモリ６４に格納されたデータは、ＳＣＳＩコントローラ６６を介してディジタル出力端子３３から出力され、又は記録メディア４に出力される。
【００２８】
また、重心演算回路７３は、被写体Ｑの形状に対応した３次元データである被写体形状データＴＤを生成し、それを表示用メモリ７４に出力する。表示用メモリ７４に格納された被写体形状データＴＤは、表示制御部７６によって後述する画像処理などが施された後、案内画像ＧＰとしてファインダー２１上に表示される。
【００２９】
一方、モニタ用カラーセンサ５４による撮像情報は、ドライバ５６からのクロックに同期してカラー処理回路６７へ転送される。カラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０及びアナログ出力端子３２を経てオンライン出力され、又はディジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。カラー画像メモリ６９に格納された撮像情報は、ＳＣＳＩコントローラ６６を介した後、ディジタル出力端子３３からオンライン出力され又は記録メディア４に書き込まれる。撮像情報は、また、表示制御部７６を介してファインダー２１上にモニタ画像ＱＰとして表示される。
【００３０】
システムコントローラ６１は、表示制御部７６に対して、ファインダー２１上に操作手順情報を表示するための指示を与える。なお、被写体形状データＴＤを生成するための光学系４０，５０から重心演算回路７３に至るまでの回路、表示用メモリ７４、カラー画像メモリ６９、表示制御部７６、システムコントローラ６１、及びファインダー２１は、重合わせ画像発生部７を構成する。
【００３１】
以上のような構成及び機能を有する３次元カメラ２によって、被写体Ｑの全周又は所定範囲の３次元データが入力される。
図４は３次元カメラ２によって被写体Ｑの全周又は所定範囲の３次元データを入力する具体的な方法を示す図である。
【００３２】
図４（ａ）に示す方法は、ユーザが３次元カメラ２を被写体Ｑの周囲で移動させ、適応的に撮影条件を変更して入力を行う。図４（ｂ）に示す方法は、被写体Ｑそれ自体を移動させながら、適応的に撮影条件を変更して入力を行う。また、３次元カメラ２を所定のアームに取り付け、このアームを移動させることで被写体Ｑを撮影する位置を変えるようにしてもよい。
【００３３】
次に、モニタ画像ＱＰ及び案内画像ＧＰについて説明する。
図５は重合わせ画像発生部７によるモニタ画像ＱＰ及び案内画像ＧＰの生成の過程を説明するための図、図６はファインダー２１上に表示された被写体Ｑのモニタ画像ＱＰ及び案内画像ＧＰを示す図である。
【００３４】
図５及び図６において、モニタ画像ＱＰは、被写体Ｑのうちユーザが３次元カメラ２の視線を向けて３次元データを入力しようとしている部分をモニタするためのカラー画像であり、カラー画像メモリ６９に格納された撮像情報から生成される。
【００３５】
案内画像ＧＰは、被写体Ｑの全周又は所定範囲の３次元データを入力する際に、被写体Ｑをどの位置からどのようにして撮影すべきかという情報をユーザに与える画像である。案内画像ＧＰは、図５に示されるように、被写体形状データＴＤから生成される。
【００３６】
ここで、被写体形状データＴＤは、被写体Ｑを入力した際の当該入力部分の３次元データである。本実施形態においては、兎の左半身が例として示されている。
【００３７】
被写体形状データＴＤに対して、ワイヤーフレーム、シェ一ディング、テクスチャマッピング、又は色付けなどの処理が施される。色付けは、ワイヤーフレーム、シェ一ディング、又はテクスチャマッピング画像に対して、モニタ画像ＱＰとの識別を行い易くするためになされる。色付けにより、例えば、青、緑、赤などの色となる。また、モニタ画像ＱＰと案内画像ＧＰの混合比を変えることにより、つまりオーバーラップしているこれら２つの画像の濃度の割合を任意に変えることにより、ユーザにとって最も見やすい状態とすることも可能である。これらの処理が施されることにより、案内画像ＧＰとモニタ画像ＱＰとの重ね合わせが容易となる。ユーザの希望に応じて、いずれの処理を施すかを選択することが可能である。本実施形態においては、テクスチャマッピングを施した例が示されている。
【００３８】
ユーザは、案内画像ＧＰが被写体を所望の位置から見たときの状態となるように、被写体形状データＴＤを回転（姿勢変化）させたり、ズーミングさせたりすることができる。これによって案内画像ＧＰが変化する。ユーザはこの案内画像ＧＰを参照して次の撮影位置を決めることができる。以降、案内画像ＧＰをその表示形状によって他と区別する必要がある場合には、「ＧＰ１」「ＧＰ２」などのように末尾に数字を付して示す。
【００３９】
これらのモニタ画像ＱＰ及び案内画像ＧＰを用いて３次元データの入力を行う方法について、図５及び図６を参照して説明する。
ユーザは、まず、被写体Ｑを一方向から撮影する。ここでは、兎の左半身を右横から撮影する。撮影によって、兎の左半身の３次元データが得られる。得られた３次元データは、図６（ａ）に示すように、案内画像ＧＰ１としてファインダー２１上に表示される。
【００４０】
次に、ユーザは、例えば案内画像ＧＰ１（被写体形状データＴＤ）を、上から見て右方向に回転させるように操作を行い、図６（ｂ）に示すように、被写体を後方から見たときの状態である案内画像ＧＰ２を表示させる。このとき、被写体形状データＴＤの右側の端領域ＧＰＲがファインダー２１上に表示されるようにしておく。１回目の撮影で得られた被写体形状データＴＤと、２回目の撮影で得られる被写体形状データＴＤとをつなぎ合わせるためののりしろを残しておくためである。なお、のりしろとなる端領域ＧＰＲの色を他の部分と異ならせておくと、ユーザが見やすくなる。
【００４１】
次に、図６（ｃ）に示すように、案内画像ＧＰ２とモニタ画像ＱＰのうち案内画像ＧＰ２に対応する部分とが重なるようにフレーミングを行う。
なお、フレーミングに際しては、図４に示したように、３次元カメラ２を動かしてもよいし、被写体Ｑを動かしてもよい。ズーミングを行うことによって、又は３次元カメラ２を移動させることによって、様々な解像度で入力できる。例えば、顔などの精細なデータが必要な部分は高い解像度で入力し、これとは逆に背中などのあまり形状の変化が激しくない部分は低い解像度で入力することができる。これによって、不必要なデータの増大を防止できる。
【００４２】
フレーミングを行った後で、シャッターボタン２７を押して２回目の撮影を行う。ここでは、２回目は兎を後方から撮影する。
同様な操作によって、案内画像ＧＰ２を案内画像ＧＰ３、ＧＰ４…（図示せず）というように順次変更し、被写体の全周にわたって撮影を行う。これによって、被写体の全周の３次元データが入力される。
【００４３】
なお、３回目以降の案内画像ＧＰ３、ＧＰ４…を生成するに当たって、例えば次の方法によることができる。
（１）前回に撮影した画像から案内画像ＧＰを生成する。
（２）これまでに撮影した全画像を使って案内画像ＧＰを生成する。
（３）これまでに撮影した画像の中から任意の画像を選択し、その画像から案内画像ＧＰを生成する。
【００４４】
このように、順次になされる案内画像ＧＰの変更は、ユーザの希望に応じて行う手動モード又は予プログラムによって決められた順序により行う自動モードのいずれでも可能である。手動モードを選択した場合には、マウスなどによって操作することも可能である。
【００４５】
案内画像ＧＰを参考にして入力を行うことにより、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができる。また、撮影された複数の３次元データは、位置合わせが容易であり、精度良く位置合わせを行うことが可能であるから、被写体の全周又は所定範囲における欠落のない合成画像を容易に取得することができる。
【００４６】
図７は３次元データの入力動作及び処理を示すフローチャートである。
被写体に対し、適当な位置を第１の視点として撮影を行うことにより、第１の３次元データが入力される（＃１）。第１の３次元データの入力時における座標系でファインダー表示用視点位置が決定される（＃２）。第１の視点で、第１の３次元データに基づいた案内画像ＧＰ１が表示される（＃３）。案内画像ＧＰ１は、自動的又はユーザの指定による回転やズーミングによって、案内画像ＧＰ２となる。次の視点である第２の視点から案内画像ＧＰ２とモニタ画像ＱＰとを重ね合わせる（＃４）。うまく重ね合わせができたら、第２の３次元データの入力を行う（＃５）。第２の３次元データを、第１の３次元データの座標系に変換するためのパラメータを求める。ファインダー２１上で重ね合わせて入力した３次元データはそれぞれの座標系のデータとなっており、これらの座標系の間で変換が必要となる。３次元データの位置合わせを行うということは、一方の座標系への変換を行うということになる。位置合わせを行う方法としては後述の２つの方法が可能である（＃６）。求められたパラメータにより、第２の３次元データに対する座標変換が行われ（＃７）、初期位置合わせが完了する（＃８）。さらに高精度に位置合わせを行うために、ＩＣＰにて微調整を行う（＃９）。
【００４７】
なお、ＩＣＰとは、最も近い点を対応点として対応点間のトータル距離を最小にする方法である。ＩＣＰについては「Ａｍｅｔｈｏｄｏｆｒｅｇｉｓｔｒａｔｉｏｎｏｆ３−Ｄｓｈａｐｅｓ．」（Ｐ．ＢｅｓｌａｎｄＮ．ＭｃＫａｙ．著、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１２（２）：２３９〜２５６，１９９２．）を参照することができる。
【００４８】
次に、（＃６）で述べた位置合わせを行う２つの方法について説明する。
〔第１の位置合わせ方法〕
説明には次に示す各パラメータを用いる。
【００４９】
Ｐｔ：案内画像ＧＰ作成時の視点位置
Ｖｔ：案内画像ＧＰ作成時の視線方向
Ｕｔ：案内画像ＧＰ作成時の上方向ベクトル
Ｆｔ：案内画像ＧＰ作成時の焦点距離
Ｓｔ：案内画像ＧＰ作成時の注視点までの距離
Ｆａ：撮影した時の焦点距離
Ｓａ：撮影距離
Ｐａ：撮影した時の視点位置
Ｖａ：撮影した時の視線方向
Ｕａ：撮影した時の上方向ベクトル
Ｐａ’：座標変換後の視点位置
Ｖａ’：座標変換後の視線方向
Ｕａ’：座標変換後の上方向ベクトル
ここに説明する方法では、撮影したときの視点位置Ｐａを求めて位置合わせを行う。ファインダー２１上に表示された案内画像ＧＰを作成するときに視点位置Ｐｔと視線方向Ｖｔとが設定される。
【００５０】
ファインダー２１上で案内画像ＧＰにモニタ画像ＱＰを重ね合わせて被写体Ｑを撮影するときの視線方向Ｖａ及び視点位置Ｐａは次のようになる。すなわち、視線方向Ｖａは視線方向Ｖｔと同じ方向であり〔下記の（３）式〕、視点位置Ｐａは視線方向Ｖｔと同じ方向の前後に移動した位置となる。
【００５１】
ここで、撮影したときのレンズ情報（焦点距離）が得られるため、像倍率が案内画像ＧＰと同じになるように撮影距離Ｓａを求めることにより、視線方向Ｖａ（＝Ｖｔ）の前後の移動距離（Ｓｔ一Ｓａ）が計算でき、下記の（４）式のように視点位置Ｐａが求められる。すなわち、
Ｆｔ／Ｓｔ＝Ｆａ／Ｓａ …（１）
であるから、撮影距離Ｓａは次の（２）式のようになる。
【００５２】
Ｓａ＝（Ｆａ×Ｓｔ）／Ｆｔ …（２）
また、
Ｖａ＝Ｖｔ，Ｕａ＝Ｕｔ …（３）
であるから、撮影したときの視点位置Ｐａは次の（４）式のようになる。
【００５３】
Ｐａ＝Ｐｔ＋（Ｓｔ一Ｓａ）×Ｖｔ …（４）
各方向から得られた３次元データを視点位置Ｐａに基づいて平行移動させ、視線方向Ｖａに基づいて回転移動させることで、案内画像ＧＰを作成したもとの３次元データの座標系へ変換することが可能となる。もとの３次元データの座標系へ変換する座標変換のための平行移動量Ｔは次の（５）式のようになる。
【００５４】
Ｔ＝Ｐａ’−Ｐａ …（５）
座標変換後の視線方向Ｖａ’及び座標変換後の上方向ベクトルＵａ’は、回転マトリックスをＲとすると、Ｖａ，Ｕａを用いて、それぞれ次の（６）（７）式のように表される。
【００５５】
Ｖａ’＝Ｒ×Ｖａ …（６）
Ｕａ’＝Ｒ×Ｕａ …（７）
平行移動量Ｔ及び回転マトリックスＲによって各方向から得られた３次元データをもとの３次元データの座標系でのデータに変換することで位置合わせが行われる。
【００５６】
重ね合わせを行うことで３次元カメラ２と被写体Ｑとの相対的な移動量が求められる。複数位置から入力した３次元データを、この移動量に基づいて、初めに撮影したときの座標系におけるデータに変換する。これにより、位置合わせが行える。
【００５７】
上述したように、複数位置から入力された３次元データは、モニタ画像ＱＰと案内画像ＧＰとの重ね合わせにより、精度良く位置合わせが行われた状態で入力されている。したがって、事後的に位置合わせを行う必要がなく楽である。
【００５８】
このように精度良く位置合わせが行われた複数位置からの３次元データに基づいて、ホスト３で貼り合わせ処理が行われる。したがって、ホスト３での貼り合わせ処理が高速に且つ高精度で行える。
〔第２の位置合わせ方法〕
この方法では、３次元データの重なり部分が既知であることを利用して位置合わせを行なう。
【００５９】
説明には次に示す各パラメータを用いる。
Ｐｔｉ：最初に撮影されたデータの対応点
Ｐａｉ：ファインダー上で位置合わせして撮影したデータの対応点
Ｔ：平行移動量
Ｒ：回転移動を示す回転マトリックス
ファインダー２１上で重なったエリア内の点群に対し、この２次元画像上で最も近い点を対応点とする。この対応点の３次元上での距離が最小になるような座標変換を行うことにより位置合わせが行われる。対応点の距離が最小になる座標変換は、対応点の重心位置が一致するように平行移動量を決定し、次に回転移動を最小２乗法などを用いて求めることができる。その際に、次に示す（８）（９）式を用いる。
【００６０】
【数１】

【００６１】
回転マトリックスＲはＪを最小にするように決定する。
【００６２】
【数２】

【００６３】
この計算方法については、文献「ＦａｕｇｅｒａｓａｎｄＨｅｂｅｒｔ，１９８６Ｏ．ＦａｕｇｅｒａｓａｎｄＭ．Ｈｅｂｅｒｔ．Ｔｈｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｒｅｃｏｇｎｉｔｉｏｎａｎｄｌｏｃａｔi ｎｇｏｆ３−Ｄｏｂｊｅｃｔｓ．ＩｎｔｅｒｎａｔｉｎｏａｌＪｏｕｒｎａｌｏｆＲｏｂｏｔｉｃｓＲｅｓｅａｒｃｈ５（３）：２７−５２，１９８６．」を参照することができる。
【００６４】
以上のようにして求められた平行移動量Ｔ及び回転マトリックスＲを用いて第２の３次元データの各点Ｐｉの座標変換を次の（１０）式により行う。
Ｐ’ｉ＝Ｒ×（Ｐｉ一Ｔ） …（１０）
上述の座標変換を行なうことにより、第１の３次元データと第２の３次元データとの位置合わせが可能となる。
【００６５】
上述の実施形態において、案内画像ＧＰ及びモニタ画像ＱＰを３次元カメラ２と一体となったファインダー２１上に表示させたが、３次元カメラ２と別体化したファインダーやホスト３におけるディスプレイ３ｂに表示させることも可能である。
【００６６】
上述の実施の形態において、ファインダー２１として、ハーフミラーなどを用いたシースルー方式の表示装置を用いてもよい。これにより、３次元カメラ２の消費電力が節約できる。
【００６７】
上述の実施の形態においては、撮影した被写体Ｑの３次元データに基づいて案内画像ＧＰが生成されるため、案内画像ＧＰを予め作成する手間が省けるとともに案内画像ＧＰを格納しておくためのメモリが最小限で済む。
【００６８】
上述の実施形態において、計測システム１、３次元カメラ２の各部又は全体の構成、形状、配置、回路、処理形態などは、本発明の主旨に沿って適宜変更することができる。
【００６９】
【発明の効果】
本発明によると、被写体の３次元データの入力を簡単に迅速に且つ正確に行うことができ、被写体の全周又は所定範囲における欠落のない合成画像を容易に取得することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る３次元カメラを用いた計測システムの構成図である。
【図２】３次元カメラの外観を示す図である。
【図３】３次元カメラの機能構成を示すブロック図である。
【図４】３次元カメラによって被写体の全周又は所定範囲の３次元データを入力する具体的な方法を示す図である。
【図５】重合わせ画像発生部によるモニタ画像及び案内画像の生成の過程を説明するための図である。
【図６】ファインダー上に表示された被写体のモニタ画像及び案内画像を示す図である。
【図７】３次元データの入力動作及び処理を示すフローチャートである。
【図８】スリット光投影法を適用した３次元カメラの入力原理を示す図である。
【符号の説明】
２３次元カメラ（３次元データ入力装置）
２１ファインダー（モニタ画面）
６３メモリ（記憶手段）
７３重心演算回路（３次元形状モデル画像生成手段）
７６表示制御部（表示指示手段）
Ｑ被写体
ＧＰ案内画像
ＱＰモニタ画像（画像）

Claims

被写体を確認するためのモニタ画面を有し、前記被写体を撮影することによって前記被写体の３次元データの入力を行うように構成された３次元データ入力装置における３次元データ入力方法であって、
撮影により前記被写体の一部分から入力した３次元データに基づいてその形状に対応する３次元形状モデルの画像を生成し、
前記３次元形状モデルの画像をフレーミングの案内画像として前記モニタ画面に表示し、その際に、前記案内画像を、次の撮影時の視点方向からの画像に変換して表示し、
前記案内画像と前記被写体の画像のうち前記案内画像に対応する画像とが重なるようにフレーミングを行い、
前記フレーミングがなされた状態で前記被写体の次の撮影を行う、
ことを特徴とする３次元データ入力方法。
被写体を確認するためのモニタ画面を有し、前記被写体を撮影することによって前記被写体の３次元データの入力を行うように構成された３次元データ入力装置であって、
撮影により前記被写体の一部分から入力した３次元データに基づいてその形状に対応する３次元形状モデルの画像を生成する３次元形状モデル画像生成手段と、
前記３次元形状モデルの画像をフレーミングの案内画像として前記モニタ画面に表示させる表示指示手段と、
前記案内画像を表示する際に、当該案内画像を次の撮影時の視点方向からの画像に変換する手段と、
フレーミングがなされた被写体を次に撮影することによって入力される３次元データを記憶する記憶手段と、
を有することを特徴とする３次元データ入力装置。