JP2000002518A

JP2000002518A - ３次元入力装置

Info

Publication number: JP2000002518A
Application number: JP10171204A
Authority: JP
Inventors: Hideki Tanabe; 英樹田辺; Hidekazu Ide; 英一井手; Hiroshi Uchino; 浩志内野; Makoto Miyazaki; 誠宮崎; Koichi Kanbe; 幸一掃部; Toshio Norita; 寿夫糊田
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1998-06-18
Filing date: 1998-06-18
Publication date: 2000-01-07
Anticipated expiration: 2018-06-18
Also published as: US6268918B1; JP4111592B2

Abstract

(57)【要約】【課題】３次元計測と２次元撮影とをそれぞれに適した
露出及び被写界深度で行い、出力データの品質を高め
る。【解決手段】物体に参照光を投射する投光手段４０と、
物体像を結像して電気信号に変換する撮影手段５０とを
備え、参照光を投射せずに前記物体を撮影する２次元画
像入力と、参照光を投射して物体の形状を計測する３次
元入力とを行う３次元入力装置２において、撮影手段５
０に入射した光の通過を制限する絞り７５を設け、２次
元画像入力を行うときの絞り値と３次元入力を行うとき
の絞り値とを独立に設定する制御手段６１を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体に参照光を投
射して物体形状を計測する３次元入力装置に関する。

【０００２】

【従来の技術】レンジファインダと呼称される非接触型
の３次元入力装置は、接触型に比べて高速の計測が可能
であることから、ＣＧシステムやＣＡＤシステムへのデ
ータ入力、身体計測、ロボットの視覚認識などに利用さ
れている。

【０００３】レンジファインダに好適な計測方法として
スリット光投影法（光切断法ともいう）が知られてい
る。この方法は、物体を光学的に走査して距離画像（３
次元画像）を得る方法であり、特定の参照光を照射して
物体を撮影する能動的計測方法の一種である。距離画像
は、物体上の複数の部位の３次元位置を示す画素の集合
である。スリット光投影法では、参照光として投射ビー
ムの断面が直線帯状であるスリット光が用いられる。

【０００４】レンジファインダの中には２次元カラー撮
影機能を有したものがある。撮影された２次元画像は、
内蔵又は外付けのディスプレイによってモニタ表示さ
れ、ユーザーが３次元計測の画角を決める際の参考情報
として利用される。また、３次元計測と同一の画角で２
次元撮影が行われ、得られた２次元画像が３次元データ
と合わせて計測結果として出力され又は記憶される。２
次元画像を見れば計測した物体が何であるかをユーザー
が容易に認識することができ、２次元画像を利用して３
次元データの修正や加工を行うこともできる。

【０００５】

【発明が解決しようとする課題】従来のレンジファイン
ダでは、物体で反射して光電変換の受光面に入射する参
照光の光量をできるだけ多くするため、受光光路内に絞
りは設けられていなかった。そして、２次元撮影につい
ては電子シャッタによる自動露光制御を行い、３次元計
測については参照光の投射強度を調整することによっ
て、受光面における入射光量が最適化されていた。この
ような構成であることから、２次元撮影では被写界深度
を大きくすることができず、レンズの収差を無視できな
いという問題があった。Ｓ／Ｎ比が小さいという問題も
あった。また、３次元計測では、投射強度を小さくした
場合に背景光の影響が大きくなって計測の精度が低下す
るという問題があった。

【０００６】本発明は、３次元計測と２次元撮影とをそ
れぞれに適した露出及び被写界深度で行い、出力データ
の品質を高めることを目的としている。

【０００７】

【課題を解決するための手段】請求項１の発明の装置
は、物体に参照光を投射する投光手段と、物体像を結像
して電気信号に変換する撮影手段とを備え、前記参照光
を投射せずに前記物体を撮影する２次元画像入力と、前
記参照光を投射して前記物体の形状を計測する３次元入
力とを行う３次元入力装置であって、前記撮影手段は入
射した光の通過を制限する絞りを有し、前記２次元画像
入力を行うときの前記絞りの絞り値と、前記３次元入力
を行うときの前記絞りの絞り値とを独立に設定する制御
手段を備えている。

【０００８】請求項２の発明の３次元入力装置において
は、前記撮影手段は、前記２次元画像入力のための受光
デバイスと、前記３次元入力のための受光デバイスと、
これら受光デバイスに共通の結像レンズ系と、当該結像
レンズ系を通過した光を各受光デバイスに振り分ける光
学部材とを有しており、前記絞りは、前記結像レンズ系
と前記光学部材との間の光路内に配置されている。

【０００９】

【発明の実施の形態】図１は本発明に係る計測システム
１の構成図である。計測システム１は、スリット光投影
法によって立体計測を行う３次元カメラ（レンジファイ
ンダ）２と、３次元カメラ２の出力データを処理するホ
スト３とから構成されている。

【００１０】３次元カメラ２は、物体Ｑ上の複数のサン
プリング点の３次元位置を特定する計測データととも
に、物体Ｑのカラー情報を示す２次元画像及びキャリブ
レーションに必要なデータを出力する。三角測量法を用
いてサンプリング点の座標を求める演算処理はホスト３
が担う。

【００１１】ホスト３は、ＣＰＵ３ａ、ディスプレイ３
ｂ、キーボード３ｃ、及びマウス３ｄなどから構成され
たコンピュータシステムである。ＣＰＵ３ａには計測デ
ータ処理のためのソフトウェアが組み込まれている。ホ
スト３と３次元カメラ２との間では、オンライン及び可
搬型の記録メディア４によるオフラインの両方の形態の
データ受渡しが可能である。記録メディア４としては、
光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモ
リカードなどがある。

【００１２】図２は３次元カメラ２の外観を示す図であ
る。ハウジング２０の前面に投光窓２０ａ及び受光窓２
０ｂが設けられている。投光窓２０ａは受光窓２０ｂに
対して上側に位置する。内部の光学ユニットＯＵが射出
するスリット光（所定幅ｗの帯状のレーザビーム）Ｕ
は、投光窓２０ａを通って計測対象の物体（被写体）に
向かう。スリット光Ｕの長さ方向Ｍ１の放射角度φは固
定である。物体の表面で反射したスリット光Ｕの一部が
受光窓２０ｂを通って光学ユニットＯＵに入射する。ま
た、光学ユニットＯＵには“背景光”の変動を検出する
ためのフリッカセンサとして光電変換回路が組み込まれ
ている。背景光とは、物体を照らすスリット光Ｕ以外の
光である。なお、光学ユニットＯＵは、投光軸と受光軸
との相対関係を適正化するための２軸調整機構を備えて
いる。

【００１３】ハウジング２０の上面には、ズーミングボ
タン２５ａ，２５ｂ、手動フォーカシングボタン２６
ａ，２６ｂ、及びシャッタボタン２７が設けられてい
る。図２（ｂ）のように、ハウジング２０の背面には、
液晶ディスプレイ２１、カーソルボタン２２、セレクト
ボタン２３、キャンセルボタン２４、アナログ出力端子
３２、デジタル出力端子３３、及び記録メディア４の着
脱口３０ａが設けられている。

【００１４】液晶ディスプレイ（ＬＣＤ）２１は、操作
画面の表示手段及び電子ファインダとして用いられる。
撮影者は背面の各ボタン２１〜２４によって撮影モード
の設定を行うことができる。アナログ出力端子３２から
は、２次元画像信号が例えばＮＴＳＣ形式で出力され
る。ディジタル出力端子３３は例えばＳＣＳＩ端子であ
る。

【００１５】図３は３次元カメラ２の機能構成を示すブ
ロック図である。図中の実線矢印は電気信号の流れを示
し、破線矢印は光の流れを示している。３次元カメラ２
は、上述の光学ユニットＯＵを構成する投光側及び受光
側の２つの光学系４０，５０、及びフリッカセンサ７６
を有している。

【００１６】光学系４０において、半導体レーザ（Ｌ
Ｄ）４１が射出する波長６７０ｎｍのレーザビームは、
投光レンズ系４２を通過することによってスリット光Ｕ
となり、ガルバノミラー（走査手段）４３によって偏向
される。半導体レーザ４１のドライバ４４、投光レンズ
系４２の駆動系４５、及びガルバノミラー４３の駆動系
４６は、システムコントローラ６１によって制御され
る。

【００１７】光学系５０に入射した光は、ズームユニッ
ト５１と絞り７５とを順に経た後、ビームスプリッタ５
２で分光される。半導体レーザ４１の発振波長帯域の光
は、計測用のセンサ５３に入射する。可視帯域の光は、
モニタ用のカラーセンサ５４に入射する。センサ５３及
びカラーセンサ５４は、どちらもＣＣＤエリアセンサで
ある。なお、ＣＣＤセンサは、積分領域（蓄積領域）及
び転送領域を有しており、積分領域での積分動作が完了
すると複数の画素の電荷を転送領域へ一括に移し、転送
領域から外部へ各画素の電荷を順次出力する。図示のと
おり、絞り７５はズームユニット５１とビームスプリッ
タ５２との間に配置されており、センサ５３及びカラー
センサ５４の両方に対する光量調整手段となっている。
絞り７５を制御するレンズコントローラ５８には、シス
テムコントローラ６１から絞り値が与えられる。ズーム
ユニット５１は内焦型であり、入射光の一部がオートフ
ォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦ
センサ５７とレンズコントローラ５８とフォーカシング
駆動系５９とによって実現される。ズーミング駆動系６
０は電動ズーミングのために設けられている。

【００１８】フリッカセンサ７６は、ホトトランジス
タ、ホトダイオードといった光電変換デバイスを主体に
構成されており、背景光の変動成分に応じた信号をフリ
ッカ検出器７７へ出力する。フリッカ検出器７７は、フ
リッカセンサ７６からの信号に基づいて背景光の変動周
期を検出し、検出結果をシステムコントローラ６１へ通
知する。具体的には入力信号を２値化し、背景光の変動
に同期したパルスを出力する。

【００１９】３次元カメラ２における物体情報の流れは
次のとおりである。まず、センサ５３による撮像情報
は、ドライバ５５からのクロックに同期して出力処理回
路６２へ転送される。出力処理回路６２は、センサ５３
の出力する各画素の光電変換信号を増幅する増幅器、及
び光電変換信号を８ビットの受光データに変換するＡＤ
変換部を有している。出力処理回路６２で得られた受光
データは重心演算回路７３に入力されて一時的に記憶さ
れる。その際のアドレス指定はメモリ制御回路６３Ａが
行う。重心演算回路７３は、入力された受光データに基
づいて３次元位置を算出するための基となるデータを算
出し、それを出力用メモリ６４に出力する。また、重心
演算回路７３は、計測対象の物体の形状に対応した濃淡
画像（距離画像）を生成し、それを表示用メモリ７４に
出力する。ＬＣＤ２１の画面は、表示用メモリ７４に記
憶された濃淡画像、カラー画像メモリ６９に記憶された
カラー画像などを表示する。重心演算回路７３の構成及
び動作については後で詳述する。

【００２０】一方、カラーセンサ５４による撮像情報
は、ドライバ５６からのクロックに同期してカラー処理
回路６７へ転送される。カラー処理を受けた撮像情報
は、ＮＴＳＣ変換回路７０及びアナログ出力端子３２を
経てオンライン出力され、又はディジタル画像生成部６
８で量子化されてカラー画像メモリ６９に格納される。
その後、カラー画像メモリ６９からＳＣＳＩコントロー
ラ６６へカラー画像データが転送され、ディジタル出力
端子３３からオンライン出力され、又は計測データと対
応づけて記録メディア４に格納される。なお、カラー画
像は、センサ５３による距離画像と同一の画角の像であ
り、ホスト３側におけるアプリケーション処理に際して
参考情報として利用される。カラー情報を利用する処理
としては、例えばカメラ視点の異なる複数組の計測デー
タを組み合わせて３次元形状モデルを生成する処理、３
次元形状モデルの不要の頂点を間引く処理などがある。
システムコントローラ６１は、図示しないキャラクタジ
ェネレータに対して、ＬＣＤ２１の画面上に適切な文字
や記号を表示するための指示を与える。

【００２１】図４は投光レンズ系４２の構成を示す模式
図である。図４（ａ）は正面図であり、図４（ｂ）は側
面図である。投光レンズ系４２は、コリメータレンズ４
２１、バリエータレンズ４２２、及びエキスパンダレン
ズ４２３の３つのレンズから構成されている。半導体レ
ーザ４１が射出したレーザビームに対して、次の順序で
適切なスリット光Ｕを得るための光学的処理が行われ
る。まず、コリメータレンズ４２１によってビームが平
行化される。次にバリエータレンズ４２２によってレー
ザビームのビーム径が調整される。最後にエキスパンダ
レンズ４２３によってビームがスリット長さ方向Ｍ１に
拡げられる。

【００２２】バリエータレンズ４２２は、撮影距離及び
撮影の画角に係わらず、センサ５３に３以上の複数画素
分の幅のスリット光Ｕを入射させるために設けられてい
る。駆動系４５は、システムコントローラ６１の指示に
従って、センサ５３上でのスリット光Ｕの幅ｗを一定に
保つようにバリエータレンズ４２２を移動させる。バリ
エータレンズ４２２と受光側のズームユニット５１とは
連動する。

【００２３】ガルバノミラー４３による偏向の以前にス
リット長を拡げることにより、偏向の後で行う場合に比
べてスリット光Ｕの歪みを低減することができる。エキ
スパンダレンズ４２３を投光レンズ系４２の最終段に配
置することにより、すなわちガルバノミラー４３に近づ
けることにより、ガルバノミラー４３を小型化すること
ができる。

【００２４】図５は計測システム１における３次元位置
の算出の原理図である。同図では理解を容易にするた
め、受光量のサンプリングについて５回分のみが示され
ている。

【００２５】センサ５３の撮像面Ｓ２上で複数画素分と
なる比較的に幅の広いスリット光Ｕを物体Ｑに照射す
る。具体的にはスリット光Ｕの幅を５画素分とする。ス
リット光Ｕは、サンプリング周期毎に撮像面Ｓ２上で１
画素ピッチｐｖだけ移動するように、図５の上から下に
向かって偏向され、それによって物体Ｑが走査される。
サンプリング周期毎にセンサ５３から１フレーム分の受
光データ（光電変換情報）が出力される。なお、この偏
向は実際には等角速度で行われる。

【００２６】撮像面Ｓ２の１つの画素ｇに注目すると、
本実施形態においては、走査中に行う３２回のサンプリ
ングによって３２回分の受光データが得られる。これら
３２回分の受光データに対する重心演算によって、注目
画素ｇがにらむ範囲の物体表面をスリット光Ｕの光軸が
通過するタイミング（時間重心Ｎｐｅａｋ又は重心ｉ
ｐ）を求める。

【００２７】物体Ｑの表面が平面であって光学系の特性
によるノイズがない場合には、注目画素ｇの受光量は、
図５（ｂ）に示すように、スリット光Ｕが通過するタイ
ミングにおいて多くなり、通常、正規分布に近くなる。
同図のようにｎ回目とその１つ前の（ｎ−１）回目の間
のタイミングで受光量が最大であった場合には、そのタ
イミングが時間重心Ｎｐｅａｋとほぼ一致する。

【００２８】求めた時間重心Ｎｐｅａｋにおけるスリッ
ト光の照射方向と、注目画素に対するスリット光の入射
方向との関係に基づいて、物体Ｑの位置（座標）を算出
する。これにより、撮像面の画素ピッチｐｖで規定され
る分解能より高い分解能の計測が可能となる。

【００２９】なお、注目画素ｇの受光量は物体Ｑの反射
率に依存する。しかし、サンプリングの各受光量の相対
比は受光の絶対量に係わらず一定である。つまり、物体
色の濃淡は計測精度に影響しない。

【００３０】図６はセンサ５３の読出し範囲を示す図で
ある。図６のように、センサ５３における１フレームの
読出しは、撮像面Ｓ２の全体ではなく、高速化を図るた
めに撮像面Ｓ２の一部である有効受光領域（帯状画像）
Ａｅのみを対象に行われる。有効受光領域Ａｅは、ある
照射タイミングでの撮像面Ｓ２における物体Ｑの計測可
能距離範囲ｄ’（図１８参照）に対応する領域であり、
スリット光Ｕの偏向に伴ってフレーム毎に１画素分ずつ
シフトする。本実施形態では、有効受光領域Ａｅのシフ
ト方向の画素数は３２に固定されている。ＣＣＤエリア
センサの撮影像の一部のみを読み出す手法は、特開平７
−１７４５３６号公報に開示されている。

【００３１】図７はセンサ５３の撮像面Ｓ２におけるラ
インとフレームとの関係を示す図、図８〜１０は各フレ
ームの受光データの記憶状態を示す図である。図７に示
すように、撮像面Ｓ２の最初のフレーム１には、ライン
１からライン３２までの３２（ライン）×２００画素分
の受光データが含まれる。フレーム２はライン２からラ
イン３３まで、フレーム３はライン３からライン３４ま
でというように、フレーム毎に１ライン分だけシフトさ
れる。フレーム３２はライン３２からライン６３までで
ある。なお、上述したように１ラインを２００画素とし
ている。

【００３２】これらフレーム１からフレーム３２までの
受光データが、出力処理回路６２を介して重心演算回路
７３の内部のメモリ７３０に順次転送され、図８に示す
状態で記憶される。つまり、メモリ７３０には、フレー
ム１、２、３…の順に受光データが記憶される。各フレ
ームに含まれるライン３２のデータは、フレーム１につ
いては３２ライン目、フレーム２については３１ライン
目というように、フレーム毎に１ラインづつ上方にシフ
トされている。フレーム１からフレーム３２までの受光
データがメモリ７３０に記憶されると、ライン３２の各
画素について、時間重心Ｎｐｅａｋの算出が行われる。

【００３３】ライン３２についての演算が行われている
間に、フレーム３３の受光データがメモリ７３０に転送
されて記憶される。図９に示すように、フレーム３３の
受光データは、メモリ７３０のフレーム３２の次の領域
に記憶される。フレーム３３のデータがメモリ７３０に
記憶されると、これらフレーム２からフレーム３３まで
に含まれるライン３３の各画素について、時間重心Ｎｐ
ｅａｋの算出が行われる。

【００３４】ライン３３についての演算が行われている
間に、フレーム３４の受光データがメモリ７３０に転送
されて記憶される。図１０に示すように、フレーム３４
の受光データは、フレーム１の記憶されていた領域に上
書きされる。この時点ではフレーム１のデータは処理済
であるため、上書きにより消去しても差し支えないから
である。フレーム３４のデータがメモリ７３０に記憶さ
れると、ライン３４の各画素について、時間重心Ｎｐｅ
ａｋの算出が行われる。フレーム３４の受光データにつ
いての処理が終わると、フレーム３５の受光データがフ
レーム２の記憶されていた領域に上書きされる。

【００３５】このようにして、最終のラインであるライ
ン２３１まで、合計２００ライン分についての時間重心
Ｎｐｅａｋの算出が行われる。上述のように、メモリ７
３０に記憶された受光データのうち、順次不要になった
データの記憶された領域に新規の受光データを上書きし
て記憶するので、メモリ７３０の容量が低減される。

【００３６】次に、重心演算回路７３の構成及び重心演
算回路７３による時間重心Ｎｐｅａｋの算出処理につい
て説明する。図１１は時間重心Ｎｐｅａｋの概念を示す
図、図１２は重心演算回路７３の構成を示すブロック
図、図１３はデータ転送のタイミングの概念を示す図で
ある。

【００３７】図１１に示すように、時間重心Ｎｐｅａｋ
は３２回のサンプリングによって得られた３２個の受光
データについての重心である。各画素についての３２個
の受光データに、１〜３２のサンプリング番号を付す。
ｉ番の受光データはｘｉで表される。ｉは１〜３２の整
数である。このとき、ｉは、１つの画素について、その
画素が有効受光領域Ａｅに入ってからのフレーム数を示
している。

【００３８】１〜３２番の受光データｘ１〜ｘ３２につ
いての重心ｉｐは、３２個の受光データについて、ｉ・
ｘｉの総和Σｉ・ｘｉをｘｉの総和Σｘｉで除すことに
より求められる。すなわち、

【００３９】

【数１】

【００４０】となる。重心演算回路７３は、メモリ７３
０から読み出したデータに基づいて、各画素についての
重心ｉｐ（すなわち時間重心Ｎｐｅａｋ）を算出する。
ただし、メモリ７３０から読み出したデータをそのまま
用いるのではなく、各データから定常光データｋｓを減
算した値（その値が負になるときは０）を用いる。つま
り、センサ５３から出力される受光データに対して、定
常光データｋｓの分だけ差し引いてオフセットを与える
のである。

【００４１】定常光データｋｓは、スリット光Ｕが入射
していないときの画素の受光データに基づいて算出され
るデータである。定常光データｋｓは、予め定めた固定
値を用いてもよく、又はセンサ５３から出力されるデー
タを用いてリアルタイムで求めてもよい。固定値とする
場合には、センサ５３の出力が８ビット（２５６階調）
である場合に、例えば「５」「６」又は「１０」などと
する。リアルタイムで求める場合には、１つの注目画素
についての３２個の受光データの前後各２画素分の受光
データのそれぞれの平均値を求め、平均値の小さい方を
定常光データｋｓとすればよい。その理由は、有効受光
領域Ａｅの前後のいずれかにおいてはスリット光Ｕが入
射していないから、これによってスリット光Ｕが入射し
ていないときの受光データをリアルタイムで確実に求め
ることができるからである。また、前後各２画素分の受
光データの平均値の大きい方を定常光データｋｓとして
もよい。３２個の受光データの前の２画素分の受光デー
タの平均値、又は３２個の受光データの後の２画素分の
受光データの平均値を用いてもよい。１画素分の受光デ
ータを用いてもよい。さらに、物体Ｑの形状又は受光デ
ータに含まれるノイズの状態によっては、それらの値に
さらに所定値（例えば「５」）を加算した値を定常光デ
ータｋｓとして用い、これによりオフセットを大きく
し、不要なノイズ成分をいっそう確実にカットするよう
にしてもよい。なお、それらの場合に、１フレームの大
きさは、３６ライン又は３４ライン又は３３ラインとな
るが、重心ｉｐの算出には３２ライン分の３２個のデー
タを用いればよい。

【００４２】図１２のように、重心演算回路７３は、メ
モリ７３０、定常光データ記憶部７３１、減算部７３
２、第１加算部７３３、第２加算部７３４、及び除算部
７３５からなる。これらはハード回路により構成される
が、これらの全部又は一部をソフトウエアにより構成す
ることも可能である。

【００４３】定常光データ記憶部７３１は定常光データ
ｋｓを記憶する。減算部７３２は受光データから定常光
データｋｓを減算する。ここで、減算部７３２から出力
されるデータをあらためて受光データｘｉとする。第１
加算部７３３は、ｉ・ｘｉをｉ＝１〜３２について加算
し、その合計値を出力する。第２加算部７３４は、ｘｉ
をｉ＝１〜３２について加算し、その合計値を出力す
る。除算部７３５は、第１加算部７３３の出力値を第２
加算部７３４の出力値で除し、重心ｉｐを出力する。除
算部７３５から出力された重心ｉｐは、表示用メモリ７
４に記憶される。また、第１加算部７３３の出力値及び
第２加算部７３４の出力値は、出力用メモリ６４の所定
エリア６４ａ，６４ｂに記憶される。出力用メモリ６４
に記憶されたデータは、ＳＣＳＩコントローラ６６を介
してディジタル出力端子３３からホスト３に出力され、
又は記録メディア４に格納される。ホスト３において、
これらのデータに基づいて３次元位置演算処理が行わ
れ、またこれらのデータの信頼性が判定される。

【００４４】重心演算回路７３では、３２個のデータが
入力された時点で、除算部７３５が重心ｉｐを出力す
る。続いて、２画素目のデータ、３画素目のデータとい
うように、２００画素目のデータまで順に処理を行い、
ライン３２についての重心ｉｐの算出を終了する。ライ
ン３２についての重心ｉｐの算出を終えると、続いて、
ライン３３、ライン３４、ライン３５というように、ラ
イン２３１まで計２００ラインの全部について重心ｉｐ
の算出を行う。

【００４５】表示用メモリ７４に記憶された重心ｉｐ
は、ＬＣＤ２１の画面に表示される。重心ｉｐは、計測
対象の物体Ｑの表面の位置に関連し、物体Ｑの表面の位
置が３次元カメラ２に近い場合に重心ｉｐの値が大きく
なり、遠い場合に重心ｉｐの値が小さくなる。したがっ
て、重心ｉｐを濃度データとして濃淡画像を表示させる
ことにより距離分布を表現することができる。

【００４６】このような重心ｉｐの精度を高めるため、
３次元カメラ２では次のとおり背景光を考慮した制御が
行われる。図１４は背景光の変動の影響を説明するため
の図、図１５は背景光の変動による重心ｉｐのずれの防
止方法を説明するための図である。

【００４７】例えば蛍光灯で照明された室内のように背
景光量が周期的に変化する環境で計測を行う場合には、
センサ５３のフレーム周期と背景光の変動周期との干渉
によりセンサ５３の出力には図１４（ｂ）に斜線で示す
ようにフレーム毎に異なるオフセット成分（背景光成
分）が生じる。このような状態で図１４（ａ）に示す分
布のスリット光が入射したとすると、センサ５３には図
１４（ｃ）に示す分布の光が入射することになる。この
結果、センサ５３によるフレーム周期の積分で得られた
各フレームの受光データは図１４（ｄ）のようになる。
これらの受光データに基づいた算出した重心ｉｐ’と本
来の重心ｉｐとの間にはズレが生じてしまう。

【００４８】このズレを防止するため、システムコント
ローラ６１はフリッカ検出器７７で検出した背景光の変
動周波数ｆ［Ｈｚ］に対してセンサ５３のフレーム周波
数がｆ／ｍ［Ｈｚ］になるようにドライバ５５を制御す
る。ｍは任意の整数である。つまり、センサ５３のフレ
ーム周期を背景光の変動周期のｍ倍とする。図１５では
ｍ＝１、すなわちｆ［Ｈｚ］のフレーム周波数でセンサ
５３を駆動する場合を表している。

【００４９】フレーム周期と背景光の変動周期とが一致
するので、各フレームのオフセット成分は図１５（ｂ）
のようにフレーム間で均等になる。このため、背景光と
スリット光を加算したセンサ５３の入射光は、図１５
（ｃ）のように周期的に変化するものの、入射光をフレ
ーム周期で積分して得られた受光データは図１５（ｄ）
のように全てのフレームについて一定のオフセット成分
が重畳した値となるため、これらの受光データに基づく
重心演算の結果は本来の重心ｉｐと一致する。

【００５０】次に、３次元カメラ２及びホスト３の動作
を計測の手順と合わせて説明する。上述したように、計
測のサンプリング点数を２００×２６２とする。すなわ
ち、撮像面Ｓ２におけるスリットＵの幅方向の画素数は
２６２であり、実質的なフレーム数Ｎは２３１である。

【００５１】ユーザー（撮影者）は、ＬＣＤ２１が表示
するカラーモニタ画像を見ながら、カメラ位置と向きを
決め、画角を設定する。その際に必要に応じてズーミン
グ走査を行う。これらの操作が行われている間は、レン
ズコントローラ５８はカラーセンサ５４に対する絞り調
整を行い、ＬＣＤ２１は露出制御されたカラーモニタ画
像を表示する。ユーザーが計測（距離画像の取得）の開
始を指示すると、レンズコントローラ５８はセンサ５３
への入射光量が最適になるように絞り値を調整する。な
お、カラー画像メモリ６９に格納するカラー画像の取得
に際しては、レンズコントローラ５８はカラーセンサ５
４への入射光量が最適になるように絞り値を調整する。
距離画像の取得とカラー画像の取得は同時には行われ
ず、距離画像の取得期間の直前又は直後のタイミングで
カラー画像が取得される。

【００５２】このように絞り値をカラー画像と距離画像
とで切り換えることにより、次の効果が生じる。受光レンズの色収差によるピントのボケの影響を受け
ない被写界深度を確保できる。距離画像の測定レンジの全域に渡ってピントが合う。距離画像の背景光成分とレーザ光成分の輝度比を一定
に制御できる。カラー画像のダイナミックレンジを確保し、且つＳ／
Ｎ比を高めることが可能となる。

【００５３】図１６は３次元カメラ２におけるデータの
流れを示す図、図１７はホスト３における３次元位置演
算の処理手順を示すフローチャート、図１８は光学系の
各点と物体Ｑとの関係を示す図である。

【００５４】ユーザーによる画角選択操作（ズーミン
グ）に応じて、ズームユニット５１のバリエータ部の移
動が行われる。また、フォーカシング部の移動による手
動又は自動のフォーカシングが行われる。フォーカシン
グの過程でおおよその対物間距離ｄ₀が測定される。

【００５５】このような受光系のレンズ駆動に呼応し
て、投光側のバリエータレンズ４２２の移動量が図示し
ない演算回路によって算出され、算出結果に基づいてバ
リエータレンズ４２２の移動制御が行われる。

【００５６】システムコントローラ６１は、レンズコン
トローラ５８を介して、フォーカシングエンコーダ５９
Ａの出力（繰り出し量Ｅｄ）及びズーミングエンコーダ
６０Ａの出力（ズーム刻み値ｆｐ）を読み込む。システ
ムコントローラ６１の内部において、歪曲収差テーブル
Ｔ１、主点位置テーブルＴ２、及び像距離テーブルＴ３
が参照され、繰り出し量Ｅｄ及びズーム刻み値ｆｐに対
応した撮影条件データがホスト２へ出力される。ここで
の撮影条件データは、歪曲収差パラメータ（レンズ歪み
補正係数ｄ１，ｄ２）、前側主点位置ＦＨ、及び像距離
ｂである。前側主点位置ＦＨは、ズームユニット５１の
前側端点Ｆと前側主点Ｈとの距離で表される。前側端点
Ｆは固定であるので、前側主点位置ＦＨにより前側主点
Ｈを特定することができる。

【００５７】システムコントローラ６１は、半導体レー
ザ４１の出力（レーザ強度）及びスリット光Ｕの偏向条
件（走査開始角、走査終了角、偏向角速度）を算定す
る。この算定方法を詳しく説明する。

【００５８】まず、おおよその対物間距離ｄ₀に平面物
体が存在するものとして、センサ５３の中央で反射光を
受光するように投射角設定を行う。以下で説明するレー
ザ強度の算定のためのパルス点灯は、この設定された投
射角で行う。

【００５９】次に、レーザ強度を算定する。レーザ強度
の算定に際しては、人体を計測する場合があるので、安
全性に対する配慮が不可欠である。そこで、最初に最小
強度ＬＤｍｉｎでＬＤ４１をパルス点灯し、センサ５３
の出力を取り込む。このとき、絞り７５は絞り値Ｆ（Ｏ
ＰＥＮ）の開放状態となるように制御される。取り込ん
だ複数画素分の信号のうちの最大値ＭＡＸ［Ｓｏｎ（Ｌ
Ｄｍｉｎ），Ｆ（ＯＰＥＮ）］と適正レベルＳｔｙｐと
の比を算出し、仮の絞り値Ｆ（ＬＤ１）を設定する。こ
の絞り値Ｆ（ＬＤ１）はレーザ強度が最大のときの入射
光を最も絞り込むことのできる値である。

【００６０】

【数２】

【００６１】続いて、レーザ強度ＬＤを安全レベル限界
の最大値ＬＤｍａｘとし、絞り値Ｆ（ＬＤ１）で再びパ
ルス点灯してセンサ５３の出力を取り込む。取り込んだ
信号［Ｓｏｎ（ＬＤｍａｘ），Ｆ（ＬＤ１）］が適正レ
ベルＳｔｙｐ又はそれに近い値であれば、絞り値Ｆ（Ｌ
Ｄ１）を計測時の絞り値Ｆｓと決める。他の場合には、
ＭＡＸ［Ｓｏｎ（ＬＤｍａｘ，Ｆ（ＬＤ１））］から再
びＦ（ＬＤ１）を再計算し、新たな絞り値Ｆ（ＬＤ１）
でのセンサ５３の出力と適正レベルＳｔｙｐを比較す
る。センサ５３の出力が許容範囲内の値となるまで、絞
り値Ｆ（ＬＤ１）の仮設定と適否の確認を繰り返す。

【００６２】なお、センサ５３の出力の取り込みは撮像
面Ｓ２の全面を対象に行う。これはオートフォーカシン
グ（ＡＦ）による受動的な距離計算では、スリット光Ｕ
の受光位置を高精度に推定することが難しいためであ
る。センサ５３における電荷の積分時間は１フィールド
時間（例えば１／６０秒）であり、実際の計測時に於け
る積分時間より長い。このため、パルス点灯を行うこと
により計測時と等価なセンサ出力を得る。

【００６３】次に、投射角と、レーザ強度が決定したと
きのスリット光Ｕの受光位置とから三角測量によって対
物間距離ｄを決定する。最後に、決定された対物間距離
ｄに基づいて、偏向条件を算出する。偏向条件の算定に
際しては、対物間距離ｄの測距基準点である受光系の前
側主点Ｈと投光の起点ＡとのＺ方向のオフセットｄｏｆ
ｆを考慮する。また、走査方向の端部においても中央部
と同様の計測可能距離範囲ｄ’を確保するため、所定量
（例えば８画素分）のオーバースキャンを行うようにす
る。走査開始角ｔｈ１、走査終了角ｔｈ２、偏向角速度
ωは、次式で表される。

【００６４】ｔｈ１＝ｔａｎ^-1〔β×ｐｖ（ｎｐ／２＋
８）＋Ｌ）／（ｄ＋ｄｏｆｆ）〕×１８０／π ｔｈ２＝ｔａｎ^-1〔−β×ｐｖ（ｎｐ／２＋８）＋Ｌ）
／（ｄ＋ｄｏｆｆ）〕×１８０／π ω＝（ｔｈ１−ｔｈ２）／ｎｐ β：撮像倍率（＝ｄ／実効焦点距離ｆｒｅａｌ）ｐｖ：画素ピッチｎｐ：撮像面Ｓ２のＹ方向の有効画素数Ｌ：基線長このようにして算出された条件で次に本発光に移り、物
体Ｑの走査（スリット投影）が行われ、上述の出力処理
回路６２、及び重心演算回路７３を経て出力用メモリ６
４に記憶されたデータＤ６２がホスト２へ送られる。同
時に、偏向条件（偏向制御データ）及びセンサ５３の仕
様などを示す装置情報Ｄ１０も、ホスト３へ送られる。
表１は３次元カメラ２がホスト３へ送る主なデータをま
とめたものである。

【００６５】

【表１】

【００６６】図１７のように、ホスト３においては、３
次元位置演算処理が実行され、これによって２００×２
００個のサンプリング点（画素）の３次元位置（座標
Ｘ，Ｙ，Ｚ）が算定される。サンプリング点はカメラ視
線（サンプリング点と前側主点Ｈとを結ぶ直線）とスリ
ット面（サンプリング点を照射するスリット光Ｕの光軸
面）との交点である。

【００６７】図１７において、まず３次元カメラ２から
送られてきたｘｉの総和Σｘｉが所定値を上回っている
かどうかを判定する（＃１１）。ｘｉが小さい場合、つ
まりスリット光成分の総和Σｘｉが所定の基準に満たな
い場合には誤差を多く含んでいるので、その画素につい
ては３次元位置の算出を実行しない。そして、その画素
については「エラー」を示すデータを設定して記憶する
（＃１７）。Σｘｉが所定値を上回っている場合には十
分な精度が得られるので、３次元位置の算出を実行す
る。

【００６８】３次元位置の算出に先立って、スリット光
Ｕの通過タイミングｎｏｐを算出する（＃１２）。通過
タイミングｎｏｐは、ｉ＝１〜３２について（Σｉ・ｘ
ｉ）／（Σｘｉ）を計算して重心ｉｐ（時間重心Ｎｐｅ
ａｋ）を求め、これにライン番号を加算することによっ
て算出される。

【００６９】すなわち、算出された重心ｉｐは、その画
素の出力が得られている３２フレーム内のタイミングで
あるので、ライン番号を加えることによって走査開始か
らの通過タイミングｎｏｐに変換する。具体的には、ラ
イン番号は、最初に算出されるライン３２の画素につい
ては「３２」、次のライン３３については「３３」とな
る。注目画素ｇのラインが１つ進む毎にライン番号は１
つ増大する。しかし、これらの値は他の適当な値とする
ことが可能である。その理由は、３次元位置を算出する
際に、係数である後述の（３）式におけるＸ軸周りの回
転角（ｔｈｅ１）及びＸ軸周りの角速度（ｔｈｅ４）な
どをキャリブレーションにより適切に設定することがで
きるからである。

【００７０】そして３次元位置算出を行う（＃１３）。
算出された３次元位置は、その画素に対応するメモリ領
域に記憶し（＃１４）、次の画素について同様の処理を
行う（＃１６）。総ての画素についての処理が終わると
終了する（＃１５でイエス）。

【００７１】次に、３次元位置の算出方法について説明
する。カメラ視線方程式は次の（１）式及び（２）式で
ある。（ｕ−ｕ０）＝（ｘｐ）＝（ｂ／ｐｕ）×〔Ｘ／（Ｚ−ＦＨ）〕 …（１）（ｖ−ｖ０）＝（ｙｐ）＝（ｂ／ｐｖ）×〔Ｙ／（Ｚ−ＦＨ）〕 …（２）ｂ：像距離ＦＨ：前側主点位置ｐｕ：撮像面における水平方向の画素ピッチｐｖ：撮像面における垂直方向の画素ピッチｕ：撮像面における水平方向の画素位置ｕ０：撮像面における水平方向の中心画素位置ｖ：撮像面における垂直方向の画素位置ｖ０：撮像面における垂直方向の中心画素位置スリット面方程式は（３）式である。

【００７２】

【数３】

【００７３】幾何収差は画角に依存する。歪はほぼ中心
画素を中心として対象に生じる。したがって、歪み量は
中心画素からの距離の関数で表される。ここでは、距離
の３次関数で近似する。２次の補正係数をｄ１、３次の
補正係数をｄ２とする。補正後の画素位置ｕ’，ｖ’は
（４）式及び（５）式で与えられる。

【００７４】ｕ’＝ｕ＋ｄ１×ｔ２²×（ｕ−ｕ０）／ｔ２＋ｄ２×ｔ２³×（ｕ−ｕ０）／ｔ２ …（４）ｖ’＝ｖ＋ｄ１×ｔ２²×（ｖ−ｖ０）／ｔ２＋ｄ２×ｔ２³×（ｖ−ｖ０）／ｔ２ …（５）ｔ２＝（ｔ１）^-2 ｔ１＝（ｕ−ｕ０）²＋（ｖ−ｖ０）² 上述の（１）式及び（２）式において、ｕに代えてｕ’
を代入し、ｖに代えてｖ’を代入することにより、歪曲
収差を考慮した３次元位置を求めることができる。な
お、キャリブレーションについては、電子情報通信学会
研究会資料ＰＲＵ91-113［カメラの位置決めのいらない
画像の幾何学的補正］小野寺・金谷、電子情報通信学会
論文誌Ｄ-II vol. J74-D-II No.9 pp.1227-1235,'91/9
［光学系の３次元モデルに基づくレンジファインダの高
精度キャリブレーション法］植芝・吉見・大島、などに
詳しい開示がある。

【００７５】図１９は３次元カメラ２の制御の概略を示
すフローチャートである。システムコントローラ６１
は、電源投入時の初期化が終わると、シャッタボタン２
７がオンされるまで２次元の撮影とその撮影像の表示と
を繰り返す（＃２１〜＃２４）。そして、システムコン
トローラ６１は、シャッタボタン２７のオンに呼応し
て、予備測定（＃２５）、２次元画像入力（＃２６）、
３次元測定（＃２７）、及び出力制御（＃２８）の各処
理を順に実行する。出力制御ルーチンでは、ホスト３又
は記録メディア４へのデータ出力、及び距離画像の表示
の制御を行う。

【００７６】図２０は２次元画像入力サブルーチンのフ
ローチャートである。カラー画像の撮像に適した絞り値
を設定し、ドライバ５６を制御してカラー画像を取得す
る（＃２２１、＃２２２）。

【００７７】図２１は予備測定サブルーチンのフローチ
ャートである。このルーチンでは、まず上述した要領で
絞り値Ｆｓを決める（＃２５１〜＃２５６）。すなわ
ち、絞り７５を開放して最小レーザ強度でスリット光を
投射し、そのときのセンサ５３の出力から仮の絞り値を
設定する。そして、最大レーザ強度でスリット光を投射
し、センサ５３の出力が許容範囲になるまで仮の絞り値
を変えてスリット光を投射する一連の処理を繰り返す。
センサ５３の出力が許容範囲になるれば、そのときの仮
の絞り値を測定に用いる絞り値Ｆｓとする。

【００７８】次に、フリッカ検出器７７の出力に基づい
て背景光の変動周期を検知する（＃２５７）。例えばフ
リッカ検出器７７が出力するパルスのエッジ間隔をカウ
ントすればよい。通常、背景光の変動周波数は商用電源
周波数（５０／６０Ｈｚ）であるので、予想される複数
の周期のいずれであるかを判別する処理を行ってもよ
い。

【００７９】図２２は３次元測定サブルーチンのフロー
チャートである。予備測定で得られた情報に基づいて、
絞り７５、センサ５３のフレーム周期、及び走査速度
（スリット光Ｕの偏向速度）を設定し、その後に測定を
行う（＃２７１〜＃２７４）。絞り７５の設定には予備
測定処理で決めた絞り値Ｆｓを適用し、フレーム周期の
設定には背景光の変動周期の検知結果を適用する。走査
速度はフレーム周期を短くするときには速く、逆に長く
するときには遅くする。

【００８０】上述の実施形態によると、スリット光Ｕの
通過タイミングｎｏｐを受光量のピークタイミングに基
づいて検出するのではなく、有効受光領域Ａｅに入って
いる所定期間（本実施形態では３２ライン分の期間）内
における重心演算で算出される重心ｉｐに基づいて検出
するので、ノイズの影響を受け難い。また、予め決めら
れた期間の出力を使用するので、ピーク検出回路が不要
である。

【００８１】上述の実施形態においては、所定期間を有
効受光領域Ａｅに入っている全期間である３２ライン分
としたので、計測可能距離範囲ｄ’内にある物体Ｑに対
して確実に時間重心Ｎｐｅａｋを算出することができ
る。しかし、例えば、受光量のピークの存在する前後に
おける適当な期間、例えばピークの前後１５ライン分、
１０ライン分、５ライン分などとすることも可能であ
る。このように、所定期間をピークとの関連で定めるこ
ととすると、物体Ｑの表面からの正規の検出光以外の光
による影響を少なくすることができる。

【００８２】上述の実施形態では、データＤ６２に基づ
いて３次元位置を算出したが、重心演算回路７３で求め
た重心ｉｐのデータに基づいて３次元位置を算出しても
よい。また、３次元位置を算出する演算をホスト３が担
うものであるが、３次元カメラ２に３次元位置を算出す
る演算機能を設けてもよい。３次元位置をルックアップ
テーブル方式で算定することも可能である。受光側の光
学系５０において、ズームユニット５１に代えて交換レ
ンズによって撮像倍率を変更してもよい。その他、３次
元カメラ２、ホスト３、又は計測システム１の全体又は
各部の構成、処理内容又は順序、処理タイミングなど
は、本発明の主旨に沿って適宜変更することができる。

【００８３】

【発明の効果】請求項１又は請求項２の発明によれば、
３次元計測と２次元撮影とをそれぞれに適した露出及び
被写界深度で行うことができ、出力データの品質を高め
ることができる。

【図面の簡単な説明】

【図１】本発明に係る計測システムの構成図である。

【図２】３次元カメラの外観を示す図である。

【図３】３次元カメラの機能構成を示すブロック図であ
る。

【図４】投光レンズ系の構成を示す模式図である。

【図５】計測システムにおける３次元位置の算出の原理
図である。

【図６】センサの読出し範囲を示す図である。

【図７】センサの撮像面におけるラインとフレームとの
関係を示す図である。

【図８】各フレームの受光データの記憶状態を示す図で
ある。

【図９】各フレームの受光データの記憶状態を示す図で
ある。

【図１０】各フレームの受光データの記憶状態を示す図
である。

【図１１】時間重心の概念を示す図である。

【図１２】重心演算回路の構成を示すブロック図であ
る。

【図１３】データ転送のタイミングの概念を示す図であ
る。

【図１４】背景光の変動の影響を説明するための図であ
る。

【図１５】背景光の変動による重心ｉｐのずれの防止方
法を説明するための図である。

【図１６】３次元カメラにおけるデータの流れを示す図
である。

【図１７】ホストにおける３次元位置演算の処理手順を
示すフローチャートである。

【図１８】光学系の各点と物体との関係を示す図であ
る。

【図１９】３次元カメラの制御の概略を示すフローチャ
ートである。

【図２０】２次元画像入力サブルーチンのフローチャー
トである。

【図２１】予備測定サブルーチンのフローチャートであ
る。

【図２２】３次元測定サブルーチンのフローチャートで
ある。

【符号の説明】

２３次元カメラ（３次元入力装置）４０光学系（投光手段）５０光学系（撮影手段）５１ズームユニット（結像レンズ系）５２ビームスプリッタ（光学部材）５３センサ（受光デバイス）５４カラーセンサ（受光デバイス）６１システムコントローラ（制御手段）７５絞りＵスリット光（参照光）Ｑ物体

───────────────────────────────────────────────────── フロントページの続き (72)発明者内野浩志大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (72)発明者宮崎誠大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (72)発明者掃部幸一大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (72)発明者糊田寿夫大阪府大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内Ｆターム(参考） 2F065 AA04 AA51 AA53 DD04 DD09 DD10 DD11 EE03 EE08 FF01 FF09 FF10 GG06 HH05 JJ03 JJ05 JJ18 JJ26 LL04 LL06 LL13 LL20 LL30 LL62 MM16 NN03 QQ01 QQ14 QQ23 QQ28 QQ31 QQ42 SS02 SS13

Claims

【特許請求の範囲】

【請求項１】物体に参照光を投射する投光手段と、物体
像を結像して電気信号に変換する撮影手段とを備え、前
記参照光を投射せずに前記物体を撮影する２次元画像入
力と、前記参照光を投射して前記物体の形状を計測する
３次元入力とを行う３次元入力装置であって、前記撮影手段は、入射した光の通過を制限する絞りを有
し、前記２次元画像入力を行うときの前記絞りの絞り値と、
前記３次元入力を行うときの前記絞りの絞り値とを独立
に設定する制御手段を備えたことを特徴とする３次元入
力装置。
【請求項２】前記撮影手段は、前記２次元画像入力のた
めの受光デバイスと、前記３次元入力のための受光デバ
イスと、これら受光デバイスに共通の結像レンズ系と、
当該結像レンズ系を通過した光を各受光デバイスに振り
分ける光学部材とを有しており、前記絞りは、前記結像レンズ系と前記光学部材との間の
光路内に配置されている請求項１記載の３次元入力装
置。