JP4212138B2

JP4212138B2 - 3D measuring device

Info

Publication number: JP4212138B2
Application number: JP07943198A
Authority: JP
Inventors: 寿夫糊田; 浩志内野; 英樹田辺; 英一井手; 幸一掃部
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 1998-03-26
Filing date: 1998-03-26
Publication date: 2009-01-21
Anticipated expiration: 2018-03-26
Also published as: JPH11281335A

Description

【０００１】
【発明の属する技術分野】
この発明は３次元計測装置に関し、特に測定対象物に対して参照光を投光して、その反射光を受光することで３次元データを取込むいわゆるアクティブタイプの３次元計測装置に関する。
【０００２】
【従来の技術】
従来、測定対象物に対して参照光を投光して、その反射光を受光することで３次元データを取込むいわゆるアクティブタイプの３次元計測装置が知られている。このようなアクティブタイプの３次元計測装置においては、距離画像（距離を測定するための画像であって、測定対象物の３次元形状を算出するための画像）とカラー画像（測定対象物を表示するための画像）の両方の画像が入力できる装置が知られている（たとえば特開平９−１４５３１９）。
【０００３】
図１９はそのようなアクティブタイプの３次元計測装置の構成を示すブロック図である。
【０００４】
図を参照して、ビームスプリッタ（分光プリズム）５２は、色分解膜（ダイクロックミラー）５２１、色分解膜５２１を挟む２つのプリズム５２２，５２３、プリズム５２２の射出面に設けられた距離画像用ＣＣＤセンサ５３、プリズム５２３の射出面に設けられたカラー画像用ＣＣＤセンサ５４とから構成されている。
【０００５】
参照光である半導体レーザにより測定対象物は走査され、測定対象物からの反射光は受光レンズ５１ａに入射される。
【０００６】
受光レンズ５１ａから入射した光は、プリズム５２２を通って色分解膜５２１に入射する。半導体レーザの発振帯域の光Ｕ０は色分解膜５２１で反射した後、距離画像用ＣＣＤセンサ５３に向かって射出する。
【０００７】
一方、色分解膜５２１を透過した光Ｃ０は、プリズム５２３を通ってカラー画像用ＣＣＤセンサ５４に向かって射出する。
【０００８】
距離画像用ＣＣＤセンサ５３は、距離画像用ＣＣＤドライバ２０４により駆動される。カラー画像用ＣＣＤセンサ５４は、カラー画像用ＣＣＤドライバ２０３により駆動される。
【０００９】
距離画像用ＣＣＤセンサ５３の出力は、Ａ／Ｄコンバータ（出力処理回路）２０２で処理された後、距離画像フレームメモリ２０６に記憶される。カラー画像用ＣＣＤセンサ５４の出力は、Ａ／Ｄコンバータ（出力処理回路）２０１で処理された後、カラー画像フレームメモリ２０５に記憶される。
【００１０】
【発明が解決しようとする課題】
上述のように、従来のアクティブタイプの３次元計測装置においては、２つのＣＣＤセンサ５３，５４が用いられていたため、以下のような問題点があった。
【００１１】
（１）距離画像とカラー画像とのずれが生じないようにするために、２つのＣＣＤセンサの取付位置の微妙な調整が必要である。
【００１２】
（２）参照光として主に近赤外光が使われるため、距離画像用の近赤外光とカラー画像用の可視光との分光ができるプリズムの作製が必要である。
【００１３】
（３）カラー画像の画質が上記プリズムの分光特性に依存する。
この発明は上記の問題点を解決するためになされたものであり、２つのセンサが３次元計測装置に用いられることにより生ずる問題点を解決することをその目的としている。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明のある局面に従うと３次元計測装置は、測定対象物に向けて参照光を投光する投光手段と、測定対象物からの反射光を受光する受光手段と、受光された反射光から、測定対象物の３次元形状を算出する算出手段とを備え、測定対象物の３次元形状を算出するための第１の画像と測定対象物を表示するための第２の画像とを同一のモノクロセンサで取込むことが可能であり、前記第１の画像は前記参照光の波長に応じたバンドパスフィルタを介して取込み、前記第２の画像はカラー画像を形成する色分離フィルタを介して取込むことにより、前記第１の画像から前記算出手段による３次元形状の算出を可能とするとともに、前記第２の画像に基づき表示画像の取得を可能とすることを特徴としている。
好ましくは３次元計測装置は、センサの前段にフィルタを有する。
【００１５】
この発明に従うと、同一のセンサにより測定対象物の３次元形状を算出するための画像と、測定対象物を表示するための画像とが取込まれるため、従来のように２つのセンサの取付位置の調整を行なうことが不要となる。また、近赤外光と可視光の分光を行なうことができるプリズムの作製が不要となり、カラー画像の画質を向上させることができる。
【００１６】
【発明の実施の形態】
図１は、本発明の第１の実施の形態における計測システム１の構成を示す図である。図を参照して計測システム１は、スリット光投光法によって立体計測を行なう３次元カメラ（レンジファインダ）２と、３次元カメラ２の出力データを処理するホスト３とから構成されている。
【００１７】
３次元カメラ２は、物体Ｑ上の複数のサンプリング点の３次元位置を特定する計測データ（スリット画像データ）とともに、物体Ｑのカラー情報を示す２次元画像およびキャリブレーションに必要なデータを出力する。三角測量法を用いてサンプリング点の座標を求める演算処理はホスト３が担う。
【００１８】
ホスト３は、ＣＰＵ３ａ、ディスプレイ３ｂ、キーボード３ｃ、およびマウス３ｄなどから構成されたコンピュータシステムである。ＣＰＵ３ａには計測データ処理のためのソフトウェアが組込まれている。ホスト３と３次元カメラ２との間では、オンラインおよび可搬型の記録メディア４によるオフラインの両方の形態のデータ受渡しが可能である。記録メディア４としては、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモリカードなどがある。
【００１９】
図２は、３次元カメラ２の外観を示す図である。ハウジング２０の前面に投光窓２０ａおよび受光窓２０ｂが設けられている。投光窓２０ａは受光窓２０ｂに対して上側に位置する。内部の光学ユニットＯＵが射出するスリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓２０ａを通って計測対象の物体（被写体または測定対象物）に向かう。スリット光Ｕの長さ方向Ｍ１の放射角度φは固定である。物体の表面で反射したスリット光Ｕの一部が受光窓２０ｂを通って光学ユニットＯＵに入射する。なお、光学ユニットＯＵは、投光軸と受光軸との相対関係を適正化するための２軸調整機構を備えている。
【００２０】
ハウジング２０の上面には、ズーミングボタン２５ａ，２５ｂ、手動フォーカシングボタン２６ａ，２６ｂ、およびシャッタボタン２７が設けられている。図２（ｂ）のようにハウジング２０の背面には、液晶ディスプレイ２１、カーソルボタン２２、セレクトボタン２３、キャンセルボタン２４、アナログ出力端子３２、デジタル出力端子３３、および記録メディア４の着脱口３０ａが設けられている。
【００２１】
液晶ディスプレイ２１（ＬＣＤ）は、走査画面の表示手段および電子ファインダとして用いられる。撮影者は背面の各ボタン２２〜２４によって撮影モードの設定を行なうことができる。デジタル出力端子３３からは計測データが出力され、アナログ出力端子３２からは２次元画像信号がたとえばＮＴＳＣ形式で出力される。デジタル出力端子３３はたとえばＳＣＳＩ端子である。
【００２２】
図３は３次元カメラ２の機能構成を示すブロック図である。図中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。
【００２３】
３次元カメラは、上述の光学ユニットＯＵを構成する投光側および受光側の２つの光学系４０，５０を有している。光学系４０において、半導体レーザ（ＬＤ）４１が射出する波長６７０ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、およびガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。
【００２４】
光学系５０において、ズームユニット５１によって集光された光はフィルタ８０Ａに入射される。フィルタ８０Ａの詳細については後述する。フィルタ８０Ａを介した入射光はカラー計測用センサ（ＣＣＤ）５３ａに入射される。ズームユニット５１は内焦型であり、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７とレンズコントローラ５８とフォーカシング駆動系５９によって実現される。ズーミング駆動系６０は電動ズーミングのために設けられている。
【００２５】
カラー計測用センサ５３ａによる撮像情報は、ドライバ５５からのクロックに同期してメモリ６３またはカラー処理回路６７へ転送される。カラー処理回路６７においてカラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０およびアナログ出力端子３２を経てオンライン出力され、またはデジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。その後、カラー画像データがカラー画像メモリ６９からＳＣＳＩコントローラ６６へ転送され、デジタル出力端子３３からオンライン出力され、または計測データと対応付けて記録メディア４に格納される。なお、カラー画像は、カラー計測用センサ５３ａによる距離画像と同一画角の像であり、ホスト３側におけるアプリケーション処理に際して参考情報として利用される。カラー情報を利用する処理としては、たとえばカメラ焦点の異なる複数組の計測データを組合せて３次元形状モデルを生成する処理、３次元形状モデルの不要の頂点を間引く処理などがある。システムコントローラ６１は、図示しないキャラクタジェネレータに対して、ＬＣＤ２１の画面上に適切な文字や記号を表示するための指示を与える。
【００２６】
出力処理回路６２は、カラー計測用センサ５３ａの出力する各画素ｇの光電変換信号を増幅する増幅器、および光電変換信号を８ビットの受光データに変換するＡ／Ｄ変換部を有している。メモリ６３は、２００×３２×３３Ｂｙｔｅの記憶容量を持つ読み書き可能なメモリであり、出力処理回路６２から出力される受光データを記憶する。メモリ制御回路６３Ａは、メモリ６３への書込および読出のアドレス指定を行なう。
【００２７】
重心演算回路７３は、メモリ６３に記憶された受光データに基づいて、計測対象の物体の形状に対応した濃淡画像を生成して表示用メモリ７４に出力し、また３次元位置を算出するための基となるデータを算出し出力用メモリ６４に出力する。ＬＣＤ２１の画面には、表示用メモリ７４に記憶された濃淡画像、カラー画像メモリ６９に記憶されたカラー画像などが表示される。
【００２８】
なおＮＴＳＣ変換回路７０は、ビデオＤ／Ａ（アナログ画像生成回路）を含んでいる。フィルタ８０Ａはフィルタ切換機構８１Ａにより切り換えられる。
【００２９】
図４は、図３のフィルタ８０Ａとフィルタ切換機構８１Ａの周辺部分の詳細を示す図である。
【００３０】
図を参照して、フィルタ８０ＡにはＩＲ（赤外線）カットフィルタ８０ａとバンドパスフィルタ８０ｂとが含まれている。フィルタ切換機構８１Ａは、ズームユニット５１に含まれる受光レンズ５１ａを介して入射された光がＩＲカットフィルタ８０ａを介してカラー計測用センサ５３ａに入射されるか、またはバンドパスフィルタ８０ｂを介してカラー計測用センサ５３ａに入射されるかを切換える。すなわち距離画像を取込む際には参照光の波長に応じたバンドパスフィルタ８０ｂが用いられ、表示用のカラー画像取込時にはＩＲカットフィルタ８０ａが使用される。カラー計測用センサ５３ａはドライバ５５により駆動される。距離画像は前述のとおり、出力処理回路６２において処理された後、メモリ６３に取込まれる。カラー画像データはカラー処理回路６７へ出力される。
【００３１】
このように本実施の形態における計測システムにおいては距離画像とカラー画像の両方をタイミングをずらすことで同一のカラー計測用センサ５３ａで取込んでいる。測定対象物が静止状態または動きが極めて遅い場合には、このタイミングのずれは計測において特に問題とはならない。
【００３２】
なお使用する受光レンズ５１ａと参照光の波長によっては、可視光の焦点位置と参照光の焦点位置とにずれが生じる場合がある。この場合、使用されるフィルタ８０ａ，８０ｂの厚みを変えることで焦点位置が一致するように調整することができる。
【００３３】
カラー計測用センサ５３ａ（ＣＣＤ）には、少なくとも１つのチャンネルで参照光の波長帯域での受光感度特性が得られているセンサが使用される。カラー計測用センサ５３ａの一部のチャンネルが参照光の波長帯域での受光感度特性を有している場合には、受光感度特性を有している特定チャンネルのみが距離画像取込に用いられる。たとえばＲ（赤）チャンネルのみが距離画像取込に用いられる。カラー計測用センサ５３ａの全チャンネルが参照光の波長帯域での受光感度特性を有している場合（測定に影響がない程度である場合）には、全チャンネル（Ｒ，Ｇ（緑），Ｂ（青））が距離画像取込に使用される。
【００３４】
なお、フィルタ８０Ａはカラー計測用センサ５３ａの前段であればどこに入れても構わない。しかしながら、受光レンズ５１ａとカラー計測用センサ５３ａとの間に設置するのが望ましい。なぜならばこれによりフィルタ８０ａ，８０ｂの面積を小さくすることができ、フィルタ切換機構８１Ａに対する負担も小さくて済むからである。
【００３５】
また、本実施の形態においては（Ｒ，Ｇ，Ｂ）の構成のカラーＣＣＤを用いた例について説明したが、（Ｇ，Ｃｙ，Ｙｅ，Ｍｇ）の構成のカラーＣＣＤをカラー計測用センサ５３ａとして用いてもよい。
【００３６】
本実施の形態における構成を採用することにより、距離画像とカラー画像とが同一のセンサにより読取られるため、従来のように２つのセンサの取付位置の調整を行なう必要がなくなる。また、近赤外光と可視光との分光を行なうことができるプリズムの作製が不要となり、カラー画像の画質を向上させることができる。
【００３７】
さらに、センサが１つで済むため、周辺回路を従来よりも削減することが可能となる。
【００３８】
図５は本発明の第２の実施の形態における３次元カメラの構成を示すブロック図である。第２の実施の形態における３次元カメラが第１の実施の形態と異なる点について以下に説明する。第２の実施の形態においては、第１の実施の形態におけるフィルタ８０Ａ（図３参照）の代わりにフィルタ８０Ｂが用いられている。また、フィルタ切換機構８１Ａ（図３参照）の代わりにフィルタ切換機構８１Ｂが用いられている。また、カラー計測用センサ５３ａ（図３参照）の代わりにモノクロ計測用センサ（モノクロＣＣＤ）５３ｂが用いられている。第２の実施の形態ではモノクロ計測用センサ５３ｂの出力がデジタル画像生成部６８に直接入力される。すなわち第２の実施の形態においてはカラー処理回路６７は設けられていない。
【００３９】
図６は本実施の形態におけるフィルタ８０Ｂとモノクロ計測用センサ５３ｂの周囲の構成を示す図である。
【００４０】
フィルタ８０ＢはＢフィルタ８０ｃとＧフィルタ８０ｄとＲフィルタ８０ｅとバンドパスフィルタ８０ｆとを含んでいる。Ｂフィルタ８０ｃ、Ｇフィルタ８０ｄ、およびＲフィルタ８０ｅはカラー画像用のフィルタである。フィルタ切換機構８１Ｂはそれぞれのフィルタを切換えることにより、受光レンズ５１ａを介して入射された反射光がいずれかのフィルタを介した後モノクロ計測用センサ５３ｂに入射されるように制御を行なう。モノクロ計測用センサ５３ｂはドライバ５５により駆動され、モノクロ計測用センサ５３ｂの出力は出力処理回路６２を介してメモリ６３またはデジタル画像生成部６８に入力される。
【００４１】
本実施の形態においてはフィルタ切換機構８１Ｂにおいてフィルタの切換を行ない、距離画像の取込時には参照光の波長に応じたバンドパスフィルタ８０ｆを使用する。一方、カラー画像取込時にはＲ，Ｇ，Ｂフィルタ８０ｃ〜８０ｅを順次使用して色画像に対応した３回の画像取込を行なう。
【００４２】
本実施の形態においてはモノクロの計測用センサ５３ｂを使うことができるため、その周辺の駆動回路や処理回路を第１の実施の形態よりも減少させることができ、装置のコストを下げることができる。
【００４３】
なお、上記の実施の形態においてはＲ，Ｇ，Ｂの色分離フィルタを用いることとしたが、Ｃ，Ｍ，Ｙの色分離フィルタを用いるようにしてもよい。またカラー画像を再現するのであればその他の色の構成を採用してもよい。
【００４４】
図７は本発明の第３の実施の形態における３次元カメラの構成を示すブロック図である。本実施の形態における３次元カメラが第１の実施の形態と異なる点について以下に説明する。本実施の形態における３次元カメラにおいてはカラー画像は表示されない。モノクロの輝度画像のみがＬＣＤ２１に表示されることになる。図３におけるフィルタ８０Ａおよびカラー計測用センサ５３ａに代えて本実施の形態においてはフィルタ８０Ｃおよびモノクロ計測用センサ５３ｃ（またはカラー計測用センサでもよい）が採用されている。また、図３におけるフィルタ切換機構８１Ａと、カラー処理回路６７と、デジタル画像生成部６８とカラー画像メモリ６９と、ＮＴＳＣ変換部７０と、アナログ出力端子３２とは本実施の形態においては採用されていない。
【００４５】
図８は図７のフィルタ８０Ｃおよびモノクロ計測用センサ５３ｃの周辺の構成を説明するための図である。
【００４６】
フィルタ８０Ｃはバンドパスフィルタ８０ｇのみを含む。受光レンズ５１ａを介して入力された測定対象物からの反射光は、バンドパスフィルタ８０ｇを介してモノクロ計測用センサ５３ｃに入力される。モノクロ計測用センサ５３ｃはドライバ５５により駆動される。モノクロ計測用センサ５３ｃの出力は出力処理回路６２を介してメモリ６３に入力される。
【００４７】
本実施の形態においては、モノクロ計測用センサ５３ｃにより撮像された画像データが距離画像および表示用画像として用いられる。すなわち本実施の形態においても１つのセンサにより距離画像と表示用画像との入力を行なっている。
【００４８】
表示用に用いられるモノクロの輝度画像として重心演算に使用されているデータであるΣｘｉが使用される。まずΣｘｉの取得の方法と表示用のモノクロの輝度画像として使用できる理由について説明する。
【００４９】
図９は投光レンズ系４２の構成を示す模式図である。図９（ａ）は正面図であり、図９（ｂ）は側面図である。
【００５０】
投光レンズ系４２は、コリメータレンズ４２１、バリエータレンズ４２２、およびエキスパンダレンズ４２３の３つのレンズから構成されている。半導体レーザ４１が射出したレーザビームに対して、次の順序で適切なスリット光Ｕを得るための光学的処理が行なわれる。まず、コリメータレンズ４２１によってビームが平行化される。次にバリエータレンズ４２２によってレーザビームのビーム径が調整される。最後にエキスパンダレンズ４２３によってビームがスリット長さ方向Ｍ１に広げられる。
【００５１】
バリエータレンズ４２２は、撮影距離および撮影の画角にかかわらず、計測用センサ５３ｃに３以上の複数画素分の幅のスリット光Ｕを入射させるために設けられている。駆動系４５は、システムコントローラ６１の指示に従って、計測用センサ５３ｃ上でのスリット光Ｕの幅ｗを一定に保つようにバリエータレンズ４２２を移動させる。バリエータレンズ４２２と受光側のズームユニット５１とは連動する。
【００５２】
ガルバノミラー４３による偏光の以前にスリット長を広げることにより、偏光の後で行なう場合に比べてスリット光Ｕの歪みを低減することができる。エキスパンダレンズ４２３を投光レンズ系４２の最終段に配置することにより、すなわちガルバノミラー４３に近づけることにより、ガルバノミラー４３を小型化することができる。
【００５３】
図１０は計測システム１における３次元位置の算出の原理図である。同図では理解を容易にするため、受光量のサンプリングについて５回分のみが示されている。
【００５４】
計測用センサ５３ｃの撮像面Ｓ２上で複数画素分となる比較的に幅の広いスリット光Ｕを物体Ｑに照射する。具体的にはスリット光Ｕの幅を５画素分とする。スリット光Ｕは、サンプリング周期ごとに撮像面Ｓ２上で１画素ピッチｐｖだけ移動するように、図１０の上から下に向かって偏光され、それによって物体Ｑが走査される。サンプリング周期ごとにモノクロ計測用センサ５３ｃから１フレーム分の受光データ（光電変換情報）が出力される。なお、この偏光は実際には等角速度で行なわれる。
【００５５】
撮像面Ｓ２の１つの画素ｇに注目すると、本実施の形態においては、走査中に行なう３２回のサンプリングによって３２回分の受光データが得られる。これら３２回分の受光データに対する重心演算によって、注目画素ｇがにらむ範囲の物体表面ａｇをスリット光Ｕの光軸が通過するタイミング（時間重心Ｎｐｅａｋまたは重心ｉｐ）を求める。
【００５６】
物体Ｑの表面が平面であって光学系の特性によるノイズがない場合には、注目画素ｇの受光量は、図１０（ｂ）に示すように、スリット光Ｕが通過するタイミングにおいて多くなり、通常、正規分布に近くなる。同図のようにｎ回目とその１つ前の（ｎ−１）回目の間のタイミングで受光量が最大であった場合には、そのタイミングが時間重心Ｎｐｅａｋとほぼ一致する。
【００５７】
求めた時間重心Ｎｐｅａｋにおけるスリット光の照射方向と、注目画素に対するスリット光の入射方向との関係に基づいて、物体Ｑの位置（座標）を算出する。これにより、撮像面の画素ピッチｐｖで規定される分解能より高い分解能の計測が可能となる。
【００５８】
なお、注目画素ｇの受光量は物体Ｑの反射率に依存する。しかし、サンプリングの各受光量の相対比は受光の絶対量にかかわらず一定である。つまり、物体色の濃淡は計測精度に影響しない。
【００５９】
図１１はモノクロ計測用センサ５３ｃの読出範囲を示す図である。
図１１に示すように、モノクロ計測用センサ５３ｃにおける１フレームの読出は、撮像面Ｓ２の全体ではなく、高速化を図るために撮像面Ｓ２の一部である有効受光領域（帯状画像）Ａｅのみを対象に行なわれる。有効受光領域Ａｅは、スリット光Ｕのある照射タイミングにおける物体Ｑの計測可能距離範囲ｄ′に対応する撮像面Ｓ２上の領域であり、スリット光Ｕの偏光に伴ってフレームごとに１画素分ずつシフトする。本実施の形態では、有効受光領域Ａｅのシフト方向の画素数は３２に固定されている。ＣＣＤエリアセンサの撮影像の一部のみを読出す手法は、特開平７−１７４５３６号公報に開示されている。
【００６０】
図１２はモノクロ計測用センサ５３ｃの撮像面Ｓ２におけるラインとフレームとの関係を示す図であり、図１３〜１５はメモリ６３における各フレームの受光データの記憶状態を示す図である。
【００６１】
図１２に示すように、撮像面Ｓ２の最初のフレームであるフレーム１には、ライン１からライン３２までの３２（ライン）×２００画素分の受光データが含まれる。フレーム２はライン２からライン３３まで、フレーム３はライン３からライン３４までというように、フレームごとに１ライン分だけシフトされる。フレーム３２はライン３２からライン６３までである。なお、上述したように１ラインを２００画素としている。
【００６２】
これらフレーム１からフレーム３２までの受光データが、出力処理回路６２を介してメモリ６３に順次転送され、図１３に示す状態でメモリ６３に記憶される。
【００６３】
つまり、メモリ６３には、フレーム１、２、３…の順に受光データが記憶される。各フレームに含まれるライン３２のデータは、フレーム１については３２ライン目、フレーム２については３１ライン目というように、フレームごとに１ラインずつ上方にシフトされている。フレーム１からフレーム３２までの受光データがメモリ６３に記憶されると、ライン３２の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。
【００６４】
ライン３２についての演算が行なわれている間に、フレーム３３の受光データがメモリ６３に転送されて記憶される。図１４に示すように、フレーム３３の受光データは、メモリ６３のフレーム３２の次の領域に記憶される。フレーム３３のデータがメモリ６３に記憶されると、これらフレーム２からフレーム３３までに含まれるライン３３の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。
【００６５】
ライン３３についての演算が行なわれている間に、フレーム３４の受光データがメモリ６３に転送されて記憶される。図１５に示すように、フレーム３４の受光データは、フレーム１の記憶されていた領域に上書きされる。この時点ではフレーム１のデータは処理済であるため、上書きにより消去しても差支えないからである。フレーム３４のデータがメモリ６３に記憶されると、ライン３４の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。フレーム３４の受光データについての処理が終わると、フレーム３５の受光データがフレーム２の記憶されていた領域に上書きされる。
【００６６】
このようにして、最終のラインであるライン２３１まで、合計２００ライン分についての時間重心Ｎｐｅａｋの算出が行なわれる。
【００６７】
上述のように、メモリ６３に記憶された受光データのうち、順次不要になったデータの記憶された領域に新規の受光データを上書きして記憶するので、メモリ６３の容量が低減される。
【００６８】
次に、重心演算回路７３の構成および重心演算回路７３による時間重心Ｎｐｅａｋの算出処理について説明する。
【００６９】
図１６は重心演算回路７３の構成を示すブロック図であり、図１７はデータの転送のタイミングの概念を示す図であり、図１８は時間重心Ｎｐｅａｋの概念を示す図である。
【００７０】
図１８に示されるように、時間重心Ｎｐｅａｋは、３２回のサンプリングによって得られた３２個の受光データについての重心である。各画素についての３２個の受光データに、１〜３２のサンプリング番号を付す。ｉ番目の受光データはｘｉで表わされる。ｉは１〜３２の整数である。このとき、ｉは、１つの画素について、その画素が有効受光領域Ａｅに入ってからのフレーム数を示している。
【００７１】
１〜３２番の受光データｘ１〜ｘ３２についての重心ｉｐは、３２個の受光データについて、ｉ・ｘｉの総和Σｉ・ｘｉをｘｉの総和Σｘｉで除すことにより求められる。すなわち、
【００７２】
【数１】

【００７３】
となる。
【００７４】
重心演算回路７３は、メモリ６３から読出したデータに基づいて、各画素についての重心ｉｐ（すなわち時間重心Ｎｐｅａｋ）を算出する。ただし、メモリ６３から読出したデータをそのまま用いるのではなく、各データから定常光データｋｓを減算した値（その値が負になるときは０）を用いる。つまり、計測用センサ５３ｃから出力される受光データに対して、定常光データｋｓの分だけ差し引いてオフセットを与えるのである。
【００７５】
定常光データｋｓは、スリット光Ｕが入射していないときの画素の受光データに基づいて算出されるデータである。定常光データｋｓは、予め定めた固定値を用いてもよく、またはモノクロ計測用センサ５３ｃから出力されるデータを用いてリアルタイムで求めてもよい。固定値とする場合にはモノクロ計測用センサ５３ｃの出力が８ビット（２５６階調）である場合に、たとえば「５」「６」または「１０」などとする。リアルタイムで求める場合には、１つの注目画素についての３２個の受光データの前後各２画素分の受光データのそれぞれの平均値を求め、平均値の小さい方を定常光データｋｓとすればよい。その理由は、有効受光領域Ａｅの前後のいずれかにおいてはスリット光Ｕが入射していないから、これによってスリット光Ｕが入射していないときの受光データをリアルタイムで確実に求めることができるからである。また、前後各２画素分の受光データの平均値の大きい方を定常光データｋｓとしてもよい。３２個の受光データの前の２画素分の受光データの平均値、または３２個の受光データの後の２画素分の受光データの平均値を用いてもよい。１画素分の受光データを用いてもよい。さらに、物体Ｑの形状または受光データに含まれるノイズの状態によっては、それらの値にさらに所定値（たとえば「５」）を加算した値を定常光データｋｓとして用い、これによりオフセットを大きくし、不要なノイズ成分を一層確実にカットするようにしてもよい。なお、それらの場合に、１フレームの大きさは、３６ラインまたは３４ラインまたは３３ラインとなるが、重心ｉｐの算出には３２ライン分の３２個のデータを用いればよい。
【００７６】
さて、図１６において、重心演算回路７３は、定常光データ記憶部７３１、減算部７３２、第１加算部７３３、第２加算部７３４、および除算部７３５からなる。これらはソフトウェアを用いることによって実現されるが、これらの全部まては一部をハードウェア回路により構成することも可能である。
【００７７】
定常光データ記憶部７３１は、定常光データｋｓを記憶する。減算部７３２は、入力された受光データから定常項データｋｓを減算する。ここで、減算部７３２から出力されるデータを改めて受光データｘｉとする。第１加算部７３３は、ｉ・ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。第２加算部７３４は、ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。除算部７３５は、第１加算部７３３の出力値を第２加算部７３４の出力値で除し、重心ｉｐを出力する。除算部７３５から出力された重心ｉｐは、表示用メモリ７４に記憶される。また、第１加算部７３３の出力値および第２加算部７３４の出力値は、それぞれ出力用メモリ６４ａ，６４ｂに記憶される。出力用メモリ６４ａ，６４ｂに記憶されたデータは、ＳＣＳＩコントローラ６６を介してデジタル出力端子３３からホスト３に出力され、または記録メディア４に格納される。ホスト３において、これらのデータに基づいて３次元位置演算処理が行なわれ、またこれらのデータの信頼性が判定される。
【００７８】
図１７を参照して、メモリ制御回路６３Ａは、１つの画素について、重心演算回路７３による上述の処理が行なわれるように、メモリ６３のアドレスを画素ごとに順次指定する。たとえば、最初のライン３２については、図１７に示すフレーム１に含まれるライン３２の１画素目のデータ、フレーム２に含まれるライン３２の１画素目のデータというように、ライン３２の１画素目のデータについてフレーム１から３２までの合計３２個のデータを順にアドレス指定する。アドレス指定されることによって、メモリ６３からデータが読出されて重心演算回路７３に送り込まれる。ライン３２についての演算が行なわれている間に、次のフレーム３３の受光データがメモリ６３に転送される。以降においても、メモリ６３からの読出と書込とが並行して行なわれ、これによって回路が効率よく動作する。
【００７９】
重心演算回路７３では、３２個のデータが入力された時点で、除算部７３５が重心ｉｐを出力する。続いて、２画素目のデータ、３画素目のデータというように、２００画素目のデータまで順に処理を行ない、ライン３２についての重心ｉｐの算出を終了する。ライン３２についての重心ｉｐの算出を終えると、続いて、ライン３３、ライン３４、ライン３５というように、ライン２３１まで、２００ラインの全部について重心ｉｐの算出を行なう。
【００８０】
なお、ＣＣＤエリアセンサであるモノクロ計測用センサ５３ｃは、積分領域および蓄積領域を有し、積分領域での積分動作が完了すると電荷を蓄積領域へ一括転送し、蓄積領域から外部に順次出力する。
【００８１】
表示用メモリ７４に記憶された重心ｉｐは、ＬＣＤ２１の画面に表示される。重心ｉｐは、計測対象の物体Ｑの表面の位置に関連し、物体Ｑの表面の位置が３次元カメラ２に近い場合に重心ｉｐの値が大きくなり、遠い場合に重心ｉｐの値が小さくなる。したがって、重心ｉｐを濃度データとして濃淡画像を表示させることにより距離分布を表現することができる。
【００８２】
なお、図９〜１８に示される構成は、第１および第２の実施の形態においても採用されている。
【００８３】
また、本実施の形態においてはΣｘｉを用いることによりモノクロの輝度画像をディスプレイ３ｂに表示させることができる。すなわち、Σｘｉは３２フレーム分の出力の合計である。この３２フレームのうちのいずれかのフレームで、スリット光の被写体での反射光が受光されている（ここでは被写体が測定可能範囲内にあることを前提としている）。バンドパスフィルタ８０ｇにより環境光はほぼカットされているので、Σｘｉは、３２フレームの期間に照射されたスリット光の成分の合計である。すべての画素について、同様にスリット光成分の合計が得られる。各画素のΣｘｉを各画素の表示輝度データとして扱うと、モノクロ画像（スリット光波長に対するモノクロ画像）となる。
【００８４】
なお、たとえばΣｘｉのデータレンジが１３ビット用意されており、モノクロの輝度表示には８ビットのデータを用いるとするならば、Σｘｉの上位３ビットと下位２ビットとを取り除いた８ビットを用いるようにすればよい。どの８ビットのデータを用いるかは、Σｘｉの実際にとる値を考慮して決めるようにすればよい。
【００８５】
なお、本実施の形態においては撮像素子としてＣＣＤを用いた場合について説明したが、撮像素子としてＣＭＯＳ撮像センサなどを用いても、距離画像およびカラー画像を取込むことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における計測システムの構成を示す図である。
【図２】３次元カメラ２の外観を示す図である。
【図３】３次元カメラ２の機能構成を示すブロック図である。
【図４】フィルタ８０Ａとフィルタ切換機構８１Ａとの周辺の構成を示す図である。
【図５】本発明の第２の実施の形態における３次元カメラのブロック図である。
【図６】フィルタ８０Ｂとフィルタ切換機構８１Ｂとの周辺の構成を示す図である。
【図７】本発明の第３の実施の形態における３次元カメラの構成を示すブロック図である。
【図８】フィルタ８０Ｃの周辺の構成を示す図である。
【図９】投光レンズ系の構成を示す模式図である。
【図１０】計測システムにおける３次元位置の算出の原理図である。
【図１１】センサの読出範囲を示す図である。
【図１２】センサの撮像面におけるラインとフレームとの関係を示す図である。
【図１３】メモリにおける各フレームの受光データの記憶状態を示す図である。
【図１４】メモリにおける各フレームの受光データの記憶状態を示す図である。
【図１５】メモリにおける各フレームの受光データの記憶状態を示す図である。
【図１６】重心演算回路の構成を示すブロック図である。
【図１７】データの転送のタイミングの概念を示す図である。
【図１８】時間重心の概念を示す図である。
【図１９】従来のアクティブタイプの３次元計測装置の構成を説明するための図である。
【符号の説明】
５３ａ〜５３ｃ計測用センサ（ＣＣＤ）
８０Ａ〜８０Ｃフィルタ
８１Ａ〜８１Ｃフィルタ切換機構[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional measuring apparatus, and more particularly, to a so-called active type three-dimensional measuring apparatus that takes in three-dimensional data by projecting reference light onto a measurement object and receiving the reflected light.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a so-called active type three-dimensional measuring apparatus that captures three-dimensional data by projecting reference light onto a measurement object and receiving reflected light is known. In such an active type three-dimensional measuring apparatus, a distance image (an image for measuring a distance and calculating a three-dimensional shape of the measurement object) and a color image (displaying the measurement object) For example, Japanese Patent Laid-Open No. 9-145319 discloses an apparatus that can input both images.
[0003]
FIG. 19 is a block diagram showing the configuration of such an active type three-dimensional measuring apparatus.
[0004]
Referring to the figure, a beam splitter (spectral prism) 52 includes a color separation film (dichroic mirror) 521, two

prisms

522 and 523 sandwiching the color separation film 521, and a distance image provided on the exit surface of the prism 522. The CCD sensor 53 and the color image CCD sensor 54 provided on the exit surface of the prism 523 are configured.
[0005]
The measurement object is scanned by the semiconductor laser as the reference light, and the reflected light from the measurement object is incident on the light receiving lens 51a.
[0006]
Light incident from the light receiving lens 51 a enters the color separation film 521 through the prism 522. The light U 0 in the oscillation band of the semiconductor laser is reflected by the color separation film 521 and then emitted toward the distance image CCD sensor 53.
[0007]
On the other hand, the light C 0 that has passed through the color separation film 521 passes through the prism 523 and is emitted toward the color image CCD sensor 54.
[0008]
The distance image CCD sensor 53 is driven by a distance image CCD driver 204. The color image CCD sensor 54 is driven by a color image CCD driver 203.
[0009]
The output of the distance image CCD sensor 53 is processed by an A / D converter (output processing circuit) 202 and then stored in a distance image frame memory 206. The output of the color image CCD sensor 54 is processed by an A / D converter (output processing circuit) 201 and then stored in a color image frame memory 205.
[0010]
[Problems to be solved by the invention]
As described above, the conventional active type three-dimensional measurement apparatus has the following problems because the two CCD sensors 53 and 54 are used.
[0011]
(1) In order to prevent a shift between the distance image and the color image, it is necessary to finely adjust the mounting positions of the two CCD sensors.
[0012]
(2) Since near-infrared light is mainly used as reference light, it is necessary to produce a prism capable of splitting near-infrared light for distance images and visible light for color images.
[0013]
(3) The image quality of the color image depends on the spectral characteristics of the prism.
The present invention has been made to solve the above-described problems, and an object thereof is to solve the problems caused by using two sensors in a three-dimensional measuring apparatus.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, according to one aspect of the present invention, a three-dimensional measurement apparatus includes a light projecting unit that projects reference light toward a measurement object, and a light receiving unit that receives reflected light from the measurement object. A calculation means for calculating a three-dimensional shape of the measurement object from the received reflected light, and a first image for calculating the three-dimensional shape of the measurement object and a first image for displaying the measurement object. Capture two images with the same monochrome sensor The first image is captured via a bandpass filter according to the wavelength of the reference light, The second image is captured through a color separation filter that forms a color image, thereby allowing the calculation means to calculate a three-dimensional shape from the first image, and displaying the second image based on the second image. It is possible to acquire images.
Good Preferably, the three-dimensional measuring apparatus has a filter in front of the sensor.
[0015]
According to the present invention, the image for calculating the three-dimensional shape of the measurement object and the image for displaying the measurement object are captured by the same sensor. It is not necessary to make adjustments. Further, it is not necessary to produce a prism capable of performing near-infrared light and visible light spectroscopy, and the image quality of a color image can be improved.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of a measurement system 1 according to the first embodiment of the present invention. Referring to the drawing, a measurement system 1 includes a three-dimensional camera (range finder) 2 that performs stereoscopic measurement by a slit light projection method and a host 3 that processes output data of the three-dimensional camera 2.
[0017]
The three-dimensional camera 2 outputs measurement data (slit image data) for specifying the three-dimensional positions of a plurality of sampling points on the object Q, a two-dimensional image indicating the color information of the object Q, and data necessary for calibration. . The host 3 is responsible for the calculation processing for obtaining the coordinates of the sampling points using the triangulation method.
[0018]
The host 3 is a computer system including a CPU 3a, a display 3b, a keyboard 3c, a mouse 3d, and the like. Software for processing measurement data is incorporated in the CPU 3a. Between the host 3 and the three-dimensional camera 2, both online and offline data transfer using the portable recording medium 4 is possible. Examples of the recording medium 4 include a magneto-optical disk (MO), a mini disk (MD), and a memory card.
[0019]
FIG. 2 is a diagram illustrating an appearance of the three-dimensional camera 2. A light projection window 20 a and a light reception window 20 b are provided on the front surface of the housing 20. The light projecting window 20a is located above the light receiving window 20b. The slit light (band-shaped laser beam with a predetermined width w) U emitted from the internal optical unit OU travels through the projection window 20a toward the measurement target object (subject or measurement target). The radiation angle φ in the length direction M1 of the slit light U is fixed. A part of the slit light U reflected by the surface of the object enters the optical unit OU through the light receiving window 20b. The optical unit OU includes a biaxial adjustment mechanism for optimizing the relative relationship between the light projecting axis and the light receiving axis.
[0020]
Zooming

buttons

25a and 25b, manual focusing

buttons

26a and 26b, and a shutter button 27 are provided on the upper surface of the housing 20. As shown in FIG. 2B, on the rear surface of the housing 20, there are a liquid crystal display 21, a cursor button 22, a select button 23, a cancel button 24, an analog output terminal 32, a digital output terminal 33, and an attachment / detachment port 30 a for the recording medium 4. Is provided.
[0021]
The liquid crystal display 21 (LCD) is used as a scanning screen display means and an electronic viewfinder. The photographer can set the photographing mode by using the buttons 22 to 24 on the back side. Measurement data is output from the digital output terminal 33, and a two-dimensional image signal is output from the analog output terminal 32 in, for example, the NTSC format. The digital output terminal 33 is, for example, a SCSI terminal.
[0022]
FIG. 3 is a block diagram showing a functional configuration of the three-dimensional camera 2. The solid line arrows in the figure indicate the flow of electrical signals, and the broken line arrows indicate the flow of light.
[0023]
The three-dimensional camera has two

optical systems

40 and 50 on the light projecting side and the light receiving side that constitute the optical unit OU described above. In the optical system 40, the laser beam having a wavelength of 670 nm emitted from the semiconductor laser (LD) 41 passes through the light projecting lens system 42 to become slit light U and is deflected by the galvanometer mirror (scanning means) 43. A driver 44 of the semiconductor laser 41, a drive system 45 of the projection lens system 42, and a drive system 46 of the galvano mirror 43 are controlled by a system controller 61.
[0024]
In the optical system 50, the light condensed by the zoom unit 51 enters the filter 80A. Details of the filter 80A will be described later. Incident light that has passed through the filter 80A enters a color measurement sensor (CCD) 53a. The zoom unit 51 is an in-focus type, and a part of the incident light is used for autofocusing (AF). The AF function is realized by an AF sensor 57, a lens controller 58, and a focusing drive system 59. The zooming drive system 60 is provided for electric zooming.
[0025]
Imaging information from the color measurement sensor 53 a is transferred to the memory 63 or the color processing circuit 67 in synchronization with the clock from the driver 55. The imaging information that has undergone color processing in the color processing circuit 67 is output online via the NTSC conversion circuit 70 and the analog output terminal 32, or is quantized by the digital image generation unit 68 and stored in the color image memory 69. Thereafter, the color image data is transferred from the color image memory 69 to the SCSI controller 66 and output online from the digital output terminal 33 or stored in the recording medium 4 in association with the measurement data. The color image is an image having the same angle of view as the distance image obtained by the color measurement sensor 53a, and is used as reference information during application processing on the host 3 side. Examples of processing using color information include processing for generating a three-dimensional shape model by combining a plurality of sets of measurement data with different camera focal points, and processing for thinning out unnecessary vertices of the three-dimensional shape model. The system controller 61 instructs a character generator (not shown) to display appropriate characters and symbols on the screen of the LCD 21.
[0026]
The output processing circuit 62 includes an amplifier that amplifies the photoelectric conversion signal of each pixel g output from the color measurement sensor 53a, and an A / D conversion unit that converts the photoelectric conversion signal into 8-bit light reception data. The memory 63 is a readable / writable memory having a storage capacity of 200 × 32 × 33 bytes, and stores light reception data output from the output processing circuit 62. Memory control circuit 63A performs addressing for writing to and reading from memory 63.
[0027]
The center-of-gravity calculation circuit 73 generates a grayscale image corresponding to the shape of the object to be measured based on the received light data stored in the memory 63, outputs the grayscale image to the display memory 74, and calculates a three-dimensional position. The basic data is calculated and output to the output memory 64. A grayscale image stored in the display memory 74, a color image stored in the color image memory 69, and the like are displayed on the screen of the LCD 21.
[0028]
The NTSC conversion circuit 70 includes a video D / A (analog image generation circuit). The filter 80A is switched by a filter switching mechanism 81A.
[0029]
FIG. 4 is a diagram showing details of a peripheral portion of the filter 80A and the filter switching mechanism 81A in FIG.
[0030]
Referring to the figure, filter 80A includes an IR (infrared) cut filter 80a and a bandpass filter 80b. The filter switching mechanism 81A is configured such that light incident through the light receiving lens 51a included in the zoom unit 51 enters the color measurement sensor 53a through the IR cut filter 80a, or color through the band pass filter 80b. Whether the light is incident on the measurement sensor 53a is switched. That is, the band pass filter 80b corresponding to the wavelength of the reference light is used when capturing the distance image, and the IR cut filter 80a is used when capturing the color image for display. The color measurement sensor 53 a is driven by a driver 55. As described above, the distance image is processed by the output processing circuit 62 and then taken into the memory 63. The color image data is output to the color processing circuit 67.
[0031]
As described above, in the measurement system according to the present embodiment, both the distance image and the color image are captured by the same color measurement sensor 53a by shifting the timing. When the measurement object is stationary or moves very slowly, this timing shift is not particularly problematic in measurement.
[0032]
Depending on the light receiving lens 51a used and the wavelength of the reference light, there may be a deviation between the focal position of the visible light and the focal position of the reference light. In this case, the focal position can be adjusted to be the same by changing the thickness of the filters 80a and 80b used.
[0033]
As the color measurement sensor 53a (CCD), a sensor having a light receiving sensitivity characteristic in the wavelength band of the reference light in at least one channel is used. When some of the channels of the color measurement sensor 53a have the light receiving sensitivity characteristic in the wavelength band of the reference light, only the specific channel having the light receiving sensitivity characteristic is used for capturing the distance image. For example, only the R (red) channel is used for range image capture. When all the channels of the color measurement sensor 53a have the light receiving sensitivity characteristic in the wavelength band of the reference light (when it does not affect the measurement), all the channels (R, G (green), B (Blue)) is used for range image capture.
[0034]
The filter 80A may be placed anywhere as long as it is a front stage of the color measurement sensor 53a. However, it is desirable to install between the light receiving lens 51a and the color measurement sensor 53a. This is because the area of the filters 80a and 80b can be reduced by this, and the burden on the filter switching mechanism 81A can be reduced.
[0035]
In this embodiment, an example using a color CCD having a configuration of (R, G, B) has been described. However, a color CCD having a configuration of (G, Cy, Ye, Mg) is used as the color measurement sensor 53a. It may be used.
[0036]
By adopting the configuration in the present embodiment, the distance image and the color image are read by the same sensor, so that it is not necessary to adjust the mounting positions of the two sensors as in the prior art. Further, it is not necessary to produce a prism capable of performing near-infrared light and visible light spectroscopy, and the quality of a color image can be improved.
[0037]
Furthermore, since only one sensor is required, it is possible to reduce the number of peripheral circuits as compared with the prior art.
[0038]
FIG. 5 is a block diagram showing a configuration of a three-dimensional camera according to the second embodiment of the present invention. The difference between the three-dimensional camera in the second embodiment and the first embodiment will be described below. In the second embodiment, a filter 80B is used instead of the filter 80A (see FIG. 3) in the first embodiment. Further, a filter switching mechanism 81B is used instead of the filter switching mechanism 81A (see FIG. 3). A monochrome measurement sensor (monochrome CCD) 53b is used instead of the color measurement sensor 53a (see FIG. 3). In the second embodiment, the output of the monochrome measurement sensor 53 b is directly input to the digital image generation unit 68. That is, the color processing circuit 67 is not provided in the second embodiment.
[0039]
FIG. 6 is a diagram showing a configuration around the filter 80B and the monochrome measurement sensor 53b in the present embodiment.
[0040]
The filter 80B includes a B filter 80c, a G filter 80d, an R filter 80e, and a band pass filter 80f. The B filter 80c, the G filter 80d, and the R filter 80e are filters for color images. The filter switching mechanism 81B controls each reflected filter so that the reflected light incident through the light receiving lens 51a is incident on the monochrome measurement sensor 53b after passing through any one of the filters. The monochrome measurement sensor 53 b is driven by a driver 55, and the output of the monochrome measurement sensor 53 b is input to the memory 63 or the digital image generation unit 68 via the output processing circuit 62.
[0041]
In the present embodiment, the filter switching mechanism 81B performs filter switching, and a bandpass filter 80f corresponding to the wavelength of the reference light is used when capturing a distance image. On the other hand, at the time of capturing a color image, the R, G, B filters 80c to 80e are sequentially used to capture the image three times corresponding to the color image.
[0042]
In the present embodiment, since the monochrome measurement sensor 53b can be used, peripheral drive circuits and processing circuits can be reduced as compared with the first embodiment, and the cost of the apparatus can be reduced. .
[0043]
In the above embodiment, R, G, and B color separation filters are used. However, C, M, and Y color separation filters may be used. If a color image is reproduced, other color configurations may be adopted.
[0044]
FIG. 7 is a block diagram showing a configuration of a three-dimensional camera according to the third embodiment of the present invention. The difference between the three-dimensional camera in the present embodiment and the first embodiment will be described below. In the three-dimensional camera in the present embodiment, a color image is not displayed. Only a monochrome luminance image is displayed on the LCD 21. In this embodiment, a filter 80C and a monochrome measurement sensor 53c (or a color measurement sensor) may be used instead of the filter 80A and the color measurement sensor 53a in FIG. Further, the filter switching mechanism 81A, the color processing circuit 67, the digital image generation unit 68, the color image memory 69, the NTSC conversion unit 70, and the analog output terminal 32 in FIG. 3 are employed in the present embodiment. Absent.
[0045]
FIG. 8 is a diagram for explaining the configuration around the filter 80C and the monochrome measurement sensor 53c of FIG.
[0046]
Filter 80C includes only bandpass filter 80g. The reflected light from the measurement object input via the light receiving lens 51a is input to the monochrome measurement sensor 53c via the bandpass filter 80g. The monochrome measurement sensor 53 c is driven by a driver 55. The output of the monochrome measurement sensor 53 c is input to the memory 63 via the output processing circuit 62.
[0047]
In the present embodiment, the image data captured by the monochrome measurement sensor 53c is used as the distance image and the display image. That is, also in the present embodiment, the distance image and the display image are input by one sensor.
[0048]
As a monochrome luminance image used for display, Σxi, which is data used for centroid calculation, is used. First, the method of obtaining Σxi and the reason why it can be used as a monochrome luminance image for display will be described.
[0049]
FIG. 9 is a schematic diagram showing the configuration of the projection lens system 42. FIG. 9A is a front view, and FIG. 9B is a side view.
[0050]
The projection lens system 42 includes three lenses, a collimator lens 421, a variator lens 422, and an expander lens 423. Optical processing for obtaining an appropriate slit light U is performed on the laser beam emitted from the semiconductor laser 41 in the following order. First, the beam is collimated by the collimator lens 421. Next, the beam diameter of the laser beam is adjusted by the variator lens 422. Finally, the beam is expanded in the slit length direction M1 by the expander lens 423.
[0051]
The variator lens 422 is provided to allow slit light U having a width of three or more pixels to enter the measurement sensor 53c regardless of the shooting distance and the shooting angle of view. The drive system 45 moves the variator lens 422 so as to keep the width w of the slit light U on the measurement sensor 53c constant according to an instruction from the system controller 61. The variator lens 422 and the zoom unit 51 on the light receiving side are interlocked.
[0052]
By expanding the slit length before the polarization by the galvanometer mirror 43, the distortion of the slit light U can be reduced compared to the case of performing the polarization after the polarization. By arranging the expander lens 423 at the final stage of the light projecting lens system 42, that is, by bringing it closer to the galvanometer mirror 43, the galvanometer mirror 43 can be reduced in size.
[0053]
FIG. 10 is a principle diagram of calculation of a three-dimensional position in the measurement system 1. In the figure, for easy understanding, only five times of sampling of the amount of received light are shown.
[0054]
The object Q is irradiated with a relatively wide slit light U corresponding to a plurality of pixels on the imaging surface S2 of the measurement sensor 53c. Specifically, the width of the slit light U is set to 5 pixels. The slit light U is polarized from the top to the bottom of FIG. 10 so as to move by one pixel pitch pv on the imaging surface S2 for each sampling period, and thereby the object Q is scanned. Light reception data (photoelectric conversion information) for one frame is output from the monochrome measurement sensor 53c for each sampling period. This polarization is actually performed at an equiangular velocity.
[0055]
When attention is paid to one pixel g on the imaging surface S2, in the present embodiment, light reception data for 32 times is obtained by 32 times of sampling performed during scanning. The timing (temporal centroid Npeak or centroid ip) at which the optical axis of the slit light U passes through the object surface ag in the range in which the target pixel g looks is obtained by calculating the centroid with respect to the light reception data for 32 times.
[0056]
When the surface of the object Q is flat and there is no noise due to the characteristics of the optical system, the amount of light received by the pixel of interest g increases at the timing when the slit light U passes, as shown in FIG. Usually close to a normal distribution. As shown in the figure, when the amount of received light is the maximum at the timing between the nth time and the previous (n-1) th time, the timing almost coincides with the time centroid Npeak.
[0057]
The position (coordinates) of the object Q is calculated based on the relationship between the irradiation direction of the slit light at the obtained time center of gravity Npeak and the incident direction of the slit light with respect to the target pixel. Thereby, measurement with a resolution higher than the resolution defined by the pixel pitch pv on the imaging surface is possible.
[0058]
Note that the amount of light received by the pixel of interest g depends on the reflectance of the object Q. However, the relative ratio of each received light amount of sampling is constant regardless of the absolute amount of received light. That is, the shade of the object color does not affect the measurement accuracy.
[0059]
FIG. 11 is a diagram showing a reading range of the monochrome measurement sensor 53c.
As shown in FIG. 11, reading of one frame in the monochrome measurement sensor 53c is not performed on the entire imaging surface S2, but only on the effective light receiving region (band image) Ae that is a part of the imaging surface S2 for speeding up. It is performed on the subject. The effective light receiving area Ae is an area on the imaging surface S2 corresponding to the measurable distance range d ′ of the object Q at an irradiation timing of the slit light U, and one pixel for each frame according to the polarization of the slit light U. shift. In the present embodiment, the number of pixels in the shift direction of the effective light receiving area Ae is fixed to 32. A method of reading out only a part of the image taken by the CCD area sensor is disclosed in Japanese Patent Laid-Open No. 7-174536.
[0060]
FIG. 12 is a diagram showing the relationship between lines and frames on the imaging surface S2 of the monochrome measurement sensor 53c, and FIGS. 13 to 15 are diagrams showing storage states of received light data of each frame in the memory 63. FIG.
[0061]
As shown in FIG. 12, frame 1 that is the first frame of the imaging surface S <b> 2 includes light reception data for 32 (line) × 200 pixels from line 1 to line 32. Frame 2 is shifted from line 2 to line 33, frame 3 is shifted from line 3 to line 34, and so on. Frame 32 extends from line 32 to line 63. As described above, one line has 200 pixels.
[0062]
The received light data from frame 1 to frame 32 are sequentially transferred to the memory 63 via the output processing circuit 62, and stored in the memory 63 in the state shown in FIG.
[0063]
That is, the received light data is stored in the memory 63 in the order of

frames

1, 2, 3,. The data of the line 32 included in each frame is shifted upward by one line for each frame, such as the 32nd line for the frame 1 and the 31st line for the frame 2. When the received light data from frame 1 to frame 32 is stored in the memory 63, the time centroid Npeak is calculated for each pixel of the line 32.
[0064]
While the calculation for the line 32 is being performed, the received light data of the frame 33 is transferred to the memory 63 and stored therein. As shown in FIG. 14, the light reception data of the frame 33 is stored in the area next to the frame 32 of the memory 63. When the data of the frame 33 is stored in the memory 63, the time centroid Npeak is calculated for each pixel of the line 33 included in the frames 2 to 33.
[0065]
While the calculation for the line 33 is performed, the received light data of the frame 34 is transferred to the memory 63 and stored. As shown in FIG. 15, the light reception data of the frame 34 is overwritten on the stored area of the frame 1. This is because the data of frame 1 has already been processed at this point, and can be deleted by overwriting. When the data of the frame 34 is stored in the memory 63, the time centroid Npeak is calculated for each pixel of the line 34. When the processing on the light reception data of the frame 34 is completed, the light reception data of the frame 35 is overwritten in the area where the frame 2 was stored.
[0066]
In this way, the time center of gravity Npeak is calculated for a total of 200 lines up to the final line 231.
[0067]
As described above, among the received light data stored in the memory 63, the new received light data is overwritten and stored in the area where the data that has become unnecessary sequentially is stored, so that the capacity of the memory 63 is reduced.
[0068]
Next, the configuration of the centroid calculation circuit 73 and the calculation process of the time centroid Npeak by the centroid calculation circuit 73 will be described.
[0069]
16 is a block diagram showing the configuration of the centroid operation circuit 73, FIG. 17 is a diagram showing the concept of data transfer timing, and FIG. 18 is a diagram showing the concept of the time centroid Npeak.
[0070]
As shown in FIG. 18, the time centroid Npeak is a centroid for 32 received light data obtained by 32 samplings. Sampling numbers 1 to 32 are attached to 32 received light data for each pixel. The i-th received light data is represented by xi. i is an integer of 1 to 32. At this time, i indicates the number of frames for one pixel after the pixel enters the effective light receiving area Ae.
[0071]
The center of gravity ip for the 1st to 32nd received light data x1 to x32 is obtained by dividing the sum Σi · xi of i · xi by the sum Σxi of xi for 32 received light data. That is,
[0072]
[Expression 1]

[0073]
It becomes.
[0074]
Based on the data read from the memory 63, the centroid operation circuit 73 calculates the centroid ip (that is, the temporal centroid Npeak) for each pixel. However, the data read from the memory 63 is not used as it is, but a value obtained by subtracting the stationary light data ks from each data (0 when the value becomes negative) is used. That is, the received light data output from the measurement sensor 53c is subtracted by the amount of the steady light data ks to give an offset.
[0075]
The steady light data ks is data calculated based on the light reception data of the pixels when the slit light U is not incident. The stationary light data ks may be a predetermined fixed value or may be obtained in real time using data output from the monochrome measurement sensor 53c. In the case of a fixed value, when the output of the monochrome measurement sensor 53c is 8 bits (256 gradations), for example, “5” “6” or “10” is set. In the case of obtaining in real time, the average value of the received light data for two pixels before and after the 32 received light data for one target pixel may be obtained, and the smaller average value may be used as the steady light data ks. The reason is that the slit light U is not incident either before or after the effective light receiving area Ae, so that the light reception data when the slit light U is not incident can be reliably obtained in real time. is there. The larger average value of the light reception data for the two pixels before and after each may be used as the stationary light data ks. You may use the average value of the light reception data for 2 pixels before 32 light reception data, or the average value of the light reception data for 2 pixels after 32 light reception data. Light reception data for one pixel may be used. Furthermore, depending on the shape of the object Q or the state of noise included in the light reception data, a value obtained by adding a predetermined value (for example, “5”) to those values is used as the stationary light data ks, thereby increasing the offset, You may make it cut an unnecessary noise component more reliably. In these cases, the size of one frame is 36 lines, 34 lines, or 33 lines, but 32 data for 32 lines may be used to calculate the center of gravity ip.
[0076]
In FIG. 16, the center-of-gravity calculation circuit 73 includes a stationary light data storage unit 731, a subtraction unit 732, a first addition unit 733, a second addition unit 734, and a division unit 735. These are realized by using software, but all or a part of them can be configured by a hardware circuit.
[0077]
The steady light data storage unit 731 stores the steady light data ks. The subtraction unit 732 subtracts the steady term data ks from the received light reception data. Here, the data output from the subtracting unit 732 is referred to as received light data xi. The first addition unit 733 adds i · xi for i = 1 to 32 and outputs the total value. The second addition unit 734 adds xi for i = 1 to 32 and outputs the total value. The division unit 735 divides the output value of the first addition unit 733 by the output value of the second addition unit 734, and outputs the center of gravity ip. The center of gravity ip output from the division unit 735 is stored in the display memory 74. The output value of the first addition unit 733 and the output value of the second addition unit 734 are stored in the

output memories

64a and 64b, respectively. The data stored in the

output memories

64 a and 64 b is output from the digital output terminal 33 to the host 3 via the SCSI controller 66 or stored in the recording medium 4. The host 3 performs a three-dimensional position calculation process based on these data, and determines the reliability of these data.
[0078]
Referring to FIG. 17, memory control circuit 63 </ b> A sequentially specifies the address of memory 63 for each pixel so that the above-described processing by centroid operation circuit 73 is performed for one pixel. For example, for the first line 32, the first pixel data of the line 32, such as the first pixel data of the line 32 included in the frame 1 and the first pixel data of the line 32 included in the frame 2 shown in FIG. A total of 32 data from frames 1 to 32 are addressed in order. By addressing, data is read from the memory 63 and sent to the gravity center calculation circuit 73. While the calculation for the line 32 is being performed, the light reception data of the next frame 33 is transferred to the memory 63. Thereafter, reading and writing from the memory 63 are performed in parallel, whereby the circuit operates efficiently.
[0079]
In the centroid operation circuit 73, the division unit 735 outputs the centroid ip when 32 pieces of data are input. Subsequently, processing is sequentially performed up to the 200th pixel data, such as the second pixel data and the third pixel data, and the calculation of the center of gravity ip for the line 32 is completed. When the calculation of the center of gravity ip for the line 32 is finished, the center of gravity ip is calculated for all of the 200 lines up to the line 231 such as the line 33, the line 34, and the line 35.
[0080]
The monochrome measurement sensor 53c, which is a CCD area sensor, has an integration area and an accumulation area. When the integration operation in the integration area is completed, charges are transferred to the accumulation area at a time and are sequentially output from the accumulation area to the outside.
[0081]
The center of gravity ip stored in the display memory 74 is displayed on the screen of the LCD 21. The center of gravity ip is related to the position of the surface of the object Q to be measured, and the value of the center of gravity ip increases when the position of the surface of the object Q is close to the three-dimensional camera 2, and the value of the center of gravity ip decreases when it is far away. . Accordingly, the distance distribution can be expressed by displaying a grayscale image using the center of gravity ip as the density data.
[0082]
The configurations shown in FIGS. 9 to 18 are also adopted in the first and second embodiments.
[0083]
In the present embodiment, a monochrome luminance image can be displayed on the display 3b by using Σxi. That is, Σxi is the total output for 32 frames. The reflected light from the subject of the slit light is received by any one of the 32 frames (here, it is assumed that the subject is within the measurable range). Since the ambient light is substantially cut by the band-pass filter 80g, Σxi is the sum of the components of the slit light irradiated during the period of 32 frames. For all the pixels, the sum of slit light components is obtained in the same manner. When Σxi of each pixel is handled as display luminance data of each pixel, a monochrome image (monochrome image with respect to the slit light wavelength) is obtained.
[0084]
For example, if the data range of Σxi is prepared in 13 bits and 8-bit data is used for monochrome luminance display, 8 bits obtained by removing the upper 3 bits and the lower 2 bits of Σxi are used. You can do it. Which 8-bit data is used may be determined in consideration of the actual value of Σxi.
[0085]
In the present embodiment, a case where a CCD is used as an image sensor has been described. However, a distance image and a color image can be captured even when a CMOS image sensor or the like is used as an image sensor.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a measurement system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an external appearance of a three-dimensional camera 2;
3 is a block diagram illustrating a functional configuration of the three-dimensional camera 2. FIG.
FIG. 4 is a diagram showing a configuration around a filter 80A and a filter switching mechanism 81A.
FIG. 5 is a block diagram of a three-dimensional camera according to a second embodiment of the present invention.
FIG. 6 is a diagram showing a configuration around a filter 80B and a filter switching mechanism 81B.
FIG. 7 is a block diagram illustrating a configuration of a three-dimensional camera according to a third embodiment of the present invention.
FIG. 8 is a diagram showing a configuration around a filter 80C.
FIG. 9 is a schematic diagram showing a configuration of a projection lens system.
FIG. 10 is a principle diagram of calculation of a three-dimensional position in a measurement system.
FIG. 11 is a diagram showing a reading range of a sensor.
FIG. 12 is a diagram illustrating a relationship between a line and a frame on an imaging surface of a sensor.
FIG. 13 is a diagram illustrating a storage state of light reception data of each frame in a memory.
FIG. 14 is a diagram illustrating a storage state of received light data of each frame in a memory.
FIG. 15 is a diagram illustrating a storage state of light reception data of each frame in a memory.
FIG. 16 is a block diagram showing a configuration of a centroid operation circuit.
FIG. 17 is a diagram illustrating a concept of data transfer timing.
FIG. 18 is a diagram showing a concept of time centroid.
FIG. 19 is a diagram for explaining a configuration of a conventional active type three-dimensional measurement apparatus.
[Explanation of symbols]
53a-53c Measurement sensor (CCD)
80A-80C filter
81A-81C Filter switching mechanism

Claims

A light projecting means for projecting reference light toward the measurement object;
A light receiving means for receiving reflected light from the measurement object;
A three-dimensional measurement apparatus comprising: a calculation unit that calculates a three-dimensional shape of the measurement object from the received reflected light;
The first image for calculating the three-dimensional shape of the measurement object and the second image for displaying the measurement object can be captured by the same monochrome sensor . The image is taken in through a band pass filter corresponding to the wavelength of the reference light, and the second image is taken in through a color separation filter that forms a color image. A three-dimensional measuring apparatus characterized in that a three-dimensional shape can be calculated and a display image can be acquired based on the second image.

The three-dimensional measurement apparatus according to claim 1, further comprising a filter in front of the sensor.