JP3991040B2

JP3991040B2 - Three-dimensional measuring apparatus and three-dimensional measuring method

Info

Publication number: JP3991040B2
Application number: JP2004158554A
Authority: JP
Inventors: 紀功仁川末
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2003-08-20
Filing date: 2004-05-28
Publication date: 2007-10-17
Anticipated expiration: 2024-05-28
Also published as: JP2005098978A

Description

本発明は、三次元計測装置に関し、さらに詳しくは、被測定対象物の測定死角を減少すると共に、流体の流動現象を計測する三次元計測装置と三次元計測方法に関するものである。 The present invention relates to a three-dimensional measurement apparatus, and more particularly to a three-dimensional measurement apparatus and a three-dimensional measurement method for measuring a fluid flow phenomenon while reducing a measurement blind spot of an object to be measured.

近年、コンピュータビジョンに関する研究が活発化し、撮像装置を用いた物体の三次元情報入力システムが身近なものになりつつある。この種の技術の中で、撮像装置としてテレビカメラを用い物体の三次元形状を入力する手法として、光切断法が広く知られている。これはスリット光を被測定対象物に照射し、その反射光をテレビカメラで撮像して、三角測量の原理から被測定対象物の三次元位置を求めるものである。
また近年、魚介類の養殖業における養魚介類生産技術を確立させるために高機能飼育水槽システムが開発され、水槽内の飼育環境の最適化を図る事業が実施されている。このような事業で重要なことは、目に見えない水の動きをどのように計測して管理するかである。即ち、水槽内での水の流れを計測する手法の確立が望まれている。
空気や水の流れなど目で見ることのできない現象を観察できるようにする技術は可視化と呼ばれる。可視化技術は、デジタル画像処理の技術を用いて解析を行うことで、流れの定性的な観察のみならず、速度分布などの定量計測にも使うことが可能となっている。また可視化する方法はそれぞれの目的に応じ多くの手法があるが、その中に、ＰＩＶ（粒子画像流速測定法）と呼ばれるものがある。それは、可視化された画像を解析し、粒子群像の時間的変位から、二次元面内の速度を多点同時計測する技術である。ＰＩＶでは高精度な計測ができ、複雑な流れにも対応できる。 In recent years, research on computer vision has become active, and three-dimensional information input systems for objects using imaging devices are becoming familiar. Among these types of techniques, a light cutting method is widely known as a method for inputting a three-dimensional shape of an object using a television camera as an imaging device. In this method, slit light is irradiated onto a measurement object, and the reflected light is captured by a television camera, and the three-dimensional position of the measurement object is obtained from the principle of triangulation.
In recent years, a high-function breeding aquarium system has been developed in order to establish a technique for producing fishery products in the aquaculture industry, and a project for optimizing the breeding environment in the aquarium has been carried out. What is important in such a business is how to measure and manage invisible water movements. That is, establishment of a method for measuring the flow of water in the water tank is desired.
A technique that enables observation of phenomena that cannot be seen with the eyes, such as the flow of air or water, is called visualization. Visualization technology can be used not only for qualitative observation of flow, but also for quantitative measurement of velocity distribution, etc., by performing analysis using digital image processing technology. There are many visualization methods depending on the purpose. Among them, there is a method called PIV (Particle Image Velocity Measurement Method). It is a technology that analyzes a visualized image and simultaneously measures the velocity in a two-dimensional plane based on the temporal displacement of the particle group image. PIV can measure with high accuracy and can handle complicated flows.

また、従来の三次元画像情報入力装置として特開平９−２１０６４６号公報には、被写体に対してスリット光を走査する走査手段と、前記スリット光の位置を測定する位置測定手段と、被写体を光検出手段を用いて撮像する撮像手段と、カラー画像を撮影するカラー画像撮影手段とを備えた三次元画像情報入力装置について開示されている。
また米国ポヒマス社（Polhemus Inc.）は、非接触三次元形状入力装置として、ハンドヘルド・レーザスキャナFastSCAN（商品名）を製品化している。この製品は図２４（ａ）に示すように、レーザダイオード５０と、カメラ５３と、図示しない磁気センサが一体化された本体５２と、被測定対象物５６の近傍に置かれ所定のエリアに磁界ベクトルを形成するトランスミッタ５４とを備えて構成されている。そして、トランスミッタ５４と本体５２はケーブル５５により接続され、図示しないＰＣ等にケーブル５３を介して接続されている。また、図２４（ｂ）に示す他の製品は、レーザダイオード６１と、カメラ６０ａ、６０ｂと、図示しない磁気センサが一体化された本体６２と、被測定対象物６６の近傍に置かれ所定のエリアに磁界ベクトルを形成するトランスミッタ６４と、被測定対象物６６の所定の部分に取り付けられた磁気センサ６３とを備えて構成されている。以上の製品は、三次元磁気センサを組合わせることにより、スキャナのカメラと被測定対象物との相対位置を特定できるため、大きな固定台やターンテーブルを必要とせず、三次元形状を素早く簡単に入力することができる、とされている。そして、この製品の原理について、［Hand-held Laser Scanning In Practice］としてBruce McCallum、Mark Nixon、Brent Price and Rick Fright等により詳細が報告されている。
特開平９−２１０６４６号公報［Hand-held Laser Scanning In Practice］Bruce McCallum，Mark Nixon，Brent Price and Rick Fright Japanese Patent Application Laid-Open No. 9-210646 discloses a conventional three-dimensional image information input device. A scanning unit that scans a subject with slit light, a position measuring unit that measures the position of the slit light, A three-dimensional image information input device including an imaging unit that captures an image using a detection unit and a color image capturing unit that captures a color image is disclosed.
In addition, Polhemus Inc. of the United States has commercialized a handheld laser scanner FastSCAN (trade name) as a non-contact three-dimensional shape input device. As shown in FIG. 24A, this product is placed in the vicinity of a laser diode 50, a camera 53, a main body 52 in which a magnetic sensor (not shown) is integrated, and an object 56 to be measured, and a magnetic field is applied to a predetermined area. And a transmitter 54 for forming a vector. The transmitter 54 and the main body 52 are connected by a cable 55 and are connected to a PC (not shown) or the like via the cable 53. Another product shown in FIG. 24B is a laser diode 61, cameras 60a and 60b, a main body 62 in which a magnetic sensor (not shown) is integrated, and a predetermined object 66 placed in the vicinity of the measurement object 66. A transmitter 64 for forming a magnetic field vector in the area and a magnetic sensor 63 attached to a predetermined portion of the measurement object 66 are configured. The above products can identify the relative position between the scanner camera and the object to be measured by combining a 3D magnetic sensor, so a 3D shape can be quickly and easily created without the need for a large fixed base or turntable. It can be entered. The principle of this product has been reported in detail as [Hand-held Laser Scanning In Practice] by Bruce McCallum, Mark Nixon, Brent Price and Rick Fright and others.
JP-A-9-210646 [Hand-held Laser Scanning In Practice] Bruce McCallum, Mark Nixon, Brent Price and Rick Fright

しかしながら、ＰＩＶ計測では、一般的にスリットレーザを用いて、流れに混入したトレーサ粒子を可視化し、トレーサ粒子の動きを計測することで間接的に流体の速度分布を求め、計測したい位置にレーザ平面を照射させ、レーザ平面上の速度ベクトルを算出する。しかし、計測が三角測量に基づくため、レーザ平面の位置や傾き、もしくはＣＣＤカメラの位置や姿勢が変わるとキャリブレーションのやり直しが必要になり、計測としては操作性が悪いといった問題がある。
また特許文献１に開示されている従来技術は、一般的に三角測量の原理上、レーザ投光器やテレビカメラの配置を被測定対象物の大きさに合わせて予め決定し、固定しなければならない。そのため、被測定対象物背面や被測定対象物の形状、凹凸等が複雑な場合においては、死角が生じるといった問題がある。
また、非特許文献１により報告されている製品は、レーザダイオードとカメラが一体化されているため、レーザが照射されている個所がカメラに映らない場合があり、被測定対象物のくぼみ等が死角となる問題がある。これを改善するためにカメラを２台備えて異なる角度から撮像する製品（図２４（ｂ））もあるが、カメラが２台必要となるためコストが高くなるという問題がある。
本発明は、かかる課題に鑑み、テレビカメラとレーザ投光器に三次元位置と方向を検出できる三次元磁気センサ（例えば、3SPACE FASTRACK，Polhemus Inc.）を取り付け、テレビカメラとレーザ投光器をそれぞれ独立して動作させながら被測定対象物全体を計測することにより、死角を減少させると共に、流体の流動現象を計測することが可能な三次元計測装置を提供することを目的とする。 However, in PIV measurement, generally, a slit laser is used to visualize the tracer particles mixed in the flow, and the movement of the tracer particles is indirectly measured to obtain the velocity distribution of the fluid. And the velocity vector on the laser plane is calculated. However, since the measurement is based on triangulation, if the position or tilt of the laser plane or the position or orientation of the CCD camera is changed, calibration needs to be performed again.
The prior art disclosed in Patent Document 1 generally has to determine and fix the arrangement of the laser projector and the television camera in advance according to the size of the object to be measured, based on the principle of triangulation. Therefore, there is a problem in that a blind spot occurs when the back surface of the object to be measured, the shape of the object to be measured, the unevenness, and the like are complicated.
In addition, since the laser diode and the camera are integrated in the product reported by Non-Patent Document 1, the portion irradiated with the laser may not be reflected on the camera, and the object to be measured may be indented. There is a problem that becomes a blind spot. In order to improve this, there is a product (FIG. 24B) that includes two cameras and picks up images from different angles. However, since two cameras are required, there is a problem that the cost increases.
In view of such a problem, the present invention attaches a three-dimensional magnetic sensor (for example, 3SPACE FASTRACK, Polhemus Inc.) capable of detecting a three-dimensional position and direction to a television camera and a laser projector, and the television camera and the laser projector are independently provided. An object of the present invention is to provide a three-dimensional measurement apparatus capable of reducing the blind spot and measuring the fluid flow phenomenon by measuring the entire object to be measured while operating.

本発明はかかる課題を解決するために、請求項１は、物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測装置において、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、前記投光手段に備えられ該投光手段の三次元位置情報及び姿勢情報を生成する第１のセンサと、前記撮像手段に備えられ該撮像手段の三次元位置情報及び姿勢情報を生成する第２のセンサと、前記物体に照射された光の平面方程式を算出する方程式算出手段と、を備え、前記投光手段と撮像手段がそれぞれ独立に動作することにより前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする。
従来の三次元計測装置は、投光手段と撮像手段が所定の角度で一体的に構成されていた。従って、投光手段により物体に光を照射した場合、その狭い範囲を撮像手段が撮像するため、くぼみ等が死角となる場合が多かった。そこで本発明では、投光手段と撮像手段を独立に動作するようにして、それぞれに三次元位置情報及び姿勢情報を生成するセンサを備え、それぞれが独立に動作することにより得られた三次元位置情報及び姿勢情報を基に平面方程式を算出するものである。これにより、くぼみ等の死角部分に対して撮像手段を自由に移動できるので、測定個所の死角を減少することができ、複雑な物体の三次元計測を迅速に且つ正確に行うことができる。 In order to solve the above-described problems, the present invention provides a light projecting unit for irradiating light on the object in a three-dimensional measurement apparatus that inputs the three-dimensional information of the object and measures the three-dimensional shape of the object. Imaging means for imaging the light irradiated on the object surface by the light projecting means; a first sensor provided in the light projecting means for generating three-dimensional position information and posture information of the light projecting means; A second sensor that is provided in the imaging unit and generates three-dimensional position information and posture information of the imaging unit; and an equation calculation unit that calculates a plane equation of light irradiated on the object, A plane of light irradiated on the object by the equation calculation unit based on the three-dimensional position information and the posture information obtained from the first sensor and the second sensor by independently operating the imaging unit and the imaging unit. Calculate equation , Characterized by measuring the three-dimensional shape of the object from the result output the calculated.
In the conventional three-dimensional measuring apparatus, the light projecting means and the imaging means are integrally configured at a predetermined angle. Therefore, when the object is irradiated with light by the light projecting means, the imaging means picks up an image of the narrow range, so that a depression or the like often becomes a blind spot. Therefore, in the present invention, the light projecting means and the imaging means are operated independently, and each is provided with a sensor that generates three-dimensional position information and posture information, and the three-dimensional position obtained by operating each independently. The plane equation is calculated based on the information and the posture information. As a result, the imaging means can be freely moved with respect to a blind spot such as a depression, so that the blind spot at the measurement location can be reduced, and a three-dimensional measurement of a complex object can be performed quickly and accurately.

請求項２は、所定のエリアに磁界ベクトルを形成するトランスミッタを備え、前記第１のセンサ及び第２のセンサは前記磁界ベクトルを受信することにより、当該センサの前記三次元位置情報及びロール角、ピッチ角、及びヨー角の前記姿勢情報を取得することを特徴とする。
投光手段と撮像手段の位置情報と姿勢情報を得るには、各種の方法が考えられるが、光の光路を邪魔せず、且つ視界を妨げない方法が必要条件である。その点では磁界による方法が最適である。本発明では半球状の磁界を発生するトランスミッタを備え、その磁界の磁力線に対するベクトルを計算することにより三次元位置情報及び姿勢情報を取得するものである。従って、物体と投光手段及び撮像手段の距離はこの磁界のエリア内に限定される。 The second aspect includes a transmitter that forms a magnetic field vector in a predetermined area, and the first sensor and the second sensor receive the magnetic field vector, whereby the three-dimensional position information and the roll angle of the sensor, The attitude information of the pitch angle and the yaw angle is acquired.
Various methods are conceivable for obtaining the position information and the posture information of the light projecting means and the imaging means, but a method that does not disturb the optical path of light and does not disturb the field of view is a necessary condition. In that respect, the method using a magnetic field is optimal. The present invention includes a transmitter that generates a hemispherical magnetic field, and obtains three-dimensional position information and posture information by calculating a vector with respect to the magnetic field lines of the magnetic field. Accordingly, the distance between the object, the light projecting means, and the imaging means is limited to the area of the magnetic field.

請求項３は、前記物体が流体である場合には、当該流体の動きを可視化する可視化手段を更に備え、前記投光手段と撮像手段がそれぞれ独立に動作することにより前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記可視化手段により可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする。
物体が固形物で固定されているとは限らない。例えば、水や空気のような流体もある。しかし、これらの流体は目に見えないので何らかの方法で可視化する必要がある。そこで本発明では、流体を可視化する手段をさらに備え、その可視化手段にレーザ光を照射することにより、平面方程式を算出して流体の流動現象を計測するものである。
請求項４は、前記可視化手段は、所定の反射率を有する粒子状の物体であることを特徴とする。
可視化手段としては、例えば流体が水の場合は、その水の中に光を反射するトレーサ粒子等を混入するのが最も簡単で確実である。 According to a third aspect of the present invention, when the object is a fluid, a visualizing unit that visualizes the movement of the fluid is further provided, and the light projecting unit and the imaging unit operate independently, whereby the first sensor and the first sensor On the basis of the three-dimensional position information and posture information obtained from the sensor 2, the equation calculation means calculates a plane equation of light irradiated on the fluid visualized by the visualization means, and from the calculation result, the equation of the fluid is calculated. It is characterized by measuring the flow phenomenon.
An object is not necessarily fixed with a solid substance. For example, there are fluids such as water and air. However, these fluids are invisible and need to be visualized in some way. Therefore, in the present invention, a fluid visualization means is further provided, and the fluid flow phenomenon is measured by calculating a plane equation by irradiating the visualization means with laser light.
According to a fourth aspect of the present invention, the visualization means is a particulate object having a predetermined reflectance.
As the visualization means, for example, when the fluid is water, it is the simplest and surest to mix tracer particles that reflect light into the water.

請求項５は、物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測方法において、前記物体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作の三次元位置情報及び姿勢情報に基づいて前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする。本発明は請求項１と同様の作用を奏する。請求項６は、前記物体の形状が滑らかな場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を大きくして撮像し、前記物体の形状が複雑な場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を小さくして撮像することを特徴とする。請求項７は、前記物体が流体である場合には、当該流体の動きを可視化し、前記流体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作により得られた三次元位置情報及び姿勢情報に基づいて可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする。
本発明は請求項３と同様の作用を奏する。 Claim 5 is the three-dimensional measurement method for measuring a three-dimensional shape of the object by entering the three-dimensional information of an object, an operation of the imaging operation and the irradiated slit light for irradiating slit light onto the object Performing independently, calculating a plane equation of light irradiated to the object based on the three-dimensional position information and posture information of each movement, and measuring the three-dimensional shape of the object from the calculation result . The present invention has the same effect as that of the first aspect. According to a sixth aspect of the present invention, when the shape of the object is smooth, imaging is performed by increasing the angle between the optical axis of the slit light applied to the object and the optical axis for imaging the slit light, and the shape of the object Is complicated, imaging is performed by reducing the angle between the optical axis of the slit light applied to the object and the optical axis for imaging the slit light. According to a seventh aspect of the present invention, when the object is a fluid, the movement of the fluid is visualized, and the operation of irradiating the fluid with slit light and the operation of imaging the irradiated slit light are performed independently, A plane equation of light irradiated on the fluid visualized is calculated based on the three-dimensional position information and posture information obtained by the operation, and the fluid flow phenomenon is measured from the calculation result.
The present invention has the same effect as that of the third aspect .

請求項１、５の発明によれば、投光手段と撮像手段を独立に動作するようにして夫々に三次元位置情報及び姿勢情報を生成するセンサを備えたので、物体の測定個所の死角を減少することができ、複雑な物体の三次元計測を迅速に且つ正確に行うことができる。
また請求項２では、所定のエリアに磁界ベクトルを形成するトランスミッタを備えたので、各センサが磁界ベクトルを計算することにより、位置情報及び姿勢情報を正確に取得することができる。 According to the first and fifth aspects of the present invention, the sensors for generating the three-dimensional position information and the posture information are provided so that the light projecting means and the image pickup means operate independently, so that the blind spot at the measurement point of the object can be obtained. It is possible to reduce the volume of the object, and the three-dimensional measurement of the complex object can be performed quickly and accurately.
According to the second aspect of the present invention, since a transmitter for forming a magnetic field vector is provided in a predetermined area, each sensor can accurately acquire position information and posture information by calculating the magnetic field vector.

また請求項６では、物体の形状に応じてスリット光の光軸と撮像手段の光軸との成す角度を変化させるので、物体の形状に応じて処理時間の短縮と死角の減少を両立させることができる。また請求項３、７では、流体の動きを可視化する可視化手段を更に備えたので、目に見えない流体でも流体の流動現象を測定することができる。また請求項４では、可視化手段が所定の反射率を有する粒子状の物体であるので、流体に簡単に混入することができる。 According to the sixth aspect of the invention , since the angle formed by the optical axis of the slit light and the optical axis of the imaging unit is changed according to the shape of the object, both the reduction of the processing time and the reduction of the blind spot are achieved according to the shape of the object. Can do. Further, in the third and seventh aspects, since the visualization means for visualizing the movement of the fluid is further provided, the fluid flow phenomenon can be measured even with an invisible fluid. According to a fourth aspect of the present invention , since the visualization means is a particulate object having a predetermined reflectance, it can be easily mixed into the fluid.

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。図１は本発明の第１の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図である。この三次元計測装置１００は、対象物１にレーザスリット光を照射するレーザ投光器２０と、このレーザ投光器２０により対象物１の表面に照射された光を撮像する撮像装置３０と、所定のエリアに磁界ベクトルを形成するトランスミッタ４０と、図示しないパーソナルコンピュータ（ＰＣ）を備えて構成される。そして、レーザ投光器２０はＴ字型の架台２と、スリット状のレーザ光を出射するレーザ光源３と、レーザ投光器２０の位置情報と姿勢情報を生成する磁気センサ４とを備えて構成され、レーザ光源３への電源と磁気センサ４の情報はケーブル５によりＰＣに伝えられる。また、撮像装置３０はＴ字型の架台６と、対象物１に照射されたレーザスリット光を撮像するＣＣＤカメラ７と、撮像装置３０の位置情報と姿勢情報を生成する磁気センサ８とを備えて構成され、ＣＣＤカメラ７の信号と磁気センサ８の情報はケーブル９によりＰＣに伝えられる。尚、架台２、６は磁界の影響をレシーバに与えないために、木製、プラスチック、ゴム等の材質により形成される（詳細は後述する）。また、光源としてレーザ光を使用したが、ＬＥＤ或いは他の可視光を使用しても構わない。また、本実施形態ではレーザ投光器２０と撮像装置３０の位置情報と姿勢情報を生成する手段として、トランスミッタ４０からの磁界ベクトルを受信するために磁気センサを使用したが、他の手段により生成しても構わない。ここで、投光手段は主としてレーザ投光器２０により構成され、撮像手段は主として撮像装置３０により構成され、第１のセンサは主として磁気センサ４により構成され、第２のセンサは主として磁気センサ８により構成され、方程式算出手段は主としてＰＣにより構成される。 Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. . FIG. 1 is a perspective view of measuring an object using the three-dimensional measuring apparatus according to the first embodiment of the present invention. The three-dimensional measuring apparatus 100 includes a laser projector 20 that irradiates the object 1 with laser slit light, an imaging device 30 that images the light irradiated on the surface of the object 1 by the laser projector 20, and a predetermined area. A transmitter 40 that forms a magnetic field vector and a personal computer (PC) (not shown) are provided. The laser projector 20 includes a T-shaped frame 2, a laser light source 3 that emits slit-shaped laser light, and a magnetic sensor 4 that generates position information and attitude information of the laser projector 20. Information on the power supply to the light source 3 and the magnetic sensor 4 is transmitted to the PC via the cable 5. In addition, the imaging device 30 includes a T-shaped gantry 6, a CCD camera 7 that images the laser slit light irradiated on the object 1, and a magnetic sensor 8 that generates position information and orientation information of the imaging device 30. The signal of the CCD camera 7 and the information of the magnetic sensor 8 are transmitted to the PC by the cable 9. The mounts 2 and 6 are made of a material such as wood, plastic, rubber or the like so as not to give the influence of the magnetic field to the receiver (details will be described later). Further, although laser light is used as the light source, LEDs or other visible light may be used. In this embodiment, the magnetic sensor is used to receive the magnetic field vector from the transmitter 40 as the means for generating the position information and the posture information of the laser projector 20 and the imaging device 30, but it is generated by other means. It doesn't matter. Here, the light projecting means is mainly constituted by the laser projector 20, the image pickup means is mainly constituted by the imaging device 30, the first sensor is mainly constituted by the magnetic sensor 4, and the second sensor is mainly constituted by the magnetic sensor 8. The equation calculation means is mainly composed of a PC.

次に本実施形態の三次元計測装置１００の概略動作について説明する。まず、トランスミッタ４０を対象物１の近傍に配置し、電源を投入してトランスミッタ４０の磁界をレーザ投光器２０及び撮像装置３０が検出できるように対象物１との位置関係を設定する。これは図示しないＰＣの画面を見ながら調整を行う。例えば、市販のトランスミッタの場合は半径９０ｃｍの半円球の範囲に磁界が形成される。そしてレーザ投光器２０と撮像装置３０を手に持ち、ＰＣの画面を見ながらＣＣＤカメラ７が対象物１の全体画像を捉えられるように配置する。そしてレーザ光源３の電源を投入して、スリット光が対象物１の走査開始位置に来るようにしてＰＣに格納されたプログラムを開始する。そして、レーザ投光器２０を対象物１の走査開始位置から順次上から下（或いは下から上）に移動し、対象物１の全体（背面を含む）の走査が完了するまで行う。これらの走査の過程でＣＣＤカメラ７から読み込まれたスリット光の平面方程式がリアルタイムに計算される。また、走査の過程でレーザ投光器２０及び撮像装置３０を移動しても、磁気センサ４、磁気センサ８から位置情報とロール角、ピッチ角、ヨー角の姿勢情報がＰＣに取り込まれリアルタイムに処理されて対象物１の平面方程式に反映される。即ち、例えば対象物１に照射したスリット光がくぼみ等で死角となった場合、投光器２０を移動して死角とならないようにスリット光を照射するか、或いは撮像装置３０を移動して死角を防ぐようにすることが可能となる。
そして対象物１の走査が完了するとＰＣに取り込まれたデータに基づいて、対象物１の三次元画像を再生する。この三次元画像はあらゆる角度からのデータにより構成されているので、対象物を回転して任意の角度から観察することも可能となる。 Next, a schematic operation of the three-dimensional measurement apparatus 100 of the present embodiment will be described. First, the transmitter 40 is arranged in the vicinity of the object 1, the power is turned on, and the positional relationship with the object 1 is set so that the laser projector 20 and the imaging device 30 can detect the magnetic field of the transmitter 40. This is adjusted while viewing the screen of a PC (not shown). For example, in the case of a commercially available transmitter, a magnetic field is formed in the range of a hemisphere having a radius of 90 cm. Then, the laser projector 20 and the imaging device 30 are held in the hand, and the CCD camera 7 is arranged so that the entire image of the object 1 can be captured while looking at the screen of the PC. Then, the laser light source 3 is turned on, and the program stored in the PC is started so that the slit light comes to the scanning start position of the object 1. Then, the laser projector 20 is moved sequentially from the top to the bottom (or from the bottom to the top) from the scanning start position of the object 1 until the entire scanning of the object 1 (including the back surface) is completed. The plane equation of the slit light read from the CCD camera 7 in the scanning process is calculated in real time. Even if the laser projector 20 and the imaging device 30 are moved during the scanning process, the position information and the posture information of the roll angle, the pitch angle, and the yaw angle are captured from the magnetic sensor 4 and the magnetic sensor 8 and processed in real time. Is reflected in the plane equation of the object 1. That is, for example, when the slit light irradiated on the object 1 becomes a blind spot due to a depression or the like, the slit light is irradiated so as not to become a blind spot by moving the projector 20, or the imaging device 30 is moved to prevent the blind spot. It becomes possible to do so.
When the scanning of the object 1 is completed, a three-dimensional image of the object 1 is reproduced based on the data captured by the PC. Since this three-dimensional image is composed of data from all angles, the object can be rotated and observed from any angle.

図２は図１の斜視図に基づいて本実施形態の三次元計測装置１００の全体構成を表す模式図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。ここで、ＣＣＤカメラ７の信号はケーブル９によりイメージプロセッサ１７に接続され、磁気センサ８の信号はケーブル９によりレーザ位置検出回路１１に接続され、磁気センサ４はケーブル５によりレーザ位置検出回路１１に接続され、トランスミッタ４０はケーブル４１によりレーザ位置検出回路１１に接続されている。またレーザ位置検出回路１１の出力及びイメージプロセッサ１７の出力信号はＰＣ１２に入力され、ＰＣ１２を制御するプログラムはＲＯＭ（Read Only Memory）１３に格納されている。またＰＣ１２からは処理された三次元画像を表示するモニタ１８が接続されている。尚、イメージプロセッサ１７はＣＣＤカメラ７により撮像された画像データをＰＣ１２が処理し易いように変換する機能があり、ＣＣＤカメラ７からの画像信号からレーザ輝線の座標をリアルタイムに演算するために回路をＦＰＧＡ（Field Programmable Gate Array）により構成している。またレーザ位置検出回路１１は磁気センサ４、磁気センサ８の信号から三次元位置情報及び姿勢情報を検出回路である。
また説明の都合上ＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度をαとする。また対象物１の表面形状はさまざまなものが存在する。例えば、ヤカンのように表面が比較的滑らかで変化がない物もあれば、人物のブロンズ像のように表面の形状が複雑で凹凸が多い物もある。本実施形態ではこれらの対象物１の形状に応じてスリット光１０の光軸１６とＣＣＤカメラ７の光軸１５との成す角度αを変化させることにより、より迅速に且つ確実に死角を減少させることができる。即ち、対象物１の表面が滑らかな場合は、角度αを大きくして一度に広い範囲の情報を取得して処理し、対象物１の形状が複雑な場合は、角度αを狭くして狭い範囲を確実に走査して死角を減少させるようにするものである。これにより、対象物１の形状に応じて処理時間の短縮を図ると共に、対象物１の死角を減少させることもできる。 FIG. 2 is a schematic diagram showing the overall configuration of the three-dimensional measuring apparatus 100 of the present embodiment based on the perspective view of FIG. The same reference numerals are assigned to the same components, and duplicate descriptions are omitted. Here, the signal of the CCD camera 7 is connected to the image processor 17 by the cable 9, the signal of the magnetic sensor 8 is connected to the laser position detection circuit 11 by the cable 9, and the magnetic sensor 4 is connected to the laser position detection circuit 11 by the cable 5. The transmitter 40 is connected to the laser position detection circuit 11 by a cable 41. The output of the laser position detection circuit 11 and the output signal of the image processor 17 are input to the PC 12, and a program for controlling the PC 12 is stored in a ROM (Read Only Memory) 13. A monitor 18 for displaying the processed three-dimensional image is connected from the PC 12. The image processor 17 has a function of converting image data picked up by the CCD camera 7 so that the PC 12 can easily process it. A circuit is provided to calculate the coordinates of the laser emission line from the image signal from the CCD camera 7 in real time. An FPGA (Field Programmable Gate Array) is used. The laser position detection circuit 11 is a detection circuit for detecting three-dimensional position information and posture information from signals from the magnetic sensor 4 and the magnetic sensor 8.
For convenience of explanation, the angle formed by the optical axis 15 of the CCD camera 7 and the optical axis 16 of the laser light source 3 is α. There are various surface shapes of the object 1. For example, there are things such as kettles that have a relatively smooth surface that does not change, and others that have a complex surface shape and many irregularities such as a bronze image of a person. In the present embodiment, by changing the angle α formed by the optical axis 16 of the slit light 10 and the optical axis 15 of the CCD camera 7 in accordance with the shape of the object 1, the blind spot can be reduced more quickly and reliably. be able to. That is, when the surface of the object 1 is smooth, the angle α is increased to acquire and process a wide range of information at a time. When the shape of the object 1 is complicated, the angle α is decreased to be narrow. The range is reliably scanned to reduce the blind spot. Thereby, while shortening processing time according to the shape of the target object 1, the blind spot of the target object 1 can also be reduced.

図３は投光器２０と撮像装置３０の一例を示す図である（単位はｍｍとする）。同じ構成要素には同じ参照番号を付して説明する。図３（ａ）は撮像装置３０の斜視図であり、この撮像装置３０は、ＣＣＤカメラ７と、ＣＣＤカメラを支持する架台６と、架台６から起立した部位６ａに取り付けた磁気センサ８により構成されている。図３（ｂ）は投光器２０の斜視図であり、投光器２０は、レーザ光源３と、レーザ光源３を支持する架台２と、架台２から起立した部位２ａに取り付けた磁気センサ４により構成されている。また架台６、２は金属による磁気センサへの影響を無くすために木製とするのが好ましい。なお、磁気センサ８は検知部の中心がＣＣＤカメラ７の光軸上になるように取り付けてあり、磁気センサ４は検知部の中心をレーザの光軸上に設置する。図４はトランスミッタ４０の一例を示す外形図である（単位はｍｍとする）。図４（ａ）は上面図であり、図４（ｂ）は側面図である。そしてＰ点は電気的な中心を表している。図５は磁気センサ８、４の一例を示す外形図である（単位はｍｍとする）。図５（ａ）は上面図であり、図５（ｂ）は側面図である。そしてＱ点は電気的な中心を表している。図６は本発明の磁気センサ４、８が位置情報と姿勢情報を生成する原理を説明する図である。図６（ａ）は磁界ベクトルと各レシーバの位置関係を表す図であり、トランスミッタ４０から放射された磁界ベクトル４２が半球状に形成され、その磁界ベクトル４２上に例えば磁気センサ４、８が存在し、対象物１が磁界ベクトル４２の内側に含まれるものとする。図６（ｂ）は磁界ベクトルを説明する模式図である。例えば磁気センサ４ではトランスミッタ４０の位置における磁界の強さおよび方向をＡとし、磁界の強さおよび方向ＡのＸ軸方向磁界の強さ、Ｙ軸方向磁界の強さ、Ｚ軸方向磁界の強さをそれぞれＡｘ、Ａｙ、Ａｚとし、ｃｏｓα、ｃｏｓβ、ｃｏｓγを磁界の強さおよび方向Ａの方向余波とすれば、Ａｘ＝Ａｃｏｓα、Ａｙ＝Ａｃｏｓβ、Ａｚ＝Ａｃｏｓγであり、磁気センサ４のＸ軸方向の磁界検出コイルからはＡｘの出力が、Ｙ軸方向の磁界検出コイルからはＡｙの出力が、Ｚ軸方向の磁界検出コイルからはＡｚの出力が送出される。そして磁界の強さおよび方向Ａは、Ａ＝（Ａｘ²＋Ａｙ²＋Ａｚ²）^1/2で与えられる。同じく磁気センサ８の磁界の強さおよび方向Ｂは、Ｂ＝（Ｂｘ²＋Ｂｙ²＋Ｂｚ²）^1/2で与えられる。 FIG. 3 is a diagram illustrating an example of the projector 20 and the imaging device 30 (unit is mm). The same components will be described with the same reference numerals. FIG. 3A is a perspective view of the imaging device 30. The imaging device 30 includes a CCD camera 7, a gantry 6 that supports the CCD camera, and a magnetic sensor 8 that is attached to a portion 6a that stands up from the gantry 6. Has been. FIG. 3B is a perspective view of the projector 20, and the projector 20 includes a laser light source 3, a gantry 2 that supports the laser light source 3, and a magnetic sensor 4 attached to a portion 2 a that stands up from the gantry 2. Yes. Moreover, it is preferable that the mounts 6 and 2 are made of wood in order to eliminate the influence of the metal on the magnetic sensor. The magnetic sensor 8 is attached so that the center of the detection unit is on the optical axis of the CCD camera 7, and the magnetic sensor 4 is installed on the optical axis of the laser. FIG. 4 is an outline view showing an example of the transmitter 40 (unit is mm). FIG. 4A is a top view, and FIG. 4B is a side view. The point P represents the electrical center. FIG. 5 is an outline view showing an example of the magnetic sensors 8 and 4 (unit is mm). FIG. 5A is a top view and FIG. 5B is a side view. The Q point represents the electrical center. FIG. 6 is a diagram for explaining the principle by which the magnetic sensors 4 and 8 of the present invention generate position information and posture information. FIG. 6A is a diagram showing the positional relationship between the magnetic field vector and each receiver. The magnetic field vector 42 radiated from the transmitter 40 is formed in a hemispherical shape, and, for example, the magnetic sensors 4 and 8 exist on the magnetic field vector 42. It is assumed that the object 1 is included inside the magnetic field vector 42. FIG. 6B is a schematic diagram for explaining magnetic field vectors. For example, in the magnetic sensor 4 , the intensity and direction of the magnetic field at the position of the transmitter 40 is A, the intensity of the magnetic field, the intensity of the magnetic field in the X-axis direction in the direction A, the intensity of the magnetic field in the Y-axis direction, and the intensity of the magnetic field in the Z-axis direction. was Ax, Ay, and Az, respectively of, cosα, cosβ, if the direction aftermath of the magnetic field strength and direction a of cosγ, Ax = Acosα, Ay = Acosβ, a Az = Acosγ, X-axis magnetic sensor 4 Ax output is transmitted from the magnetic field detection coil in the direction, Ay output is transmitted from the magnetic field detection coil in the Y-axis direction, and Az output is transmitted from the magnetic field detection coil in the Z-axis direction. The magnetic field strength and direction A are given by A = (Ax ² + Ay ² + Az ² ) ^1/2 . Similarly, the magnetic field strength and direction B of the magnetic sensor 8 are given by B = (Bx ² + By ² + Bz ² ) ^1/2 .

次にレーザ平面方程式の算出方法について説明する。
図７は各座標系の位置関係を表す図である。カメラ座標（画像モニタ上の座標ｕ，ｖ）５０、ＣＣＤカメラ７に取り付けられた磁気センサ８のレシーバ座標５１、レーザ光源３に取り付けられた磁気センサ４のレシーバ座標５４、トランスミッタ４０の中心を基準とした実座標であるワールド座標５３をそれぞれ設定する。レーザ平面５２の位置や傾きを自由に設定することを可能にするために、レーザ光源３に取り付けられた磁気センサ４が検知した情報（投光器２０の位置と姿勢）を用いて、随時、レーザ平面５２の方程式を算出することを行う。また、図７のように受像面５５上にある計測点の位置Ｐとカメラの焦点Ｆを結ぶ直線ｌが磁気センサ８が検知した情報、（撮像装置３０の位置と姿勢）を基に決定される。また、直線ｌとレーザ平面５２の方程式の交点を求めることで、計測点のワールド座標５３（Ｘ，Ｙ，Ｚ）を算出する。 Next, a method for calculating the laser plane equation will be described.
FIG. 7 is a diagram showing the positional relationship of each coordinate system. The camera coordinates (coordinates u, v on the image monitor) 50, the receiver coordinates 51 of the magnetic sensor 8 attached to the CCD camera 7, the receiver coordinates 54 of the magnetic sensor 4 attached to the laser light source 3, and the center of the transmitter 40 are used as a reference. The world coordinates 53 which are the actual coordinates are set. In order to make it possible to freely set the position and inclination of the laser plane 52, the laser plane is used as needed using information (position and orientation of the projector 20) detected by the magnetic sensor 4 attached to the laser light source 3. 52 equations are calculated. Further, as shown in FIG. 7, a straight line l connecting the position P of the measurement point on the image receiving surface 55 and the focal point F of the camera is determined based on information detected by the magnetic sensor 8 (position and posture of the imaging device 30). The Further, the world coordinate 53 (X, Y, Z) of the measurement point is calculated by obtaining the intersection of the equation of the straight line l and the laser plane 52.

図８はレシーバ座標５４とレーザ平面５２の関係を表す図である。
即ち、レーザ投光器２０と撮像装置３０取り付けられた磁気センサ４、８を用いてレーザ平面方程式をリアルタイムに算出することでレーザスリット平面の独立走査が可能となる。三次元磁気センサからはセンサ自体の位置（ｘ_ow，ｙ_ow，ｚ_ow）と姿勢（φ，θ，ψ）のデータが得られる。三次元磁気センサのレシーバ座標に原点を置いたレシーバ座標上の点（ｘ_r，ｙ_r，ｚ_r）は、出力された三次元磁気センサのデータを基に（１）式によって、トランスミッタ４０を原点としたワールド座標に変換される。

ここで

Ｃ：Ｃｏｓ、Ｓ：Ｓｉｎとする。
レシーバ座標上でレーザ平面上の任意の３点の座標（ｘ _r ，ｙ _r ，ｚ _r ）を式（１）に代入し、ワールド座標に変換することでレーザ平面の方程式を得ることができる。つまり、

が得られるレーザ平面の方程式である。 FIG. 8 is a diagram illustrating the relationship between the receiver coordinates 54 and the laser plane 52.
That is, the laser slit plane can be independently scanned by calculating the laser plane equation in real time using the laser projector 20 and the magnetic sensors 4 and 8 attached to the imaging device 30. From the three-dimensional magnetic sensor, data of the position (x _ow , y _ow , z _ow ) and posture (φ, θ, ψ) of the sensor itself are obtained. A point (x _r , y _r , z _r ) on the receiver coordinates with the origin at the receiver coordinates of the three-dimensional magnetic sensor is used to set the transmitter 40 by the equation (1) based on the output three-dimensional magnetic sensor data. Converted to world coordinates as the origin.

here

C: Cos, S: Sin.
The equations of the laser plane can be obtained by substituting the coordinates (x _r , y _r , z _r ) of any three points on the laser plane on the receiver coordinates into the equation (1) and converting them into world coordinates. That means

Is the equation of the laser plane from which is obtained.

図９はカメラ座標とレシーバ座標の関係を示す図である。また、図１０に二次元化したカメラ焦点と受像面及び計測点の関係を示す。カメラの焦点２０から受像面までの距離をｆと置くと、受像面上の座標（カメラ座標５０）はカメラの焦点２０を原点とした座標系において、

となる。

ｚ＝λとおき、線形化すると、

と表される。
ここで、式（６）を三次元磁気センサのレシーバを原点とした座標系（レシーバ座標５４）で表すために、回転・平行移動を考慮して、以下のような行列で表すことができる。

ここでｋ_１１〜ｋ_３３のパラメータにはＣＣＤカメラ７の位置や姿勢などをはじめとする計測対象と、ＣＣＤカメラ７の位置を表すデータが全て含まれている。従って、式（７）がレシーバ座標（ｘ，ｙ，ｚ）５４とカメラ位置（ｕ，ｖ）の関係式になる。
式（７）を展開し、整理すると次式のように表せる。

尚、１１個の未知数ｋ_１１〜ｋ_３３は、既知のワールド座標の基凖点（ｘ，ｙ，ｚ）と、それに対応するカメラ座標２１の点（ｕ，ｖ）の組み合わせを式（８）に代入し、連立方程式を解くことで求めることができる。
また式（８）の２平面の交線で表される直線はカメラの焦点から計測点に向かう直線で以下のような媒介変数で表せる。

式（９）はレシーバ座標５４であるので、式（１）と同様にワールド座標５３に変換する。

ここで、（ｗｘ，ｗｙ，ｗｚ）はトランスミッタ４０を原点とした磁気センサ８のワールド座標である。
カメラの焦点から計測点に向かう直線である式（１０）とレーザ平面上の方程式である式（４）を連立させ計測点２１のワールド座標（Ｘ，Ｙ，Ｚ）を求めることができる。 FIG. 9 is a diagram showing the relationship between camera coordinates and receiver coordinates. FIG. 10 shows the relationship between the two-dimensional camera focus, the image receiving surface, and the measurement points. When the distance from the camera focal point 20 to the image receiving surface is set to f, the coordinates on the image receiving surface (camera coordinates 50) are in a coordinate system with the camera focal point 20 as the origin.

It becomes.

When z = λ and linearized,

It is expressed.
Here, since Expression (6) is expressed by a coordinate system (receiver coordinates 54) with the receiver of the three-dimensional magnetic sensor as the origin, it can be expressed by the following matrix in consideration of rotation and translation.

Here, the parameters k ₁₁ to k ₃₃ include all the measurement objects including the position and orientation of the CCD camera 7 and data representing the position of the CCD camera 7. Therefore, Expression (7) is a relational expression between the receiver coordinates (x, y, z) 54 and the camera position (u, v).
When formula (7) is expanded and arranged, it can be expressed as the following formula.

The eleven unknowns k _{11 to} k ₃₃ are obtained by combining the known world coordinate base point (x, y, z) and the corresponding point (u, v) of the camera coordinate 21 with the formula (8). It can be obtained by substituting into and solving simultaneous equations.
Further, the straight line represented by the intersection of the two planes in the equation (8) is a straight line from the focal point of the camera to the measurement point and can be represented by the following parameter.

Since the equation (9) is the receiver coordinate 54, it is converted into the world coordinate 53 as in the equation (1).

Here, (wx, wy, wz) is the world coordinates of the magnetic sensor 8 with the transmitter 40 as the origin.
The world coordinates (X, Y, Z) of the measurement point 21 can be obtained by simultaneously combining the equation (10) that is a straight line from the camera focus to the measurement point and the equation (4) that is an equation on the laser plane.

図１１はキャリブレーションの構成を示す図である。５０ｍｍおきに目盛りが書かれたキャリブレーションボード７０、７１をレシーバ７２のＸＹ平面と平行になるように設置し撮影する。そして、画面上での座標（ｕ，ｖ）をクリックし読み取る。また、対応するキャリブレーションボード上の座標（ｘ，ｙ，ｚ）も読み取る。同じｚ軸方向距離で４点の座標を読み取り、それをｚ軸方向に５０ｍｍ移動しながら複数回（６回以上）繰り返す。
式（８）に画面上での座標（ｕ，ｖ）と対応するキャリブレーションボード上の座標（ｘ，ｙ，ｚ）の組み合わせを代入し、以下の連立方程式を組み立てる．

ここで

この行列式を解き係数

が求まると、カメラ座標とレシーバ座標の関係式（７）が決定される。
FIG. 11 is a diagram showing a calibration configuration.

Calibration boards

70 and 71 having graduations written every 50 mm are placed so as to be parallel to the XY plane of the receiver 72 and photographed. Then, the coordinates (u, v) on the screen are clicked and read. Also, the coordinates (x, y, z) on the corresponding calibration board are read. The coordinates of four points are read at the same z-axis direction distance, and this is repeated a plurality of times (6 times or more) while moving 50 mm in the z-axis direction.
Substituting a combination of coordinates (u, v) on the screen and corresponding coordinates (x, y, z) on the calibration board into equation (8), the following simultaneous equations are assembled.

here

Solve this determinant with coefficients

Is obtained, the relational expression (7) between the camera coordinates and the receiver coordinates is determined.

（実施例）
また、本発明の三次元計測装置の計測性能を検証するために、形状が既知である物体を計測した。計測は数回行い、任意の１０回分の結果を選択し誤差を算出した。その結果、本発明の三次元計測装置におけるＲＭＳ誤差は約１ｍｍであった。また、本実施例による手法では三角測量の原理を用いているため、磁気センサ４と磁気センサ８の角度差と奥行き方向についての精度を算出した。図１２は計測対象１をＣＣＤカメラ７から奥行き方向２７６ｍｍのところに設置して距離を計測したときのＲＭＳ誤差を示した図である。横軸にＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度を表し、縦軸に誤差の値を表している。この図から明らかなように、角度が３０度以上あれば誤差が１ｍｍ以下となり、角度が３０度より小さくなると急激に誤差が大きくなることが解る。この結果から、ＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度αは少なくとも３０度以上確保することが必要である。以上の通り、ＣＣＤカメラ７とスリット光の分離走査を行うことで、計測対象１に凸凹が部分的にあるなど、計測対象が複雑な部分と滑らかな部分が含まれる対象全域についても効率良く計測することが可能となった。本発明の三次元計測装置における誤差は約１ｍｍであり、計測対象１の全域を一度で計測できる精度としては十分であるといえる。また、本発明の三次元計測装置は人体、骨、歯型などの医療分野や骨董品、化石、出土品などの美術・考古学分野などの計測として様々な分野への応用が考えられる。図１３は本発明の第２の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図である。同じ構成要素には同じ参照番号を付して説明する。この三次元計測装置２００は、トレーサ粒子８６を混入した水８１を貯水する水槽８０と、水８１に気泡を注入するエアストーン８５と、水槽８０を保持する水槽台８２と、エアストーン８５にホース８３を介して空気を送り込むポンプ８４とを備えて構成される。そしてアングルで作成した水槽台８２に対し鉛直方向に水槽８０を立て、ポンプ８４により空気を送り込み、水槽８０の下部のエアストーン８５から気泡を作り出す。そこにトレーサ粒子８６を入れ周囲を暗くした状態で水槽８０の側面からスリットレーザ光８７を当てるとトレーサ粒子８６は光り、水槽８０内の流れを可視化することができる。それを水槽８０の正面からＣＣＤカメラ７により撮影し、イメージプロセッサ１７とＰＣ１２により画像処理を行い、レーザ平面上での流動現象を計測する。レーザ光源３に取り付けた三次元磁気センサ４からのデータを監視することで、レーザの位置と傾きを任意に変更しながら計測を行うことができる。また、ＣＣＤカメラ７にも同様に磁気センサ８を取り付けることで、ＣＣＤカメラ７の移動を監視する。 (Example)
Further, in order to verify the measurement performance of the three-dimensional measurement apparatus of the present invention, an object having a known shape was measured. The measurement was performed several times, and an error was calculated by selecting an arbitrary 10 results. As a result, the RMS error in the three-dimensional measuring apparatus of the present invention was about 1 mm. Moreover, since the method according to the present embodiment uses the principle of triangulation, the angle difference between the magnetic sensor 4 and the magnetic sensor 8 and the accuracy in the depth direction are calculated. FIG. 12 is a diagram showing the RMS error when the measurement object 1 is placed at a depth of 276 mm from the CCD camera 7 and the distance is measured. The horizontal axis represents the angle between the optical axis 15 of the CCD camera 7 and the optical axis 16 of the laser light source 3, and the vertical axis represents the error value. As is apparent from this figure, it can be seen that if the angle is 30 degrees or more, the error is 1 mm or less, and if the angle is smaller than 30 degrees, the error increases rapidly. From this result, it is necessary to secure at least 30 degrees or more between the optical axis 15 of the CCD camera 7 and the optical axis 16 of the laser light source 3. As described above, by performing separate scanning of the CCD camera 7 and slit light, the entire measurement target 1 including a complex part and a smooth part, such as a part of the measurement target 1 having unevenness, can be efficiently measured. It became possible to do. The error in the three-dimensional measurement apparatus of the present invention is about 1 mm, and it can be said that the accuracy of measuring the entire area of the measurement object 1 at a time is sufficient. The three-dimensional measuring apparatus of the present invention can be applied to various fields as a measurement in the medical field such as human body, bone, and dental mold, and in the art and archeology fields such as antiques, fossils and excavated articles. FIG. 13 is a perspective view of measuring an object using a three-dimensional measurement apparatus according to the second embodiment of the present invention. The same components will be described with the same reference numerals. This three-dimensional measuring apparatus 200 includes a water tank 80 for storing water 81 mixed with tracer particles 86, an air stone 85 for injecting bubbles into the water 81, a water tank table 82 for holding the water tank 80, and a hose to the air stone 85. And a pump 84 for feeding air through 83. Then, the water tank 80 is set up in the vertical direction with respect to the water tank table 82 created at an angle, and air is fed by the pump 84 to create bubbles from the air stone 85 below the water tank 80. If the slit laser beam 87 is applied from the side surface of the water tank 80 with the tracer particles 86 placed in a dark state, the tracer particles 86 will shine and the flow in the water tank 80 can be visualized. This is photographed by the CCD camera 7 from the front of the water tank 80, image processing is performed by the image processor 17 and the PC 12, and the flow phenomenon on the laser plane is measured. By monitoring data from the three-dimensional magnetic sensor 4 attached to the laser light source 3, measurement can be performed while arbitrarily changing the position and inclination of the laser. Similarly, the magnetic sensor 8 is attached to the CCD camera 7 to monitor the movement of the CCD camera 7.

以上の手続きにより、異なる時刻に撮影された画像間で、流体と共に運動するトレーサ粒子８６の位置を算出することで、速度ベクトルを算出することができる。即ち、ＣＣＤの画素に対し比較的粒子の径が大きい場合は、それぞれの粒子が簡単に認識され、受像面上に撮影された粒子の座標（ｕ，ｖ）、レーザ平面の方程式などにより前述した方法により、トレーサ粒子のワールド座標が算出され、それぞれの粒子を追跡することで流体の状態を定量的に把握することができる。
しかしながら粒子がＣＣＤの画素に対し過小であるために、一つ一つの粒子が認識されない場合がある。その場合は、一個一個の粒子の位置に着目するのではなく、複数の粒子で構成されるパターンを追跡することにより、流れの状態を把握することを行うこの手法は、画像相関を用いることで実現できる。
相互相関法とは、２枚の画像を比べて、粒子群（輝度値）が最も近似している場所を探し、その位置関係から速度ベクトルを求める方法である。粒子一個一個に着目するのでは無く、画像を碁盤の目のように細かく分割し、それぞれの微小領域を計測点とする。即ち、ある時刻に撮影された画像のある微小領域Ａの位置を計測点（ｕ１，ｖ１）とし、異なる時刻に撮影された画像内から、微小領域Ａに最も近いパターンをもつ位置（ｕ２，ｖ２）を探し出す処理を行う。（ｕ１，ｖ１）および（ｕ２，ｖ２）が決定されたら前述した処理により、これらの座標をワールド座標に変換し、速度ベクトルを三次元的に求めることができる。そして分割した全ての領域に対して行えば、多点同時計測を行うことができる。図１４、図１５に異なる時刻に撮影された二枚の画像例を示す。 The velocity vector can be calculated by calculating the position of the tracer particle 86 that moves with the fluid between images taken at different times by the above procedure. That is, when the particle diameter is relatively large with respect to the CCD pixel, each particle is easily recognized, and the coordinates (u, v) of the particles photographed on the image receiving surface, the equation of the laser plane, etc. are described above. By the method, the world coordinates of the tracer particles are calculated, and the state of the fluid can be grasped quantitatively by tracking each particle.
However, each particle may not be recognized because the particle is too small for the CCD pixel. In this case, instead of paying attention to the position of each individual particle, this method of grasping the flow state by tracking a pattern composed of a plurality of particles uses image correlation. realizable.
The cross-correlation method is a method for comparing two images, searching for a place where the particle group (luminance value) is closest, and obtaining a velocity vector from the positional relationship. Instead of paying attention to each individual particle, the image is finely divided like a grid, and each minute region is used as a measurement point. That is, the position of a certain minute area A of an image photographed at a certain time is set as a measurement point (u1, v1), and the position (u2, v2) having a pattern closest to the minute area A from images photographed at different times. ) To find out. When (u1, v1) and (u2, v2) are determined, these coordinates are converted into world coordinates and the velocity vector can be obtained three-dimensionally by the processing described above. And if it carries out with respect to all the area | regions divided | segmented, multipoint simultaneous measurement can be performed. 14 and 15 show examples of two images taken at different times.

次にこれらの画像に相互相関を適用する例を説明する。フレーム画像全体を小さな領域に分割し、その領域の中心を計測点とする。例えば、図１６のようなフレーム画像全体９０を図示しない小さな領域に分割し、例えば拡大図９１の中心９２を計測点とする。
さらに詳細に説明するために、図１７を参照して説明する。一枚目の画像のある微小領域をＡ１とする（図１７（ａ））。画像にそれぞれの画素において輝度データが存在する（数字が大きい方が輝度が明るい）。この輝度データをもとに相関処理を行う。例えば、Ａ１領域が微小時間後にどこに移動したかを知るために、図１７（ｂ）の画像において、計測点近傍の領域Ａ２から同じ輝度データを探す。しかし、完全に一致することはないので、最も近似している領域を探す。つまり図１８（ａ）のようなＡ１領域に最も近似している領域を探すと、図１８（ｂ）のようにＡ２領域が図のようにあると仮定すると、検索した結果、右下方向（符号９３）で類似度が最大になることがわかる。その結果、図１８（ｃ）のように計測点９４に対するベクトル方向は矢印９５の方向であることが解る。
図１９は水槽内流れを定量計測する実験装置の構成図である。この実験装置は、図１３と同様の装置を使用して、レーザ位置８７を撮像装置３０に近い壁面から水槽中心まで２０ｍｍ間隔で奥行き方向にレーザ投光器２０をシフトしていき、各奥行き距離での水槽内流れを定量計測する実験を行った。
図２０は実際に２枚の画像から相互相関法によりベクトル表示した画像である。そしてＣＣＤカメラ７の焦点と図２０のベクトルの始点座標、終点座標のそれぞれを通る二本の直線とレーザ平面の方程式を算出することで、速度ベクトルを三次元的に求めることができる。
次に計測性能評価について説明する。図２１は水槽の奥行き方向のＲＭＳ誤差と距離の関係を表し、図２２は水槽の水平方向のＲＭＳ誤差と距離の関係を表し、図２３は水槽の高さ方向のＲＭＳ誤差と距離の関係を表している。これらの図から明らかなように、トランスミッタ４０からの距離が離れるにつれて各方向ともＲＭＳ誤差が大きくなっているのが解る。従って、トランスミッタ４０は可能な限り水槽に近づけて使用する方が誤差が少ないことがわかる。 Next, an example in which cross correlation is applied to these images will be described. The entire frame image is divided into small areas, and the center of the area is set as a measurement point. For example, the entire frame image 90 as shown in FIG. 16 is divided into small regions (not shown), and for example, the center 92 of the enlarged view 91 is set as a measurement point.
In order to explain in more detail, it demonstrates with reference to FIG. A minute area having the first image is defined as A1 (FIG. 17A). Luminance data exists for each pixel in the image (the larger the number, the brighter the luminance). Correlation processing is performed based on this luminance data. For example, in order to know where the A1 area has moved after a minute time, the same luminance data is searched from the area A2 near the measurement point in the image of FIG. However, since there is no perfect match, the closest area is searched. In other words, when searching for an area closest to the A1 area as shown in FIG. 18A, assuming that the A2 area is as shown in the figure as shown in FIG. 18B, the search results in a lower right direction ( It can be seen that the similarity is maximized by reference numeral 93). As a result, it is understood that the vector direction with respect to the measurement point 94 is the direction of the arrow 95 as shown in FIG.
FIG. 19 is a configuration diagram of an experimental apparatus for quantitatively measuring the flow in the water tank. In this experimental apparatus, the laser projector 20 is shifted in the depth direction at intervals of 20 mm from the wall surface close to the imaging apparatus 30 to the center of the aquarium using the same apparatus as in FIG. An experiment was conducted to quantitatively measure the flow in the aquarium.
FIG. 20 is an image that is actually displayed as a vector from two images by the cross-correlation method. The velocity vector can be obtained three-dimensionally by calculating equations of two straight lines and the laser plane passing through the focal point of the CCD camera 7 and the start point coordinates and end point coordinates of the vector shown in FIG.
Next, measurement performance evaluation will be described. 21 shows the relationship between the RMS error and distance in the depth direction of the aquarium, FIG. 22 shows the relationship between the RMS error and distance in the horizontal direction of the aquarium, and FIG. 23 shows the relationship between the RMS error and distance in the height direction of the aquarium. Represents. As can be seen from these figures, the RMS error increases in each direction as the distance from the transmitter 40 increases. Therefore, it can be seen that the transmitter 40 has less error when used as close to the water tank as possible.

本発明の一実施形態に係る三次元計測装置を使用して対象物を計測している斜視図。The perspective view which is measuring the target object using the three-dimensional measuring apparatus which concerns on one Embodiment of this invention. 本発明の図１の斜視図に基づいて本実施形態の三次元計測装置１００の全体構成を表す模式図。The schematic diagram showing the whole structure of the three-dimensional measuring apparatus 100 of this embodiment based on the perspective view of FIG. 1 of this invention. 投光器２０と撮像装置３０の一例を示す図。The figure which shows an example of the light projector and the imaging device. トランスミッタ４０の一例を示す外形図。FIG. 3 is an external view showing an example of a transmitter 40. 磁気センサ８、４の一例を示す外形図。FIG. 本発明の磁気センサ４、８が位置情報と姿勢情報を生成する原理を説明する図。The figure explaining the principle in which the magnetic sensors 4 and 8 of this invention produce | generate position information and attitude | position information. 各座標系の位置関係を表す図。The figure showing the positional relationship of each coordinate system. レシーバ座標５４とレーザ平面５２の関係を表す図。The figure showing the relationship between the receiver coordinate 54 and the laser plane 52. FIG. カメラ座標とレシーバ座標の関係を示す図。The figure which shows the relationship between a camera coordinate and a receiver coordinate. 二次元化したカメラ焦点と受像面及び計測点の関係を示す図。The figure which shows the relationship between the two-dimensionalized camera focus, an image receiving surface, and a measurement point. キャリブレーションの構成を示す図。The figure which shows the structure of a calibration. 計測対象１をＣＣＤカメラ７から奥行き方向２７６ｍｍのところに設置して距離を計測したときのＲＭＳ誤差を示した図。The figure which showed the RMS error when the measuring object 1 is installed in the depth direction 276mm from the CCD camera 7, and distance is measured. 本発明の第２の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図。The perspective view which is measuring the target object using the three-dimensional measuring apparatus which concerns on the 2nd Embodiment of this invention. 異なる時刻に撮影された二枚の画像例を示す図（フレーム１画像）。The figure which shows the example of two images image | photographed at different time (frame 1 image). 異なる時刻に撮影された二枚の画像例を示す図（フレーム２画像）。The figure which shows the example of two images image | photographed at different time (frame 2 image). 計測点を説明する図。The figure explaining a measurement point. 輝度データの検索を説明する図。The figure explaining the search of luminance data. ベクトル表示を説明する図。The figure explaining a vector display. 水槽内流れを定量計測する実験装置の構成図。The block diagram of the experimental apparatus which carries out quantitative measurement of the flow in a water tank. 実際に２枚の画像から相互相関法によりベクトル表示した画像を示す図。The figure which shows the image which carried out the vector display by the cross correlation method from two images actually. 水槽の奥行き方向のＲＭＳ誤差と距離の関係を表す図。The figure showing the relationship between the RMS error of the depth direction of a water tank, and distance. 水槽の水平方向のＲＭＳ誤差と距離の関係を表す図。The figure showing the relationship of the RMS error and distance of the horizontal direction of a water tank. 水槽の高さ方向のＲＭＳ誤差と距離の関係を表す図。The figure showing the relationship between the RMS error of the height direction of a water tank, and distance. 従来の三次元形状装置により物体を計測している図。The figure which measures the object with the conventional three-dimensional shape apparatus.

Explanation of symbols

１対象物、２、６架台、３レーザ光源、４、８磁気センサ、７ＣＣＤカメラ、１１レーザ位置検出回路、１２ＰＣ、１３ＲＯＭ、１７イメージプロセッサ、１８モニタ、２０レーザ投光器、３０撮像装置、４０トランスミッタ
DESCRIPTION OF SYMBOLS 1 Target object, 2, 6 Mount, 3 Laser light source, 4, 8 Magnetic sensor, 7 CCD camera, 11 Laser position detection circuit, 12 PC, 13 ROM, 17 Image processor, 18 Monitor, 20 Laser projector, 30 Imaging device, 40 Transmitter

Claims

In a three-dimensional measurement apparatus that inputs three-dimensional information of an object and measures a three-dimensional shape of the object, a light projecting unit that irradiates light on the object, and a light irradiated on the object surface by the light projecting unit Imaging means for imaging, a first sensor provided in the light projecting means for generating three-dimensional position information and attitude information of the light projecting means, and three-dimensional position information and attitude of the imaging means provided in the imaging means A second sensor that generates information; and an equation calculation unit that calculates a plane equation of light irradiated on the object, and the first projection unit and the imaging unit operate independently to operate the first Based on the three-dimensional position information and posture information obtained from the sensor and the second sensor, the equation calculation means calculates a plane equation of light irradiated on the object, and the three-dimensional shape of the object is calculated from the calculation result. measure Three-dimensional measuring apparatus according to claim and.

A transmitter for forming a magnetic field vector in a predetermined area is provided, and the first sensor and the second sensor receive the magnetic field vector, whereby the three-dimensional position information of the sensor, the roll angle, the pitch angle, and the yaw The three-dimensional measurement apparatus according to claim 1, wherein the posture information of a corner is acquired.

When the object is a fluid, it further comprises a visualization means for visualizing the movement of the fluid, and the light projecting means and the imaging means operate independently, so that the first sensor and the second sensor Based on the obtained three-dimensional position information and posture information, the equation calculation means calculates a plane equation of light irradiated to the fluid visualized by the visualization means, and measures the fluid flow phenomenon from the calculation result. The three-dimensional measuring apparatus according to claim 1.

The three-dimensional measurement apparatus according to claim 3 , wherein the visualization unit is a particulate object having a predetermined reflectance.

In the three-dimensional measurement method for measuring the three-dimensional shape of the object by inputting the three-dimensional information of the object, the operation of irradiating the object with slit light and the operation of imaging the irradiated slit light are performed independently. A three-dimensional measurement method, comprising: calculating a plane equation of light applied to the object based on the three-dimensional position information and posture information of the movement of the object, and measuring the three-dimensional shape of the object from the calculation result.

When the shape of the object is smooth, the angle between the optical axis of the slit light applied to the object and the optical axis for imaging the slit light is increased, and the shape of the object is complicated. 6. The three-dimensional measurement method according to claim 5 , wherein imaging is performed by reducing an angle between an optical axis of slit light irradiated on the object and an optical axis for imaging the slit light.

When the object is a fluid, the movement of the fluid is visualized, the operation of irradiating the fluid with slit light and the operation of imaging the irradiated slit light are performed independently, and the tertiary obtained by each operation 6. The three-dimensional image according to claim 5 , wherein a plane equation of light irradiated on the fluid visualized based on the original position information and posture information is calculated, and a fluid flow phenomenon is measured from the calculation result. Measurement method.