[go: up one dir, main page]

WO2023026452A1 - ３次元データ取得装置 - Google Patents

３次元データ取得装置 Download PDF

Info

Publication number
WO2023026452A1
WO2023026452A1 PCT/JP2021/031437 JP2021031437W WO2023026452A1 WO 2023026452 A1 WO2023026452 A1 WO 2023026452A1 JP 2021031437 W JP2021031437 W JP 2021031437W WO 2023026452 A1 WO2023026452 A1 WO 2023026452A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
pixel
distance
image
workpiece
Prior art date
Application number
PCT/JP2021/031437
Other languages
English (en)
French (fr)
Inventor
澤源 孫
俊之 安藤
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/031437 priority Critical patent/WO2023026452A1/ja
Priority to TW111130663A priority patent/TW202308820A/zh
Publication of WO2023026452A1 publication Critical patent/WO2023026452A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Definitions

  • the present disclosure relates to a three-dimensional data acquisition device.
  • Patent Document 1 A method of performing three-dimensional measurement of a workpiece by combining a monocular camera and a horizontal movement device using a monocular stereo method is known (see Patent Document 1, for example).
  • One aspect of the present disclosure includes a single two-dimensional camera that photographs a workpiece, a movement mechanism that relatively moves the workpiece and the two-dimensional camera in one direction, and a control unit, wherein the control unit
  • the arrival of the workpiece within the field of view of the two-dimensional camera is detected by a change in the pixel value of pixels in the vicinity of the upstream end of the workpiece in the direction of relative movement in the two-dimensional image acquired by the two-dimensional camera, and the workpiece is A first image acquired by the two-dimensional camera at a first position that has moved a predetermined first distance from the arrival position of the work, and a second image that has been moved from the arrival position by a predetermined second distance to the second image.
  • the three-dimensional data acquisition device generates three-dimensional data of the workpiece based on a second image acquired by a dimensional camera and a difference distance between the second distance and the first distance.
  • FIG. 1 is an overall configuration diagram of a three-dimensional data acquisition device according to a first embodiment of the present disclosure
  • FIG. 2 is a block diagram showing the configuration of a control unit in FIG. 1
  • FIG. 2 is a schematic diagram showing a two-dimensional image acquired by the two-dimensional camera of FIG. 1
  • FIG. FIG. 2 is a schematic diagram showing a state in which a work has arrived in the field of view of the two-dimensional camera of FIG. 1
  • 5 is a schematic diagram showing a two-dimensional image acquired in the state of FIG. 4
  • FIG. FIG. 5 is a schematic diagram showing a state in which the workpiece has entered the field of view of the two-dimensional camera rather than the state in FIG. 4
  • FIG. 7 is a schematic diagram showing a two-dimensional image acquired in the state of FIG. 6;
  • FIG. 2 is a schematic diagram showing a state in which a workpiece is placed at a first position within the field of view of the two-dimensional camera of FIG. 1;
  • FIG. 9 is a schematic diagram showing a two-dimensional image acquired in the state of FIG. 8;
  • 2 is a schematic diagram showing a state in which a workpiece is placed at a second position within the field of view of the two-dimensional camera of FIG. 1;
  • FIG. 2 is a schematic diagram showing a two-dimensional image acquired by a two-dimensional camera of a modified example of the three-dimensional data acquisition device of FIG. 1;
  • FIG. 14 is a partial configuration diagram showing a state in which a workpiece is placed near the optical axis within the field of view of the two-dimensional camera of FIG. 13;
  • 1 is an overall configuration diagram of a three-dimensional data acquisition device according to a second embodiment of the present disclosure;
  • the three-dimensional data acquisition apparatus 1 includes a conveyor (moving mechanism) 2 that conveys a work W, and a single 2-axis unit installed above the conveyor 2 downward.
  • a dimensional camera 3 and a control unit 4 are provided.
  • the conveyor 2 is, for example, a belt conveyor, and includes a belt 21 for carrying the work W thereon and conveying it in one horizontal direction.
  • the belt 21 is driven at a constant speed by a motor (not shown).
  • the two-dimensional camera 3 is attached, for example, to a pedestal R arranged above the belt 21 of the conveyor 2 .
  • the two-dimensional camera 3 has a downward visual field V with its optical axis X arranged in the vertical direction. ing.
  • the control unit 4 includes at least one memory that stores pre-taught programs and at least one processor that executes the programs. 2, the control unit 4 includes a camera control unit 41 that controls the two-dimensional camera 3, an image processing unit 42 that processes a two-dimensional image acquired by the two-dimensional camera 3, and a computing unit. 43 , a timer 44 , a storage unit 45 and a three-dimensional data generation unit 46 .
  • the camera control unit 41 transmits a control command to the two-dimensional camera 3 and sets the two-dimensional camera 3 to acquire a two-dimensional image at a predetermined frame rate.
  • the two-dimensional camera 3 transmits the acquired two-dimensional image to the image processing unit 42 each time it acquires a two-dimensional image.
  • the image processing unit 42 processes each two-dimensional image received from the two-dimensional camera 3, for example, as shown in FIG. A pixel value of a pixel row (first pixel) A composed of a plurality of pixels arranged orthogonally to is extracted. Similarly, the image processing unit 42 extracts pixel values of a pixel row (second pixel) B consisting of a plurality of pixels arranged in parallel with the pixel row A at a distance of a predetermined number of pixels from the pixel row A in the transport direction. . The extracted pixel values are sent to the calculation unit 43 .
  • the calculation unit 43 determines whether or not the pixel value of any pixel in the pixel row A has changed compared to the two-dimensional image acquired one frame before. Then, when there is a change in the pixel value, it is determined that the work W has arrived within the visual field V, and the first time obtained by the timer 44 at that time is stored. Further, the calculation unit 43 also compares the pixel value of any pixel in the pixel row B with the two-dimensional image acquired one frame before and determines whether or not it has changed. Then, when there is a change in the pixel value, it is determined that the workpiece W has reached a predetermined position within the visual field V, and the second time obtained by the timer 44 at that time is stored.
  • the calculation unit 43 calculates the transport speed of the workpiece W based on the stored first time and second time and the actual distance corresponding to the number of pixels between the pixel array A and the pixel array B.
  • the correspondence relationship between the distance between pixels in the two-dimensional image and the actual movement distance of the work W by the conveyor 2 is stored in advance in the calculation unit 43 by calibration.
  • the calculation unit 43 moves from the arrival position at which the work W arrives in the field of view V as shown in FIG. A first time required to travel a first distance D1 to is calculated. Similarly, the calculation unit 43 calculates a second distance D2 from the arrival position where the work W has arrived in the visual field V to a second position set in advance as shown in FIG. Calculate a second time required to move the . Then, the two-dimensional images obtained by the two-dimensional camera 3 after the first time and the second time have passed from the time when the work W arrived at the visual field V are stored as the first image P1 and the second image P2 in the storage unit 45. be memorized.
  • the first position is set to a position near the upstream end of the field of view V where the trailing edge of the work W fits within the field of view V
  • the second position is set near the downstream end of the field of view V by the leading edge of the work W. is set at a position that does not deviate from the visual field V.
  • the three-dimensional data generation unit 46 calculates the first image P1 and the second image P2 stored in the storage unit 45, and the amount of movement of the workpiece W between the first image P1 and the second image P2 (the second distance and the second distance).
  • the three-dimensional data of the workpiece W is generated by the monocular stereo method using the difference distance from the 1 distance D1.
  • step S1 a program pre-stored in the control unit 4 of the three-dimensional data acquisition device 1 according to the present embodiment is executed, the conveyor 2 is operated (step S1), and a plurality of workpieces W on the belt 21 are each is transported toward the field of view V from the upstream side of the field of view V at a speed of .
  • the timer 44 starts timing, and the two-dimensional camera 3 starts photographing within the field of view V at a constant frame rate in accordance with a control command from the camera control unit 41.
  • Two-dimensional images are acquired sequentially (step S2).
  • the acquired two-dimensional images are sequentially sent to the image processing unit 42 and processed.
  • the image processing unit 42 for example, binarization processing is performed.
  • the processed two-dimensional image information is sent to the calculation unit 43, and the calculation unit 43 determines whether or not the pixel value of any pixel in the pixel array A of each two-dimensional image has changed. (step S3). This determination is repeated until a change in the pixel value of any pixel in the pixel row A is detected.
  • the calculation unit 43 detects any pixel row A in the two-dimensional image. It is determined that the work W has arrived at the visual field V by detecting a change in the pixel value of the pixel. Then, the time when the workpiece W arrives at the visual field V is acquired by the timer 44 and stored in the calculation unit 43 as the first time (step S4).
  • the calculation unit 43 performs the same determination as that for the pixel row A regarding the change in the pixel value of any pixel in the pixel row B, which is separated from the pixel row A by a predetermined number of pixels in the transport direction (step S5).
  • the calculation unit 43 detects that the workpiece W is at a predetermined position within the field of view V. Determine that it has arrived. Then, the time when the workpiece W reaches a predetermined position within the field of view V is acquired by the timer 44 and stored in the calculation unit 43 as a second time (step S6).
  • the actual distance corresponding to the number of pixels between the pixel array A and the pixel array B is divided by the difference time obtained by subtracting the first time from the second time, so that the workpiece W is conveyed.
  • a speed is calculated (step S7). Based on the calculated conveying speed of the work W, the calculation unit 43 moves the work W by the first distance D1 and the second distance D2 from the position where the work W arrives in the visual field V, as shown in FIGS. A first time period and a second time period required for this are calculated (step S8).
  • the calculation unit 43 determines whether or not the first time has passed since the first time when the workpiece W arrived at the visual field V (step S9). As a result, when it is detected that the first time has passed since the first time when the workpiece W arrived in the field of view V, the two-dimensional image acquired by the two-dimensional camera 3 at that time is stored as the first image P1. It is stored in the unit 45 (step S10).
  • the calculation unit 43 determines whether or not the second time has elapsed from the first time (step S11). Then, when it is detected that the second time has elapsed from the first time, the two-dimensional image acquired at that time is stored in the storage unit 45 as the second image P2 (step S12). That is, the storage unit 45 stores a first image P1 and a second image P2 obtained by photographing the workpiece W moving within the field of view V from two different angles.
  • the three-dimensional data generation unit 46 generates the first image P1 and the second image P2 stored in the storage unit 45, and the amount of movement of the workpiece W between the images P1 and P2 (the second distance D2 and the first distance
  • the three-dimensional data of the workpiece W is generated by the monocular stereo method using the difference distance from D1 (step S13). This terminates the program.
  • the single two-dimensional camera 3 that is originally required for acquiring three-dimensional data by the monocular stereo method is used to detect whether or not the work W has arrived in the visual field V. be able to. Therefore, since it is not necessary to provide a special component such as a photoelectric sensor to acquire the position information of the workpiece W being conveyed, the three-dimensional data acquisition apparatus 1 can be configured simply.
  • a pixel array A arranged along the upstream end of the two-dimensional image and a pixel array B separated from the pixel array A by several pixels on the downstream side are based on changes in the pixel values of the workpiece.
  • the transport speed of W was calculated.
  • a pixel row ( The transport speed may be calculated based on the change in the pixel values of the first pixel)C and the pixel row (second pixel)D.
  • the angle formed by the optical axis X and the straight line connecting the front edge of the workpiece W and the center of the two-dimensional camera 3, which coincides with the positions corresponding to the pixel columns C and D, is ⁇ can be made smaller. Therefore, even when the dimension of the work W in the direction of the optical axis X, ie, the thickness dimension, is large, the position of the leading edge of the work W can be accurately detected from the two-dimensional image. In particular, even when the distance between the work W and the two-dimensional camera 3 is short, there is an advantage that the detection accuracy of the leading edge position of the work W can be maintained high.
  • the positional relationship is adjusted so that the trailing edge of the workpiece W falls within the visual field V, and the The resulting two-dimensional image may be the first image P1.
  • FIG. 13 illustrates the case where the pixel columns C and D are arranged on the upstream side of the optical axis X, but instead of this, both pixel columns C and D are arranged on the downstream side of the optical axis X.
  • the pixel row C and the pixel row D may be arranged on the upstream side and the downstream side with the optical axis X interposed therebetween.
  • the thickness dimension of the work W has a greater effect on the detection accuracy of the position of the work W in the region on the downstream side of the optical axis X than in the region on the upstream side.
  • the times at which the first image P1 and the second image P2 are acquired are determined based on the first time and the second time required for the work W to move the first distance D1 and the second distance D2. Calculated.
  • the time to acquire the second image P2 is the third time required for the workpiece W to move the third distance D3 from the first position to the second position. may be calculated based on
  • the first time required for the work W to move the first distance D1 is calculated from the transport speed of the work W, and the work W arrives at the visual field V in the same manner as described above.
  • a two-dimensional image acquired when the first time has elapsed from the first time is assumed to be a first image P1.
  • the second image P2 first, the difference between the second distance D2 from the arrival position of the work W to the second position and the first distance D1 from the arrival position to the first position. A third distance D3 is calculated. Then, based on the transport speed of the work W, a third time required for the work W to move the third distance D3 is calculated. As a result, the two-dimensional image acquired when the third time has passed since the work W was placed at the first position can be used as the second image P2.
  • the acquisition time of the second image P2 is calculated based on the acquisition time of the first image P1, the acquisition time of the first image P1 and the acquisition time of the second image P2 are can be stabilized, and the three-dimensional data of the workpiece W can be generated with higher accuracy.
  • the first position is set in advance, but instead of this, the first position may be determined based on changes in pixel values in the pixel row A of the two-dimensional image.
  • the calculation unit 43 by detecting two changes in the pixel values in the pixel row A by the calculation unit 43, it is detected that the workpiece W has arrived in the visual field V and that the entire workpiece W is within the visual field V. can do.
  • the first image P1 can be acquired while the entire work W is reliably contained within the field of view V even if the dimension of the work W in the transport direction, that is, the length dimension is unknown.
  • the second position may also be determined based on changes in pixel values of pixel rows arranged along the downstream end of the two-dimensional image, without being set in advance.
  • a pixel row equivalent to the pixel row A is set a few pixels upstream of the downstream end of the two-dimensional image, and a change in the pixel value of that pixel row is detected. It is detected that the leading edge of W is positioned just before reaching the downstream end of the field of view V. FIG. Then, the two-dimensional image acquired at that time is acquired as the second image P2.
  • the second image P2 can be reliably acquired before the front edge of the work W moves out of the field of view V, so that the three-dimensional data of the work W can be generated more accurately, and the three-dimensional data can be acquired.
  • the processing steps of the device 1 can also be simplified.
  • a three-dimensional data acquisition device 1' according to a second embodiment of the present disclosure will be described below with reference to the drawings.
  • a three-dimensional data acquisition device 1' according to this embodiment has the same reference numerals as those of the three-dimensional data acquisition device 1 according to the first embodiment described above, and description thereof is omitted.
  • the three-dimensional data acquisition apparatus 1' according to the present embodiment is similar to the 3D data acquisition apparatus 1' according to the first embodiment in that the conveyor 2 includes an encoder 22 for detecting the amount of rotation of the belt 21. It is different from the dimensional data acquisition device 1 .
  • the two-dimensional camera A workpiece W is conveyed from the upstream side of the visual field V of 3 .
  • Two-dimensional images within the field of view V are sequentially acquired by the two-dimensional camera 3 , and each acquired two-dimensional image is processed by the image processing unit 42 and then sent to the calculation unit 43 .
  • the arrival of the workpiece W into the visual field V is detected based on the change in the pixel value of any pixel in the pixel array A within the two-dimensional image.
  • the calculation unit 43 receives information on the amount of rotation of the belt 21 output from the encoder 22 . Then, based on the received information about the amount of rotation of the belt 21, the calculation unit 43 detects that the work W has moved the first distance D1 from the position where it arrived in the visual field V and is placed at the first position. Also, the two-dimensional image acquired at that time is stored in the storage unit 45 as the first image P1.
  • the information from the encoder 22 is received by the computing unit 43, and based on the received information, it is detected that the workpiece W is placed at the second position, which is the second distance D2 from the arrival position, and The storage unit 45 stores the second image P2 acquired at the time point.
  • the three-dimensional data generation unit 46 the first image P1 and the second image P2 stored in the storage unit 45 and the amount of movement of the work W between the images P1 and P2 (the second distance D2 and the first distance
  • the three-dimensional data of the workpiece W is generated by the monocular stereo method using the difference distance from D1.
  • the encoder 22 outputs the first distance D1, which is the amount of movement of the work W from the position where the work W has arrived in the visual field V, to the first position, and the second distance D2, which is the amount of movement to the second position. can be obtained directly.
  • the first position and the second position of the workpiece W within the visual field V can be accurately detected. Therefore, the first image P1 and the second image P2 used to generate the three-dimensional data of the work W can be acquired more accurately, and the accuracy of the three-dimensional data of the work W generated by the three-dimensional data generation unit 46 can be improved. It has the advantage that it can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

ワーク（Ｗ）を撮影する単一の２次元カメラ（３）と、ワーク（Ｗ）と２次元カメラ（３）とを一方向に相対移動させる移動機構（２）と、制御部（４）とを備え、制御部（４）が、２次元カメラ（３）により取得された２次元画像におけるワーク（Ｗ）の相対移動方向の上流端近傍の画素の画素値の変化によってワーク（Ｗ）の２次元カメラ（３）の視野（Ｖ）内への到来を検出するとともに、ワーク（Ｗ）の到来位置から所定の第１距離だけ移動した第１位置において２次元カメラ（３）によって取得された第１画像と、ワーク（Ｗ）が到来位置から所定の第２距離だけ移動した第２位置において２次元カメラ（３）によって取得された第２画像と、第２距離と第１距離との差分距離とに基づいてワーク（Ｗ）の３次元データを生成する３次元データ取得装置（１）である。

Description

３次元データ取得装置
　本開示は、３次元データ取得装置に関するものである。
　単眼ステレオ法を用いて、単眼のカメラと水平移動装置とを組み合わせてワークの３次元計測を行う方法が知られている（例えば、特許文献１参照。）。
特開２０１７－１６２１３３号公報
　特許文献１の方法では、カメラの視野内の極力離れた２地点においてワークを撮影するために、ワークまたはワークを保持する保持体に、ワークの搬送方向の上流側と下流側にマークを付与している。しかしながら、ワークがコンベヤ等によって搬送される場合には、各ワークにマークを付与したり、マーク付きの保持体に各ワークを搭載したりしなければならず、作業が煩雑となり、作業コストも高くなる。
　したがって、ワークにマークを付与することなく、単眼のカメラによってワークの３次元計測を精度よく行うことが望まれている。
　本開示の一態様は、ワークを撮影する単一の２次元カメラと、前記ワークと前記２次元カメラとを一方向に相対移動させる移動機構と、制御部とを備え、該制御部が、前記２次元カメラにより取得された２次元画像における前記ワークの前記相対移動方向の上流端近傍の画素の画素値の変化によって前記ワークの前記２次元カメラの視野内への到来を検出するとともに、前記ワークの到来位置から所定の第１距離だけ移動した第１位置において前記２次元カメラによって取得された第１画像と、前記ワークが前記到来位置から所定の第２距離だけ移動した第２位置において前記２次元カメラによって取得された第２画像と、前記第２距離と前記第１距離との差分距離とに基づいて前記ワークの３次元データを生成する３次元データ取得装置である。
本開示の第１の実施形態に係る３次元データ取得装置の全体構成図である。 図１の制御部の構成を示すブロック図である。 図１の２次元カメラによって取得される２次元画像を示す概略図である。 図１の２次元カメラの視野にワークが到来した状態を示す概略図である。 図４の状態で取得される２次元画像を示す概略図である。 図４の状態よりもワークが２次元カメラの視野内に侵入した状態を示す概略図である。 図６の状態で取得される２次元画像を示す概略図である。 図１の２次元カメラの視野内の第１位置にワークが配置された状態を示す概略図である。 図８の状態で取得される２次元画像を示す概略図である。 図１の２次元カメラの視野内の第２位置にワークが配置された状態を示す概略図である。 図１０の状態で取得される２次元画像を示す概略図である。 図１の３次元データ取得装置の動作を説明するフローチャートである。 図１の３次元データ取得装置の変形例の２次元カメラによって取得される２次元画像を示す概略図である。 図１３の２次元カメラの視野内の光軸近傍にワークが配置された状態を示す部分構成図である。 本開示の第２の実施形態に係る３次元データ取得装置の全体構成図である。
　本開示の第１の実施形態に係る３次元データ取得装置１について、図面を参照して以下に説明する。
　本実施形態に係る３次元データ取得装置１は、例えば、図１に示されるように、ワークＷを搬送するコンベヤ（移動機構）２と、コンベヤ２の上方に下向きに設置された単一の２次元カメラ３と、制御部４とを備えている。
　コンベヤ２は、例えば、ベルトコンベヤであって、ワークＷを搭載して水平方向の一方向に搬送するベルト２１を備えている。ベルト２１は図示しないモータによって一定の速度で駆動される。
　２次元カメラ３は、例えば、コンベヤ２のベルト２１の上方に配置された架台Ｒに取り付けられている。また、２次元カメラ３は、その光軸Ｘを鉛直方向に配置した下向きの視野Ｖを有しており、視野Ｖ内の中央近傍をベルト２１によって搬送されるワークＷが通過する位置に配置されている。
　制御部４は、予め教示されたプログラムを記憶する少なくとも１つのメモリおよびプログラムを実行する少なくとも１つのプロセッサを備えている。また、制御部４は、図２に示されるように、２次元カメラ３を制御するカメラ制御部４１と、２次元カメラ３によって取得された２次元画像を処理する画像処理部４２と、演算部４３と、タイマ４４と、記憶部４５と、３次元データ生成部４６とを備えている。
　カメラ制御部４１は、２次元カメラ３に対して制御指令を送信して、２次元カメラ３を所定のフレームレートで２次元画像を取得する状態に設定する。２次元カメラ３は、２次元画像を取得する毎に、取得した２次元画像を画像処理部４２に送信する。
　画像処理部４２は、２次元カメラ３から受信した各２次元画像を処理し、例えば、図３に示されるように、各２次元画像におけるワークＷの搬送方向の上流端に沿いつつ、搬送方向に直交して配列された複数の画素からなる画素列（第１画素）Ａの画素値を抽出する。同様に、画像処理部４２は、画素列Ａから搬送方向に所定画素だけ離れて、画素列Ａと平行に配列された複数の画素からなる画素列（第２画素）Ｂの画素値を抽出する。抽出された画素値は演算部４３に送られる。
　演算部４３は、画素列Ａ内のいずれかの画素の画素値が、１フレーム前に取得された２次元画像と比較して変化したか否かを判定する。そして、画素値に変化があった場合には、視野Ｖ内にワークＷが到来したと判定し、その時点でタイマ４４によって取得された第１時刻を記憶する。
　さらに、演算部４３は、画素列Ｂ内のいずれかの画素の画素値についても、１フレーム前に取得された２次元画像と比較して変化したか否かを判定する。そして、画素値に変化があった場合には、視野Ｖ内の所定の位置にワークＷが到達したと判定し、その時点でタイマ４４によって取得された第２時刻を記憶する。
　演算部４３は、記憶した第１時刻および第２時刻と、画素列Ａと画素列Ｂとの間の画素数に相当する実際の距離とに基づいて、ワークＷの搬送速度を算出する。ここで、２次元画像内における画素間の距離と、コンベヤ２によるワークＷの実際の移動距離との対応関係は、キャリブレーションによって、予め演算部４３に記憶されている。
　また、演算部４３は、算出したワークＷの搬送速度に基づいて、図４に示されるようにワークＷが視野Ｖに到来した到来位置から、図８に示されるように予め設定した第１位置までの第１距離Ｄ１を移動するのに要する第１時間を算出する。同様に、演算部４３は、算出したワークＷの搬送速度に基づいて、ワークＷが視野Ｖに到来した到来位置から、図１０に示されるように予め設定した第２位置までの第２距離Ｄ２を移動するのに要する第２時間を算出する。そして、ワークＷが視野Ｖに到来した時刻から第１時間経過後および第２時間経過後に、それぞれ２次元カメラ３によって取得された２次元画像を第１画像Ｐ１および第２画像Ｐ２として記憶部４５に記憶させる。
　ここで、第１位置は、視野Ｖ内の上流端近傍においてワークＷの後縁が視野Ｖ内に収まる位置に設定され、第２位置は、視野Ｖ内の下流端近傍においてワークＷの前縁が視野Ｖから外れない位置に設定される。
　３次元データ生成部４６は、記憶部４５に記憶された第１画像Ｐ１および第２画像Ｐ２と、第１画像Ｐ１と第２画像Ｐ２との間におけるワークＷの移動量（第２距離と第１距離Ｄ１との差分距離）とを用いて、単眼ステレオ法によりワークＷの３次元データを生成する。
　このように構成された本実施形態に係る３次元データ取得装置１の作用について、図１２に示すフローチャートに沿って説明する。
　本実施形態に係る３次元データ取得装置１の制御部４に予め記憶されたプログラムが実行されると、コンベヤ２が動作させられ（ステップＳ１）、ベルト２１上の複数のワークＷが、それぞれ一定の速度で視野Ｖよりも上流側から視野Ｖに向かって搬送される。
　また、この状態において、タイマ４４による計時が開始されるとともに、２次元カメラ３が、カメラ制御部４１からの制御指令に従って一定のフレームレートでの視野Ｖ内の撮影を開始し、視野Ｖ内の２次元画像を順次取得する（ステップＳ２）。取得された２次元画像は、逐次、画像処理部４２に送られて処理される。画像処理部４２においては、例えば、２値化処理が行われる。
　次いで、処理された２次元画像の情報は、演算部４３に送られ、演算部４３によって、各２次元画像の画素列Ａにおけるいずれかの画素の画素値が変化したか否かの判定が行われる（ステップＳ３）。この判定は、画素列Ａにおけるいずれかの画素の画素値の変化が検出されるまで繰り返される。
　一方、図４および図５に示されるように、ベルト２１によって搬送されたワークＷが２次元カメラ３の視野Ｖに到来すると、演算部４３は、２次元画像内の画素列Ａのいずれかの画素の画素値の変化を検出し、ワークＷが視野Ｖに到来したと判定する。
　そして、ワークＷが視野Ｖに到来した時刻がタイマ４４によって取得され、第１時刻として演算部４３に記憶される（ステップＳ４）。
　その後、演算部４３は、画素列Ａから搬送方向に所定画素だけ離れた画素列Ｂにおけるいずれかの画素の画素値の変化についても、画素列Ａと同様の判定を行う（ステップＳ５）。
　その結果、図６および図７に示されるように、画素列Ｂにおけるいずれかの画素の画素値の変化を検出した場合には、演算部４３は、ワークＷが視野Ｖ内の所定の位置に到達したと判定する。そして、ワークＷが視野Ｖ内の所定の位置に到達した時刻がタイマ４４によって取得され、第２時刻として演算部４３に記憶される（ステップＳ６）。
　また、演算部４３において、画素列Ａと画素列Ｂとの間の画素数に相当する実際の距離を、第２時刻から第１時刻を減算した差分時間で除算することにより、ワークＷの搬送速度が算出される（ステップＳ７）。そして、演算部４３は、算出したワークＷの搬送速度に基づいて、図８から図１１に示されるように、ワークＷが視野Ｖに到来した位置から第１距離Ｄ１および第２距離Ｄ２だけ移動するのに要する第１時間および第２時間を算出する（ステップＳ８）。
　次いで、演算部４３によって、ワークＷが視野Ｖに到来した第１時刻から第１時間が経過したか否かの判定が行われる（ステップＳ９）。その結果、ワークＷが視野Ｖに到来した第１時刻から第１時間が経過したことを検出した場合には、その時点で２次元カメラ３により取得された２次元画像が第１画像Ｐ１として記憶部４５に記憶される（ステップＳ１０）。
　また、ステップＳ９およびステップＳ１０と同様に、演算部４３によって第１時刻から第２時間が経過した否かが判定される（ステップＳ１１）。そして、第１時刻から第２時間が経過したことを検出すると、その時点で取得された２次元画像が第２画像Ｐ２として記憶部４５に記憶される（ステップＳ１２）。
　すなわち、記憶部４５には、視野Ｖ内を移動するワークＷを異なる２つのアングルから撮影して得られた第１画像Ｐ１および第２画像Ｐ２が記憶される。
　そして、３次元データ生成部４６により、記憶部４５に記憶された第１画像Ｐ１および第２画像Ｐ２と、両画像Ｐ１，Ｐ２の間におけるワークＷの移動量（第２距離Ｄ２と第１距離Ｄ１との差分距離）とを用いた単眼ステレオ法によって、ワークＷの３次元データが生成される（ステップＳ１３）。これにより、プログラムが終了する。
　このように、本実施形態によれば、単眼ステレオ法による３次元データの取得において元々必要な単一の２次元カメラ３を利用して、ワークＷが視野Ｖに到来したか否かを検出することができる。したがって、搬送されるワークＷの位置情報を取得するために、光電センサなどの特別な部品を設ける必要がないので、３次元データ取得装置１を簡易な構成とすることができる。
　また、２次元カメラ３により取得された２次元画像内の２箇所の画素列の画素値の変化に基づいて、ワークＷの搬送速度を算出することにより、従来のようにワークＷにマーク等を付与しなくても、視野Ｖ内におけるワークＷの位置を検出することができる。これにより、ワークＷの３次元データを取得する工程を簡素化することができ、作業コストの低減を図ることができる。
　なお、本実施形態においては、２次元画像の上流端に沿って配置された画素列Ａおよび画素列Ａよりも下流側に数画素だけ離れた画素列Ｂの画素値の変化に基づいて、ワークＷの搬送速度を算出した。これに代えて、図１３に示されるように、２次元画像内の光軸Ｘの近傍であって光軸Ｘよりも上流側に、ワークＷの搬送方向に直交して配置される画素列（第１画素）Ｃおよび画素列（第２画素）Ｄの画素値の変化に基づいて、搬送速度を算出してもよい。
　この場合、図１４に示されるように、画素列Ｃ，Ｄに相当する位置に一致しているワークＷの前縁と２次元カメラ３の中心とを結ぶ直線と、光軸Ｘとがなす角度αを小さくすることができる。そのため、ワークＷの光軸Ｘ方向の寸法、すなわち厚さ寸法が大きい場合でも、ワークＷの前縁の位置を２次元画像から精度よく検出することができる。
　特に、ワークＷと２次元カメラ３との距離が近い場合であっても、ワークＷの前縁位置の検出精度を高く維持することができるという利点がある。
　また、例えば、ワークＷの前縁が２次元画像内の画素列Ｃに対応する位置に到達した時点でワークＷの後縁が視野Ｖ内に収まる位置関係に調整しておき、その時点で取得された２次元画像を第１画像Ｐ１としてもよい。
　これにより、第１画像Ｐ１を取得する時刻の算出を省略することができる。したがって、第２画像Ｐ２を取得する時刻だけを、ワークＷの搬送速度に基づいて算出すればよいので、３次元データ取得装置１における処理工程をより簡略化することができるという利点がある。
　また、図１３には画素列Ｃおよび画素列Ｄが光軸Ｘよりも上流側に配置される場合を例示したが、これに代えて、両画素列Ｃ，Ｄが光軸Ｘよりも下流側に配置されてもよいし、画素列Ｃおよび画素列Ｄがそれぞれ光軸Ｘを挟んで上流側と下流側とに配置されてもよい。
　この場合、光軸Ｘよりも下流側の領域では、上流側の領域に比べて、ワークＷの厚さ寸法が、ワークＷの位置の検出精度に対して大きく影響するが、両画素列Ｃ，Ｄがいずれも光軸Ｘの近傍に配置されることにより、その影響を最小限に抑えることができる。
　すなわち、光軸Ｘよりも下流側の領域に配置される画素の画素値の変化に基づいて、ワークＷの搬送速度を算出する場合であっても、その算出精度を高く維持することができるという利点がある。
　また、本実施形態は、第１画像Ｐ１および第２画像Ｐ２を取得する時刻を、ワークＷが第１距離Ｄ１および第２距離Ｄ２を移動するのに要する第１時間および第２時間に基づいて算出した。これに代えて、第２画像Ｐ２を取得する時刻を、図１０に示されるように、ワークＷが第１位置から第２位置までの間の第３距離Ｄ３を移動するのに要する第３時間に基づいて算出してもよい。
　この場合、第１画像Ｐ１においては、上述の方法と同様、ワークＷの搬送速度からワークＷが第１距離Ｄ１を移動するのに要する第１時間を算出し、ワークＷが視野Ｖに到来した第１時刻から第１時間が経過した時点で取得された２次元画像を第１画像Ｐ１とする。
　一方、第２画像Ｐ２においては、まず、ワークＷが視野Ｖに到来した到来位置から第２位置までの第２距離Ｄ２と、到来位置から第１位置までの第１距離Ｄ１との差分である第３距離Ｄ３を算出する。そして、ワークＷの搬送速度に基づいて、ワークＷが第３距離Ｄ３を移動するのに要する第３時間を算出する。
　これにより、ワークＷが第１位置に配置された時刻から第３時間が経過した時点で取得された２次元画像を第２画像Ｐ２とすることができる。
　このように、本実施形態によれば、第２画像Ｐ２の取得時刻を第１画像Ｐ１の取得時刻を基準にして算出するので、第１画像Ｐ１の取得時刻と第２画像Ｐ２の取得時刻との間隔を安定させることができ、ワークＷの３次元データをより精度よく生成することができる。
　また、本実施形態においては、第１位置を予め設定したが、これに代えて、２次元画像の画素列Ａにおける画素値の変化に基づいて、第１位置を決定してもよい。
　具体的には、例えば、図４および図５に示すように、ワークＷの前縁が視野Ｖの上流端に到達すると、２次元画像の画素列Ａの画素値が変化する。そして、ワークＷが視野Ｖの上流端を通過するまでは、図６および図７に示すように、画素列Ａの画素値は変化後の状態に維持される。その後、図８および図９に示すように、ワークＷの後縁が視野Ｖの上流端を通過すると、再び画素列Ａの画素値が変化する。
　このように、画素列Ａにおける２度の画素値の変化を演算部４３によって検出することにより、ワークＷが視野Ｖに到来したこと、および、ワークＷ全体が視野Ｖ内に収まったことを検出することができる。
　これにより、ワークＷの搬送方向の寸法、すなわち長さ寸法が分からない場合であっても、ワークＷ全体を視野Ｖ内に確実に収めた状態で、第１画像Ｐ１を取得することができる。
　また、本実施形態においては、第２位置についても、予め設定することなく、２次元画像の下流端に沿って配置される画素列の画素値の変化に基づいて決定してもよい。
　この場合には、例えば、画素列Ａと同等の画素列を２次元画像の下流端よりも数画素だけ上流側に離して設定し、その画素列の画素値の変化を検出することにより、ワークＷの前縁が視野Ｖの下流端に到達する直前の位置に配置されていることが検出される。そして、その時点で取得された２次元画像が第２画像Ｐ２として取得される。
　これにより、ワークＷの前縁が視野Ｖから外れる前に第２画像Ｐ２を確実に取得することができるので、ワークＷの３次元データをより正確に生成することができるとともに、３次元データ取得装置１の処理工程を簡略化することもできる。
　次に、本開示の第２の実施形態に係る３次元データ取得装置１´について、図面を参照して以下に説明する。
　本実施形態に係る３次元データ取得装置１´は、上述した第１の実施形態に係る３次元データ取得装置１と構成を共通にする箇所には同一符号を付して説明を省略する。
　本実施形態に係る３次元データ取得装置１´は、図１５に示されるように、コンベヤ２が、ベルト２１の回転量を検出するエンコーダ２２を備えている点において第１の実施形態に係る３次元データ取得装置１と相違している。
　本実施形態に係る３次元データ取得装置１´においても、第１の実施形態に係る３次元データ取得装置１と同様に、制御部４に予め記憶されたプログラムが実行されると、２次元カメラ３の視野Ｖの上流側からワークＷが搬送される。
　また、２次元カメラ３によって視野Ｖ内の２次元画像が順次取得され、取得された各２次元画像は、画像処理部４２によって処理された後に、演算部４３へと送られる。
　次いで、演算部４３においては、２次元画像内の画素列Ａのいずれかの画素の画素値の変化に基づいて、ワークＷの視野Ｖへの到来が検出される。
　ワークＷの到来が検出されると、演算部４３は、エンコーダ２２から出力されたベルト２１の回転量の情報を受信する。そして、演算部４３は、受信したベルト２１の回転量の情報に基づいて、ワークＷが視野Ｖに到来した位置から第１距離Ｄ１だけ移動して第１位置に配置されたことを検出する。また、その時点で取得された２次元画像は、第１画像Ｐ１として記憶部４５に記憶される。
　同様に、演算部４３によって、エンコーダ２２からの情報が受信され、受信した情報に基づいて、ワークＷが到来位置から第２距離Ｄ２だけ移動した第２位置に配置されたことを検出し、その時点で取得された第２画像Ｐ２を記憶部４５に記憶させる。
　そして、３次元データ生成部４６において、記憶部４５に記憶された第１画像Ｐ１および第２画像Ｐ２と、両画像Ｐ１，Ｐ２の間におけるワークＷの移動量（第２距離Ｄ２と第１距離Ｄ１との差分距離）とを用いた単眼ステレオ法によって、ワークＷの３次元データの生成が行われる。
　本実施形態によれば、ワークＷが視野Ｖに到来した位置から第１位置までの移動量である第１距離Ｄ１および、第２位置までの移動量である第２距離Ｄ２を、エンコーダ２２から直接的に取得することができる。
　これにより、ワークＷの視野Ｖ内における第１位置および第２位置を正確に検出することができる。したがって、ワークＷの３次元データの生成に用いる第１画像Ｐ１および第２画像Ｐ２をより正確に取得することができ、３次元データ生成部４６によって生成されるワークＷの３次元データの精度を向上することができるという利点がある。
１，１´　３次元データ取得装置
２　コンベヤ（移動機構）
３　２次元カメラ
４　制御部
２２　エンコーダ
４２　画像処理部
Ａ，Ｃ　画素列（第１画素）
Ｂ，Ｄ　画素列（第２画素）
Ｄ１　第１距離
Ｄ２　第２距離
Ｄ３　第３距離
Ｐ１　第１画像
Ｐ２　第２画像
Ｖ　視野
Ｗ　ワーク
Ｘ　光軸

Claims (6)

  1. 　ワークを撮影する単一の２次元カメラと、
    　前記ワークと前記２次元カメラとを一方向に相対移動させる移動機構と、
    　制御部とを備え、
    　該制御部が、前記２次元カメラにより取得された２次元画像における前記ワークの前記相対移動方向の上流端近傍の画素の画素値の変化によって前記ワークの前記２次元カメラの視野内への到来を検出するとともに、
    　前記ワークの到来位置から所定の第１距離だけ移動した第１位置において前記２次元カメラによって取得された第１画像と、前記ワークが前記到来位置から所定の第２距離だけ移動した第２位置において前記２次元カメラによって取得された第２画像と、前記第２距離と前記第１距離との差分距離とに基づいて前記ワークの３次元データを生成する３次元データ取得装置。
  2. 　前記移動機構が、前記ワークと前記２次元カメラとの相対移動距離を検出するエンコーダを備え、
    　前記第１距離および前記第２距離が前記エンコーダにより取得される請求項１に記載の３次元データ取得装置。
  3. 　前記制御部が、前記２次元画像内において前記相対移動方向に所定距離だけ離れた第１画素および第２画素の画素値がそれぞれ変化した時刻に基づいて、前記ワークが前記第１距離および前記第２距離を移動するのに要する第１時間および第２時間を算出するとともに、
    　前記ワークの前記視野内への到来時刻から前記第１時間が経過した時点で前記２次元カメラによって前記第１画像を取得させ、前記ワークの前記到来時刻から前記第２時間が経過した時点で前記２次元カメラによって前記第２画像とを取得させる請求項１に記載の３次元データ取得装置。
  4. 　前記第１画素および前記第２画素が、前記２次元画像内における前記２次元カメラの光軸近傍に配置されている請求項３に記載の３次元データ取得装置。
  5. 　前記第１画素および前記第２画素が、両方とも前記光軸よりも上流側または下流側に設けられている請求項４に記載の３次元データ取得装置。
  6. 　前記制御部が、前記２次元画像内において前記相対移動方向に所定距離だけ離れた第１画素および第２画素の画素値がそれぞれ変化した時刻に基づいて、前記ワークが前記第２距離と前記第１距離との差分である第３距離を移動するのに要する第３時間を算出するとともに、前記第１画素の画素値が変化した時点で前記２次元カメラによって前記第１画像を取得させ、前記第１画像の取得から第３時間が経過した時点で前記２次元カメラによって前記第２画像を取得させる請求項１に記載の３次元データ取得装置。
     
     
PCT/JP2021/031437 2021-08-27 2021-08-27 ３次元データ取得装置 WO2023026452A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/031437 WO2023026452A1 (ja) 2021-08-27 2021-08-27 ３次元データ取得装置
TW111130663A TW202308820A (zh) 2021-08-27 2022-08-15 ３ｄ檔案取得裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/031437 WO2023026452A1 (ja) 2021-08-27 2021-08-27 ３次元データ取得装置

Publications (1)

Publication Number Publication Date
WO2023026452A1 true WO2023026452A1 (ja) 2023-03-02

Family

ID=85322542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031437 WO2023026452A1 (ja) 2021-08-27 2021-08-27 ３次元データ取得装置

Country Status (2)

Country Link
TW (1) TW202308820A (ja)
WO (1) WO2023026452A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016114433A (ja) * 2014-12-12 2016-06-23 株式会社安川電機 画像処理装置、画像処理方法、及び部品供給装置
JP2017036104A (ja) * 2015-08-07 2017-02-16 シンフォニアテクノロジー株式会社 パーツフィーダ
JP2017094406A (ja) * 2015-11-18 2017-06-01 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP2017162133A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016114433A (ja) * 2014-12-12 2016-06-23 株式会社安川電機 画像処理装置、画像処理方法、及び部品供給装置
JP2017036104A (ja) * 2015-08-07 2017-02-16 シンフォニアテクノロジー株式会社 パーツフィーダ
JP2017094406A (ja) * 2015-11-18 2017-06-01 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP2017162133A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法

Also Published As

Publication number Publication date
TW202308820A (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
RU2562413C2 (ru) Способ и система для обнаружения и определения геометрических, пространственных и позиционных характеристик изделий, транспортируемых конвейером непрерывного действия, в частности необработанных, грубопрофилированных, грубообработанных или частично обработанных стальных изделий
US20210362518A1 (en) Lateral adjustment of print substrate based on a camera image
US20030164876A1 (en) Procedure and device for measuring positions of continuous sheets
CN110081816B (zh) 物品搬运系统
JP2008296330A (ja) ロボットシミュレーション装置
CN104833317A (zh) 基于对称双线激光角度可控的中厚钢板形貌检测系统及其方法
KR20130093041A (ko) 판상물의 절선 가공 장치 및 판상물의 절선 가공 방법, 및 유리판의 제조 장치 및 유리판의 제조 방법
WO2023026452A1 (ja) ３次元データ取得装置
WO2019239351A1 (en) Method and machine for the surface decoration of a base article of the ceramic processing industry
JP7336678B2 (ja) ピッキング装置
JPH02194307A (ja) 板状物体の反り形状測定装置
JP2019018339A (ja) ロボットシステム
EP3217191B1 (en) Distance measuring apparatus and method for measuring a distance
JP2013184838A (ja) 板状物の切線加工装置及び板状物の切線加工方法、ならびにガラス板の製造装置及びガラス板の製造方法
CN109328455B (zh) 图像获取装置及图像获取方法
JP2016138761A (ja) 光切断法による三次元測定方法および三次元測定器
CN103249687A (zh) 板状物的搬运量检测装置、切断装置、搬运量检测方法、切割线加工装置及切割线加工方法
CA2962809C (en) System and method for color scanning a moving article
CN114290324B (zh) 带式输送机校准方法、机器人控制方法、机器人系统及存储介质
JP6943168B2 (ja) 検査システムおよび検査方法
KR20180009400A (ko) 압연 공정용 전단 장치 및 방법
WO2018207086A1 (en) Method for aligning sheets of paper for the construction of paper and cardboard boxes
JP2020148738A (ja) 板材の位置検出方法、板材のデータ補正方法、及び板材の位置検出装置
KR102385189B1 (ko) 약품의 정위치 인쇄시스템 및 방법
CN115129037B (zh) 一种基于厚板3d视觉检测系统的自动寻边装置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21955064

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21955064

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP