JP6954145B2 - Tip attachment dimensional measuring device - Google Patents
Tip attachment dimensional measuring device Download PDFInfo
- Publication number
- JP6954145B2 JP6954145B2 JP2018007339A JP2018007339A JP6954145B2 JP 6954145 B2 JP6954145 B2 JP 6954145B2 JP 2018007339 A JP2018007339 A JP 2018007339A JP 2018007339 A JP2018007339 A JP 2018007339A JP 6954145 B2 JP6954145 B2 JP 6954145B2
- Authority
- JP
- Japan
- Prior art keywords
- tip attachment
- camera
- image
- tip
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本発明は、作業機械の先端アタッチメントの寸法を計測する先端アタッチメント寸法計測装置に関する。 The present invention relates to a tip attachment dimension measuring device that measures the dimensions of a tip attachment of a work machine.
例えば特許文献1に、先端アタッチメント(同文献におけるアタッチメント)を含む距離分布を距離センサが計測し、距離分布に基づいて先端アタッチメントを認識する技術が記載されている(同文献の請求項1などを参照)。 For example, Patent Document 1 describes a technique in which a distance sensor measures a distance distribution including a tip attachment (attachment in the same document) and recognizes the tip attachment based on the distance distribution (claim 1 of the same document). reference).
同文献に記載の技術では、距離分布に基づいて先端アタッチメントの寸法など(同文献では特徴量)が認識される。距離分布を計測するために、距離センサが用いられる。しかし、距離センサは、単眼カメラなどに比べ、コストが高い場合がある。また、先端アタッチメントの寸法を計測する際、寸法計測の精度を確保することが重要である。 In the technique described in the same document, the dimensions of the tip attachment and the like (features in the same document) are recognized based on the distance distribution. A distance sensor is used to measure the distance distribution. However, the distance sensor may be more expensive than a monocular camera or the like. In addition, when measuring the dimensions of the tip attachment, it is important to ensure the accuracy of the dimensional measurement.
そこで、本発明は、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる、先端アタッチメント寸法計測装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a tip attachment dimension measuring device capable of accurately measuring the dimensions of a tip attachment without using a distance distribution.
本発明の先端アタッチメント寸法計測装置は、作業装置と、カメラと、コントローラと、を備える。前記作業装置は、作業機械の上部旋回体に取り付けられ、交換可能な先端アタッチメントを先端部に有する。前記カメラは、前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影する。前記コントローラは、前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定する。前記コントローラは、前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させる。前記コントローラは、前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得する。前記コントローラは、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求める。前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法とする。前記コントローラは、前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得する。前記コントローラは、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める。 The advanced attachment dimension measuring device of the present invention includes a working device, a camera, and a controller. The work device is attached to the upper swing body of the work machine and has a replaceable tip attachment at the tip. The camera is attached to the upper swing body and captures an image including the tip attachment. The controller determines a simple background range in which the degree of temporal change of the image is a range equal to or less than a predetermined value from the images captured by the camera. The controller causes the camera to take an image of the tip attachment in the simple background range, which is an image of the tip attachment swinging about a rotation axis. The controller acquires the width dimension on the image of the tip attachment in the direction of the rotation axis based on the image taken by the camera. The controller obtains the actual width dimension of the tip attachment from the width dimension on the acquired image. The dimension in the direction orthogonal to the direction of the rotation axis from the reference position to the tip of the tip attachment is defined as the vertical dimension. Based on the image taken by the camera, the controller acquires the maximum value of the vertical dimension on the image of the tip attachment when the tip attachment is swung. The controller obtains the actual vertical dimension of the tip attachment from the maximum value of the vertical dimension on the acquired image.
上記構成により、距離分布を用いなくても、精度よく、先端アタッチメントの寸法を計測できる。 With the above configuration, the dimensions of the tip attachment can be measured accurately without using the distance distribution.
図1〜図5を参照して、図1に示す先端アタッチメント寸法計測装置1について説明する。 The tip attachment dimension measuring device 1 shown in FIG. 1 will be described with reference to FIGS. 1 to 5.
先端アタッチメント寸法計測装置1は、先端アタッチメント25の寸法を計測する装置であり、作業機械10に設けられる。作業機械10は、建設作業などの作業を行う機械であり、例えば建設機械であり、例えばショベルなどである。作業機械10は、下部走行体11と、上部旋回体13と、作業装置20と、作業装置姿勢センサ30と、カメラ40と、図2に示すカメラ撮影範囲変更部45と、作業装置駆動部47と、コントローラ60と、を備える。
The tip attachment dimension measuring device 1 is a device for measuring the dimensions of the
下部走行体11は、図1に示す作業機械10を走行させる部分であり、例えばクローラを備える。上部旋回体13は、下部走行体11よりも上に設けられ、下部走行体11に対して旋回可能である。上部旋回体13は、キャブ13c(運転室)を備える。
The lower traveling
作業装置20は、上部旋回体13に取り付けられ、作業を行う装置である。作業装置20は、ブーム21と、アーム23と、先端アタッチメント25と、を備える。ブーム21は、上部旋回体13に回転可能に取り付けられる。アーム23は、ブーム21に回転可能に取り付けられる。
The
先端アタッチメント25は、作業装置20の先端部に設けられる。先端アタッチメント25は、複数種類に交換可能である。先端アタッチメント25の種類には、バケット(図1に示す例)、クラムシェル、ハサミ状の装置、ハンマ、マグネットなどがある。例えば、先端アタッチメント25がバケットの場合、先端アタッチメント25を、様々な寸法のバケットに交換可能である。先端アタッチメント25は、アーム23に回転(揺動)可能に取り付けられる。先端アタッチメント25の、アーム23に対する回転軸を、回転軸25aとする。先端アタッチメント25の寸法計測の基準となる位置を、基準位置25bとする。基準位置25bは、先端アタッチメント25の種類によらず決まる位置である。基準位置25bは、例えば、先端アタッチメント25の基端部であり、例えば、回転軸25aの位置(バケットピンの位置など)である。図5に示すように、基準位置25bなどにマーカー25mが取り付けられる。マーカー25mは、画像認識用の目印であり、所定の形状、模様、色彩などを有する。マーカー25mは、基準位置25bに取り付けられる。または、マーカー25mは、カメラ40から見たときに基準位置25bに相当する位置に取り付けられる。カメラ40から見たときに基準位置25bに相当する位置は、例えば、カメラ40から見たときに基準位置25bと重なる位置、または、これに近い位置などである。図5に示す例では、マーカー25mは、アーム23に取り付けられる。
The
作業装置姿勢センサ30は、図1に示す作業装置20の姿勢を検出するセンサである。作業装置姿勢センサ30は、ブーム角度センサ31と、アーム角度センサ33と、先端アタッチメント角度センサ35と、を備える。ブーム角度センサ31は、上部旋回体13に対するブーム21の角度(ブーム21角度)を検出する。例えば、ブーム角度センサ31は、ブーム21の基端部に設けられる角度センサ(エンコーダ)である。例えば角度センサである点は、アーム角度センサ33、および先端アタッチメント角度センサ35も同様である。例えば、ブーム角度センサ31は、ブーム21を駆動させるブームシリンダの伸縮量を検出することで、ブーム21角度を検出してもよい。この場合、ブームシリンダの伸縮量が、ブーム21角度に変換される。シリンダの伸縮量を検出することで角度を検出してもよい点は、アーム角度センサ33および先端アタッチメント角度センサ35も同様である。アーム角度センサ33は、ブーム21に対するアーム23の角度(アーム23角度)を検出する。先端アタッチメント角度センサ35は、アーム23に対する先端アタッチメント25の角度を検出する。
The work
カメラ40は、先端アタッチメント25を含む画像を撮影可能である。カメラ40は、作業装置20およびその周囲の画像を撮影する。カメラ40は、先端アタッチメント25の可動範囲として想定される全範囲を撮影可能であることが好ましい。カメラ40は、上部旋回体13に取り付けられ、例えば、キャブ13c(例えば左前上部など)に取り付けられ、例えば、上部旋回体13のうちキャブ13c以外の部分に取り付けられてもよい。カメラ40は、例えば単眼カメラでもよく、例えばステレオカメラなどでもよい。カメラ40のコストを低くするために、カメラ40は単眼カメラであることが好ましい。カメラ40の撮影範囲は、可変でもよく、固定でもよい。カメラ40は、上部旋回体13に対して移動(例えば回動)可能でもよく、上部旋回体13に対して固定されてもよい。カメラ40は、ズーム機能を有してもよい。なお、図1に、カメラ40の画角40aの一例を示す。また、以下では、特に断らない限り、カメラ40の撮影範囲が可変である場合について説明する。
The
カメラ撮影範囲変更部45は、カメラ40の撮影範囲を変える。例えば、カメラ撮影範囲変更部45は、上部旋回体13(図1参照)に対してカメラ40を移動させることでカメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、カメラ40のズーム位置を変えることで、カメラ40の撮影範囲を変えてもよい。例えば、カメラ撮影範囲変更部45は、下部走行体11(図1参照)に対して上部旋回体13を旋回させることによって、カメラ40の撮影範囲を変更してもよい。
The camera shooting
作業装置駆動部47は、作業装置20(図1参照)を駆動する。具体的には例えば、作業装置駆動部47は、作業装置20を駆動させるアクチュエータ(例えばシリンダ)、および、アクチュエータを制御する油圧回路などである。
The work
コントローラ60は、信号(情報)の入出力、および演算(判定、算出)などを行う。コントローラ60には、作業装置姿勢センサ30、カメラ40、カメラ撮影範囲変更部45、および作業装置駆動部47などが接続される。コントローラ60により実現される機能には、例えば、カメラ撮影範囲制御機能61と、作業装置姿勢制御機能63と、干渉防止制御機能65と、がある。カメラ撮影範囲制御機能61は、カメラ40の撮影範囲を制御(自動制御)する機能である。作業装置姿勢制御機能63は、作業装置20の姿勢を制御(自動制御)する機能である。なお、干渉防止制御機能65については後述する。また、コントローラ60には、これら以外の機能があってもよい。
The
(作動)
図3に示すフローチャートを参照して、先端アタッチメント寸法計測装置1の作動(主にコントローラ60の作動)を説明する。なお、以下では、先端アタッチメント寸法計測装置1の各構成要素(カメラ40、コントローラ60など)については主に図1を参照し、フローチャートの各ステップについては図3を参照して説明する。
(Operation)
The operation of the tip attachment dimension measuring device 1 (mainly the operation of the controller 60) will be described with reference to the flowchart shown in FIG. In the following, each component (
ステップS11では、図4に示すように、カメラ40(図1参照)が、画像を撮影する。カメラ40に撮影された画像を、カメラ画像Imとする。そして、コントローラ60(図1参照)が、カメラ画像Imの中から、簡素背景範囲Aを決定(選択)する。さらに詳しくは、コントローラ60は、カメラ画像Imの中から、画像が動いていない、または、ほぼ動いていない範囲を、簡素背景範囲Aとして選択する。具体的には、コントローラ60には、画像の時間的変化の度合いに関する所定値(閾値)が、予め設定される。そして、コントローラ60は、カメラ画像Imのうち、画像の時間的変化の度合いが所定値以下の範囲を、簡素背景範囲Aとする。コントローラ60は、カメラ画像Imの中で、画像の時間的変化の度合いが最も少ない部分およびその周辺を、簡素背景範囲Aとしてもよい。コントローラ60は、画像の時間的変化の度合いだけでなく、画像の形状や色の複雑さにも基づいて、簡素背景範囲Aを決定してもよい。
In step S11, as shown in FIG. 4, the camera 40 (see FIG. 1) captures an image. The image taken by the
ステップS21およびS23では、図1に示すコントローラ60は、簡素背景範囲A(図4参照。以下、簡素背景範囲Aについて同様)内に先端アタッチメント25が映るように、カメラ40の撮影範囲および作業装置20の姿勢を制御する。
In steps S21 and S23, the
ステップS21では、コントローラ60は、簡素背景範囲A内に先端アタッチメント25が映り得るように、カメラ40の撮影範囲を制御(自動制御)する。図2に示すコントローラ60は、カメラ撮影範囲変更部45に指令を出力することで、カメラ40の撮影範囲を制御する。カメラ40の撮影範囲の制御の具体例は、次の通りである。図4に示す例では、作業装置20の姿勢を変えても、簡素背景範囲A内に先端アタッチメント25が映り得ない。そこで、図1に示すコントローラ60は、例えば、上部旋回体13に対するカメラ40の位置を変えてもよく、例えば、下部走行体11に対して上部旋回体13を旋回させてもよい。また、例えば、カメラ画像Imの中で寸法計測に用いられる部分が決まっている場合(例えば画面中央などと決まっている場合)に、寸法計測に用いられる部分に簡素背景範囲Aが配置されるように、カメラ40の撮影範囲が制御されてもよい。また、例えば、カメラ40がズーム機能を有する場合に、カメラ画像Im内での簡素背景範囲Aの割合ができるだけ多くなるように、カメラ40のズーム位置が設定されてもよい。なお、このステップS21の処理が完了した時点では、簡素背景範囲A内に先端アタッチメント25が映っていなくてもよい。下記のステップS23で作業装置20の姿勢を変えたときに簡素背景範囲A内に先端アタッチメント25が映ることが可能となるように、カメラ40の撮影範囲が設定されればよい。このステップS21で設定されたカメラ40の撮影範囲は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。
In step S21, the
ステップS23では、図1に示すコントローラ60は、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を制御(自動制御)する。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、作業装置20の姿勢を制御する。コントローラ60は、ブーム21およびアーム23の姿勢(角度)を制御する。ここでは、コントローラ60は、アーム23に対する先端アタッチメント25の角度は制御しなくてもよい。コントローラ60は、先端アタッチメント25を揺動(下記のステップS41を参照)させたときに、簡素背景範囲A内に先端アタッチメント25が映り続けることが可能となるように、作業装置20の姿勢を制御する。このステップS23で設定されたブーム21およびアーム23の姿勢は、例えば、寸法計測が終了するまで(図3に示す一連のフローが終了するまで)固定される(変更されてもよい)。
In step S23, the
ステップS31では、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置(カメラ画像Imにおける座標)を取得する。この処理は、例えば、次の[例1a]、[例1b]、または[例1c]のように行われる。[例1a]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ画像Im中の基準位置25bが映る位置を算出する。さらに詳しくは、コントローラ60は、ブーム21角度、およびアーム23角度に基づいて、この算出を行う。また、コントローラ60は、ブーム21の構造の情報(寸法や形状など)、およびアーム23の構造の情報に基づいて、この算出を行ってもよい。また、コントローラ60は、上部旋回体13におけるカメラ40の位置の情報、具体的には例えば、カメラ40の位置とブーム21の基端部との相対位置の情報に基づいて、この算出を行ってもよい。
In step S31, the
[例1b]コントローラ60は、図5に示すカメラ画像Imからマーカー25mを認識(画像認識)することで、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。[例1c]コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢、および、マーカー25mの画像認識に基づいて、カメラ画像Im中の基準位置25bが映る位置を取得してもよい。この場合、基準位置25b以外の位置に、マーカー25mと同じもの、または似たものがあっても、コントローラ60は、カメラ画像Im中の基準位置25bが映る位置を精度よく取得できる。
[Example 1b] The
ステップS41では、図1に示すコントローラ60は、先端アタッチメント25を揺動させる。コントローラ60は、作業装置駆動部47(図2参照)に指令を出力することで、先端アタッチメント25を揺動(自動的に揺動)させる。例えば、コントローラ60は、アーム23に対して先端アタッチメント25が回動可能な範囲の全域で、先端アタッチメント25を揺動させる。例えば、先端アタッチメント25がバケットの場合、コントローラ60は、最も掘削側(すくい側)と、最も排土側と、の間の全域で、先端アタッチメント25を揺動させる。このとき、カメラ40は、簡素背景範囲A内に映った、揺動している先端アタッチメント25の画像を、撮影(時間的に連続して撮影)する。
In step S41, the
なお、コントローラ60には、先端アタッチメント25を揺動させない条件が予め設定されてもよい。例えば、先端アタッチメント25を揺動させれば先端アタッチメント25が地面などと干渉すると予想される場合は、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。具体的には例えば、平らな地面に相当する面(下部走行体11の底面と平行かつ下部走行体11の底面と平行な仮想面)に対する、基準位置25bの高さが所定値以下の場合、コントローラ60は、先端アタッチメント25を揺動させなくてもよい。なお、このステップS41の時点では、先端アタッチメント25の正確な寸法は不明である。一方、作業装置20に設けられると想定される先端アタッチメント25の寸法は、おおよそ決まっている(ある範囲内に限定される)。そこで、例えば、コントローラ60は、作業装置20に設けられると想定される先端アタッチメント25の中で最も大きいものを揺動させても、先端アタッチメント25が地面などと干渉しないと判断できる場合に、先端アタッチメント25を揺動させてもよい。
The
ステップS43では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25の幅寸法Xを取得する。幅寸法Xは、先端アタッチメント25の揺動の回転軸25aが延びる方向(回転軸25a方向)における先端アタッチメント25の寸法である。この処理の詳細は次の通りである。カメラ画像Imにおける、回転軸25aの方向を、画像横方向xとする。カメラ画像Imにおける、回転軸25aに直交する方向(画像横方向xに直交する方向)を、画像縦方向yとする。コントローラ60は、先端アタッチメント25の画像横方向xにおける幅寸法X(以下、「画像上の幅寸法X」ともいう)を取得する。そして、コントローラ60は、画像上の幅寸法Xから、実際の先端アタッチメント25の幅寸法X(以下、「実際の幅寸法X」ともいう)を求める(算出する、換算する)。実際の幅寸法Xは、回転軸25aの方向における、実際の先端アタッチメント25の寸法(メートルなどの単位で表される寸法)である。この換算は、例えば、図1に示すカメラ40から基準位置25bまでの距離、および、カメラ40のズーム機能を利用している場合はズーム位置などに基づいて行われる(ステップS45での換算も同様)。なお、コントローラ60は、先端アタッチメント25の先端部の幅寸法Xを取得してもよく(図5参照)、先端アタッチメント25全体(基端部から先端部までの全体)の幅寸法Xを取得してもよい(図示なし)。
In step S43, the
ステップS45では、コントローラ60は、図5に示すように、カメラ画像Imに基づいて(画像処理により)、先端アタッチメント25を揺動させたときの縦寸法Yの最大値Ymaxを取得する。縦寸法Yは、先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法である。この処理の詳細は次の通りである。コントローラ60は、基準位置25bから、先端アタッチメント25の先端までの、画像縦方向yにおける縦寸法Y(以下「画像上の縦寸法Y」ともいう)を取得する。さらに詳しくは、基準位置25bの画像縦方向yの座標と、先端アタッチメント25の先端の画像縦方向yの座標と、の差分を算出する。先端アタッチメント25が揺動する(ステップS41参照)と、画像上の縦寸法Yが、増加または減少する。コントローラ60は、先端アタッチメント25を揺動させたときの、画像上の縦寸法Yの最大値Ymax(画像上の最大値Ymax)を取得する。そして、コントローラ60は、画像上の縦寸法Yの最大値Ymaxから、実際の先端アタッチメント25の縦寸法Yの最大値Ymaxを求める(算出する、換算する)(幅寸法Xの換算と同様)。
In step S45, as shown in FIG. 5, the
そして、図1に示すコントローラ60は、先端アタッチメント25の寸法計測の処理を終了する。コントローラ60は、先端アタッチメント25の寸法を、例えば、図2に示す干渉防止制御機能65などの制御パラメータに反映させる。干渉防止制御機能65は、先端アタッチメント25が周囲の物と干渉することを防ぐように、作業装置20の動作を制御(制限)する機能である。上記「周囲の物」は、例えば、上部旋回体13、下部走行体11、建物の屋根、天井、壁、または床などである。
Then, the
(効果)
図1に示す先端アタッチメント寸法計測装置1による効果は次の通りである。
(effect)
The effects of the tip attachment dimension measuring device 1 shown in FIG. 1 are as follows.
(第1の発明の効果)
先端アタッチメント寸法計測装置1は、作業装置20と、カメラ40と、コントローラ60と、を備える。作業装置20は、作業機械10の上部旋回体13に取り付けられる。作業装置20は、交換可能な先端アタッチメント25を先端部(作業装置20の先端部)に有する。カメラ40は、上部旋回体13に取り付けられ、先端アタッチメント25を含む画像(カメラ画像Im(図4参照))を撮影する。
(Effect of the first invention)
The tip attachment dimension measuring device 1 includes a working
[構成1−1]コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲A(図4参照)を決定する。コントローラ60は、図5に示すように、簡素背景範囲A内に先端アタッチメント25が映った画像であって、回転軸25aを中心に揺動しているの先端アタッチメント25の画像を、カメラ40に撮影させる。
[Structure 1-1] The
[構成1−2]コントローラ60(図1参照)は、カメラ40(図1参照)に撮影された画像(カメラ画像Im)に基づいて、回転軸25aの方向における、先端アタッチメント25の画像上の幅寸法Xを取得する。コントローラ60は、取得した画像上の幅寸法Xから、先端アタッチメント25の実際の幅寸法Xを求める。先端アタッチメント25の基準位置25bから先端までの、回転軸25aの方向に直交する方向における寸法を、縦寸法Yとする。コントローラ60は、カメラ40に撮影された画像(カメラ画像Im)に基づいて、先端アタッチメント25を揺動させたときの先端アタッチメント25の画像上の縦寸法Yの最大値Ymaxを取得する。コントローラ60は、取得した画像上の縦寸法Yの最大値Ymaxから、先端アタッチメント25の実際の縦寸法Yを求める。
[Structure 1-2] The controller 60 (see FIG. 1) is on the image of the
上記[構成1−1]では、カメラ画像Imでの、先端アタッチメント25の周囲の画像(背景)の時間的変化の度合いが所定値以下である(変化が少ない)。よって、コントローラ60(図1参照)は、先端アタッチメント25と背景とを区別しやすく、揺動している先端アタッチメント25の外形(輪郭)を認識しやすい。その結果、先端アタッチメント25の寸法計測を精度よく行える。
In the above [Structure 1-1], the degree of temporal change of the image (background) around the
また、上記[構成1−1]では、図1に示すコントローラ60は、先端アタッチメント25と背景とを区別する際に、先端アタッチメント25およびその周囲に映る物から、カメラ40までの、距離分布の情報を用いる必要がない。また、上記[構成1−2]では、コントローラ60は、先端アタッチメント25の寸法を取得する際に、先端アタッチメント25からカメラ40までの距離分布の情報を用いる必要がない。よって、カメラ40は距離分布の情報を取得する必要がない。よってカメラ40が距離分布の情報を取得する必要がある場合に比べ、カメラ40にかかるコストを抑制できる。
Further, in the above [Structure 1-1], the
(第2の発明の効果)
[構成2]先端アタッチメント寸法計測装置1は、作業装置20の姿勢を検出する作業装置姿勢センサ30を備える。コントローラ60は、作業装置姿勢センサ30に検出された作業装置20の姿勢に基づいて、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
(Effect of the second invention)
[Structure 2] The tip attachment dimension measuring device 1 includes a working
上記[構成2]により、図5に示すカメラ画像Im中の基準位置25bが映る位置を、コントローラ60が画像認識を用いて取得する場合に比べ、図1に示すコントローラ60の処理を簡素化でき、コントローラ60の計算負荷を抑制できる。なお、上記「画像認識を用いて取得する場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Im(図5参照)におけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。
According to the above [configuration 2], the processing of the
(第3の発明の効果)
[構成3]先端アタッチメント寸法計測装置1は、図5に示すように、マーカー25mを備える。マーカー25mは、基準位置25bに取り付けられる、または、カメラ40(図1参照)から見たときに基準位置25bに相当する位置に取り付けられる。コントローラ60(図1参照)は、カメラ40に撮影された画像(カメラ画像Im)からマーカー25mを認識することで、カメラ40に撮影された画像(カメラ画像Im)中の基準位置25bが映る位置を取得する。
(Effect of the third invention)
[Structure 3] The tip attachment dimension measuring device 1 includes a
上記[構成3]により、コントローラ60は、マーカー25mを使わない画像認識を用いる場合に比べ、カメラ画像Im中の基準位置25bが映る位置を、正確に取得できる。その結果、先端アタッチメント25の寸法計測をより精度よく行える。上記「マーカー25mを使わない画像認識を用いる場合」は、例えば、コントローラ60(図1参照)が、カメラ画像Imにおけるアーム23の形状などを認識することで、カメラ画像Im中の基準位置25bが映る位置を取得する場合などである。
According to the above [Structure 3], the
(変形例1)
図6および図7を参照して、図6に示す変形例1の先端アタッチメント寸法計測装置101について、上記実施形態との相違点を説明する。なお、変形例1の先端アタッチメント寸法計測装置101のうち、上記実施形態との共通点については、上記実施形態と同一の符号を付すなどして、説明を省略する。共通点の説明を省略する点については、後述する変形例2の説明も同様である。先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。
(Modification example 1)
With reference to FIGS. 6 and 7, the difference between the tip attachment
上記実施形態のステップS21(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図1に示すカメラ40の撮影範囲を、コントローラ60が自動的に制御した。一方、図7に示す本変形例のステップS121では、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示す撮影範囲ガイダンス装置170が、カメラ40の撮影範囲のガイダンスを行う。具体的には、撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。撮影範囲ガイダンス装置170は、例えば、文字、図形、音などを出力する。撮影範囲ガイダンス装置170が出力した情報を得た操作者は、カメラ40の撮影範囲を(カメラ撮影範囲変更部45を)操作する。ここで、コントローラ60は、カメラ40の撮影範囲が、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になっているか否かを判定してもよい。カメラ40の撮影範囲が、簡素背景範囲A内に先端アタッチメント25が映り得るような範囲になった場合は、図7に示すステップS23に進むようにしてもよい。
In step S21 (see FIG. 3) of the above embodiment, the
図6に示す変形例1の先端アタッチメント寸法計測装置101による効果は次の通りである。
The effects of the tip attachment
(第4の発明の効果)
[構成4]先端アタッチメント寸法計測装置101は、撮影範囲ガイダンス装置170を備える。撮影範囲ガイダンス装置170は、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲を操作者に操作させるための情報を出力する。
(Effect of Fourth Invention)
[Structure 4] The tip attachment
上記[構成4]により、図4に示す簡素背景範囲A内に先端アタッチメント25が映り得るように、図6に示すカメラ40の撮影範囲をコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。
According to the above [Structure 4], the
(変形例2)
図8および図9を参照して、変形例1の先端アタッチメント寸法計測装置201について、上記実施形態との相違点を説明する。先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。
(Modification 2)
The difference between the tip attachment
上記実施形態のステップS23(図3参照)では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、コントローラ60(図2参照)が自動的に制御した。一方、図9に示す本変形例のステップS223では、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、図8に示す作業装置姿勢ガイダンス装置270が、作業装置20(図4参照)の姿勢のガイダンスを行う。具体的には、作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。作業装置姿勢ガイダンス装置270は、例えば、文字、図形、音などを出力する。作業装置姿勢ガイダンス装置270は、撮影範囲ガイダンス装置170(図6参照)と兼用されてもよい。作業装置姿勢ガイダンス装置270が出力した情報を得た操作者は、図4に示す作業装置20の姿勢を(作業装置駆動部47を)操作する。ここで、コントローラ60は、作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっているか否かを判定してもよい。作業装置20の姿勢が、簡素背景範囲A内に先端アタッチメント25が映るような姿勢になっている場合は、図9に示すステップS31に進むようにしてもよい。
In step S23 (see FIG. 3) of the above embodiment, the controller 60 (see FIG. 2) automatically controls the posture of the
図8に示す変形例2の先端アタッチメント寸法計測装置201による効果は次の通りである。
The effect of the tip attachment
(第5の発明の効果)
[構成5]先端アタッチメント寸法計測装置201は、作業装置姿勢ガイダンス装置270を備える。作業装置姿勢ガイダンス装置270は、図4に示す簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を操作者に操作させるための情報を出力する。
(Effect of Fifth Invention)
[Structure 5] The tip attachment
上記[構成5]により、簡素背景範囲A内に先端アタッチメント25が映るように、作業装置20の姿勢を、図8に示すコントローラ60が自動的に制御する場合に比べ、コントローラ60による処理を簡素にできる。
According to the above [Structure 5], the processing by the
(他の変形例)
上記実施形態および変形例(以下、「上記実施形態など」)は様々に変形されてもよい。例えば、変形例1と変形例2とが組み合わされてもよい。例えば、図2、図6、およびび図8に示すブロック図の各構成要素の接続は変更されてもよい。例えば、図3、図7、および図9に示すフローチャートのステップの順序は変更されてもよい。例えば、上記実施形態などの構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。
(Other variants)
The above-described embodiment and modified examples (hereinafter, “the above-described embodiment and the like”) may be variously modified. For example, the modification 1 and the modification 2 may be combined. For example, the connection of each component of the block diagram shown in FIGS. 2, 6 and 8 may be changed. For example, the order of the steps in the flowcharts shown in FIGS. 3, 7, and 9 may be changed. For example, the number of components of the above embodiment may be changed, and some of the components may not be provided.
例えば、上記実施形態などでは、図3に示すステップS41では、図1に示すコントローラ60が、寸法計測時に先端アタッチメント25を自動的に揺動させた。一方、操作者が、寸法計測時に先端アタッチメント25を操作して揺動させてもよい。この場合、作業装置姿勢ガイダンス装置270(図8参照)などのガイダンス装置を用いて、操作者に対して、先端アタッチメント25を揺動させるようにガイダンスを行ってもよい。この場合、コントローラ60は、先端アタッチメント25の寸法計測が可能なように先端アタッチメント25が揺動されたか否かを、先端アタッチメント角度センサ35の検出値に基づいて判定してもよい。
For example, in the above embodiment, in step S41 shown in FIG. 3, the
例えば、上記の通り、カメラ40の撮影範囲は、可変でなくてもよい。また、コントローラ60は、カメラ画像Imの一部を、寸法計測に使う部分として設定してもよい。カメラ画像Im(図4参照)における、寸法計測に使う部分の位置や大きさなどは、可変でもよい。例えば、カメラ40の撮影範囲が固定、かつ、上記の寸法計測に使う部分が可変でもよい。例えば、カメラ40の撮影範囲が可変、かつ、上記の寸法計測に使う範囲が可変でもよい。
For example, as described above, the shooting range of the
1、101、201 先端アタッチメント寸法計測装置
10 作業機械
13 上部旋回体
20 作業装置
25 先端アタッチメント
25a 回転軸
25b 基準位置
25m マーカー
30 作業装置姿勢センサ
40 カメラ
60 コントローラ
170 撮影範囲ガイダンス装置
270 作業装置姿勢ガイダンス装置
A 簡素背景範囲
X 幅寸法
Y 縦寸法
1, 101, 201 Tip attachment dimensional measuring device 10
Claims (5)
前記上部旋回体に取り付けられ、前記先端アタッチメントを含む画像を撮影するカメラと、
コントローラと、
を備え、
前記コントローラは、
前記カメラに撮影された画像の中から、画像の時間的変化の度合いが所定値以下の範囲である簡素背景範囲を決定し、
前記簡素背景範囲内に前記先端アタッチメントが映った画像であって、回転軸を中心に揺動している前記先端アタッチメントの画像を、前記カメラに撮影させ、
前記カメラに撮影された画像に基づいて、前記回転軸の方向における前記先端アタッチメントの画像上の幅寸法を取得し、取得した画像上の幅寸法から前記先端アタッチメントの実際の幅寸法を求め、
前記先端アタッチメントの基準位置から先端までの、前記回転軸の方向に直交する方向における寸法を縦寸法としたとき、
前記カメラに撮影された画像に基づいて、前記先端アタッチメントを揺動させたときの前記先端アタッチメントの画像上の縦寸法の最大値を取得し、取得した画像上の縦寸法の最大値から前記先端アタッチメントの実際の縦寸法を求める、
先端アタッチメント寸法計測装置。 A work device that is attached to the upper swing body of a work machine and has a replaceable tip attachment at the tip.
A camera attached to the upper swing body and taking an image including the tip attachment,
With the controller
With
The controller
From the images taken by the camera, a simple background range in which the degree of temporal change of the image is within a predetermined value is determined.
An image of the tip attachment reflected in the simple background range, and an image of the tip attachment swinging around a rotation axis, is taken by the camera.
Based on the image taken by the camera, the width dimension on the image of the tip attachment in the direction of the rotation axis is acquired, and the actual width dimension of the tip attachment is obtained from the width dimension on the acquired image.
When the dimension from the reference position to the tip of the tip attachment in the direction orthogonal to the direction of the rotation axis is the vertical dimension,
Based on the image taken by the camera, the maximum value of the vertical dimension on the image of the tip attachment when the tip attachment is swung is acquired, and the tip is obtained from the maximum value of the vertical dimension on the acquired image. Find the actual vertical dimension of the attachment,
Tip attachment dimensional measuring device.
前記作業装置の姿勢を検出する作業装置姿勢センサを備え、
前記コントローラは、前記作業装置姿勢センサに検出された前記作業装置の姿勢に基づいて、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。 The tip attachment dimensional measuring device according to claim 1.
A work device posture sensor for detecting the posture of the work device is provided.
The controller acquires a position in which the reference position is reflected in the image captured by the camera based on the posture of the work device detected by the work device posture sensor.
Tip attachment dimensional measuring device.
前記基準位置に取り付けられる、または、前記カメラから見たときに前記基準位置に対応する位置に取り付けられるマーカーを備え、
前記コントローラは、前記カメラに撮影された画像から前記マーカーを認識することで、前記カメラに撮影された画像中の前記基準位置が映る位置を取得する、
先端アタッチメント寸法計測装置。 The tip attachment dimensional measuring device according to claim 1 or 2.
A marker that is attached to the reference position or is attached to a position corresponding to the reference position when viewed from the camera.
By recognizing the marker from the image taken by the camera, the controller acquires the position where the reference position is reflected in the image taken by the camera.
Tip attachment dimensional measuring device.
前記簡素背景範囲内に前記先端アタッチメントが映り得るように、前記カメラの撮影範囲を操作者に操作させるための情報を出力する撮影範囲ガイダンス装置を備える、
先端アタッチメント寸法計測装置。 The tip attachment dimensional measuring device according to any one of claims 1 to 3.
A shooting range guidance device for outputting information for causing an operator to operate the shooting range of the camera is provided so that the tip attachment can be projected within the simple background range.
Tip attachment dimensional measuring device.
前記簡素背景範囲内に前記先端アタッチメントが映るように、前記作業装置の姿勢を操作者に操作させるための情報を出力する作業装置姿勢ガイダンス装置を備える、
先端アタッチメント寸法計測装置。 The tip attachment dimensional measuring device according to any one of claims 1 to 4.
A work device posture guidance device for outputting information for causing an operator to operate the posture of the work device so that the tip attachment is reflected in the simple background range is provided.
Tip attachment dimensional measuring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007339A JP6954145B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment dimensional measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007339A JP6954145B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment dimensional measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019124663A JP2019124663A (en) | 2019-07-25 |
JP6954145B2 true JP6954145B2 (en) | 2021-10-27 |
Family
ID=67398464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018007339A Active JP6954145B2 (en) | 2018-01-19 | 2018-01-19 | Tip attachment dimensional measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6954145B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4962415B2 (en) * | 2008-05-30 | 2012-06-27 | 株式会社明電舎 | Cutting edge position measuring device for construction machinery |
JP2012233353A (en) * | 2011-05-02 | 2012-11-29 | Komatsu Ltd | Calibration system for hydraulic shovel and calibration method for the hydraulic shovel |
JP6393412B2 (en) * | 2015-04-24 | 2018-09-19 | 株式会社日立製作所 | Volume estimation apparatus and hydraulic excavator provided with the same |
JP6681747B2 (en) * | 2016-03-02 | 2020-04-15 | 株式会社神戸製鋼所 | Attachment recognition device |
-
2018
- 2018-01-19 JP JP2018007339A patent/JP6954145B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019124663A (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5227139B2 (en) | Construction machinery | |
WO2015182455A1 (en) | Work state detection system of work vehicle, and work vehicle | |
US10544567B2 (en) | Method and system for monitoring a rotatable implement of a machine | |
JP6995767B2 (en) | Measurement system, work machine and measurement method | |
JP5227841B2 (en) | Ambient monitoring device | |
JP4996928B2 (en) | Work machine ambient monitoring device | |
JP7305823B2 (en) | Excavator and measurement system for excavator | |
JP6232497B2 (en) | External recognition device | |
JP7023813B2 (en) | Work machine | |
JPWO2012053105A1 (en) | Work machine periphery monitoring device | |
JP7080750B2 (en) | Display control system, remote control system, display control device, and display control method | |
JP6947659B2 (en) | Construction machine position estimation device | |
KR101359649B1 (en) | Obstacle detection sensor | |
JP2016065422A (en) | Environment recognition device and excavator of using environment recognition device | |
JP6651607B2 (en) | Excavator | |
JP2019203291A (en) | Hydraulic shovel and system | |
JP6954145B2 (en) | Tip attachment dimensional measuring device | |
JP7114907B2 (en) | Tip attachment discriminator | |
WO2022065117A1 (en) | Position detection system | |
KR20220010221A (en) | Excavator bucket MONITORING APPARATUS BASED ON AROUND VIEW MONITORING AND METHOD THEREOF | |
JP7458262B2 (en) | Arm position detection system for construction machinery | |
JP7428052B2 (en) | Surrounding detection device for working machines | |
JP7263287B2 (en) | working machine | |
WO2023276285A1 (en) | Intrusion detection system | |
KR20210075487A (en) | Apparatus for generating image for heavy equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6954145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |