JP6352797B2 - Work machine ambient monitoring device - Google Patents
Work machine ambient monitoring device Download PDFInfo
- Publication number
- JP6352797B2 JP6352797B2 JP2014257802A JP2014257802A JP6352797B2 JP 6352797 B2 JP6352797 B2 JP 6352797B2 JP 2014257802 A JP2014257802 A JP 2014257802A JP 2014257802 A JP2014257802 A JP 2014257802A JP 6352797 B2 JP6352797 B2 JP 6352797B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- surrounding
- unit
- display image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 16
- 238000001514 detection method Methods 0.000 claims description 39
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 39
- 239000002131 composite material Substances 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 240000004050 Pentaglottis sempervirens Species 0.000 description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、作業機械の周囲監視装置に関する。 The present invention relates to a surrounding monitoring device for a work machine.
従来、作業機械の上部旋回体に取り付けられる距離画像センサとその作業機械の周囲に存在する物体との間の距離を距離画像センサの画素ごとに演算し、距離が所定値以下の画素によって形成される画素領域に対応する枠を表示画像上に重畳させる周囲監視装置が知られている(特許文献1)。 Conventionally, a distance between a distance image sensor attached to the upper swing body of the work machine and an object existing around the work machine is calculated for each pixel of the distance image sensor, and the distance is formed by pixels having a predetermined value or less. A surrounding monitoring device that superimposes a frame corresponding to a pixel area on a display image is known (Patent Document 1).
特許文献1に記載の方法では、表示画像上に重畳させる枠は、検出された物体の形状、大きさなど、物体の検出結果に大きく影響される。たとえば、物体が移動すると、その移動に伴って物体の検出位置、向きが変わり、重畳する枠の形状が変化する。表示画像上に重畳させる枠などのマークの大きさが連続的に変化する画面は見づらい。 In the method described in Patent Document 1, the frame to be superimposed on the display image is greatly influenced by the detection result of the object such as the shape and size of the detected object. For example, when the object moves, the detection position and orientation of the object change with the movement, and the shape of the overlapping frame changes. It is difficult to see a screen in which the size of a mark such as a frame to be superimposed on the display image changes continuously.
請求項1の発明に係る作業機械の周囲監視装置は、作業機械の周囲環境を撮影する複数のカメラからそれぞれ撮影画像を取得する周囲画像取得部と、前記周囲画像取得部により取得された複数の撮影画像に基づいて表示画像を生成する表示画像生成部と、を備える作業機械の周囲監視装置であって、前記周囲画像取得部により取得された複数の撮影画像それぞれの中で、移動物体を検出する検出部と、前記表示画像における前記移動物体の位置を示す基準点を、前記複数の撮影画像それぞれの中の、当該移動物体の、前記作業機械に最も近い位置に設定する設定部と、を備え、前記表示画像生成部は、各前記基準点に、前記検出部により検出された前記移動物体の位置を表すマークを重畳表示し、重畳表示される前記移動物体の位置を表すマークは、前記表示画像において当該移動物体の大きさが時間とともに変化した場合であっても、一定の大きさとする。 A work machine surroundings monitoring device according to a first aspect of the present invention includes a surrounding image acquisition unit that acquires captured images from a plurality of cameras that capture the surrounding environment of the working machine, and a plurality of acquired surrounding images . a surroundings monitoring device for a working machine and a display image generating unit that generates a display image based on the captured image, among the plurality of captured images acquired by the peripheral image acquisition unit, detecting a moving object And a setting unit that sets a reference point indicating the position of the moving object in the display image to a position of the moving object closest to the work machine in each of the plurality of captured images. wherein the display image generating unit, while to each of said reference point, the detection unit by superimposing displays a mark representing the position of the detected the moving object represents the position of the moving object to be superimposed and displayed Click, the size of the moving object in the display image even when the change over time, the constant magnitude.
本発明によれば、障害物検出の検出結果を見易く表示することができる。 According to the present invention, the detection result of the obstacle detection can be displayed in an easily viewable manner.
以下、図面を参照して本発明の一実施の形態による作業機械の周囲監視装置について詳細に説明する。本実施の形態では、作業機械の一例として、鉱山での作業等に用いられるダンプトラックに周囲監視装置を搭載した場合について説明する。なお、以下において、「左方」とはダンプトラックの運転室から見た左方向であり、「右方」とはダンプトラックの運転室から見た右方向である。 Hereinafter, a working machine surroundings monitoring apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. In this embodiment, as an example of a work machine, a case where a surrounding monitoring device is mounted on a dump truck used for work in a mine or the like will be described. In the following, “left” is the left direction seen from the cab of the dump truck, and “right” is the right direction seen from the cab of the dump truck.
図1は、本発明の一実施の形態による周囲監視装置を搭載するダンプトラック301を模式的に示した全体斜視図である。ダンプトラック301は、前面上部に運転室310を有しており、運転室310の前方にダンプトラック301の前方を撮影する前方カメラ302が設けられている。ダンプトラック301の左側面、たとえばダンプトラック301の左方前輪401aの上方には、ダンプトラック301の左方を撮影する左方カメラ303が設けられている。ダンプトラック301の後部、荷台403の下には、ダンプトラック301の後方を撮影する後方カメラ304が設けられている。ダンプトラック301の右側面、たとえばダンプトラック301の右方前輪401bの上方には、ダンプトラック301の右方を撮影する右方カメラ305が設けられている。前方カメラ302、左方カメラ303、後方カメラ304、および右方カメラ305は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面を主に撮影するために所定の俯角をつけて設置されている。
FIG. 1 is an overall perspective view schematically showing a
図1には、前方カメラ302、左方カメラ303、後方カメラ304および右方カメラ305により撮影された画像の一例が図示されている。前方画像306は、前方カメラ302により撮影される画像の一例である。左方画像307は、左方カメラ303により撮影される画像の一例である。後方画像308は、後方カメラ304により撮影される画像の一例である。右方画像309は、右方カメラ305により撮影される画像の一例である。図2(a)〜(d)に例示されるように、前方画像306、左方画像307、後方画像308および右方画像309には、それぞれ前方抽出領域601、左方抽出領域602、後方抽出領域603、右方抽出領域604が設定されている。周囲監視装置は、前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604の各画像を用いて図2(e)に示すような俯瞰画像605を生成し、俯瞰画像605を運転室310(図1)に設けられた表示モニタ(不図示)などに表示する。なお、以降の説明では、前方画像306、左方画像307、後方画像308および右方画像309のことを周囲画像306〜309と略記する。また、前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604のことを抽出領域601〜604と略記する。
FIG. 1 shows an example of images taken by the
俯瞰画像605の中央にはダンプトラック301の位置を示す自車アイコン610が配置されており、自車アイコン610の上側には前方抽出領域601の各画素を座標変換して俯瞰画像とした前方変換画像606が配置されている。同様に、自車アイコン610の左側には左方抽出領域602の各画素を座標変換して俯瞰画像とした左方変換画像607が配置されており、自車アイコン610の下側には後方抽出領域603の各画素を座標変換して俯瞰画像とした後方変換画像608が配置されており、自車アイコン610の右側には右方抽出領域604の各画素を座標変換して俯瞰画像とした右方変換画像609が配置されている。前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604の形状は、前方変換画像606、左方変換画像607、後方変換画像608および右方変換画像609が図2(e)に図示したように重なることなく境界線で接するように予め定められている。自車アイコン610には、運転室310、左方前輪401a、右方前輪401bなどの位置を示す画像が含まれており、ユーザがダンプトラック301の向きを容易に判断できるようにしている。
A
図3は、本発明の一実施の形態による周囲監視装置のブロック図である。周囲監視装置100は、コントローラ110と、表示モニタ111とを備える。コントローラ110は、不図示のCPU、RAM、ROMなどを有し、ROMなどに予め記憶されたプログラムを実行することにより、周囲画像取得部101、障害物検出部102、重畳位置算出部103、表示画像生成部104および速度取得部105として機能する。表示モニタ111は、図1に示した運転室310に設けられる表示モニタなどを含む。
FIG. 3 is a block diagram of a surrounding monitoring apparatus according to an embodiment of the present invention. The surrounding
周囲画像取得部101は、図1に示した前方カメラ302、左方カメラ303、後方カメラ304および右方カメラ305から周囲画像306〜309(図1参照)に関する画像情報を所定のフレームレートで順次取得する。周囲画像取得部101は、取得した周囲画像306〜309に関する画像情報を障害物検出部102や表示画像生成部104に出力する。
The surrounding
障害物検出部102は、周囲画像取得部101により順次取得された複数の周囲画像306〜309に関する画像情報の中から作業員や自動車など、ダンプトラック301の周囲を移動する障害物を検出する。以降、障害物検出部102により検出された障害物の画像に関して、周囲画像における障害物の画像の領域を物体領域と呼ぶ。なお、障害物検出処理の詳細は後述する。
The
図3の重畳位置算出部103は、上述した移動物体の位置を表すマークを俯瞰画像605の中に重畳表示する際の基準点を、周囲画像306〜309に設定する。表示画像生成部104は、周囲画像取得部101により取得された周囲画像306〜309に基づいて、車両上方視点からの俯瞰画像605を生成する。ダンプトラック301が走行しているときは、表示画像生成部104は、生成された俯瞰画像605を表示画像として表示モニタ111に出力する。また、ダンプトラック301が発進する前、すなわちダンプトラック301が駐停車している場合には、表示画像生成部104は、重畳位置算出部103により設定された基準点に基づいて、上記マークを俯瞰画像605に重畳表示した合成画像を表示画像として生成する。マーク表示に関す詳細説明は後述する。
The superimposition
速度取得部105は、ダンプトラック301の走行速度に関する速度情報を取得する。速度取得部105は、たとえば、ダンプトラック301の前輪または後輪の角速度、GPS信号などの情報を取得して、ダンプトラック301の走行速度を算出する。なお、ダンプトラック301の他の車載システムからダンプトラック301の走行速度に関する情報を取得することにしてもよい。
The
(障害物検出処理)
図4(a)〜(d)は、障害物検出部102により実行される障害物検出処理について説明するための図である。図4(a)および(b)は、周囲画像取得部101により所定のフレームレートで取得された連続する2フレームの画像の一例を示す。図4(b)は、時刻t0に周囲画像取得部101により右方カメラ305から取得されたf0フレーム目の右方画像309bを示す。図4(a)は、図4(b)よりも1フレーム前、すなわちf0−1フレーム目の右方画像309aを示す。換言すると、図4(a)は、時刻t0−Δtにおいて右方カメラ305から取得した映像を処理した右方画像309aを示す。右方画像309aには、自動車の像410が右方抽出領域604の右端近傍に存在している。f0−1フレームからf0フレームの期間Δt、すなわち時刻t0−Δtから時刻t0の期間Δtに自動車は移動しており、右方画像309bでは、自動車の像411が右方抽出領域604の中央近傍に存在している。
(Obstacle detection process)
FIGS. 4A to 4D are diagrams for explaining the obstacle detection processing executed by the
右方画像309aおよび右方画像309bは、不図示の複数の小領域に分割されている。たとえば、右方画像309aが640×480画素で、小領域が8×8画素の領域の場合、4800個の小領域に分割されている。
The
障害物検出部102は、右方画像309aの各小領域に対し右方画像309bにおける同一または周辺の位置の小領域との相関演算を行う。障害物検出部102は、それらの相関演算の結果に基づいて、右方画像309aの小領域ごとにそれぞれに最も相関が高い右方画像309bの小領域を検出する。障害物検出部102は、右方画像309aの小領域と、その小領域と最も相関が高い右方画像309bの小領域との位置関係を表す動ベクトル、すなわち、右方画像309aの各小領域の画像がそれぞれΔtの間にどの方向にどれだけ移動したかを示すベクトルを右方画像309aの各小領域ごとに算出する。障害物検出部102は、動ベクトルの方向と大きさが同一または類似である小領域には同一の移動物体の像が含まれていると判断し、それらの小領域を統合し、移動物体に関する物体領域として検出する。なお、右方画像309aの各小領域に対し右方画像309bにおける同一または周辺の位置の小領域との相関演算を行う際、右方画像309aの各小領域に対して動ベクトルが算出されている場合は、その動ベクトルに基づいてその相関演算の対象とする右方画像309bの小領域の範囲を設定することにしてもよい。たとえば、動ベクトルによって指定された右方画像309bの小領域とその周辺の小領域との相関演算を行うことにしてもよい。
The
図4(c)および図4(d)は、障害物検出部102による検出結果の一例を示す。図4(c)は、障害物検出部102により自動車の像411の全体が移動物体として検出された場合の物体領域412を示す。図4(d)は、日光、ダンプトラック301の各種灯具からの光の影響で自動車の像411の一部に白とび等が発生したため、自動車の像411の一部だけが移動物体として検出された場合の物体領域413を示す。このように移動物体検出は、移動物体を照らす光源による影響が大きく、同一物体に対する検出結果であっても物体領域の大きさが時間とともに変化することがある。
FIG. 4C and FIG. 4D show examples of detection results by the
(マーク表示の説明)
重畳位置算出部103は、周囲画像306〜309の中から検出された物体領域のうち、前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604に含まれる物体領域について、ダンプトラック301に最も近い画素を基準画素として設定する。たとえば、図4(c)に例示された物体領域412に対しては、図5(a)に示す位置に基準点P0が設定される。また、図4(d)に例示された物体領域413に対しては、図5(b)に示す位置に基準点P1が設定される。
(Explanation of mark display)
The superimposed
図6は、マークの表示例を示す図である。表示画像生成部104は、重畳位置算出部103により設定された基準点P0を俯瞰画像605の中に座標変換し、図6に例示するように、変換後の位置に所定の色、形状、および大きさのマーク700を俯瞰画像605に重畳し、合成画像701を表示画像として生成する。なお、図6(a)では、マーク700を一定の直径を有する黒色の円環とし、そのマーク700を、マーク700の中心が基準点P0と一致するように俯瞰画像605の上に重畳させるようにしている。また、図6(b)に示すように円環状のマーク700の縁の内、自車アイコン610に最も近い部位が基準点P0と一致するように俯瞰画像605の上に重畳させてもよい。図6(b)の例では、円環状のマーク700の外周のうち自車アイコン610に最も近い左端の部位が基準点P0と一致するように俯瞰画像605の上に重畳させている。このようにすることで、マーク700を移動物体に接近させ、マーク700を移動物体上に確実に表示させることができる。
FIG. 6 is a diagram illustrating a display example of a mark. The display
また、複数種類のマーク700を予め用意しておき、ユーザが、その中から任意の一つを選択できるようにしてもよい。図7は、図3の表示モニタ111に表示される設定画面800の一例を示したものである。表示画像生成部104は、図7に示すような設定画面800を生成し、その設定画面800を表示モニタ111に表示させる。設定画面800には、マーク700に用いる色の数および種類とマーク700の形状および大きさの設定に用いるメニュー画面801と、設定中のマーク700を用いた合成画像の確認画面802とが表示されている。
Also, a plurality of types of
図8は、マーク700の表示形態の例を示す図である。図8に示した例では、マーク700に用いる色の数は、最大2色とし、黒色、赤色、緑色の3色の中から選択されることにしている。なお、図8では、赤色や緑色は、ハッチングを用いて表現されている。マーク700の形状は円環、四角形、三角形の3種類の中から選択可能で、大きさについても大中小の3種類の中から選択することができる。図7のメニュー画面801を用いてマーク700の色、形状、大きさの設定をユーザに行わせることで、各ユーザにとってより一層見易い表示を行うことができる。
FIG. 8 is a diagram illustrating an example of a display form of the
なお、図8に例示したマーク700は、あくまでも一例であって、これらのパターンに限定されるものではない。設定画面800を用いて入力されたマーク700の各設定値は、コントローラ110に備わる不図示のメモリに記録され、合成画像を生成する際に参照される。
Note that the
次に、図9に示すフローチャートを用いて、周囲監視装置100の演算処理について説明する。ユーザがダンプトラック301の運転室310に搭乗し、ダンプトラック301を起動すると、コントローラ110は図9のステップS200に進んでマーク700の色、形状および大きさに関してユーザによる設定を要求する。
Next, calculation processing of the
コントローラ110は、マーク700に関する設定が完了すると、ステップS201に進み、周囲画像取得部101により周囲画像306〜309に関する画像情報を取得する。周囲画像306〜309に関する画像情報を取得したコントローラ110は、ステップS202に進み、前フレームの周囲画像306〜309に関する画像情報が存在するか否かを判定する。このような判定を行うのは、障害物検出部102による動ベクトルの算出を行うためには複数の時点における周囲画像306〜309が必要であるからである。周囲画像取得部101により周囲画像306〜309に関する画像情報の取得を開始した直後は、前フレームの周囲画像306〜309が存在しないためステップS202を否定判定し、ステップS201に進んで次フレームの周囲画像306〜309に関する画像情報を取得する。次フレームの周囲画像306〜309に関する画像情報を取得したコントローラ110は、先に取得した周囲画像306〜309を前フレームの周囲画像306〜309に関する画像情報として判断し、ステップS202を肯定判定してステップS203に進む。ステップS203では、コントローラ110は、ステップS201で取得した最新の周囲画像306〜309に基づいて俯瞰画像605を生成する。
When the setting related to the
コントローラ110は、俯瞰画像605の生成が終わると、ステップS204に進み、障害物検出部102により移動物体を検出し、物体領域を検出する。すなわち、前述したように、コントローラ110は、障害物検出部102により、二つの異なるフレームの周囲画像に関してそれらの周囲画像を構成する小領域ごとに動ベクトルを算出する。算出された動ベクトルの大きさと方向が同一または類似の小領域を統合して、移動物体に関する物体領域を検出する。なお、ダンプトラック301の周辺に移動物体が存在しない場合は、物体領域は検出されない。
When the generation of the bird's-
ステップS204における障害物検出部102による移動物体検出処理が終わると、コントローラ110は、ステップS205に進み、障害物検出部102により物体領域が検出されたか否かを判定する。コントローラ110は、障害物検出部102により物体領域が検出されている場合、ステップS206に進み、その物体領域が前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604のいずれかの中に含まれるか否かを判定する。物体領域が前方抽出領域601、左方抽出領域602、後方抽出領域603および右方抽出領域604のいずれかの中に含まれる場合、コントローラ110は、ステップS206からステップS207へ進む。コントローラ110は、ステップS207において、重畳位置算出部103により、その物体領域のうち最も近い画素を基準点に設定する。
When the moving object detection process by the
一方、ステップS205において障害物検出部102により物体領域が検出されていない場合、およびステップS206において物体領域が抽出領域に含まれていない場合、コントローラ110は、ステップS210に進む。ステップS210では、コントローラ110は、表示画像生成部104により、ステップS203で生成した俯瞰画像を表示画像として表示モニタ111に出力する。
On the other hand, if the object area is not detected by the
ステップS208では、コントローラ110は、表示画像生成部104により、ステップS203で生成した俯瞰画像605のうちステップS207で設定した基準点に対応する位置に一定の大きさのマーク700を重畳し、合成画像701を生成する。続くステップS209では、コントローラ110は、表示画像生成部104により、その合成画像701を表示画像として表示モニタ111に出力する。
In step S208, the
コントローラ110は、ステップS209またはステップS210において表示画像を表示モニタ111に出力すると、ステップS211に進み、速度取得部105により取得された速度情報に基づいてダンプトラック301が駐車または停車しているか否かを判定する。コントローラ110は、ダンプトラック301が駐車または停車している場合、ステップS211を肯定判定してステップS201の処理に戻る。ダンプトラック301が発進し、ダンプトラック301が移動している場合は、ステップS211を否定判定してステップS212の処理に進む。
When the
ステップS212では、コントローラ110は、ステップS201と同様に周囲画像取得部101により周囲画像306〜309に関する画像情報を取得する。ステップS212において画像情報を取得すると、コントローラ110は、表示画像生成部104により、ステップS213においてその画像情報を用いて俯瞰画像605を生成し、ステップS214において俯瞰画像605を表示画像として出力し、ステップS211の判定に戻る。
In step S212, the
上述した実施の形態によれば、次の作用効果が得られる。
(1)上述の周囲監視装置100は、周囲画像取得部101と表示画像生成部104と障害物検出部102と重畳位置算出部103として機能するコントローラ110を備える。周囲画像取得部101は、作業機械、たとえばダンプトラック301の周囲環境を撮影する前方カメラ302、左方カメラ303、後方カメラ304および右方カメラ305から周囲画像を取得する。表示画像生成部104は、周囲画像取得部101により取得された撮影画像に基づいて表示画像を生成する。上述の実施の形態では、表示画像生成部104は、表示画像として俯瞰画像605を生成する。障害物検出部102は、周囲画像取得部101により取得された複数の周囲画像の中から移動物体を検出する。重畳位置算出部103は、俯瞰画像605における移動物体の位置を示す基準点を設定する。たとえば、重畳位置算出部103は、障害物検出部102により移動物体が検出された画像領域、たとえば物体領域412の中に基準点P0を設定する。この基準点P0は、表示画像生成部104により俯瞰画像605の中の位置に座標変換される。表示画像生成部104は、重畳位置算出部103により算出された基準点P0に一定の大きさのマーク700を重畳させて合成画像701を生成する。
According to the embodiment described above, the following operational effects can be obtained.
(1) The surrounding
図4に示したように、同一物体に対する検出結果であっても、周囲環境条件によって物体領域の大きさ・形状が時間とともに変化する場合がある。従来の周囲監視装置では、物体領域を囲う矩形枠を俯瞰画像605に重畳することにより、移動物体の位置を報知していた。この方法では、物体領域の大きさが時間とともに変化すると、矩形枠の大きさも時間とともに変化し、見づらい表示となることがあった。
As shown in FIG. 4, even if the detection result is for the same object, the size and shape of the object region may change with time depending on the ambient environment conditions. In the conventional surrounding monitoring device, the position of the moving object is notified by superimposing a rectangular frame surrounding the object region on the
一方、本実施の形態では、図5に示すように物体領域の大きさ・形状が時間とともに変化したとしても、移動物体の位置を報知するマーク700の表示形態(大きさ、色、形状等)は一定であるので、障害物(移動物体)の視認性に優れている。その結果、ユーザが周囲環境を迅速かつ正確に判断し、適切な対応を行うことが可能となる。
On the other hand, in the present embodiment, as shown in FIG. 5, even if the size / shape of the object region changes with time, the display form (size, color, shape, etc.) of the
(2)重畳位置算出部103は、図5(a)および(b)に示すように、障害物検出部102により障害物が検出された物体領域のうち、ダンプトラック301に最も近い位置、換言すると俯瞰画像605におけるダンプトラック301(自車アイコン610)に最も近い位置、すなわちダンプトラック301に最も衝突するおそれが高い位置を基準点P0に設定する。したがって、合成画像701を見たユーザに対して衝突の危険性の高低を明瞭に知らせることができる。もちろん、物体領域の他の位置を基準点P0に設定しても構わない。
(2) As shown in FIGS. 5A and 5B, the superimposed
(3)図8に示すような表示形態の異なる複数のマークのいずれか一つをユーザにより選択させるために、選択用の入力部を備えるようにしても良い。上述した実施の形態では、表示モニタ111に図7に示すような設定画面800を表示させて、ユーザにマーク700の表示形態(大きさ、形状、色、色の組み合わせ)を選択させるようにしている。そして、表示画像生成部104は、入力部(表示モニタ111)によって選択されたマーク700を基準点に対応する表示画像上の位置に重畳表示させる。したがって、各ユーザがそれぞれ見易いと思う大きさでマーク700を表示することができる。なお、本実施の形態では表示モニタ111を用いてマーク700を選択するような構成としたが、スイッチ等の入力部を用いて選択させるようにしてもよい。
(3) In order to allow the user to select any one of a plurality of marks having different display forms as shown in FIG. 8, an input unit for selection may be provided. In the embodiment described above, the
次のような変形も本発明の範囲内であり、変形例の一つもしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(変形例1)
上記の実施の形態では、表示画像生成部104は、俯瞰画像605にマーク700を重畳させて合成画像701を生成したが、周囲画像にマーク700を重畳させて図10(d)に示すような合成画像901を生成することにしてもよい。図10(d)に示す合成画像901では、図10(c)に示す後方画像308の左右を反転させた後方鏡像画像908が下部に配置される。後方鏡像画像908の左上には、図10(a)に示す左方画像307を反時計回りに90°回転させた回転左方画像907が配置される。後方鏡像画像908の右上には、図10(b)に示す右方画像309を時計回りに90°回転させた回転右方画像909が配置される。また、回転左方画像907と後方鏡像画像908に含まれる移動物体の物体領域には、重畳位置算出部103により算出された各基準点にマーク700が重畳されている。なお、回転左方画像907、後方鏡像画像908および回転右方画像909にマーク700を重畳する処理は、ダンプトラック301が発進した後にも継続して続けることにしてもよい。
(Modification 1)
In the above embodiment, the display
(変形例2)
上記の実施の形態では、表示画像生成部104は、俯瞰画像605や合成画像701などの表示画像を運転室310に設けられた表示モニタ111に出力している。しかし、表示画像生成部104による表示画像の出力先は、運転室310に設けられた表示モニタ111だけに限定されない。たとえば、ダンプトラック301が稼働する作業現場の状況を集中管理する外部管理センタにも表示画像を送信することにしてもよいし、外部管理センタにのみ表示画像を送信することにしてもよい。
(Modification 2)
In the above embodiment, the display
(変形例3)
上記の実施の形態では、周囲画像取得部101は、前方カメラ302、左方カメラ303、後方カメラ304および右方カメラ305からそれぞれ周囲画像306〜309を取得することにした。しかし、周囲画像取得部101が画像情報を取得するカメラの個数は、4個に限定しない。たとえば、運転室310から周囲環境を視認することが特に困難な右方と後方のみにカメラを設けることにしてもよいし、4台以上のカメラを設けることにしてもよい。
(Modification 3)
In the above embodiment, the surrounding
(変形例4)
上記の実施の形態では、本発明に係る周囲監視装置を鉱山での作業等に用いられるダンプトラックに搭載した場合について説明した。しかし、本発明に係る周囲監視装置を搭載する作業機械は、鉱山での作業等に用いられるダンプトラックだけに限定されない。たとえば、通常のダンプトラック、油圧ショベル、クレーン、ホイールローダなど、他の作業機械に本発明に係る周囲監視装置を搭載することにしてもよい。
(Modification 4)
In the above embodiment, the case where the surrounding monitoring apparatus according to the present invention is mounted on a dump truck used for work in a mine has been described. However, the work machine equipped with the surroundings monitoring device according to the present invention is not limited to a dump truck used for work in a mine. For example, the surrounding monitoring device according to the present invention may be mounted on another work machine such as a normal dump truck, a hydraulic excavator, a crane, or a wheel loader.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
100…周囲監視装置、101…周囲画像取得部(周囲画像取得部)、102…障害物検出部(検出部)、103…重畳位置算出部(設定部)、104…表示画像生成部(表示画像生成部)、105…速度取得部、110…コントローラ、111…表示モニタ、301…ダンプトラック、302…前方カメラ、303…左方カメラ、304…後方カメラ、305…右方カメラ、306…前方画像、307…左方画像、308…後方画像、309…右方画像、412,413…物体領域、601…前方抽出領域、602…左方抽出領域、603…後方抽出領域、604…右方抽出領域、605…俯瞰画像、700…マーク、701,901…合成画像、800…設定画面
DESCRIPTION OF
Claims (4)
前記周囲画像取得部により取得された複数の撮影画像に基づいて表示画像を生成する表示画像生成部と、を備える作業機械の周囲監視装置であって、
前記周囲画像取得部により取得された複数の撮影画像それぞれの中で、移動物体を検出する検出部と、
前記表示画像における前記移動物体の位置を示す基準点を、前記複数の撮影画像それぞれの中の、当該移動物体の、前記作業機械に最も近い位置に設定する設定部と、を備え、
前記表示画像生成部は、各前記基準点に、前記検出部により検出された前記移動物体の位置を表すマークを重畳表示し、
重畳表示される前記移動物体の位置を表すマークは、前記表示画像において当該移動物体の大きさが時間とともに変化した場合であっても、一定の大きさとすることを特徴とする作業機械の周囲監視装置。 An ambient image acquisition unit that acquires captured images from a plurality of cameras that capture the surrounding environment of the work machine;
A surroundings monitoring device for a working machine and a display image generating unit that generates a display image based on a plurality of captured images acquired by the peripheral image acquisition unit,
Among the plurality of captured images acquired by the peripheral image acquisition unit, a detecting unit for detecting a moving object,
A setting unit that sets a reference point indicating the position of the moving object in the display image to a position of the moving object closest to the work machine in each of the plurality of captured images ,
The display image generation unit superimposes and displays a mark representing the position of the moving object detected by the detection unit on each reference point ,
Mark representing the position of the moving object that is superimposed on the periphery of the working machine size of the moving object in the display image even when the change with time, characterized in that a constant size Monitoring device.
表示形態の異なる複数の前記マークをユーザに提示し、ユーザによるいずれか1つの選択を受け付ける入力部をさらに備え、
前記表示画像生成部は、前記入力部によって選択を受け付けた前記マークを前記基準点に重畳表示することを特徴とする作業機械の周囲監視装置。 In the surrounding monitoring apparatus of the working machine according to claim 1 ,
Presented to the user a plurality of different said mark of display form, further comprising an input unit for accepting Ruizure or one selected by the user,
The display image generation unit may surroundings monitoring apparatus for a working machine, characterized in that superimpose the mark receives the selection by the input unit to the reference point.
前記表示画像生成部は、前記周囲画像取得部により取得された複数の撮影画像に基づく俯瞰画像を前記表示画像として生成することを特徴とする作業機械の周囲監視装置。 In the surrounding monitoring apparatus of the working machine according to claim 1 or 2 ,
The display image generation unit may surroundings monitoring device for a working machine and generates an overhead image based on a plurality of captured images acquired by the peripheral image acquiring unit as the display image.
前記複数のカメラは、前記作業機械の左方を撮影する左方カメラと、前記作業機械の右方を撮影する右方カメラと、前記作業機械の後方を撮影する後方カメラと、を備え、
前記周囲画像取得部は、前記左方カメラから左方画像を、前記右方カメラから右方画像を、前記後方カメラから後方画像を、それぞれ前記撮影画像として取得し、
前記表示画像生成部は、前記周囲画像取得部により取得され前記後方画像を左右を反転させ、前記左方画像を反時計回りに90°回転させ、前記右方画像を時計回りに90°回転させて配置し、前記表示画像を生成することを特徴とする作業機械の周囲監視装置。 In the surrounding monitoring apparatus of the working machine according to claim 1 or 2,
The plurality of cameras include a left camera for photographing the left side of the work machine, a right camera for photographing the right side of the work machine, and a rear camera for photographing the rear side of the work machine,
The surrounding image acquisition unit acquires a left image from the left camera, a right image from the right camera, and a rear image from the rear camera as the captured images,
The display image generation unit reverses the left and right images acquired by the surrounding image acquisition unit, rotates the left image by 90 ° counterclockwise, and rotates the right image by 90 ° clockwise. A work machine surroundings monitoring device characterized in that the display image is generated by arranging them .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257802A JP6352797B2 (en) | 2014-12-19 | 2014-12-19 | Work machine ambient monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257802A JP6352797B2 (en) | 2014-12-19 | 2014-12-19 | Work machine ambient monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016119559A JP2016119559A (en) | 2016-06-30 |
JP6352797B2 true JP6352797B2 (en) | 2018-07-04 |
Family
ID=56243223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014257802A Active JP6352797B2 (en) | 2014-12-19 | 2014-12-19 | Work machine ambient monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6352797B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018039648A (en) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | Image display system |
JP6796518B2 (en) * | 2017-03-06 | 2020-12-09 | 日立建機株式会社 | Moving object detection system |
JP6917167B2 (en) * | 2017-03-21 | 2021-08-11 | 株式会社フジタ | Bird's-eye view image display device for construction machinery |
KR102771806B1 (en) * | 2019-04-26 | 2025-02-20 | 스미토모 겐키 가부시키가이샤 | Display device, shovel, information processing device |
US11320830B2 (en) | 2019-10-28 | 2022-05-03 | Deere & Company | Probabilistic decision support for obstacle detection and classification in a working area |
JP7211397B2 (en) * | 2020-05-15 | 2023-01-24 | トヨタ自動車株式会社 | Other vehicle display system |
JPWO2023037936A1 (en) * | 2021-09-08 | 2023-03-16 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012040883A (en) * | 2008-12-19 | 2012-03-01 | Panasonic Corp | Device for generating image of surroundings of vehicle |
JP5235843B2 (en) * | 2009-11-16 | 2013-07-10 | アルパイン株式会社 | Vehicle periphery monitoring device and vehicle periphery monitoring method |
-
2014
- 2014-12-19 JP JP2014257802A patent/JP6352797B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016119559A (en) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6352797B2 (en) | Work machine ambient monitoring device | |
JP6262068B2 (en) | Near-body obstacle notification system | |
JP6456584B2 (en) | Perimeter monitoring equipment for work machines | |
JP6052881B2 (en) | Perimeter monitoring equipment for work machines | |
JP6386213B2 (en) | Excavator | |
US10661712B2 (en) | Bird's-eye view image system, bird's-eye view image display method and program | |
JP6541734B2 (en) | Shovel | |
JP6045865B2 (en) | Excavator | |
JP2013205402A (en) | Periphery monitoring apparatus for working machine | |
US20170146343A1 (en) | Outside Recognition Device | |
JP5776995B2 (en) | Vehicle periphery monitoring device | |
WO2017038123A1 (en) | Device for monitoring area around vehicle | |
JP6378801B2 (en) | Excavator | |
JP6420432B2 (en) | Excavator | |
JP2012001126A (en) | Vehicle surroundings monitoring device | |
JP6290497B2 (en) | Excavator | |
JP5752631B2 (en) | Image generation method, image generation apparatus, and operation support system | |
JP6852026B2 (en) | Excavator | |
JP6091821B2 (en) | Excavator | |
JP6391656B2 (en) | Peripheral monitoring device for work machine and work machine | |
JP6262644B2 (en) | Work machine ambient monitoring device | |
JP6602936B2 (en) | Excavator | |
JP2013009267A (en) | Periphery monitoring device | |
JP6301536B2 (en) | Excavator | |
JP2019004484A (en) | Shovel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160914 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161012 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6352797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |