JP6777375B2 - 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 - Google Patents
作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 Download PDFInfo
- Publication number
- JP6777375B2 JP6777375B2 JP2015044050A JP2015044050A JP6777375B2 JP 6777375 B2 JP6777375 B2 JP 6777375B2 JP 2015044050 A JP2015044050 A JP 2015044050A JP 2015044050 A JP2015044050 A JP 2015044050A JP 6777375 B2 JP6777375 B2 JP 6777375B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- work machine
- information
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
- E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Description
図1は、実施形態に係る作業機械の画像表示システム100及び作業機械の遠隔操作システム101を示す図である。作業機械の画像表示システム100(以下、適宜画像表示システム100と称する)は、オペレータが、作業機械である油圧ショベル1を遠隔操作する際に、油圧ショベル1の作業対象、より具体的には、油圧ショベル1が備える作業機2による作業の対象である地形面、すなわち作業対象WA及び作業具であるバケット8を撮像装置19で撮像し、得られた画像を表示装置52に表示させる。このとき、画像表示システム100は、撮像装置19によって撮像された作業対象WAの画像68と、格子画像65と、作業対象WA上においてバケット8の位置を示すための画像60と、を含む作業用の画像69を、表示装置52に表示させる。
図2は、実施形態に係る作業機械である油圧ショベル1を示す斜視図である。油圧ショベル1は、本体部としての車両本体1Bと作業機2とを有する。車両本体1Bは、旋回体である上部旋回体3と走行体としての走行装置5とを有する。上部旋回体3は、機関室3EGの内部に、動力発生装置であるエンジン及び油圧ポンプ等の装置を収容している。実施形態において、油圧ショベル1は、動力発生装置であるエンジンに、例えばディーゼルエンジン等の内燃機関が用いられるが、動力発生装置は内燃機関に限定されない。油圧ショベル1の動力発生装置は、例えば、内燃機関と発電電動機と蓄電装置とを組み合わせた、いわゆるハイブリッド方式の装置であってもよい。また、油圧ショベル1の動力発生装置は、内燃機関を有さず、蓄電装置と発電電動機とを組み合わせた装置であってもよい。
図3は、実施形態に係る作業機械である油圧ショベル1の制御系1Sを示す図である。制御系1Sは、通信装置25と、センサコントローラ26と、作業機制御装置27と、撮像装置19と、距離検出装置20と、グローバル位置演算装置23と、姿勢検出装置32と、IMU(Inertial Measurement Unit:慣性計測装置)33と、油圧システム36と、を備える。通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35によって接続されている。このような構造により、通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35を介して相互に情報をやり取りすることができる。制御系1S内で情報を伝達する信号線は、CAN(Controller Area Network)のような車内信号線が例示される。
図4は、実施形態に係る画像表示システム100及び遠隔操作システム101での座標系を説明するための図である。図5は、油圧ショベル1の背面図である。図6は、撮像装置及び距離検出装置の座標系を説明する図である。画像表示システム100及び遠隔操作システム101においては、グローバル座標系と、ローカル座標系と、撮像装置19の座標系と、距離検出装置20の座標系とが存在する。実施形態において、グローバル座標系とは、例えば、GNSSにおける座標系である。グローバル座標系は、油圧ショベル1の作業区画GAに設置された基準となる、例えば基準杭80の基準位置PGを基準とした、(X、Y、Z)で示される3次元座標系である。図5に示されるように、基準位置PGは、例えば、作業区画GAに設置された基準杭80の先端80Tに位置する。
図5に示されるように、上部旋回体3の左右方向、すなわち幅方向に対する傾斜角θ4は油圧ショベル1のロール角であり、上部旋回体3の前後方向に対する傾斜角θ5は油圧ショベル1のピッチ角であり、z軸周りにおける上部旋回体3の角度は油圧ショベル1のヨー角である。ロール角はIMU33によって検出されたx軸周りの角速度を時間で積分することにより、ピッチ角はIMU33によって検出されたy軸周りの角速度を時間で積分することにより、ヨー角はIMU33によって検出されたz軸周りの角速度を時間で積分することにより求められる。z軸周りの角速度は、油圧ショベル1の旋回角速度ωである。すなわち、旋回角速度ωを時間で積分することにより油圧ショベル1、より具体的には上部旋回体3のヨー角が得られる。
図7は、画像表示システム100及び遠隔操作システム101が実行する制御例のフローチャートである。図8は、撮像装置19及び距離検出装置20と作業対象WAとを示す図である。
図17は、ローディングショベル型の作業機2aを用いる場合の刃先位置画像61を説明するための図である。ローディングショベルでは、バケット8が油圧ショベル1の後方から前方に回動するため、土砂をすくうことができる。ローディングショベル型の作業機2aは、バケット8の刃先8Tが上部旋回体3の前方を向き、上部旋回体3の前方の作業対象である作業対象WAを掘削する。この場合、刃先位置画像61は、図17に示されるように、刃先8Tを水平方向、すなわち重力が作用する方向とは直交する方向の作業対象WAに投影したときに、作業対象WAの表面WAPの位置Pgt(X、Y、Z)で規定される画像である。水平方向は、グローバル座標系(X、Y、Z)におけるX方向又はY方向であり、Zとは直交する方向である。処理装置51は、作業対象WAの表面WAPの位置Pgt(X、Y、Z)の情報を用いて、前述した方法と同様の方法を用いて刃先位置画像61及び第1直線画像62及び第2直線画像63を生成する。処理装置51は、生成した刃先位置画像61、第1直線画像62及び第2直線画像63を、撮像装置19の視点の画像に変換して、作業具案内画像60を得る。
図18は、刃先位置画像を求める処理の第1変形例を示す図である。第1変形例において、処理装置51は、仮想平面70と作業対象WAとの交線71と直交し、かつバケット8の刃先8Tを通る直線72を求める。仮想平面70は、図5及び図6に示される油圧ショベル1のローカル座標系(x、y、z)におけるxz平面である。xz平面は、バケット8の幅方向Wbにおける中心を通る。
図21は、変形例に係る油圧ショベル1の制御系1Saを示す図である。前述した画像表示システム100及び遠隔操作システム101は、図1に示される施設50の操作装置53を用いて油圧ショベル1を遠隔操作した。本変形例は、図2に示される運転室4内に表示装置52が設けられており、油圧ショベル1にオペレータの作業を補助するために、作業用の画像69が表示装置52に表示される。
1B 車両本体
1S、1Sa 制御系
2、2a 作業機
3 上部旋回体
4 運転席
6 ブーム
7 アーム
8 バケット
8B 刃
8T 刃先
16 第1ストロークセンサ
17 第2ストロークセンサ
18 第3ストロークセンサ
19 撮像装置
20 距離検出装置
21、22 アンテナ(GNSSアンテナ)
23 グローバル位置演算装置
26 センサコントローラ
27 作業機制御装置
32 姿勢検出装置
33 IMU
50 施設
51 処理装置
52 表示装置
53、53a 操作装置
60 作業具案内画像(画像)
61 刃先位置画像
62 第1直線画像
63 第2直線画像
65 格子画像
66 第1の線画像
67 第2の線画像
68 画像
69 作業用の画像
100 作業機械の画像表示システム(画像表示システム)
101 作業機械の遠隔操作システム(遠隔操作システム)
Claims (12)
- 作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、
前記作業機の姿勢を検出する姿勢検出装置と、
前記作業機械に備えられ、前記作業機械の作業対象となる地形面までの距離の情報を求める距離検出装置と、
前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の表面に沿って形成される前記作業具に対応する部分の画像を生成し、前記撮像装置によって撮像された前記作業具及び前記作業対象の画像と合成して、表示装置に表示させる処理装置と、
を含む、作業機械の画像表示システム。 - 前記処理装置は、
前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる、請求項1に記載の作業機械の画像表示システム。 - 前記線画像は、
複数の第1の線画像と、前記複数の第1の線画像と交差する複数の第2の線画像とを備えた格子である、請求項2に記載の作業機械の画像表示システム。 - 前記作業具はバケットであり、
前記処理装置は、
前記作業具と対向する前記作業対象上で前記作業具に対応する部分の画像として、前記作業対象上で前記バケットの刃先に対応する部分の線画像を生成する、請求項1から請求項3のいずれか1項に記載の作業機械の画像表示システム。 - 前記処理装置は、
前記バケットの刃先の幅方向における一方の端部側と前記作業対象とを結ぶ直線の画像及び前記バケットの刃先の幅方向における他方の端部側と前記作業対象とを結ぶ直線の画像を生成し、前記撮像装置によって撮像された前記作業対象の画像と合成して、表示装置に表示させる、請求項4に記載の作業機械の画像表示システム。 - 前記処理装置は、
前記作業具又は前記作業対象に関する空間位置情報を求めて前記表示装置に表示させる、請求項1から請求項5のいずれか1項に記載の作業機械の画像表示システム。 - 前記処理装置は、
前記作業具の位置、前記作業具の姿勢、前記作業対象の位置、前記作業対象の相対的な姿勢、前記作業具と前記作業対象との相対的な距離及び前記作業具と前記作業対象との相対的な姿勢の少なくとも1つを求めて前記表示装置に表示させる、請求項1から請求項6のいずれか1項に記載の作業機械の画像表示システム。 - 前記処理装置は、
前記距離の情報から前記作業対象の形状の情報を生成し、前記作業機の姿勢を用いて前記作業具が前記作業対象の画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去する、請求項1から請求項7のいずれか1項に記載の作業機械の画像表示システム。 - 前記撮像装置、前記姿勢検出装置及び距離検出装置は前記作業機械に備えられ、
前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる、
請求項1から請求項8のいずれか1項に記載の作業機械の画像表示システム。 - 作業具を有する作業機を備えた作業機械を遠隔操作するにあたり、
表示装置と、
前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械が備える距離検出装置が求めた前記作業機の作業対象となる地形面までの距離の情報から得られた前記作業対象の位置の情報とを用いて、前記作業具と対向する前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の表面に沿って形成される前記作業具に対応する部分の画像を、前記作業機械に取り付けられる撮像装置を基準として生成し、前記撮像装置によって撮像された前記作業具及び前記作業対象の画像と合成して、前記表示装置に表示させる処理装置と、
を含む、作業機械の画像表示システム。 - 請求項10に記載の作業機械の画像表示システムと、
前記作業機械が備える前記作業機を操作する操作装置と、
を含む、作業機械の遠隔操作システム。 - 請求項1から請求項9のいずれか1項に記載の作業機械の画像表示システムを備えた、作業機械。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044050A JP6777375B2 (ja) | 2015-03-05 | 2015-03-05 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
KR1020177023851A KR102013761B1 (ko) | 2015-03-05 | 2016-02-16 | 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계 |
US15/553,663 US10829910B2 (en) | 2015-03-05 | 2016-02-16 | Image display system for work machine, remote operation system for work machine, and work machine |
CN201680011986.XA CN107250466B (zh) | 2015-03-05 | 2016-02-16 | 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械 |
PCT/JP2016/054437 WO2016140055A1 (ja) | 2015-03-05 | 2016-02-16 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
CA2976890A CA2976890C (en) | 2015-03-05 | 2016-02-16 | Image display system for work machine, remote operation system for work machine, and work machine |
DE112016001043.5T DE112016001043T5 (de) | 2015-03-05 | 2016-02-16 | Bildanzeigesystem für eine Arbeitsmaschine, Fernbedienungssystem für eine Arbeitsmaschine und Arbeitsmaschine |
AU2016227095A AU2016227095B2 (en) | 2015-03-05 | 2016-02-16 | Image display system for work machine, remote operation system for work machine, and work machine |
US17/012,362 US11384515B2 (en) | 2015-03-05 | 2020-09-04 | Image display system for work machine, remote operation system for work machine, and work machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015044050A JP6777375B2 (ja) | 2015-03-05 | 2015-03-05 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020170801A Division JP7131779B2 (ja) | 2020-10-08 | 2020-10-08 | 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の画像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016160741A JP2016160741A (ja) | 2016-09-05 |
JP6777375B2 true JP6777375B2 (ja) | 2020-10-28 |
Family
ID=56844370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015044050A Active JP6777375B2 (ja) | 2015-03-05 | 2015-03-05 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
Country Status (8)
Country | Link |
---|---|
US (2) | US10829910B2 (ja) |
JP (1) | JP6777375B2 (ja) |
KR (1) | KR102013761B1 (ja) |
CN (1) | CN107250466B (ja) |
AU (1) | AU2016227095B2 (ja) |
CA (1) | CA2976890C (ja) |
DE (1) | DE112016001043T5 (ja) |
WO (1) | WO2016140055A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022145942A (ja) * | 2020-09-29 | 2022-10-04 | 株式会社小松製作所 | 作業機械の画像表示システム |
WO2023100533A1 (ja) | 2021-12-03 | 2023-06-08 | コベルコ建機株式会社 | 画像表示システム、遠隔操作支援システムおよび画像表示方法 |
US12234627B2 (en) | 2022-12-22 | 2025-02-25 | Caterpillar Sarl | Object visualization in construction heavy equipment |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3438355A4 (en) * | 2016-03-30 | 2019-03-20 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | SHOVEL |
KR102333458B1 (ko) * | 2016-03-31 | 2021-11-30 | 스미토모 겐키 가부시키가이샤 | 쇼벨 및 쇼벨의 표시장치 |
JP6468444B2 (ja) * | 2016-04-28 | 2019-02-13 | コベルコ建機株式会社 | 建設機械 |
JP6794193B2 (ja) | 2016-09-02 | 2020-12-02 | 株式会社小松製作所 | 作業機械の画像表示システム |
JP6867132B2 (ja) * | 2016-09-30 | 2021-04-28 | 株式会社小松製作所 | 作業機械の検出処理装置及び作業機械の検出処理方法 |
JP6995767B2 (ja) * | 2016-10-31 | 2022-01-17 | 株式会社小松製作所 | 計測システム、作業機械及び計測方法 |
WO2018146782A1 (ja) * | 2017-02-09 | 2018-08-16 | 株式会社小松製作所 | 作業車両及び表示装置 |
KR102455260B1 (ko) * | 2017-03-07 | 2022-10-14 | 스미도모쥬기가이고교 가부시키가이샤 | 쇼벨 및 건설기계의 작업지원시스템 |
WO2018181534A1 (ja) * | 2017-03-31 | 2018-10-04 | 住友建機株式会社 | ショベル、ショベルの表示装置及びショベルにおける画像の表示方法 |
EP3666980B1 (en) * | 2017-08-09 | 2024-09-04 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Excavator and display method for an excavator |
CN111033434B (zh) * | 2017-08-24 | 2022-02-01 | 株式会社Ihi | 远程操作装置 |
JP6898816B2 (ja) * | 2017-09-15 | 2021-07-07 | 株式会社小松製作所 | 表示システム、表示方法、及び表示装置 |
JP6927821B2 (ja) * | 2017-09-15 | 2021-09-01 | 株式会社小松製作所 | 表示システム、及び表示装置 |
CN107740448A (zh) * | 2017-11-30 | 2018-02-27 | 南京工业大学 | 一种无人自动化挖掘机智能施工系统 |
WO2019111859A1 (ja) * | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム |
JP7155516B2 (ja) * | 2017-12-20 | 2022-10-19 | コベルコ建機株式会社 | 建設機械 |
DE102018200060B4 (de) * | 2018-01-04 | 2024-05-08 | Robert Bosch Gmbh | Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine |
JP6854255B2 (ja) * | 2018-03-15 | 2021-04-07 | 日立建機株式会社 | 建設機械 |
JP6947101B2 (ja) * | 2018-03-28 | 2021-10-13 | コベルコ建機株式会社 | 遠隔操作システム及び主操作装置 |
JP7087545B2 (ja) * | 2018-03-28 | 2022-06-21 | コベルコ建機株式会社 | 建設機械 |
JP7122863B2 (ja) * | 2018-05-14 | 2022-08-22 | 株式会社Ihiエアロスペース | 画像表示装置、画像表示方法および遠隔操縦システム |
JP2019202877A (ja) * | 2018-05-25 | 2019-11-28 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム |
CA3102035C (en) * | 2018-06-01 | 2021-05-18 | Motion Metrics International Corp. | Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator |
US10801180B2 (en) * | 2018-06-11 | 2020-10-13 | Deere & Company | Work machine self protection system |
JP7285051B2 (ja) * | 2018-06-29 | 2023-06-01 | 株式会社小松製作所 | 表示制御装置、および表示制御方法 |
JP7080750B2 (ja) * | 2018-06-29 | 2022-06-06 | 株式会社小松製作所 | 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法 |
JP7372029B2 (ja) * | 2018-06-29 | 2023-10-31 | 株式会社小松製作所 | 表示制御装置、表示制御システムおよび表示制御方法 |
JP7023813B2 (ja) * | 2018-08-27 | 2022-02-22 | 日立建機株式会社 | 作業機械 |
JP2020037767A (ja) | 2018-08-31 | 2020-03-12 | 株式会社小松製作所 | バケット高さ通知装置およびバケット高さ通知方法 |
JP7065002B2 (ja) * | 2018-09-19 | 2022-05-11 | 日立建機株式会社 | 作業機械 |
JP7301514B2 (ja) * | 2018-09-21 | 2023-07-03 | 日立建機株式会社 | 座標変換システム及び作業機械 |
US10380440B1 (en) * | 2018-10-23 | 2019-08-13 | Capital One Services, Llc | Method for determining correct scanning distance using augmented reality and machine learning models |
JP7296713B2 (ja) * | 2018-10-31 | 2023-06-23 | 株式会社小松製作所 | 表示制御システム、表示制御方法および遠隔操作システム |
US11772556B2 (en) | 2018-10-31 | 2023-10-03 | Komatsu Ltd. | Display control system and display control method |
JP7151392B2 (ja) * | 2018-11-07 | 2022-10-12 | コベルコ建機株式会社 | 建設機械の遠隔操作装置 |
CN109403400A (zh) * | 2018-12-11 | 2019-03-01 | 南京天辰礼达电子科技有限公司 | 一种自动铲刀控制系统及控制方法 |
JP7150588B2 (ja) * | 2018-12-21 | 2022-10-11 | 株式会社東芝 | 掘削深さ測定装置、掘削深さ測定方法、および掘削深さ測定プログラム |
JP7315333B2 (ja) * | 2019-01-31 | 2023-07-26 | 株式会社小松製作所 | 建設機械の制御システム、及び建設機械の制御方法 |
JP7099358B2 (ja) * | 2019-02-20 | 2022-07-12 | コベルコ建機株式会社 | 作業機械用表示システム |
CN112654750B (zh) * | 2019-03-26 | 2022-09-27 | 日立建机株式会社 | 作业机械 |
JP7287045B2 (ja) * | 2019-03-26 | 2023-06-06 | コベルコ建機株式会社 | 遠隔操作システム |
CN113677855A (zh) * | 2019-03-29 | 2021-11-19 | 住友建机株式会社 | 挖土机及挖土机的控制装置 |
US11124942B2 (en) | 2019-05-03 | 2021-09-21 | Caterpillar Inc. | System for controlling the position of a work implement |
JP7344675B2 (ja) | 2019-05-31 | 2023-09-14 | 株式会社小松製作所 | 表示システム、遠隔操作システムおよび表示方法 |
JP7624291B2 (ja) | 2019-05-31 | 2025-01-30 | 株式会社小松製作所 | マップ生成システム及びマップ生成方法 |
JP7263127B2 (ja) * | 2019-05-31 | 2023-04-24 | 株式会社小松製作所 | マップ生成システム及びマップ生成方法 |
JP7351478B2 (ja) | 2019-07-26 | 2023-09-27 | 株式会社小松製作所 | 表示システム、遠隔操作システム、及び表示方法 |
JP7396875B2 (ja) * | 2019-11-27 | 2023-12-12 | 株式会社小松製作所 | 作業機械の制御システム、作業機械、および作業機械の制御方法 |
KR102415420B1 (ko) * | 2019-11-29 | 2022-07-04 | 한국생산기술연구원 | 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법 |
EP4053346A4 (en) * | 2019-12-19 | 2023-01-11 | Kobelco Construction Machinery Co., Ltd. | Remote control device and remote control system |
CN115104075A (zh) * | 2020-01-28 | 2022-09-23 | 拓普康定位系统公司 | 使用机器视觉对工作机器上的机具进行控制的系统和方法 |
JP7452038B2 (ja) * | 2020-01-30 | 2024-03-19 | コベルコ建機株式会社 | 作業支援システム |
JP7500219B2 (ja) * | 2020-02-21 | 2024-06-17 | 株式会社小松製作所 | 作業機械の遠隔操作システム |
JP7263287B2 (ja) * | 2020-03-26 | 2023-04-24 | 日立建機株式会社 | 作業機械 |
DE102020206372A1 (de) | 2020-05-20 | 2021-11-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Steuerung eines Grabvorgangs mittels eines Löffelbaggers |
EP3926107A1 (en) * | 2020-06-17 | 2021-12-22 | Volvo Construction Equipment AB | A system, an off-board controller and method therein for remote operation of a working machine comprising a tool |
US11473270B2 (en) * | 2020-08-07 | 2022-10-18 | Caterpillar Inc. | System and method for assisting remote operation of a work machine |
JP7536580B2 (ja) * | 2020-09-29 | 2024-08-20 | 株式会社小松製作所 | 表示制御装置及び表示方法 |
JP7436339B2 (ja) | 2020-09-29 | 2024-02-21 | 株式会社小松製作所 | 表示制御装置及び表示方法 |
JP7513496B2 (ja) | 2020-10-30 | 2024-07-09 | 株式会社エビデント | 画像表示方法、表示制御装置、およびプログラム |
EP4033035A1 (en) * | 2021-01-20 | 2022-07-27 | Volvo Construction Equipment AB | A system and method therein for remote operation of a working machine comprising a tool |
KR20220121612A (ko) * | 2021-02-25 | 2022-09-01 | 현대두산인프라코어(주) | 머신 가이던스 프로그램 및 이를 이용하는 굴삭기 |
JP7581995B2 (ja) * | 2021-03-19 | 2024-11-13 | コベルコ建機株式会社 | 撮像機能制御システムおよび撮像機能制御方法 |
JP2022157459A (ja) | 2021-03-31 | 2022-10-14 | 株式会社小松製作所 | 施工管理システム、データ処理装置、及び施工管理方法 |
US20240203021A1 (en) * | 2021-05-06 | 2024-06-20 | Sony Group Corporation | Image processing device, image processing method, and program |
KR102605814B1 (ko) * | 2021-10-04 | 2023-11-23 | 김응조 | 원격조종이 가능한 운전원 비탑승식 스키드로더 |
JP2023120743A (ja) | 2022-02-18 | 2023-08-30 | 日立建機株式会社 | 表示制御装置、及び遠隔操作装置 |
CN115143930B (zh) * | 2022-06-27 | 2024-05-24 | 徐州徐工挖掘机械有限公司 | 一种单目摄像头测距方法、系统及挖掘机 |
US20240018746A1 (en) * | 2022-07-12 | 2024-01-18 | Caterpillar Inc. | Industrial machine remote operation systems, and associated devices and methods |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01165827A (ja) * | 1987-12-21 | 1989-06-29 | Mitsui Constr Co Ltd | 圧気ケーソン用掘削機 |
JP2844040B2 (ja) * | 1993-05-07 | 1999-01-06 | 東急建設株式会社 | 3次元表示装置 |
AUPN385195A0 (en) * | 1995-06-29 | 1995-07-20 | Hall, David John | A system for monitoring a movement of a vehicle tool |
US6047227A (en) | 1996-11-19 | 2000-04-04 | Caterpillar Inc. | Method and apparatus for operating geography altering machinery relative to a work site |
JPH11213154A (ja) * | 1998-01-27 | 1999-08-06 | Komatsu Ltd | 遠隔操縦支援装置 |
JP2001098585A (ja) * | 1999-10-01 | 2001-04-10 | Komatsu Ltd | 建設機械の掘削作業ガイダンス装置および掘削制御装置 |
JP2001220766A (ja) | 2000-02-09 | 2001-08-17 | Shin Caterpillar Mitsubishi Ltd | 伸縮アームを備えた作業機械 |
EP1278917B1 (en) * | 2000-05-05 | 2009-11-11 | Leica Geosystems GR, LLC | Laser-guided construction equipment |
JP2004294067A (ja) | 2003-03-25 | 2004-10-21 | Penta Ocean Constr Co Ltd | 無人化施工装置 |
GB0410415D0 (en) * | 2004-05-11 | 2004-06-16 | Bamford Excavators Ltd | Operator display system |
US20060034535A1 (en) * | 2004-08-10 | 2006-02-16 | Koch Roger D | Method and apparatus for enhancing visibility to a machine operator |
JP4984384B2 (ja) | 2004-10-06 | 2012-07-25 | 日本ゼオン株式会社 | 電極の製造方法 |
CN100464036C (zh) | 2005-03-28 | 2009-02-25 | 广西柳工机械股份有限公司 | 用于液压挖掘机工作装置的轨迹控制系统及方法 |
JP2008121280A (ja) * | 2006-11-13 | 2008-05-29 | Shin Caterpillar Mitsubishi Ltd | 掘削状況表示装置付き掘削機械 |
WO2012053105A1 (ja) * | 2010-10-22 | 2012-04-26 | 日立建機株式会社 | 作業機械の周辺監視装置 |
KR101735116B1 (ko) | 2011-01-24 | 2017-05-15 | 두산인프라코어 주식회사 | 건설중장비의 운행정보 기록장치 |
JP5941663B2 (ja) * | 2011-11-30 | 2016-06-29 | 住友建機株式会社 | 建設機械用モニタシステム |
JP5426743B1 (ja) * | 2012-10-05 | 2014-02-26 | 株式会社小松製作所 | 掘削機械の表示システム及び掘削機械 |
US8914199B2 (en) | 2012-10-05 | 2014-12-16 | Komatsu Ltd. | Excavating machine display system and excavating machine |
US8965642B2 (en) | 2012-10-05 | 2015-02-24 | Komatsu Ltd. | Display system of excavating machine and excavating machine |
US9411325B2 (en) | 2012-10-19 | 2016-08-09 | Komatsu Ltd. | Excavation control system for hydraulic excavator |
JP6147037B2 (ja) * | 2013-03-14 | 2017-06-14 | 株式会社トプコン | 建設機械制御システム |
US10094654B2 (en) * | 2014-08-25 | 2018-10-09 | Trimble Navigation Limited | All-in-one integrated sensing device for machine control |
US9428885B2 (en) * | 2014-09-15 | 2016-08-30 | Trimble Navigation Limited | Guidance system for earthmoving machinery |
EP3020875A1 (en) * | 2014-11-14 | 2016-05-18 | Caterpillar Inc. | System for improving safety in use of a machine of a kind comprising a body and an implement movable relative to the body |
-
2015
- 2015-03-05 JP JP2015044050A patent/JP6777375B2/ja active Active
-
2016
- 2016-02-16 AU AU2016227095A patent/AU2016227095B2/en active Active
- 2016-02-16 KR KR1020177023851A patent/KR102013761B1/ko active Active
- 2016-02-16 WO PCT/JP2016/054437 patent/WO2016140055A1/ja active Application Filing
- 2016-02-16 CN CN201680011986.XA patent/CN107250466B/zh active Active
- 2016-02-16 DE DE112016001043.5T patent/DE112016001043T5/de active Pending
- 2016-02-16 CA CA2976890A patent/CA2976890C/en active Active
- 2016-02-16 US US15/553,663 patent/US10829910B2/en active Active
-
2020
- 2020-09-04 US US17/012,362 patent/US11384515B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022145942A (ja) * | 2020-09-29 | 2022-10-04 | 株式会社小松製作所 | 作業機械の画像表示システム |
JP7333551B2 (ja) | 2020-09-29 | 2023-08-25 | 株式会社小松製作所 | 作業機械の画像表示システム |
WO2023100533A1 (ja) | 2021-12-03 | 2023-06-08 | コベルコ建機株式会社 | 画像表示システム、遠隔操作支援システムおよび画像表示方法 |
US12234627B2 (en) | 2022-12-22 | 2025-02-25 | Caterpillar Sarl | Object visualization in construction heavy equipment |
Also Published As
Publication number | Publication date |
---|---|
US11384515B2 (en) | 2022-07-12 |
WO2016140055A1 (ja) | 2016-09-09 |
CN107250466A (zh) | 2017-10-13 |
KR102013761B1 (ko) | 2019-08-23 |
AU2016227095A1 (en) | 2017-09-07 |
CN107250466B (zh) | 2021-01-15 |
CA2976890C (en) | 2019-10-08 |
US20180051446A1 (en) | 2018-02-22 |
US20200399869A1 (en) | 2020-12-24 |
JP2016160741A (ja) | 2016-09-05 |
CA2976890A1 (en) | 2016-09-09 |
DE112016001043T5 (de) | 2017-11-23 |
US10829910B2 (en) | 2020-11-10 |
KR20170107076A (ko) | 2017-09-22 |
AU2016227095B2 (en) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6777375B2 (ja) | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 | |
JP7263127B2 (ja) | マップ生成システム及びマップ生成方法 | |
JP6794193B2 (ja) | 作業機械の画像表示システム | |
WO2017061518A1 (ja) | 施工管理システム、施工管理方法、及び管理装置 | |
JP6322612B2 (ja) | 施工管理システム及び形状計測方法 | |
JP6585697B2 (ja) | 施工管理システム | |
JP2024028438A (ja) | 作業機械の画像表示システム及び作業機械の画像表示方法 | |
JP6606230B2 (ja) | 形状計測システム | |
JP6815462B2 (ja) | 形状計測システム及び形状計測方法 | |
WO2020241572A1 (ja) | マップ生成システム及びマップ生成方法 | |
JP6616149B2 (ja) | 施工方法、作業機械の制御システム及び作業機械 | |
JP7128497B2 (ja) | 作業機械の画像表示システム | |
AU2020283021B2 (en) | Display system and display method | |
JP7333551B2 (ja) | 作業機械の画像表示システム | |
JP6923144B2 (ja) | 作業機械の画像表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20150317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150317 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6777375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |