CN117043412A - 施工机械、施工机械的支援系统 - Google Patents
施工机械、施工机械的支援系统 Download PDFInfo
- Publication number
- CN117043412A CN117043412A CN202280023206.9A CN202280023206A CN117043412A CN 117043412 A CN117043412 A CN 117043412A CN 202280023206 A CN202280023206 A CN 202280023206A CN 117043412 A CN117043412 A CN 117043412A
- Authority
- CN
- China
- Prior art keywords
- information
- moving
- area
- shovel
- construction machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 claims abstract description 142
- 238000012544 monitoring process Methods 0.000 claims description 62
- 230000007613 environmental effect Effects 0.000 claims description 22
- 238000013459 approach Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 32
- 238000013528 artificial neural network Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 239000000446 fuel Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 239000003921 oil Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000010720 hydraulic oil Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 239000000498 cooling water Substances 0.000 description 4
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 3
- 239000004202 carbamide Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000001816 cooling Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- WTHDKMILWLGDKL-UHFFFAOYSA-N urea;hydrate Chemical compound O.NC(N)=O WTHDKMILWLGDKL-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2221—Control of flow rate; Load sensing arrangements
- E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
- E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2278—Hydraulic circuits
- E02F9/2285—Pilot-operated systems
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2278—Hydraulic circuits
- E02F9/2292—Systems with two or more pumps
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/22—Hydraulic or pneumatic drives
- E02F9/2278—Hydraulic circuits
- E02F9/2296—Systems with a variable displacement pump
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
- Operation Control Of Excavators (AREA)
Abstract
一种施工机械,其具备:检测部,检测监视区域内的移动体;及发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到工作区域内的其他施工机械。
Description
技术领域
本发明涉及一种施工机械、施工机械的支援系统。
背景技术
近年来,已知有一种施工机械,其获取与工作区域有关的信息,并将由获取部获取的信息发送到其他施工机械。
现有技术文献
专利文献
专利文献1:国际公开第2020/196874号
发明内容
发明要解决的课题
在上述的以往的技术中,未记载在工作区域中存在移动体的情况,难以使施工机械的操作者掌握靠近施工机械的移动体的存在。
因此,鉴于上述情况,其目的在于提高工作现场的安全性。
用于解决课题的手段
本发明的实施方式所涉及的施工机械具备:检测部,检测监视区域内的移动体;及发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到工作区域内的其他施工机械。
本发明的实施方式所涉及的施工机械的支援系统包括位于规定的工作区域内的多个施工机械,在所述施工机械的支援系统中,所述多个施工机械分别具备:检测部,检测监视区域内的移动体;及发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到所述工作区域内的其他施工机械。
本发明的实施方式所涉及的施工机械的支援系统包括位于规定的工作区域内的多个施工机械,所述施工机械的支援系统具备:检测部,检测监视区域内的移动体;及再生部,根据与由所述检测部检测出的移动体有关的移动体信息,按时序再生所述工作区域内的移动体的信息。
发明效果
能够提高工作现场的安全性。
附图说明
图1是表示挖土机支援系统的结构的一例的示意图。
图2是挖土机的俯视图。
图3是表示挖土机的结构的一例的结构图。
图4是说明挖土机的控制器的功能结构的图。
图5是说明物体检测方法的一例的图。
图6A是说明施工现场的状况的图。
图6B是说明施工现场的状况的图。
图7是说明监视区域中的移动体信息的图。
图8是说明控制器的处理的第一流程图。
图9是说明控制器的处理的第二流程图。
图10是表示显示例的第一图。
图11是表示显示例的第二图。
具体实施方式
以下,参考附图,对实施方式进行说明。图1中,作为施工机械的支援系统的一例,对挖土机支援系统SYS进行说明。以下所示的各实施方式还能够应用于作为施工机械的挖土机、轮式装载机、推土机等。
图1是表示挖土机支援系统SYS的结构的一例的示意图。
挖土机支援系统SYS包括以相互比较近的距离配置的(例如,在相同的工作现场(工作区域)中进行工作的)多个挖土机100,支援由各挖土机100进行的工作。以下,多个挖土机100分别以关于挖土机支援系统SYS具有相同结构的前提进行说明。
挖土机100(施工机械的一例)包括:下部行走体1;经由回转机构2回转自如地搭载于下部行走体1的上部回转体3;构成附属装置的动臂4、斗杆5及铲斗6;以及操纵室10。
下部行走体1包括左右一对履带1C,具体而言,包括左履带1CL及右履带1CR。下部行走体1通过左履带1CL及右履带1CR分别由行走液压马达2M(2ML、2MR)液压驱动而使挖土机100行走。
上部回转体3通过由回转液压马达2A驱动而相对于下部行走体1回转。并且,上部回转体3可以由电动机电力驱动来代替由回转液压马达2A液压驱动。以下,为了方便,将上部回转体3中的安装有附属装置AT的一侧设为前方,将安装有配重的一侧设为后方。
动臂4以能够俯仰的方式枢轴安装于上部回转体3的前部中央,斗杆5以能够上下转动的方式枢轴安装于动臂4的前端,铲斗6以能够上下转动的方式枢轴安装于斗杆5的前端。动臂4、斗杆5及铲斗6分别由作为液压致动器的动臂缸7、斗杆缸8及铲斗缸9进行液压驱动。
操纵室10为操作人员搭乘的驾驶室,并且搭载于上部回转体3的前部左侧。
挖土机100例如能够通过蓝牙(注册商标)通信或WiFi(注册商标)通信等遵照规定的通信协议的规定方式的近距离无线通信来建立能够与其他挖土机100通信的连接状态、例如对等的P2P(Peer to Peer:对等网络)连接。由此,挖土机100能够从其他挖土机100获取各种信息,或者能够向其他挖土机100发送各种信息。详细说明在后面叙述。
接着,除了图1以外,还参考图2、图3,对挖土机支援系统SYS的挖土机100的具体结构进行说明。
图2是挖土机100的俯视图。图3是表示挖土机100的结构的一例的结构图。
作为与液压系统有关的结构,如上所述,挖土机100包括行走液压马达2M(2ML、2MR)、回转液压马达2A、动臂缸7、斗杆缸8及铲斗缸9等液压致动器。并且,作为与液压系统有关的结构,挖土机100包括发动机11、调节器13、主泵14、油温传感器14c、先导泵15、调节阀17、操作装置26、吐出压力传感器28、操作压力传感器29、减压阀50及控制阀60。
并且,作为与控制系统有关的结构,挖土机100包括控制器30(控制部)、发动机控制装置(ECU:Engine Control Unit)74、发动机转速调整转盘75、动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、机体倾斜传感器S4、回转状态传感器S5、报警装置49、物体检测装置70、摄像装置80、朝向检测装置85、通信设备90、显示装置40及操纵杆按钮LB。
发动机11为液压系统的主动力源,例如,搭载于上部回转体3的后部。具体而言,发动机11在基于ECU74的控制下,以预先设定的目标转速恒定旋转,驱动主泵14及先导泵15等。发动机11例如为将柴油作为燃料的柴油发动机。
调节器13控制主泵14的吐出量。例如,调节器13根据来自控制器30的控制指令来调节主泵14的斜板的角度(以下为“偏转角”)。
主泵14例如与发动机11同样地,搭载于上部回转体3的后部,如上所述,由发动机11驱动,由此通过高压液压管路将工作油供给至调节阀17。主泵14例如为可变容量型液压泵,如上所述,在基于控制器30的控制下通过调节器13调节斜板的偏转角来调整活塞的行程长度,并控制吐出流量(吐出压力)。
油温传感器14c检测流入到主泵14的工作油的温度。与检测出的工作油的温度对应的检测信号被输入到控制器30。
先导泵15例如搭载于上部回转体3的后部,经由先导管路对操作装置26供给先导压。先导泵15例如为固定电容式液压泵,如上所述,由发动机11驱动。
调节阀17例如搭载于上部回转体3的中央部,且为根据操作者对操作装置26进行的操作来进行液压致动器的控制的液压控制装置。如上所述,调节阀17经由高压液压管路与主泵14连接,并且根据操作装置26的操作状态(操作内容),将从主泵14供给的工作油选择性地供给至液压致动器(行走液压马达2ML、2MR、回转液压马达2A、动臂缸7、斗杆缸8及铲斗缸9)。
操作装置26设置于驾驶室10的操作员座附近,且为用于操作者进行各种被驱动要件(下部行走体1、上部回转体3、动臂4、斗杆5、铲斗6等)的操作的操作输入机构。换言之,操作装置26为操作人员用于进行驱动各被驱动要件的液压致动器(即,行走液压马达2ML、2MR、回转液压马达2A、动臂缸7、斗杆缸8、铲斗缸9等)的操作的操作输入机构。操作装置26通过其二次侧的先导管路与调节阀17连接。
由此,与操作装置26中的下部行走体1、上部回转体3、动臂4、斗杆5及铲斗6等的操作状态相对应的先导压输入到调节阀17。因此,调节阀17能够根据操作装置26中的操作状态来选择性地驱动各液压致动器。
吐出压力传感器28检测主泵14的吐出压力。与由吐出压力传感器28检测出的吐出压力对应的检测信号被输入到控制器30中。
操作压力传感器29检测操作装置26的次级侧的先导压,即,对应于操作装置26的各被驱动要件(即,液压致动器)的操作状态(即,操作内容)的先导压(以下为“操作压力”)。由操作压传感器29检测出的与操作装置26中的下部行走体1、上部回转体3、动臂4、斗杆5及铲斗6等的操作状态对应的先导压的检测信号被输入到控制器30中。
减压阀50设置于操作装置26的二次侧的先导管路、即操作装置26与调节阀17之间的先导管路,在基于控制器30的控制下,对相当于操作装置26的操作内容(操作量)的先导压进行调整(减压)。由此,控制器30能够通过控制减压阀50来控制(限制)各种被驱动要件的动作。
控制阀60切换对操作装置26的操作、即挖土机100的各种被驱动要件的操作的有效状态和无效状态。控制阀60例如为构成为根据来自控制器30的控制指令而进行动作的门锁阀。具体而言,控制阀60配置于先导泵15与操作装置26之间的先导管路上,且根据来自控制器30的控制指令来切换先导管路的连通/切断(不连通)。
关于门锁阀,例如,若设置于操纵室10的操作员座的入口附近的门锁杆被提拉,则成为连通状态,对操作装置26的操作成为有效状态(可操作状态),若门锁杆被按下,则成为切断状态,对操作装置26的操作成为无效状态(无法操作状态)。由此,控制器30通过将控制指令输出到控制阀60,能够限制(停止)挖土机100的动作。
控制器30例如安装于操纵室10的内部,且为驱动控制挖土机100的控制装置。控制器30通过从蓄电池BT供给的电力进行动作。以下,关于显示装置40或各种传感器(例如,物体检测装置70、摄像装置80、动臂角度传感器S1等)也同样地,通过从蓄电池BT供给的电力进行动作。蓄电池BT通过由发动机11驱动的交流发电机11b的发电电力进行充电。
控制器30的功能可以通过任意的硬件或任意的硬件和软件的组合等来实现。
控制器30例如以包括CPU(Central Processing Unit:中央处理器)、RAM(RandomAccess Memory:随机存取存储器)等存储器装置、ROM(Read Only Memory:只读存储器)等非易失性辅助存储装置及外部的输入输出用接口装置等的计算机为中心构成。此时,控制器30将存储(安装)于辅助存储装置的一个以上的程序读取并加载到存储器装置,在CPU上执行,由此能够实现各种功能。
另外,控制器30的一部分功能可以由其他控制器(控制装置)来实现。即,控制器30的功能可以通过多个控制器以分散的方式来实现。
例如,控制器30根据从动臂角度传感器S1、斗杆角度传感器S2、铲斗角度传感器S3、吐出压力传感器28及操作压力传感器29等各种传感器输入的检测信号来进行调节器13等的控制。
并且,例如,控制器30进行如下控制(以下为“避免抵接控制”):在由物体检测装置70在挖土机100周围的规定的监视区域内(例如,距离挖土机100五米以内的区域)检测出监视对象的物体(例如,人、卡车、其他施工机械等)的情况下,避免挖土机100与监视对象的物体的抵接等。
具体而言,作为避免抵接控制的一例,控制器30可以向报警装置49输出控制指令,输出警报。并且,作为避免抵接控制的一例,控制器30可以向减压阀50或控制阀60输出控制指令,限制挖土机100的动作。此时,动作限制的对象可以是所有被驱动要件,也可以仅是为了避免监视对象的物体与挖土机100的抵接而所需的一部分被驱动要件。
并且,例如,若由物体检测装置70在挖土机100周围的监视区域内检测移动的物体,则控制器30获取与该物体有关的信息。在以下说明中,将移动的物体称为移动体,将与移动体有关的信息称为移动体信息。移动体可以是人、车辆等。本实施方式的移动体信息包含移动体的位置信息、行进方向、移动速度等。
控制器30中,若获取移动体信息,则根据移动体信息中所包含的移动体的行进方向,确定成为移动体信息的发送目的地的其他挖土机100,通过通信设备90(发送部的一例)对所确定的其他挖土机100发送移动体信息。
其他挖土机100例如是指在与挖土机100相同的工作现场(工作区域)内进行工作的施工机械。
并且,本实施方式的控制器30中,若从其他挖土机100,通过通信设备90(接收部的一例)接收移动体信息,则使显示装置40显示表示存在从挖土机100的监视区域的外部靠近挖土机100的移动体的信息。由控制器30进行的处理的详细说明将在后面叙述。
ECU74在基于控制器30的控制下,驱动控制发动机11。例如,ECU74根据点火开启操作,根据通过来自蓄电池BT的电力驱动的启动装置11a的动作,适当控制燃料喷射装置等,启动发动机11。并且,例如,ECU74适当控制燃料喷射装置等,使得发动机11以由来自控制器30的控制信号指定的设定转速恒定旋转(同步控制)。
另外,发动机11可以由控制器30直接控制。此时,ECU74可以省略。
发动机转速调整转盘75为调整发动机11的转速(以下为“发动机转速”)的操作机构。从发动机转速调整转盘75输出的、与发动机转速的设定状态有关的数据被输入到控制器30。发动机转速调整转盘75构成为能够在SP(Super Power:超级功率)模式、H(Heavy:困难)模式、A(Auto:自动)模式及怠速模式这四个阶段之间切换发动机转速。
SP模式为在欲优先工作量的情况下选择的发动机转速模式,设定发动机转速最高的目标转速。H模式为在欲兼顾工作量与油耗率的情况下选择的发动机转速模式,设定为发动机转速第二高的目标转速。
A模式为优先油耗率的同时欲使挖土机100以低噪音运转时所选择的发动机转速模式,设定为发动机转速第三高的目标转速。
怠速模式为在欲将发动机11设为怠速状态的情况下选择的发动机转速模式,设定为发动机转速最低的目标转速。发动机11在ECU74的控制下,被控制成以与通过发动机转速调整转盘75设定的发动机转速模式对应的目标转速维持恒定。
动臂角度传感器S1安装于动臂4,检测动臂4相对于上部回转体3的俯仰角度(以下,为“动臂角度”)θ1。动臂角度θ1例如为自将动臂4降低到最低位置的状态起的上升角度。
此时,动臂角度θ1在将动臂4上升到最高位置时成为最大。动臂角度传感器S1例如可以包括旋转编码器、加速度传感器、六轴传感器、IMU(Inertial Measurement Unit:惯性测量装置)等,以下,关于斗杆角度传感器S2、铲斗角度传感器S3、机身倾斜传感器S4也相同。
并且,动臂角度传感器S1可以是安装于动臂缸7的冲程传感器,以下,关于斗杆角度传感器S2、铲斗角度传感器S3也相同。与由动臂角度传感器S1检测的动臂角度θ1对应的检测信号被输入到控制器30。
斗杆角度传感器S2安装于斗杆5,检测斗杆5相对于动臂4的转动角度(以下,为“斗杆角度”)θ2。斗杆角度θ2例如为自最大限度地闭合斗杆5的状态起的打开角度。此时,斗杆角度θ2在最大限度地打开斗杆5时成为最大。与由斗杆角度传感器S2检测的斗杆角度对应的检测信号被输入到控制器30。
铲斗角度传感器S3安装于铲斗6,检测铲斗6相对于斗杆5的转动角度(以下,为“铲斗角度”)θ3。铲斗角度θ3为自最大限度地闭合铲斗6的状态起的打开角度。此时,铲斗角度θ3在最大限度地打开铲斗6时成为最大。与由铲斗角度传感器S3检测的铲斗角度对应的检测信号被输入到控制器30。
机身倾斜传感器S4检测机身(例如,上部回转体3)相对于规定的平面(例如,水平面)的倾斜状态。机身倾斜传感器S4例如安装于上部回转体3,检测挖土机100(即,上部回转体3)围绕前后方向及左右方向这两个轴的倾斜角度(以下,称为“前后倾斜角”及“左右倾斜角”)。与由机体倾斜传感器S4检测的倾斜角度(前后倾斜角及左右倾斜角)对应的检测信号被输入到控制器30。
回转状态传感器S5安装于上部回转体3,并输出与上部回转体3的回转状态相关的检测信息。回转状态传感器S5例如检测上部回转体3的回转角速度、回转角度。回转状态传感器S5例如包括陀螺传感器、旋转变压器、旋转编码器等。
另外,在机身倾斜传感器S4包括能够检测围绕3个轴的角速度的陀螺传感器、6轴传感器、IMU等的情况下,可以根据机身倾斜传感器S4的检测信号来检测上部回转体3的回转状态(例如,回转角速度)。此时,回转状态传感器S5可以省略。
报警装置49对与挖土机100的工作相关的人(例如,操纵室10内的操作者或挖土机100周围的工作人员等)进行注意提醒。报警装置49例如包括用于对操纵室10的内部的操作者等进行注意提醒的室内报警装置。
室内报警装置例如包括设置于操纵室10内的声音输出装置、振动发生装置及发光装置中的至少一个。并且,室内报警装置可以包括显示装置40。并且,报警装置49可以包括用于对操纵室10的外部(例如,挖土机100周围)的工作人员等进行注意提醒的室外报警装置。
室外报警装置例如包括设置于操纵室10的外部的声音输出装置及发光装置中的至少1个。该声音输出装置例如可以是安装于上部回转体3的底面的行走警报装置。室外警报装置也可以是设置于上部回转体3的发光装置。例如,在监视区域内由物体检测装置70检测出监视对象的物体的情况下,如上所述,报警装置49可以在控制器30的控制下,向与挖土机100的工作相关的人通知该内容。
物体检测部70检测存在于挖土机100周围的物体。检测对象的物体例如包括人、动物、车辆、施工机械、建筑物、壁、栅栏、坑等。物体检测装置70例如包括单目摄像机(摄像机的一例)、超声波传感器、毫米波雷达、立体摄像机、LIDAR(Light Detecting and Ranging:激光雷达)、距离图像传感器、红外线传感器等中的至少一个。即,物体检测装置70对控制器30输出用于检测设定于挖土机100周围的规定区域内的规定的物体的信息。
在以下说明中,有时将从物体检测装置70对控制器30输出的信息表述为环境信息。
并且,物体检测装置70可以将能够区分物体的种类的方式、例如能够区分人和除了人以外的物体的方式的信息作为环境信息的一部分,输出到控制器30。
控制器30例如根据以物体检测装置70所获取的环境信息作为输入的、图案识别模型或机器学习模型等规定的模型,检测规定的物体,或者区分物体的种类。
另外,在本实施方式中,也可以通过物体检测装置70,根据以环境信息作为输入的、图案识别模型或机器学习模型等规定的模型,检测规定的物体,或者区分物体的种类。
物体检测装置70包括前方传感器70F、后方传感器70B、左方传感器70L及右方传感器70R。与由物体检测装置70(前方传感器70F、后方传感器70B、左方传感器70L及右方传感器70R中的每一个)检测的检测结果对应的输出信号被输入到控制器30。
前方传感器70F例如安装于操纵室10的上表面前端,检测存在于上部回转体3的前方的物体。后方传感器70B例如安装于上部回转体3的上表面后端,检测存在于上部回转体3的后方的物体。
左方传感器70L例如安装于上部回转体3的上表面左端,检测存在于上部回转体3的左方的物体。右方传感器70R例如安装于上部回转体3的上表面右端,检测存在于上部回转体3的右方的物体。
另外,物体检测装置70仅通过获取成为物体检测的基础的挖土机100周围的环境信息(例如,摄像图像或者针对输送到周围的毫米波或激光等检测波的反射波的数据等),具体物体的检测处理或区分物体的种类的处理等也可以由物体检测装置70的外部(例如,控制器30)执行。
摄像装置80对挖土机100周围的状态进行拍摄,输出摄像图像。摄像装置80包括前方摄像机80F、后方摄像机80B、左方摄像机80L及右方摄像机80R。
由摄像装置80(前方摄像机80F、后方摄像机80B、左方摄像机80L及右方摄像机80R中的每一个)拍摄的摄像图像被输入到显示装置40。并且,由摄像装置80拍摄的摄像图像经由显示装置40被输入到控制器30。并且,由摄像装置80拍摄的摄像图像可以不经由显示装置40而直接被输入到控制器30。
前方摄像机80F例如以与前方传感器70F相邻的方式,安装于操纵室10的上表面前端,对上部回转体3的前方的状态进行拍摄。后方摄像机80B例如以与后方传感器70B相邻的方式,安装于上部回转体3的上表面后端,对上部回转体3的后方的状态进行拍摄。
左方摄像机80L例如以与左方传感器70L相邻的方式,安装于上部回转体3的上表面左端,对上部回转体3的左方的状态进行拍摄。右方摄像机80R以与右方传感器70R相邻的方式,安装于上部回转体3的上表面右端,对上部回转体3的右方的状态进行拍摄。
另外,在物体检测装置70中包括单目摄像机或立体摄像机等摄像装置的情况下,摄像装置80的一部分或全部功能可以集中在物体检测装置70。例如,在前方传感器70F中包括摄像装置的情况下,前方摄像机80F的功能可以集中在前方传感器70F。关于在后方传感器70B、左方传感器70L及右方传感器70R中分别包括摄像装置时的后方摄像机80B、左方摄像机80L及右方摄像机80R各自的功能也相同。
朝向检测装置85构成为检测与上部回转体3的朝向和下部行走体1的朝向之间的相对关系相关的信息(以下,称为“与朝向有关的信息”。)。例如,朝向检测装置85可以由安装在下部行走体1上的地磁传感器和安装在上部回转体3上的地磁传感器的组合构成。
并且,朝向检测装置85可以由安装在下部行走体1上的GNSS(Global NavigationSatellite System:全球导航卫星系统)接收机和安装在上部回转体3上的GNSS接收机的组合构成。
在上部回转体3由电动机驱动的结构的情况下,朝向检测装置85可以由安装于电动机的分解器构成。并且,朝向检测装置85例如也可以配置于和实现下部行走体1与上部回转体3之间的相对旋转的回转机构2相关联地设置的中心接头部上。由朝向检测装置85检测的检测信息被输入到控制器30。
通信设备90为与工作区域(工作现场)内的各种装置(例如,测量并管理工作区域内的其他施工机械或工作人员等的位置信息的管理装置等)或该挖土机100周围的其他挖土机100等进行规定方式的近距离通信的任意器件。管理装置例如为设置于挖土机100的工作现场内的临时办公室等的终端装置。
终端装置例如可以是台式计算机终端等固定型终端装置,例如,也可以是智能手机、平板终端、膝上型计算机终端等便携终端。并且,管理装置例如可以是设置于挖土机100的工作现场内的临时办公室等或距离工作现场相对近的场所(例如,工作现场附近的办公室或基站等通信设施)的边缘服务器。
并且,管理装置例如可以是在设置于挖土机100的工作现场的外部的管理中心等设施中设置的云服务器。通信设备90例如可以是Bluetooth(注册商标)通信模块或WiFi通信模块等。
显示装置40例如安装于容易被就坐于操纵室10的内部的操作员座的操作者等视觉辨认的场所,显示各种信息图像。显示装置40例如为液晶显示器、有机EL(Electroluminescence:电致发光)显示器。
例如,显示装置40显示从摄像装置80输入的摄像图像或对该摄像图像实施规定的变换处理而成的变换图像(例如,视点变换图像或将多个摄像图像合成而成的合成图像等)。显示装置40包括图像显示部41和输入装置42。
图像显示部41为显示装置40中的显示信息图像的区域部分。图像显示部41例如由液晶面板或有机EL面板等构成。
输入装置42接收与显示装置40有关的操作输入。与对输入装置42的操作输入对应的操作输入信号被输入到控制器30。并且,输入装置42可以接受与除了显示装置40以外的挖土机100有关的各种操作输入。
输入装置42例如包括安装于作为图像显示部41的液晶面板或有机EL面板的触控面板。并且,输入装置42可以包括与图像显示部41分体的触控板、按钮、开关、切换键、操纵杆等任意的操作部件。
另外,接受与除了显示装置40以外的挖土机100有关的各种操作输入的操作输入部例如可以如操纵杆按钮LB那样,与显示装置40(输入装置42)分开设置。
操纵杆按钮LB设置于操作装置26,接受与挖土机100有关的规定的操作输入。例如,操纵杆按钮LB设置于作为操作装置26的操作杆的前端。由此,操作者等能够一边操作操作杆一边操作杆按钮LB(例如,能够在用手握住操作杆的状态下用大拇指推压操纵杆按钮LB)。
接着,参考图4,对本实施方式的控制器30的功能进行说明。图4是说明挖土机的控制器的功能结构的图。
本实施方式的控制器30具有通信控制部31、移动体检测部32、信息获取部33、发送目的地确定部34、显示控制部35。
通信控制部31控制挖土机100与经由通信设备90的外部装置的通信。具体而言,通信控制部31控制挖土机100与其他挖土机100经由通信设备90进行的通信。
移动体检测部32根据从物体检测装置70输出的环境信息,判定在挖土机100的监视区域内是否检测出成为监视对象的移动体。物体检测装置70监视区域被设定为比物体检测装置70的可摄像范围小的范围。
在由移动体检测部32检测出移动体的情况下,信息获取部33获取检测出的移动体的移动体信息。本实施方式的移动体信息包含移动体的位置信息、移动速度、行进方向、移动体的种类等。
发送目的地确定部34根据由信息获取部33获取的移动体信息,确定成为移动体信息的发送目的地的其他挖土机100。具体而言,发送目的地确定部34根据移动体信息中所包含的移动体的行进方向,确定成为移动体信息的发送目的地的其他挖土机100。
由信息获取部33获取移动体信息的方法和由发送目的地确定部34确定其他挖土机100的方法的详细说明将在后面叙述。
若通过通信控制部31从其他挖土机100接收移动体信息,则显示控制部35在显示于显示装置40的画面上显示表示移动体正在靠近的信息。
并且,在监视区域内检测出由所接收的移动体信息确定的移动体的情况下,显示控制部35在显示于显示装置40的画面中,将表示移动体正在靠近的信息切换为表示在监视区域内检测出移动体的信息。
接着,参考图5至图7,对由本实施方式的信息获取部33获取移动体信息的方法和由发送目的地确定部34确定发送目的地的方法进行说明。
图5是说明物体检测方法的一例的图。
如图5所示,本实施方式的移动体检测部32使用以神经网络(Neural Network)DNN为中心构成的学习完毕模型,对挖土机100周围的物体进行检测。
神经网络DNN为在输入层及输出层之间具有一层以上的中间层(隐藏层)的所谓的深度神经网络。在神经网络DNN中,按构成各中间层的多个神经元中的每一个,规定了表示与下位层之间的连接强度的加权参数。
然后,各层的神经元以如下方式构成神经网络DNN,即,将分别对来自上位层的多个神经元的输入值乘以针对上位层的每个神经元规定的加权参数的值的总和通过阈值函数输出到下位层的神经元。
以神经网络DNN作为对象,进行机器学习、具体而言深层学习(深度学习:DeepLearning),实现上述加权参数的最佳化。由此,神经网络DNN能够输入由物体检测装置70获取的环境信息(例如,摄像图像)作为输入信号x,并能够输出与预先规定的监视对象列表对应的物体的每个种类的物体存在的概率(预测概率)作为输出信号y。
在本实施方式中,从神经网络DNN输出的输出信号y1表示在挖土机100周围、具体而言在基于物体检测装置70的环境信息的获取范围内存在“人”的预测概率为10%。
神经网络DNN例如是卷积神经网络(CNN:Convolutional Neural Network)。CNN是应用了已有的图像处理技术(卷积处理及池化处理)的神经网络。
具体而言,CNN通过重复对由物体检测装置70获取的摄像图像的卷积处理及池化处理的组合来提取比摄像图像紧凑化的特征量数据(特征映射图)。然后,所提取的特征映射图的各像素的像素值被输入到由多个全结合层构成的神经网络,神经网络的输出层例如能够输出物体的每个种类的物体所存在的预测概率。
并且,神经网络DNN可以是如下结构,即,输入由物体检测装置70获取的摄像图像作为输入信号x,并且能够将摄像图像中的物体的位置、大小(即,摄像图像上的物体的占有区域)及其物体的种类作为输出信号y来输出。
即,神经网络DNN可以是如下结构,即,进行摄像图像上的物体的检测(在摄像图像上物体的占有区域部分的判断)及其物体的分类的判断。并且,此时,输出信号y可以由对作为输入信号x的摄像图像叠加有与物体的占有区域及其分类相关的信息的图像数据格式构成。
由此,移动体检测部32根据从学习完毕模型(神经网络DNN)输出的摄像图像中的物体的占有区域的位置及大小,能够确定该物体离挖土机100的相对位置(距离或方向)。这是因为,物体检测装置70(前方传感器70F、后方传感器70B、左方传感器70L及右方传感器70R)固定于上部回转体3,预先规定(固定)摄像范围(视场角)。
在本实施方式中,从神经网络DNN输出的输出信号y1表示在挖土机100周围、具体而言在基于物体检测装置70的环境信息的获取范围内存在物体的位置的坐标为“(e1,n1,h1)”。换句话说,基于物体检测装置70的环境信息的获取范围是指挖土机100的监视区域。
然后,在通过学习完毕模型(神经网络DNN)检测出的物体在监视区域内,并且分类为监视对象列表的物体的情况下,移动体检测部32能够判断为在监视区域内检测出监视对象的物体。
本实施方式的信息获取部33可以获取从神经网络DNN输出的输出信号y1~yLN作为移动体信息的一部分。
例如,神经网络DNN可以是如下结构,即,具有分别相当于提取摄像图像中的物体所存在的占有区域(风窗)的处理及确定所提取的区域的物体的种类的处理的神经网络。即,神经网络DNN可以是阶段性地进行物体的检测和物体的分类的结构。
并且,例如,神经网络DNN也可以是如下结构,即,具有分别与针对摄像图像的整个区域划分为规定数量的部分区域的每个网格单元限定物体的分类及物体的占有区域(边界框:Bounding box)的处理以及根据每个网格单元的物体的分类结合每个种类的物体的占有区域并确定最终的物体的占有区域的处理对应的神经网络。即,神经网络DNN可以是并列地进行物体的检测和物体的分类的结构。
移动体检测部32例如按照规定的控制周期,计算摄像图像上的物体的每个种类的预测概率。移动体检测部32在计算预测概率时,在这次的判断结果与上一次的判断结果一致的情况下,可以进一步提高这次的预测概率。
例如,在上一次的物体检测处理时,在相对于摄像图像上的规定的区域中所显现的物体判断为“人”(y1)的预测概率,这次也继续判断为“人”(y1)的情况下,可以进一步提高这次判断为“人”(y1)的预测概率。
由此,例如,在和与相同的图像区域相关的物体的分类相关的判断结果持续一致的情况下,预测概率计算成相对较高。因此,物体检测装置70尽管实际上存在该种类的物体,也能够抑制因某些干扰而将该种类的物体的预测概率判断为相对较低的误判断。
并且,移动体检测部32可以考虑挖土机100的行走或回转等的动作来进行与摄像图像上的物体相关的判断。这是因为,即使在挖土机100周围的物体静止的情况下,也存在因挖土机100的行走或回转而摄像图像上的物体的位置移动而无法识别为相同的物体的可能性。
例如,可能会存在因挖土机100的行走或回转而在这次处理中判断为“人”(y1)的图像区域与在上一次处理中判断为“人”(y1)的图像区域不同的情况。此时,移动体检测部32只要这次处理中判断为“人”(y1)的图像区域在离上一次处理中判断为“人”(y1)的图像区域起规定的范围内,则可以视为同一个物体,并进行持续性的一致判断(即,继续检测相同的物体的状态的判断)。
移动体检测部32在进行持续性的一致判断的情况下,将这次判断中所使用的图像区域添加于上一次判断中所使用的图像区域,并且还可以包括离该图像区域起规定的范围内的图像区域。由此,即便挖土机100行走或回转,移动体检测部32也能够对挖土机100周围的相同的物体进行持续性的一致判断。
并且,移动体检测部32可以使用除了使用神经网络DNN的方法以外的基于任意的机器学习的物体检测方法,检测挖土机100周围的物体。
例如,在本实施方式中,关于从物体检测装置70的摄像图像中获取的多变量而局部特征量,表示在该多变量的空间上按物体的每个种类划分(分类)作为该种类的物体的范围和不是该种类的物体的范围的边界的学习完毕模型可以通过监督学习来生成。
应用于生成与边界有关的信息的机器学习(监督学习)的方法例如可以是支持向量机(SVM:Support Vector Machine)、k近邻法、混合高斯分布模型等。由此,物体检测装置70能够根据该学习完毕模型,依据从摄像图像中获取的局部特征量在作为规定的种类的物体的范围内还是在不是该种类的物体的范围内来检测出物体。
接着,参考图6A、图6B,对本实施方式的挖土机100的动作的概要进行说明。图6A是说明挖土机的动作的概要的第一图。
在图6A中示出在工作区域300内挖土机100A、挖土机100B及挖土机100C进行工作的状态。工作区域300例如为挖土机100A、挖土机100B及挖土机100C在相同的时间段进行工作的工作现场等。并且,在图6A中表示如下状态:在工作区域300中,挖土机100A以行进方向作为Y方向正在行走中,挖土机100B以行进方向作为V方向正在行走中,挖土机100C停止。另外,本实施方式的工作区域300不限定于工作现场,只要是多个挖土机100能够在相同的时间段进行工作的场所即可。
图6A所示的区域200A为能够使用挖土机100A的物体检测装置70检测物体的监视区域。并且,区域200B为能够使用挖土机100B的物体检测装置70检测物体的监视区域。即,本实施方式中的工作区域为包括挖土机100的监视区域的、比监视区域大范围的区域。
在以下说明中,在不分别区分挖土机100A、挖土机100B、挖土机100C的情况下,表述为挖土机100,在不分别表述监视区域200A、200B的情况下,有时表述为监视区域200。
在本实施方式中,在以挖土机100为中心时的监视区域200的内侧设定注意区域400和运转停止区域500。
注意区域400是为了输出催促挖土机100的操作者注意提醒的信息而设定的范围。若挖土机100所具有的物体检测装置70检测出的物体进入到注意区域400,则控制器30输出表示注意提醒的信息。
催促注意提醒的信息可以显示于显示装置40,也可以作为声音或警告音等输出。
运转停止区域500是在注意区域400的进一步内侧设定的范围,且是为了使挖土机100的动作停止而设定的范围。若挖土机100所具有的物体检测装置70检测出的物体进入到运转停止区域500,则控制器30使挖土机100的动作停止。
另外,在本实施方式中,控制器30即使在物体进入到运转停止区域500的情况下,判断为挖土机100的动作是与和物体抵接无关的动作时,也可以允许该动作。
本实施方式的注意区域400和运转停止区域500可以预先设定。并且,本实施方式的注意区域400和运转停止区域500例如可以设定成,根据挖土机100的动作的种类等而改变。
在图6A中示出自卸车DT以从挖土机100A的监视区域200A内靠近挖土机100B的方式移动的状态。具体而言,图6A的例子中,自卸车DT从时刻t1处的地点P1经过时刻t2处的地点P2,在时刻t3处到达地点P3。在此,地点P1~地点P5在挖土机100A的监视区域200A内,地点P3在挖土机100A的注意区域400A内。而且,地点P4、P5在挖土机100B的监视区域200B内。
而且,在图6A的例子中,在挖土机100A的监视区域200A内,工作人员W向与挖土机100A的行进方向交叉的Z方向移动。并且,挖土机100B配置于挖土机100A的监视区域200A内,将行进方向作为V方向行走。
在这种情况下,本实施方式的挖土机100A通过移动体检测部32,按每个规定的控制周期执行基于移动体检测部32的处理,由此输出时刻t1~t5处的自卸车DT的监视区域200A内的位置信息。而且,挖土机100A输出表示监视区域200A内的挖土机100B、100C和工作人员W的位置的位置信息。工作人员W的位置信息例如可以通过工作人员W所携带的支援装置410与挖土机100A的通信来获取,也可以由物体检测装置70检测出。
然后,挖土机100A通过信息获取部33获取从移动体检测部32输出的位置信息,根据各时刻的自卸车DT的位置信息,确定自卸车DT的移动速度和行进方向(移动方向)。同样地,挖土机100A确定挖土机100B和工作人员W的移动速度和行进方向(移动方向)。
并且,在本实施方式的挖土机100A中,若通过信息获取部33确定监视区域200A内的自卸车DT的行进方向(Y方向),则发送目的地确定部34在监视区域200A中所包含的其他挖土机100B、100C内,确定在监视区域中包括表示Y方向的线L2的其他挖土机100。
另外,在本实施方式中,存在于工作区域300内的各挖土机100共享表示各挖土机100的位置的位置信息。挖土机100的位置信息可以通过挖土机100所具有的GPS(GlobalPositioning System:全球定位系统)功能来获取。
在图6A的例子中,在挖土机100B的监视区域200B包括表示自卸车DT的行进方向即Y方向的线L2。因此,挖土机100A的发送目的地确定部34将挖土机100B确定为移动体信息的发送目的地。并且,挖土机100A的发送目的地确定部34对于向与自卸车DT的行进方向即Y方向交叉的Z方向移动的工作人员W,也同样地确定为移动体信息的发送目的地。具体而言,挖土机100A的发送目的地确定部34可以将工作人员W所具有的支援装置410确定为移动体信息的发送目的地。
在本实施方式中,如此,根据在挖土机100A的监视区域200A内确定的移动体的行进方向,预测移动体移动的轨迹,根据所预测的结果,确定移动体信息的发送目的地(挖土机100B)。
并且,在监视区域200A内存在多个移动体的情况下,挖土机100A可以根据各移动体的行进方向,确定移动体信息的发送目的地。具体而言,例如,在存在于监视区域200A内的移动体即自卸车DT的行进方向(Y方向)与在监视区域200A内行走的挖土机100B的行进方向(V方向)交叉的情况下,可以将挖土机100B确定为移动体信息的发送目的地。
即,挖土机100的控制器30可以根据监视区域内的其他挖土机100的行进方向和监视区域内的移动体的行进方向(移动方向),确定成为移动体信息的发送目的地的其他挖土机100。并且,控制器30不仅可以求出移动体的行进方向(移动方向(朝向)),还可以求出移动体的速度。
因此,根据本实施方式,能够向工作区域300内的其他挖土机100通知移动体(自卸车DT)的靠近,能够提高工作中的安全性。
并且,挖土机100A的发送目的地确定部34可以设定以表示移动体的行进方向的线为基准的规定的范围,并将所设定的规定范围内所包含的挖土机100确定为移动体信息的发送目的地。挖土机100A的发送目的地确定部34能够根据由监视区域200A内的移动体的行进方向预测的移动体的轨迹(表示行进方向的线),将从轨迹规定的范围内的挖土机100B确定为成为移动体信息的发送目的地的挖土机。
挖土机100B中,若从挖土机100A接收移动体信息,则在本机的显示装置40中,根据移动体信息所表示的移动体的位置信息和行进方向,预测在监视区域200B中移动体进入的区域,使标记等显示于所预测的部位。即,挖土机100B中,若接收移动体信息,则使显示装置40显示表示接收到移动体信息的信息。
挖土机100B中,若自卸车DT进入到监视区域200B,则由移动体检测部32检测该自卸车DT。然后,挖土机100B中,若检测自卸车DT的进入,则将显示装置40中的标记等的显示切换为表示检测出的移动体的图像。
如此,在本实施方式中,若从其他挖土机100接收移动体信息,则根据移动体信息,使显示装置40显示确定移动体进入的方向的信息。因此,根据本实施方式,能够向挖土机100B的操作者通知(报警、显示等)来自监视区域200B外的移动体的靠近,能够提高安全性。通知可以通过从室内报警装置输出警报来进行。并且,通知可以通过使显示装置40显示表示移动体的靠近的信息来进行。而且,在挖土机100B通过通信与自卸车DT连接的情况下,也可以向自卸车DT通知移动体彼此的靠近。
另外,在图6A的例子中示出在监视区域200A和监视区域200B中存在重叠的区域的状态,但是并不限定于此。监视区域200A和监视区域200B也可以不存在重叠的区域。
接着,参考图6B,对本实施方式的挖土机100的动作的另一例进行说明。图6B是说明挖土机的动作的概要的第二图。
在图6B中示出在工作区域300中的电线杆或铁塔等设置了物体检测装置70的情况。此时,物体检测装置70能够配置于比设置于挖土机100的位置高的位置,能够将监视区域设定为更大范围。
在图6B的例子中,可知设置于电线杆等的物体检测装置70的监视区域600的范围比基于设置于挖土机100的物体检测装置70的监视区域200大。
从设置于电线杆等的物体检测装置70输出的环境信息被发送到挖土机100的管理装置或配置于工作区域300内的挖土机100。因此,管理装置或控制器30能够获取比从搭载于挖土机100的物体检测装置70输出的环境信息大范围的环境信息。
因此,管理装置或控制器30能够更快地掌握自卸车DT与挖土机100等多个物体之间的位置关系。
而且,在图6B的例子中,可以在设置于电线杆等的物体检测装置70设置移动体检测部32的功能。此时,物体检测装置70将表示是否检测出移动体的信息与环境信息一起输出到管理装置或控制器30。因此,在图6B的例子中,能够将存在于挖土机100的监视区域200的外侧的移动体的有无通知给管理装置或控制器30。
在图6B中,自卸车DT从地点P0向监视区域200A内行走。该地点P0为监视区域200A的外侧,但是位于物体检测装置70的监视区域600内。因此,此时,能够由物体检测装置70检测出自卸车DT向监视区域200A靠近,能够在自卸车DT进入到监视区域200A之前,将其存在通知给挖土机100A。
并且,可以在工作区域设置具备物体检测装置70的多个电线杆等。而且,在工作区域的多个场所设置具备物体检测装置70的电线杆等的情况下,相邻的物体检测装置70的监视区域600可以重叠。如此,在工作区域的多个场所设置具备物体检测装置70的电线杆等的情况下,能够将施工区域的整个范围包含在监视区域中。并且,即使检测出的移动体在工作区域内停止,移动体检测部32也可以对于停止的移动体持续地识别为移动体。
另外,在图6B中,挖土机100A可以与图6A同样地,获取工作人员W、挖土机100B的位置信息。
图7是说明监视区域中的移动体信息的图。在图7中表示时刻t1、t2、t3中的每个时刻处的神经网络DNN的输出信号的一例。
换句话说,在图7中表示在时刻t1、t2、t3中的每个时刻处移动体检测部32对信息获取部33输出的移动体信息的一部分的例子。
挖土机100A的移动体检测部32在时刻t1、t2、t3中的每个时刻处,将从神经网络DNN输出的输出信号输出到信息获取部33。
时刻t1、t2、t3中的每个时刻处的、神经网络DNN的输出信号y1~yLN中的输出信号y2包含在监视区域200A中检测出的物体为卡车的概率和该物体的位置信息。
具体而言,在时刻t1处的输出信号y2中,物体为卡车的概率为30%,该物体的坐标为(e2,n2,h2),在时刻t2处的输出信号y2中,物体为卡车的概率为50%,该物体的坐标为(e3,n3,h3)。并且,在时刻t3处的输出信号y2中,物体为卡车的概率为90%,该物体的坐标为(e4,n4,h4)。
本实施方式的移动体检测部32由于各时刻处的物体的坐标改变,因此检测出该物体为移动体。
并且,本实施方式的信息获取部33根据各时刻的物体的位置信息,计算该物体的移动速度和行进方向。然后,信息获取部33将包含从移动体检测部32获取的表示移动体的种类的信息、移动体的位置信息及物体的移动速度和行进方向的移动体信息发送到发送目的地确定部34所确定的挖土机100B。
接着,参考图8,对本实施方式的挖土机100对其他挖土机100发送移动体信息时的控制器30的处理进行说明。图8是说明控制器的处理的第一流程图。
本实施方式的挖土机100的控制器30通过移动体检测部32,根据从物体检测装置70获取的环境信息来检测监视区域内的移动体(步骤S801)。
接着,控制器30通过信息获取部33从移动体检测部32获取移动体的每个时刻的位置信息,计算移动体的行进方向和移动速度(步骤S802),此时,信息获取部33获取包含移动体的位置信息、行进方向、移动速度、移动体的种类等的移动体信息。
接着,控制器30根据由信息获取部33计算出的行进方向,确定成为移动体信息的发送目的地的其他挖土机100(步骤S803)。
接着,控制器30通过通信控制部31,对由发送目的地确定部34确定的其他挖土机100发送信息获取部33所获取的移动体信息(步骤S804),结束移动体信息的发送处理。
另外,本实施方式的移动体信息只要至少包含移动体的位置信息和行进方向即可,也可以不包含移动体的种类和移动速度。
接着,参考图9,对本实施方式的挖土机100从其他挖土机100接受到移动体信息时的处理进行说明。
图9是说明控制器的处理的第二流程图。本实施方式的挖土机100通过通信控制部31,判定是否从其他挖土机100接收到移动体信息(步骤S901)。在步骤S901中,在未接收到移动体信息的情况下,控制器30待机。
在步骤S901中,在接收到移动体信息的情况下,控制器30通过显示控制部35,使显示装置40的图像显示部41显示表示接收到移动体信息的信息(步骤S903)。
接着,控制器30通过移动体检测部32,判定是否在监视区域内检测出移动体(步骤S904)。在步骤S904中,在未检测出移动体的情况下,控制器30待机。
在步骤S904中,若检测出移动体,则控制器30通过显示控制部35,将显示于图像显示部41的信息从表示接收到移动体信息的信息切换为表示检测出移动体的信息(步骤S905)。
以下,参考图10和图11,对本实施方式显示装置40的显示例进行说明。图10是表示显示例的第一图。
图10所示的显示装置40在图像显示部41显示主画面。并且,图10所示的主画面例如为在图9的步骤S902中显示于显示装置40的画面,显示表示从其他挖土机100接收到移动体信息的信息即图像45。
首先,对图像显示部41进行说明。如图10所示,画面显示部41包括日期和时间显示区域41a、行走模式显示区域41b、附属装置显示区域41c、油耗率显示区域41d、发动机控制状态显示区域41e、发动机运转时间显示区域41f、冷却水温度显示区域41g、燃料余量显示区域41h、转速模式显示区域41i、尿素水余量显示区域41j、工作油温度显示区域41k、空调运行状态显示区域41m、图像显示区域41n及菜单显示区域41p。
行走模式显示区域41b、附属装置显示区域41c、发动机控制状态显示区域41e及转速模式显示区域41i及空调运行状态显示区域41m是显示与挖土机100的设定状态有关的信息即设定状态信息的区域。油耗率显示区域41d、发动机运转时间显示区域41f、冷却水温度显示区域41g、燃料余量显示区域41h、尿素水余量显示区域41j及工作油温度显示区域41k是显示与挖土机100的运转状态有关的信息即运转状态信息的区域。
具体而言,日期和时间显示区域41a为显示当前的日期和时间的区域。行走模式显示区域41b为显示当前的行走模式的区域。附属装置显示区域41c为显示表示当前安装的附属装置的图像的区域。油耗率显示区域41d为显示由控制器30计算出的油耗率信息的区域。油耗率显示区域41d包括显示总平均油耗率或区间平均油耗率的平均油耗率显示区域41d1、显示瞬间油耗率的瞬间油耗率显示区域41d2。
发动机控制状态显示区域41e为显示发动机11的控制状态的区域。发动机运转时间显示区域41f为显示发动机11的累计运转时间的区域。冷却水温显示区域41g为显示当前的发动机冷却水的温度状态的区域。燃料余量显示区域41h为显示储存在燃料箱中的燃料的余量状态的区域。
转速模式显示区域41i为以图像显示由发动机转速调整转盘75设定的当前的转速模式的区域。尿素水余量显示区域41j为以图像显示储存在尿素水箱中的尿素水的余量状态的区域。工作油温显示区域41k为显示工作油罐内的工作油的温度状态的区域。
空调运行状态显示区域41m包括显示当前排出口位置的排出口显示区域41m1、显示当前运行模式的运行模式显示区域41m2、显示当前设定温度的温度显示区域41m3、以及显示当前设定风量的风量显示区域41m4。
图像显示区域41n为显示摄像装置S6所拍摄的图像的区域。在图4的例子中,图像显示区域41n显示俯瞰图像FV及后方图像CBT。俯瞰图像FV例如为由显示控制部35生成的假想视点图像,根据后方摄像机S6B、左摄像机S6L及右摄像机S6R分别获取的图像而生成。
并且,在俯瞰图像FV的中央部分配置有与挖土机100对应的挖土机图形GE。这是为了使操作者直观地掌握挖土机100与存在于挖土机100周围的物体的位置关系。后方图像CBT是显现挖土机100后方的空间的图像,包括配重的图像GC。后方图像CBT是通过控制部40a生成的实际视点图像,根据后方摄像机S6B所获取的图像而生成。
并且,图像显示区域41n具有位于上方的第1图像显示区域41n1和位于下方的第2图像显示区域41n2。在图10的例子中,将俯瞰图像FV配置于第1图像显示区域41n1,并且将后方图像CBT配置于第2图像显示区域41n2。但是,图像显示区域41n可以将俯瞰图像FV配置于第2图像显示区域41n2,并且将后方图像CBT配置于第1图像显示区域41n1。
并且,在图10的例子中,俯瞰图像FV与后方图像CBT上下相邻配置,但是也可以隔着间隔配置。并且,在图10的例子中,图像显示区域41n是纵长区域,但是图像显示区域41n也可以是横长区域。
在图像显示区域41n是横长区域的情况下,图像显示区域41n可以在左侧配置俯瞰图像FV作为第1图像显示区域41n1,在右侧配置后方图像CBT作为第2图像显示区域41n2。此时,可以左右隔着间隔配置,也可以调换俯瞰图像FV与后方图像CBT的位置。
菜单显示区域41p具有标签41p1~41p7。在图7的例子中,在图像显示部41的最下部,标签41p1~41p7左右彼此隔着间隔配置。在标签41p1~41p7中显示用于显示各种信息的图标图像。
在标签41p1中显示有用于显示菜单详细项目的菜单详细项目图标图像。若由操作者选择标签41p1,则显示于标签41p2~41p7中的图标图像切换为与菜单详细项目相关联的图标图像。
在标签41p4中显示有用于显示与数字水平仪有关的信息的图标图像。若由操作者选择标签41p4,则后方图像CBT切换为表示与数字水平仪有关的信息的画面。但是,也可以叠加于后方图像CBT或者后方图像CBT缩小而显示表示与数字水平仪有关的信息的画面。
并且,俯瞰图像FV可以切换为表示与数字水平仪有关的信息的画面,也可以叠加于俯瞰图像FV或者俯瞰图像FV缩小而显示表示与数字水平仪有关的信息的画面。
在标签41p5显示有用于使显示于图像显示部41的主画面转换到装载工作画面的图标图像。若由操作者选择与后述的标签41p5对应的输入装置42,则显示于图像显示部41的主画面转换到装载工作画面。另外,此时,图像显示区域41n继续显示,菜单显示区域41p切换为显示与装载工作有关的信息的区域。
在标签41p6中显示有用于显示与信息化施工有关的信息的图标图像。若由操作者选择标签41p6,则后方图像CBT切换为表示与信息化施工有关的信息的画面。但是,也可以叠加于后方图像CBT或者后方图像CBT缩小而显示表示与信息化施工有关的信息的画面。并且,俯瞰图像FV可以切换为表示与信息化施工有关的信息的画面,也可以叠加于俯瞰图像FV或者俯瞰图像FV缩小而显示表示与数字水平仪有关的信息的画面。
在标签41p7中显示有用于显示与起重机模式有关的信息的图标图像。若由操作者选择标签41p7,则后方图像CBT切换为表示与起重机模式有关的信息的画面。但是,也可以叠加于后方图像CBT或者后方图像CBT缩小而显示表示与起重机模式有关的信息的画面。并且,俯瞰图像FV可以切换为表示与起重机模式有关的信息的画面,也可以叠加于俯瞰图像FV或者俯瞰图像FV缩小而显示表示与起重机模式有关的信息的画面。
在标签41p2、41p3中未显示图标图像。因此,即使由操作者操作标签41p2、41p3,显示于图像显示部41的图像也不发生变化。
另外,在标签41p1~41p7中显示的图标图像并不限定于上述例子,也可以显示有用于显示其他信息的图标图像。
接着,对输入装置42进行说明。如图10所示,输入装置42由通过操作者进行标签41p1~41p7的选择、设定输入等的一个或多个按钮式开关构成。
在图10的例子中,输入装置42包括配置于上级的7个开关42a1~42a7和配置于下级的7个开关42b1~42b7。开关42b1~42b7配置于开关42a1~42a7各自的下方。
但是,输入装置42的开关的数量、方式及配置不限定于上述的例子,例如,可以是通过拨动轮、拨动开关等将多个按钮式开关的功能汇总为1个的方式,输入装置42也可以与显示装置40分体。并且,可以是通过图像显示部41和输入装置42成为一体的触控面板直接操作标签41p1~41p7的方式。
开关42a1~42a7在标签41p1~41p7的下方分别与标签41p1~41p7对应地配置,并分别作为选择标签41p1~41p7的开关发挥作用。
开关42a1~42a7分别在标签41p1~41p7的下方分别与标签41p1~41p7对应地配置,因此操作者能够直观地选择标签41p1~41p7。
在图10中,例如,若操作开关42a1,则选择标签41p1,菜单显示区域41p从一级显示变更为二级显示而在标签41p2~41p7显示与第1菜单对应的图标图像。并且,与菜单显示区域41p从一级显示变更为二级显示的情况对应地,缩小后方图像CBT的大小。此时,由于不变更俯瞰图像FV的大小而进行维持,因此操作者确认挖土机100周围时的视觉辨认性不会恶化。
开关42b1是切换显示于图像显示区域41n中的摄像图像的开关。构成为,每当操作开关42b1时,在图像显示区域41n的第1图像显示区域41n1中显示的摄像图像例如在后方图像、左方图像、右方图像及俯瞰图像之间被切换。
并且,可以构成为,每当操作开关42b1时,在图像显示区域41n的第2图像显示区域41n2中显示的摄像图像例如在后方图像、左方图像、右方图像及俯瞰图像之间被切换。
并且,显示控制部35可以根据开关42b1的操作,变更图标图像41x中的图像41xF、41xB、41xL、41xR、41xI的显示方式。
并且,可以构成为,每当操作开关42b1时,在图像显示区域41n的第1图像显示区域41n1中显示的摄像图像和在第2图像显示区域41n2中显示的摄像图像被调换。
如此,作为输入装置42的开关42b1可以切换在第1图像显示区域41n1或第2图像显示区域41n2中显示的画面,也可以切换在第1图像显示区域41n1和第2图像显示区域41n2中显示的画面。并且,可以另外设置用于切换在第2图像显示区域41n2中显示的画面的开关。
开关42b2、42b3是调节空调风量的开关。在图10的例子中构成为,若操作开关42b2,则空调的风量变小,若操作开关42b3,则空调的风量变大。
开关42b4是切换制冷/供暖功能的开启/关闭的开关。在图10的例子中构成为,每当操作开关42b4时,制冷/供暖功能的开启/关闭被切换。
开关42b5、42b6是调节空调的设定温度的开关。在图10的例子中构成为,若操作开关42b5,则设定温度变低,若操作开关42b6,则设定温度变高。
开关42b7为能够切换发动机运转时间显示区域41f的显示的开关。
并且,开关42a2~42a6、42b2~42b6构成为能够输入在各个开关或开关附近显示的数字。并且,开关42a3、42a4、42a5、42b4构成为在光标显示于菜单画面时,能够使光标分别向左、向上、向右、向下移动。
另外,赋予开关42a1~42a7、42b1~42b7的功能为一例,也可以构成为能够执行其他功能。
如以上说明那样,若在图像显示区域41n中显示有俯瞰图像FV及后方图像CBT的状态下选择标签41p1,则在显示了俯瞰图像FV及后方图像CBT的状态下在标签41p2~41p7中显示第1菜单详细项目。因此,操作者能够一边确认俯瞰图像FV及后方图像CBT,一边确认第1菜单详细项目。
并且,在图像显示区域41n中,在选择标签41p1之前和之后不变更大小而显示俯瞰图像FV。操作者确认挖土机100周围时的视觉辨认性不会恶化。
而且,在本实施方式中,在显示于图像显示区域41n的俯瞰图像FV上,显示表示接收到移动体信息的信息。在图10的例子中,作为表示接收到移动体信息的信息,在俯瞰图像FV上显示有图像45。
在图10中,显示控制部35根据移动体信息中所包含的移动体的位置信息和行进方向,预测在挖土机100的监视区域中移动体进入的区域。然后,显示控制部35在俯瞰图像FV上显示确定所预测的区域的图像45。在图10的例子中,可知移动体从挖土机100的右方向进入到监视区域内。
另外,在图10的例子中,作为表示接收到移动体信息的信息的一例,显示图像45,但是表示接收到移动体信息的信息的显示方式不限定于图10的例子。
显示控制部35可以显示表示接收到移动体信息的消息等,也可以使俯瞰图像FV的外周显示表示移动体的靠近的图标图像、三维模型图像等。
并且,控制器30可以将表示接收到移动体信息的信息作为声音来输出。在作为声音来输出的情况下,可以输出移动体进入的方向或所预测的进入时刻等。
图11是表示显示例的第二图。本实施方式的挖土机100中,若从其他挖土机100接收移动体信息,并显示图像45之后,根据本机的物体检测装置70所获取的环境信息来检测出移动体,则切换图像显示区域41n中的显示。
具体而言,显示控制部35将图像45设为不显示,使表示根据物体检测装置70所获取的环境信息来检测出移动体的区域的图像46和示意地表示移动体的图像46a叠加显示于俯瞰图像FV上。
在本实施方式中,如此,使表示从其他挖土机100接收到移动体信息的信息与俯瞰图像FV一起显示,由此能够向挖土机100的操作者通知从监视区域外靠近挖土机100的移动体的存在。而且,在本实施方式中,能够根据移动体信息,将移动体进入到监视区域的区域通知给操作者。因此,根据本实施方式,操作者能够在移动体进入到监视区域之前,针对移动体的靠近进行准备,能够提高安全性。
另外,在上述实施方式中,控制器30搭载于挖土机100,但是也可以设置于挖土机100的外部。此时,控制器30例如可以是设置于远程操作室的控制装置。此时,显示装置40可以与设定于远程操作室的控制装置连接。并且,设置于远程操作室的控制装置也可以接收来自安装于挖土机100的各种传感器的输出信号,检测监视区域内的移动体。并且,例如,在上述实施方式中,显示装置40可以作为支援装置410中的显示部发挥作用。此时,支援装置410可以与挖土机100的控制器30或者设置于远程操作室的控制器连接。
并且,本实施方式的挖土机支援系统SYS可以包括多个挖土机100和挖土机100的管理装置。
在挖土机支援系统SYS中包括管理装置的情况下,可以将挖土机100的控制器30所具有的功能中的、移动体检测部32、信息获取部33、发送目的地确定部34、显示控制部35设置于管理装置,而不将这些功能设置于挖土机100。
并且,管理装置可以具有再生从物体检测装置70接收的环境信息的再生部。管理装置可以通过再生部,根据从物体检测装置70接收的环境信息,使管理装置的显示装置显示图6A、图6B所示的施工现场的状况。此时,施工管理者通过按时序再生工作现场中的移动体的位置关系,能够掌握施工现场的整体状况。
此时,管理装置可以将检测出的移动体作为各移动体的图标图像、三维模型等来显示。此时,管理装置可以使与显示有各移动体的图标图像、三维模型等的显示区域相邻的显示区域中显示与对各移动体发出的通知有关的信息(警报等)。
并且,管理装置可以使检测出的移动体作为图标图像、三维模型等显示于表示施工计划的施工计划图上的与各移动体的位置信息对应的位置。并且,管理装置可以使检测出的移动体作为图标图像、三维模型等显示于反映了工作现场的最新信息的施工实际图上的与各移动体的位置信息对应的位置。并且,管理装置可以使检测出的移动体作为图标图像、三维模型等显示于从物体检测装置70获取的工作现场的图像内的与各移动体的位置信息对应的位置。
即,管理装置200具有:显示控制部,在显示装置中显示有施工计划图、施工实际图、工作现场的图像中的任一个的情况下,使由物体检测部32检测出的移动体的图像显示于与移动体的位置信息对应的位置。
再生部例如可以再生环境信息中所包含的工作现场的图像。具体而言,再生部可以再生由物体检测装置70拍摄的工作区域300的动态图像。并且,再生部可以使由物体检测装置70拍摄的多个静止图像按时序显示(再生)。
尤其,在将物体检测装置70配置于铁塔或电线杆等高处的情况下,能够使工作现场的管理者等掌握工作现场整体的物体的位置关系。然后,管理者通过再生部按时序再生多个静止图像,由此能够掌握工作中的多个移动体之间的位置关系。由此,管理者能够改进工作内容以提高安全性或工作效率。而且,再生显示也可以将显示于管理装置的显示装置的施工现场的状况显示于设置于挖土机100的操纵室10的显示装置40。
如此,能够减轻挖土机100的控制器30的处理负荷。具体而言,此时,挖土机100只是通过通信控制部31将由物体检测装置70获取的环境信息经由通信设备90发送到管理装置,从管理装置接收对显示装置40的信息的显示指示并进行显示即可。
另外,在上述的例子中,在管理装置中设置挖土机100的控制器30所具有的移动体检测部32、信息获取部33、发送目的地确定部34、显示控制部35,但是并不限定于此。移动体检测部32、信息获取部33、发送目的地确定部34、显示控制部35也可以分散设置于管理装置和挖土机100中。
具体而言,例如,可以是挖土机100具有移动体检测部32,管理装置200具有信息获取部33、发送目的地确定部34、显示控制部35。此时,挖土机100中,若通过物体检测部32检测到靠近挖土机100的移动体,则可以向管理装置通知该内容。
以上,参考具体例,对本实施方式进行了说明。但是,本发明并不限定于这些具体例。关于由本领域技术人员在这些具体例加以适当变更的例子,只要具备本发明的特征,就包含在本发明的范围内。上述各具体例所具备的各要件及其配置、条件及形状等并不限定于例示的内容,可适当变更。只要不产生技术上的矛盾,则可以适当组合上述各具体例所具备的各要件。
并且,本国际申请主张基于2021年3月31日申请的日本专利申请2021-061172的优先权,并将日本专利申请2021-061172的全部内容援用于本国际申请中。
符号说明
30-控制器,31-通信控制部,32-移动体检测部,33-信息获取部,34-发送目的地确定部,35-显示控制部,40-显示装置,100-挖土机。
权利要求书(按照条约第19条的修改)
1.(修改后)一种施工机械,其具备:
检测部,检测由设置于上部回转体的传感器检测物体的监视区域内的移动体;及
发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到工作区域内的其他施工机械。
2.(修改后)根据权利要求1所述的施工机械,其中,
所述移动体信息至少包含所述移动体的位置信息、所述移动体的移动速度、所述移动体的行进方向、及所述移动体的种类。
3.根据权利要求1或2所述的施工机械,其具有:
接收部,从所述其他施工机械接收与在所述其他施工机械的监视区域内检测出的移动体有关的移动体信息;及
显示控制部,使显示装置显示表示从所述其他施工机械接收到所述移动体信息的信息。
4.根据权利要求3所述的施工机械,其中,
所述显示控制部进行如下控制:
在由所述检测部从所述其他施工机械检测出与所述移动体信息对应的移动体的情况下,将表示接收到所述移动体信息的信息的显示切换为表示检测出所述移动体的信息的显示。
5.根据权利要求4所述的施工机械,其中,
表示接收到所述移动体信息的信息和表示检测出所述移动体的信息显示于在所述显示装置中显示的俯瞰图像上。
6.根据权利要求5所述的施工机械,其中,
表示接收到所述移动体信息的信息显示于所述俯瞰图像中的与所述移动体向所述监视区域的进入方向对应的位置。
7.(修改后)根据权利要求1至6中任一项所述的施工机械,其中,
具有包括设置于所述上部回转体的传感器的物体检测装置,
所述监视区域为能够由所述物体检测装置获取环境信息的区域。
8.(修改后)一种施工机械的支援系统,其包括位于规定的工作区域内的多个施工机械,在所述施工机械的支援系统中,
所述多个施工机械分别具备:
检测部,检测由设置于上部回转体的传感器检测物体的监视区域内的移动体;及
发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到所述工作区域内的其他施工机械。
9.(修改后)一种施工机械的支援系统,其包括位于规定的工作区域内的多个施工机械,所述施工机械的支援系统具备:
检测部,检测由设置于上部回转体的传感器检测物体的监视区域内的移动体;及
再生部,根据与由所述检测部检测出的移动体有关的移动体信息,按时序再生所述工作区域内的移动体的信息。
10.根据权利要求9所述的施工机械的支援系统,其具有:
通知部,在由所述检测部检测出多个所述移动体,所述多个所述移动体中的某个移动体靠近其他移动体的情况下,将某个移动体的靠近通知给其他移动体或管理装置中的任一个。
11.根据权利要求9所述的施工机械的支援系统,其具有:
显示控制部,在显示于显示装置的表示施工计划的施工计划图或施工实际图中,使由所述检测部检测出的所述多个所述移动体的图像显示于与所述多个所述移动体的位置信息对应的位置。
12.根据权利要求9所述的施工机械的支援系统,其具有:
显示控制部,在显示于显示装置的所述规定的工作区域的图像中,使由所述检测部检测出的所述多个所述移动体的图像显示于与所述多个所述移动体的位置信息对应的位置。
13.根据权利要求9所述的施工机械的支援系统,其中,
移动体检测部在所述移动体停止的期间,继续检测所述移动体。
14.(追加)根据权利要求2至7中任一项所述的施工机械,其中,
所述其他施工机械使用所述移动体的行进方向来确定。
Claims (13)
1.一种施工机械,其具备:
检测部,检测监视区域内的移动体;及
发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到工作区域内的其他施工机械。
2.根据权利要求1所述的施工机械,其中,
所述移动体信息包含表示所述移动体的位置的位置信息、及所述移动体的行进方向,
所述其他施工机械使用所述移动体的行进方向来确定。
3.根据权利要求1或2所述的施工机械,其具有:
接收部,从所述其他施工机械接收与在所述其他施工机械的监视区域内检测出的移动体有关的移动体信息;及
显示控制部,使显示装置显示表示从所述其他施工机械接收到所述移动体信息的信息。
4.根据权利要求3所述的施工机械,其中,
所述显示控制部进行如下控制:
在由所述检测部从所述其他施工机械检测出与所述移动体信息对应的移动体的情况下,将表示接收到所述移动体信息的信息的显示切换为表示检测出所述移动体的信息的显示。
5.根据权利要求4所述的施工机械,其中,
表示接收到所述移动体信息的信息和表示检测出所述移动体的信息显示于在所述显示装置中显示的俯瞰图像上。
6.根据权利要求5所述的施工机械,其中,
表示接收到所述移动体信息的信息显示于所述俯瞰图像中的与所述移动体向所述监视区域的进入方向对应的位置。
7.根据权利要求1至6中任一项所述的施工机械,其中,
具有物体检测装置,
所述监视区域为能够由所述物体检测装置获取环境信息的区域。
8.一种施工机械的支援系统,其包括位于规定的工作区域内的多个施工机械,在所述施工机械的支援系统中,
所述多个施工机械分别具备:
检测部,检测监视区域内的移动体;及
发送部,将与由所述检测部检测出的移动体有关的移动体信息发送到所述工作区域内的其他施工机械。
9.一种施工机械的支援系统,其包括位于规定的工作区域内的多个施工机械,所述施工机械的支援系统具备:
检测部,检测监视区域内的移动体;及
再生部,根据与由所述检测部检测出的移动体有关的移动体信息,按时序再生所述工作区域内的移动体的信息。
10.根据权利要求9所述的施工机械的支援系统,其具有:
通知部,在由所述检测部检测出多个所述移动体,所述多个所述移动体中的某个移动体靠近其他移动体的情况下,将某个移动体的靠近通知给其他移动体或管理装置中的任一个。
11.根据权利要求9所述的施工机械的支援系统,其具有:
显示控制部,在显示于显示装置的表示施工计划的施工计划图或施工实际图中,使由所述检测部检测出的所述多个所述移动体的图像显示于与所述多个所述移动体的位置信息对应的位置。
12.根据权利要求9所述的施工机械的支援系统,其具有:
显示控制部,在显示于显示装置的所述规定的工作区域的图像中,使由所述检测部检测出的所述多个所述移动体的图像显示于与所述多个所述移动体的位置信息对应的位置。
13.根据权利要求9所述的施工机械的支援系统,其中,
移动体检测部在所述移动体停止的期间,继续检测所述移动体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021061172 | 2021-03-31 | ||
JP2021-061172 | 2021-03-31 | ||
PCT/JP2022/016306 WO2022210980A1 (ja) | 2021-03-31 | 2022-03-30 | 建設機械、建設機械の支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117043412A true CN117043412A (zh) | 2023-11-10 |
Family
ID=83459638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280023206.9A Pending CN117043412A (zh) | 2021-03-31 | 2022-03-30 | 施工机械、施工机械的支援系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240026654A1 (zh) |
JP (1) | JPWO2022210980A1 (zh) |
CN (1) | CN117043412A (zh) |
DE (1) | DE112022001908T5 (zh) |
WO (1) | WO2022210980A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102833501B1 (ko) * | 2019-07-17 | 2025-07-11 | 스미토모 겐키 가부시키가이샤 | 작업기계 및 작업기계에 의한 작업을 지원하는 지원장치 |
CN115552078A (zh) * | 2020-05-25 | 2022-12-30 | 住友建机株式会社 | 挖土机及挖土机的操作装置 |
US20230272599A1 (en) * | 2022-02-28 | 2023-08-31 | Caterpillar Inc. | Work machine safety zone control |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199243A (ja) * | 2002-12-17 | 2004-07-15 | Takenaka Komuten Co Ltd | 現場施工管理システム |
JP2008291519A (ja) * | 2007-05-24 | 2008-12-04 | Kajima Corp | 現場管理システム及び現場管理方法 |
JP5061084B2 (ja) * | 2008-11-13 | 2012-10-31 | 日立建機株式会社 | 現場内監視システム |
EA201790270A1 (ru) * | 2014-08-26 | 2017-06-30 | Имб Сейфети Хелмет Пти Лтд. | Система и способ для компьютеризованного слежения и предупреждения о приближении для персонала, установок и оборудования, работающих над и под землей, или их взаимного перемещения |
JP6468444B2 (ja) * | 2016-04-28 | 2019-02-13 | コベルコ建機株式会社 | 建設機械 |
DE102016118227A1 (de) * | 2016-09-27 | 2018-03-29 | Claas Selbstfahrende Erntemaschinen Gmbh | Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen |
JP6591496B2 (ja) * | 2017-06-27 | 2019-10-16 | 株式会社クボタ | 作業支援システム |
KR102638317B1 (ko) * | 2018-03-08 | 2024-02-16 | 스미도모쥬기가이고교 가부시키가이샤 | 작업기계, 작업기계용 주변감시시스템 |
JP6838040B2 (ja) * | 2018-12-21 | 2021-03-03 | コベルコ建機株式会社 | 建設機械の障害物検出装置 |
JP7159914B2 (ja) * | 2019-02-28 | 2022-10-25 | コベルコ建機株式会社 | 作業者検出装置、作業者検出方法、および、作業者検出プログラム |
EP3951084B1 (en) * | 2019-03-27 | 2024-08-14 | Sumitomo Construction Machinery Co., Ltd. | Construction machine and assistance system |
JP7314012B2 (ja) | 2019-10-07 | 2023-07-25 | 日本航空電子工業株式会社 | ソケットコンタクト及びコネクタ |
-
2022
- 2022-03-30 JP JP2023511533A patent/JPWO2022210980A1/ja not_active Withdrawn
- 2022-03-30 DE DE112022001908.5T patent/DE112022001908T5/de active Pending
- 2022-03-30 CN CN202280023206.9A patent/CN117043412A/zh active Pending
- 2022-03-30 WO PCT/JP2022/016306 patent/WO2022210980A1/ja active Application Filing
-
2023
- 2023-09-27 US US18/475,608 patent/US20240026654A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112022001908T5 (de) | 2024-02-08 |
US20240026654A1 (en) | 2024-01-25 |
WO2022210980A1 (ja) | 2022-10-06 |
JPWO2022210980A1 (zh) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113631779B (zh) | 挖土机及施工系统 | |
EP3951084B1 (en) | Construction machine and assistance system | |
CN112996963B (zh) | 挖土机、挖土机支援系统 | |
KR102765530B1 (ko) | 쇼벨 | |
CN117043412A (zh) | 施工机械、施工机械的支援系统 | |
US20220002970A1 (en) | Excavator | |
EP3733982B1 (en) | Shovel and output device of shovel | |
US20210270013A1 (en) | Shovel, controller for shovel, and method of managing worksite | |
JP2021095718A (ja) | ショベル、情報処理装置 | |
JP7636075B2 (ja) | ショベルの管理装置、管理システム、ショベル | |
JP2023034771A (ja) | 建設機械の支援システム、建設機械の支援プログラム | |
JP2025075718A (ja) | ショベル、表示装置、及びショベルの制御システム | |
US20250075470A1 (en) | Work machine | |
US20250215667A1 (en) | Excavator and excavator control system | |
JP2024168698A (ja) | 作業機械、作業機械の管理システム、作業機械の管理装置 | |
JP2025100036A (ja) | 作業機械、操作支援システム、情報処理装置、プログラム | |
JP2024175565A (ja) | 作業機械の周辺監視システム、及び作業機械 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |