CN112572470B - 施工机械设备自动驾驶方法及装置 - Google Patents
施工机械设备自动驾驶方法及装置 Download PDFInfo
- Publication number
- CN112572470B CN112572470B CN202011415377.5A CN202011415377A CN112572470B CN 112572470 B CN112572470 B CN 112572470B CN 202011415377 A CN202011415377 A CN 202011415377A CN 112572470 B CN112572470 B CN 112572470B
- Authority
- CN
- China
- Prior art keywords
- equipment
- automatic driving
- construction
- work target
- environment information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 6
- 238000009435 building construction Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种施工机械设备自动驾驶方法及装置。所述方法包括：根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型；利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息；将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标。本发明通过语义三维重建技术，采集施工机械设备的实时施工环境信息，结合利用工作目标及设备类型选取训练好的自动驾驶模型，实现施工机械设备的自动驾驶，有效降低了建筑施工过程中对人工的依赖，实现了在极端环境下的施工机械设备操作。
Description
技术领域
本发明涉及自动驾驶技术领域，尤指一种施工机械设备自动驾驶方法及装置。
背景技术
传统的建筑施工行业，是劳动密集型产业，然而权威数据统计，近年来我国劳动力总量逐年减少。劳动力总量的下降，导致了劳动力成本的上升，这也直接导致了属于劳动密集型的建筑施工产业的成本迅速上升。因此，提高建筑施工自动化、智能化水平，降低对劳动力的依赖，是一个亟待解决的问题。
另外，建筑施工行业属于低附加值行业，随着社会的发展和进步，愿意在一线从事建筑施工的行业的人越来越少，但是一线的建筑施工，是一个高度一线工人的责任心和经验的行业。建筑施工一线工人的经验和责任心涉及到安全、质量、效率、成本等施工管理中的核心问题。因此，降低建筑施工过程中对一线工人的责任心和经验的依赖也是一个亟待解决的问题。
再者，随着人类工程建设水平的提升，人类对在一些极端环境(抢险救灾、超高海拔、超长大埋深隧洞、海底环境、月球甚至火星等)进行建筑施工的必要性和迫切性逐渐提升，在很多极端环境下，人类不适合直接操作机械设备，或者直接操作机械设备会对人类安全造成极大威胁。
发明内容
本发明实施例的主要目的在于提供一种施工机械设备自动驾驶方法及装置，实现施工机械设备的自动驾驶。
为了实现上述目的，本发明实施例提供一种施工机械设备自动驾驶方法，所述方法包括：
根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型；
利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息；
将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标。
可选的，在本发明一实施例中，所述自动驾驶模型通过如下方式建立：获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行所述工作目标时驾驶员的操作指令；其中，执行所述工作目标时驾驶员的操作指令是利用传感器采集的；将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
可选的，在本发明一实施例中，所述将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练包括，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型：选取所述训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据；对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
可选的，在本发明一实施例中，所述方法还包括：利用对抗学习技术建立所述自动驾驶模型。
可选的，在本发明一实施例中，所述工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
可选的，在本发明一实施例中，所述实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
本发明实施例还提供一种施工机械设备自动驾驶装置，所述装置包括：
工作目标模块，用于根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型；
环境信息模块，用于利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息；
自动驾驶模块，用于将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标。
可选的，在本发明一实施例中，所述装置还包括：历史数据模块，用于获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行所述工作目标时驾驶员的操作指令；其中，执行所述工作目标时驾驶员的操作指令是利用传感器采集的；模型训练模块，用于将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
可选的，在本发明一实施例中，所述模型训练模块还用于选取所述训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据，对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
可选的，在本发明一实施例中，所述装置还包括模型建立模块，用于利用对抗学习技术建立所述自动驾驶模型。
可选的，在本发明一实施例中，所述工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
可选的，在本发明一实施例中，所述实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过语义三维重建技术，采集施工机械设备的实时施工环境信息，结合利用工作目标及设备类型选取训练好的自动驾驶模型，实现施工机械设备的自动驾驶，有效降低了建筑施工过程中对人工的依赖，实现了在极端环境下的施工机械设备操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种施工机械设备自动驾驶方法的流程图；
图2为本发明实施例中建立自动驾驶模型的流程图；
图3为本发明一具体实施例中施工机械设备自动驾驶的流程图；
图4为本发明实施例一种施工机械设备自动驾驶装置的结构示意图；
图5为本发明一具体实施例中施工机械设备自动驾驶装置的结构示意图；
图6为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种施工机械设备自动驾驶方法及装置。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
乘用车的自动驾驶技术飞速发展，取了的长足的进步。但是与乘用车驾驶相比，工程施工机械的自动驾驶有着一些明显的区别：
1)驾驶环境：乘用车驾驶环境变化莫测，涉及的对象多；工程施工机械运行环境简单，涉及的对象相对单一；
2)活动范围：乘用车活动范围广；工程施工机械活动范围非常窄，很封闭；
3)法律法规：乘用车自动驾驶涉及法律法规较多；工程施工机械自动驾驶只需要符合现场施工规范即可；
4)控制指令及决策：乘用车控制控制指令繁多、决策方案相应也多了很多；工程施工机械控制指令简单，决策方案较少。
因此，对于施工机械设备的自动驾驶并无乘用车量的自动驾驶那么复杂，甚至都比不上智能化物流仓储中心的搬运机器人，由此为采用机器学习的方法来解决施工设备自动驾驶问题提供了很好的有利条件。
如图1所示为本发明实施例一种施工机械设备自动驾驶方法的流程图，图中所示方法包括：
步骤S1，根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型。
其中，施工机械设备的设备类型可以例如为挖掘机，工作目标可以例如为开挖土方、给卡车装载块石等等。针对不同类型的设备的不同工作目标，选取对应的自动驾驶模型。
步骤S2，利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息。
其中，语义三维重建技术实现了实时的语义(sematic)三维重建，具体的，语义三维重建为获取实体、并且知道该种实体属于何种物体，相应的，三维重建只能建出实体，但是并不知道实体是什么。利用语义三维重建技术，采集实时施工环境信息相当于实时获取设备周围的工作环境。
步骤S3，将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标。
其中，实时施工环境信息和施工机械设备的工作目标为自动驾驶模型的输入，自动驾驶模型的输出为操作指令，施工机械设备根据操作指令集进行自动驾驶。进一步的，语义三维重建获取的实时施工环境信息在时间上和操作指令对齐，也就是T时刻的实时施工环境信与T时刻的操作指令对应。
作为本发明的一个实施例，如图2所示，自动驾驶模型通过如下方式建立：
步骤S21，获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行工作目标时驾驶员的操作指令。其中，执行工作目标时驾驶员的操作指令是利用传感器采集的。
其中，通过经验熟练的操作手驾驶施工机械设备，由传感器获取驾驶员发出的操作指令。其中，有经验的驾驶员是依据周围的环境信息和工作目标给施工机械设备发出操作指令的。现在由有经验的驾驶员驾驶施工机械设备的操作指令很容易获取，可通过传感器或直接读取。由语义三维重建技术实时获取对应操作指令下的施工机械设备周围施工环境信息，采取一定数量的这样一一对应的数据。
步骤S22，将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
其中，以施工环境信息(样本1)和工作目标(样本2，属于同一时刻的样本1和样本2构成一个完整的训练样本)为输入、操作指令集(即label，标签，包括多条操作指令)为输出，对机器学习模型进行训练，得到一个训练好的模型。再将次训练好的模型搭载于施工机械设备，结合实时语义三维重建技术，将工作目标和语义三维重建得到的周围施工环境信息集实时输入到训练好的模型，便得到“有经验”的“驾驶员”给出的操作指令，以此实现施工机械设备的自动驾驶。
在本实施例中，将工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型包括：选取训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据，对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
作为本发明的一个实施例，工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
其中，工作目标，即任务类型，就是施工机械设备在特定环境下，需要完成的目标。因为在同样的环境下，同一台设备，对于不同的工作目标可能需要进行不同的操作指令。比如吊车的吊钩上有一块模板，这时吊车可以吊起它到高处的桥墩上，给工人把模板支起来，也可以把模板挪到一块平地给工人进行打磨、涂抹脱模剂等。因为工作的目标也会影响操作指令，所以需要考虑工作目标对操作指令的影响。
进一步的，目标库可以在实际的工程需求中逐步补充，比如每次遇到一个新的工作目标，就可以训练一个自动驾驶模型。以挖掘机为例，可以根据工作量大小来分类：开挖1000m3的土方，给30辆卡车装载块石等；可以根据工作的三维空间的位置来分类：将施工现场的一堆块石由A处移动到B处(改变周围三维空间)；可以根据工作的种类来分：场地平整，削坡，渣土装车等。
作为本发明的一个实施例，方法还包括：利用对抗学习技术建立所述自动驾驶模型。其中，本发明中的自动驾驶模型还可以通过对抗学习技术建立。
作为本发明的一个实施例，实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
其中，采集实时施工环境信息是对周围环境的全方位感知。具体的，结构物包括临时、永久建筑物，现场堆放的材料、物资，现场的施工设备、人员等，位置信息为结构物在全局坐标的中的位置，结构物的种类包括人员、物料及设备等，附属属性可以为例如挖掘机的姿态、自卸卡车的速度和姿态等。
在本发明一具体实施例中，如图3所示，明确设备的类型及需要通过自动驾驶完成的工作目标，即任务类型；若任务类型和设备类型都在库中，则调用相应的训练好的自动驾驶模型即可；若二者中缺少任意一个，则进行新任务驾驶训练。
本发明通过语义三维重建技术，采集施工机械设备的实时施工环境信息，结合利用工作目标及设备类型选取训练好的自动驾驶模型，实现施工机械设备的自动驾驶，有效降低了建筑施工过程中对人工的依赖，实现了在极端环境下的施工机械设备操作。
如图4所示为本发明实施例一种施工机械设备自动驾驶装置的结构示意图，图中所示装置包括：
工作目标模块10，用于根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型。
其中，施工机械设备的设备类型可以例如为挖掘机，工作目标可以例如为开挖土方、给卡车装载块石等等。针对不同类型的设备的不同工作目标，选取对应的自动驾驶模型。
环境信息模块20，用于利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息。
其中，语义三维重建技术实现了实时的语义(sematic)三维重建，具体的，语义三维重建为获取实体、并且知道该种实体属于何种物体，相应的，三维重建只能建出实体，但是并不知道实体是什么。利用语义三维重建技术，采集实时施工环境信息相当于实时获取设备周围的工作环境。
自动驾驶模块30，用于将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标。
其中，实时施工环境信息和施工机械设备的工作目标为自动驾驶模型的输入，自动驾驶模型的输出为操作指令集，施工机械设备根据操作指令集进行自动驾驶。进一步的，语义三维重建获取的实时施工环境信息在时间上和操作指令对齐，也就是T时刻的实时施工环境信与T时刻的操作指令对应。
作为本发明的一个实施例，如图5所示，所述装置还包括：
历史数据模块40，用于获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行所述工作目标时驾驶员的操作指令；其中，执行所述工作目标时驾驶员的操作指令是利用传感器采集的；
模型训练模块50，用于将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
在本实施例中，模型训练模块还用于选取所述训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据，对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
作为本发明的一个实施例，装置还包括模型建立模块，用于利用对抗学习技术建立所述自动驾驶模型。
作为本发明的一个实施例，工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
作为本发明的一个实施例，实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
基于与上述一种施工机械设备自动驾驶方法相同的申请构思，本发明还提供了上述一种施工机械设备自动驾驶装置。由于该一种施工机械设备自动驾驶装置解决问题的原理与一种施工机械设备自动驾驶方法相似，因此该一种施工机械设备自动驾驶装置的实施可以参见一种施工机械设备自动驾驶方法的实施，重复之处不再赘述。
本发明通过语义三维重建技术，采集施工机械设备的实时施工环境信息，结合利用工作目标及设备类型选取训练好的自动驾驶模型，实现施工机械设备的自动驾驶，有效降低了建筑施工过程中对人工的依赖，实现了在极端环境下的施工机械设备操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图6所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图6中所示的所有部件；此外，电子设备600还可以包括图6中没有示出的部件，可以参考现有技术。
如图6所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种施工机械设备自动驾驶方法，其特征在于，所述方法包括：
根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型；
利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息；
将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标；
其中，所述自动驾驶模型通过如下方式建立：
获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行所述工作目标时驾驶员的操作指令；其中，执行所述工作目标时驾驶员的操作指令是利用传感器采集的；
将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型；
其中，所述将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型包括：
选取所述训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据；
对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用对抗学习技术建立所述自动驾驶模型。
3.根据权利要求1所述的方法，其特征在于，所述工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
4.根据权利要求1所述的方法，其特征在于，所述实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
5.一种施工机械设备自动驾驶装置，其特征在于，所述装置包括：
工作目标模块，用于根据施工机械设备的设备类型及工作目标，获取对应的自动驾驶模型；
环境信息模块，用于利用语义三维重建技术，采集所述施工机械设备执行所述工作目标时的实时施工环境信息；
自动驾驶模块，用于将所述实时施工环境信息及所述工作目标输入至所述自动驾驶模型，得到对应的操作指令，所述施工机械设备根据所述操作指令进行自动驾驶，以完成所述工作目标；
其中，所述装置还包括：
历史数据模块，用于获取施工机械设备的工作目标与对应的历史施工环境信息，以及执行所述工作目标时驾驶员的操作指令；其中，执行所述工作目标时驾驶员的操作指令是利用传感器采集的；
模型训练模块，用于将所述工作目标与对应的历史施工环境信息作为训练输入样本，将所述驾驶员的操作指令作为训练监督数据，对预设的初始自动驾驶模型进行训练，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型；
其中，所述模型训练模块还用于选取所述训练输入样本及所述训练监督数据中的工作目标、属于同一时刻的历史施工环境信息及驾驶员的操作指令作为一组训练样本数据，对训练样本数据进行数据编码，利用数据编码后的训练样本数据对预设的初始自动驾驶模型进行训练，并对训练后的初始自动驾驶模型进行模型优化，得到与所述施工机械设备的设备类型及工作目标对应的自动驾驶模型。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括模型建立模块，用于利用对抗学习技术建立所述自动驾驶模型。
7.根据权利要求5所述的装置，其特征在于，所述工作目标包括：施工机械设备的工作量、施工机械设备的工作位置和/或施工机械设备的工作种类。
8.根据权利要求5所述的装置，其特征在于，所述实时施工环境信息包括：施工环境中结构物的三维尺寸、位置信息、种类及附属属性。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415377.5A CN112572470B (zh) | 2020-12-07 | 2020-12-07 | 施工机械设备自动驾驶方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011415377.5A CN112572470B (zh) | 2020-12-07 | 2020-12-07 | 施工机械设备自动驾驶方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112572470A CN112572470A (zh) | 2021-03-30 |
| CN112572470B true CN112572470B (zh) | 2022-01-28 |
Family
ID=75127450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011415377.5A Active CN112572470B (zh) | 2020-12-07 | 2020-12-07 | 施工机械设备自动驾驶方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112572470B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102041824A (zh) * | 2010-12-09 | 2011-05-04 | 三一重机有限公司 | 一种挖掘机工作装置的自动控制系统及控制方法 |
| CN107908874A (zh) * | 2017-11-15 | 2018-04-13 | 上海华兴数字科技有限公司 | 工况识别方法和装置及工程机械设备 |
| CN108222093A (zh) * | 2018-01-02 | 2018-06-29 | 清华大学 | 一种自主推土机器人 |
| CN108797669A (zh) * | 2018-06-20 | 2018-11-13 | 清华大学 | 一种自主3d挖掘施工机器人 |
| CN109597404A (zh) * | 2017-09-30 | 2019-04-09 | 徐工集团工程机械股份有限公司 | 压路机及其控制器、控制方法和系统 |
| CN110262469A (zh) * | 2019-07-23 | 2019-09-20 | 江苏常发农业装备股份有限公司 | 一种应用于农机车辆的自动行驶控制系统和方法 |
| CN111694973A (zh) * | 2020-06-09 | 2020-09-22 | 北京百度网讯科技有限公司 | 自动驾驶场景的模型训练方法、装置、电子设备 |
| CN111866809A (zh) * | 2020-07-29 | 2020-10-30 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡远程遥控驾驶系统及方法 |
| CN111950930A (zh) * | 2020-08-25 | 2020-11-17 | 盟识(上海)科技有限公司 | 一种矿区自动驾驶车辆的调度方法、系统及设备 |
| CN111984018A (zh) * | 2020-09-25 | 2020-11-24 | 斑马网络技术有限公司 | 自动驾驶方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014191013A1 (en) * | 2013-05-27 | 2014-12-04 | Sandvik Mining And Construction Oy | Method and control system for a mining vehicle and a mining vehicle |
| WO2020123531A1 (en) * | 2018-12-11 | 2020-06-18 | SafeAI, Inc. | Techniques for kinematic and dynamic behavior estimation in autonomous vehicles |
-
2020
- 2020-12-07 CN CN202011415377.5A patent/CN112572470B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102041824A (zh) * | 2010-12-09 | 2011-05-04 | 三一重机有限公司 | 一种挖掘机工作装置的自动控制系统及控制方法 |
| CN109597404A (zh) * | 2017-09-30 | 2019-04-09 | 徐工集团工程机械股份有限公司 | 压路机及其控制器、控制方法和系统 |
| CN107908874A (zh) * | 2017-11-15 | 2018-04-13 | 上海华兴数字科技有限公司 | 工况识别方法和装置及工程机械设备 |
| CN108222093A (zh) * | 2018-01-02 | 2018-06-29 | 清华大学 | 一种自主推土机器人 |
| CN108797669A (zh) * | 2018-06-20 | 2018-11-13 | 清华大学 | 一种自主3d挖掘施工机器人 |
| CN110262469A (zh) * | 2019-07-23 | 2019-09-20 | 江苏常发农业装备股份有限公司 | 一种应用于农机车辆的自动行驶控制系统和方法 |
| CN111694973A (zh) * | 2020-06-09 | 2020-09-22 | 北京百度网讯科技有限公司 | 自动驾驶场景的模型训练方法、装置、电子设备 |
| CN111866809A (zh) * | 2020-07-29 | 2020-10-30 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡远程遥控驾驶系统及方法 |
| CN111950930A (zh) * | 2020-08-25 | 2020-11-17 | 盟识(上海)科技有限公司 | 一种矿区自动驾驶车辆的调度方法、系统及设备 |
| CN111984018A (zh) * | 2020-09-25 | 2020-11-24 | 斑马网络技术有限公司 | 自动驾驶方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112572470A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12158760B2 (en) | Worksite plan execution | |
| Paulson Jr | Automation and robotics for construction | |
| AU2016201816B2 (en) | System and method for determination of machine state based on video and audio analytics | |
| CN109811822B (zh) | 用于控制挖掘机的方法和装置 | |
| AU2017228682A1 (en) | Systems, methods, and apparatus for dynamically planning machine dumping operations | |
| CN102770604A (zh) | 包含便携式数字媒体设备的机械控制和引导系统 | |
| EP4048842B1 (en) | System and method for validating availability of machine at worksite | |
| CN112962709A (zh) | 工程机械设备及其作业轨迹规划方法和系统、存储介质 | |
| US20230142088A1 (en) | Remote operation assistance device and remote operation assistance method | |
| US20240093464A1 (en) | Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models | |
| US20230175232A1 (en) | Autonomous loading operations of a mining machine | |
| CN112572470B (zh) | 施工机械设备自动驾驶方法及装置 | |
| CN115649186A (zh) | 基于有人驾驶的无人驾驶作业方法、装置、电子设备及存储介质 | |
| CN111505995B (zh) | 一种工程机械的远程控制方法、装置、设备及存储介质 | |
| AU2016200475A1 (en) | Machine communication using a multi-stage suitability algorithm | |
| KR20190117032A (ko) | 굴삭기 고장 예측 장치 및 이의 동작 방법 | |
| KR102529023B1 (ko) | 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법 | |
| CN111583924A (zh) | 一种工程机械的控制方法、装置、电子设备及存储介质 | |
| WO2022196530A1 (ja) | 支援システム、情報処理装置、プログラム | |
| US10267016B2 (en) | System and method for swing control | |
| CN113323067B (zh) | 用于工程机械的控制方法、处理器、装置及工程机械 | |
| EP4332709A1 (en) | Controlling a mobile mining vehicle | |
| KR20240105532A (ko) | 건설현장용 무인이동체의 자율작업 운영서버 및 방법 | |
| CN119816642A (zh) | 施工机械、信息处理装置及程序 | |
| CN119218236A (zh) | 一种基于ai算法的工程车控制方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |