[go: up one dir, main page]

CN107251093A - 用于确定材料移动机械的铲斗的材料装载状况的系统和方法 - Google Patents

用于确定材料移动机械的铲斗的材料装载状况的系统和方法 Download PDF

Info

Publication number
CN107251093A
CN107251093A CN201580077071.4A CN201580077071A CN107251093A CN 107251093 A CN107251093 A CN 107251093A CN 201580077071 A CN201580077071 A CN 201580077071A CN 107251093 A CN107251093 A CN 107251093A
Authority
CN
China
Prior art keywords
scraper bowl
surface model
surface configuration
predefined preferred
marginal point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580077071.4A
Other languages
English (en)
Inventor
托尔比约恩·马丁松
马丁·芒努松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Construction Equipment AB
Original Assignee
Volvo Construction Equipment AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Construction Equipment AB filed Critical Volvo Construction Equipment AB
Publication of CN107251093A publication Critical patent/CN107251093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/34—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with bucket-arms, i.e. a pair of arms, e.g. manufacturing processes, form, geometry, material of bucket-arms directly pivoted on the frames of tractors or self-propelled machines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/40—Dippers; Buckets ; Grab devices, e.g. manufacturing processes for buckets, form, geometry or material of buckets
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种用于确定材料移动机械(10)的铲斗(12)的材料装载状况的系统(18)。所述系统(18)包括用于生成被装载到铲斗(12)中的材料的表面的表面模型(17)并将该表面模型(17)与和铲斗(12)相关联的预定义的优选表面形状(38)进行比较的装置。

Description

用于确定材料移动机械的铲斗的材料装载状况的系统和方法
技术领域
本公开涉及一种用于确定材料移动机械的铲斗的材料装载状况的系统。此外，本公开涉及一种材料移动机械以及用于确定材料移动机械的铲斗的材料装载状况的方法。
本公开能够用在诸如轮式装载机、挖掘机、推土机等的材料移动机械中。虽然将针对轮式装载机来描述本发明，但本发明不限于这种特定的材料移动机械，而是也可用在其它类型的材料移动机械中。
背景技术
诸如轮式装载机的材料移动机械通常包括铲斗，所述铲斗适于在材料移动操作期间被装有诸如砾石的材料。为了实现合适的操作，通常希望在铲斗中装有适当量的材料。
在铲斗装有少量材料的情形中，存在的风险是：材料移动操作可能与不必要的高时间消耗和/或燃料消耗相关联，这是因为材料移动机械可能需要执行比铲斗被合适地装填时所需的工作循环更多的工作循环。另一方面，如果铲斗被过多地装有材料，存在的风险是材料将在材料移动操作期间溢出。
对于铲斗的装载状况的评估可通过读取被装填的铲斗中的材料的重量来执行。然而，仅被装填的材料的重量并不总是提供用于确定铲斗是否被适当地装填的足够信息。
发明内容
本公开的目的是提供一种用于确定材料移动机械的铲斗的材料装载状况的系统，所述系统提供关于铲斗是否被适当地装填的相关信息。
该目的通过根据权利要求1所述的系统来实现。
这样，本公开涉及一种用于确定材料移动机械的铲斗的材料装载状况的系统。该系统包括用于生成被装载在铲斗中的材料的表面的表面模型并将该表面模型与和铲斗相关联的预定义的优选表面形状进行比较的装置。
上述系统意味着一种改进的确定铲斗的材料装载状况的方式。例如，通过由该系统因此生成的表面模型，实现了对铲斗材料装载状况的更全面评估。仅作为示例，取决于其设计，不同类型的铲斗可与不同的优选表面形状相关联，并且所装载的材料的表面模型的生成意味着用于确定当前的铲斗是否被适当地装填的有用信息。
可选地，该系统适于生成被装载到铲斗中的材料的表面的三维模型。该表面的三维模型意味着确定材料装载状况的多种可能性，例如在装载到铲斗中的材料的坡度方面和/或装载到铲斗中的材料的在所有三个维度上的重心方面确定材料装载状况。
可选地，所述预定义的优选表面形状取决于装载到铲斗中的材料的类型。这样，作为基于铲斗的类型来确定预定义的优选表面形状的替代或补充，可考虑到材料的实际类型来确定材料装载状况。
可选地，所述预定义的优选表面形状包括关于装载到铲斗中的材料的标称休止角的信息。
可选地，该系统适于确定指示溢出风险的溢出参数和/或指示材料装填率的装填率参数。
可选地，该系统适于发出指示材料装载状况的信号，该系统优选适于发出指示铲斗是否被适当地装载的信号。
可选地，该系统包括用于生成表面模型的感知组件，所述感知组件优选包括照相机和激光传感器中的至少一个。
可选地，该感知组件适于生成被装载到铲斗中的材料的表面的三维表面模型，所述感知组件优选地包括飞行时间照相机、立体照相机、结构光照相机或被促动的激光测距仪中的至少一个。
可选地，该感知组件的至少一部分适于附接到材料移动机械的一部分。
本公开的第二方面涉及一种包括铲斗的材料移动机械。该材料移动机械还包括用于确定铲斗的材料装载状况的系统。该系统包括用于生成被装载到铲斗中的材料的表面的表面模型并将该表面模型与和铲斗相关联的预定义的优选表面形状进行比较的装置。
可选地，该材料移动机械包括带有顶部的驾驶室，其中，至少所述感知组件的上述部分被附接到驾驶室顶部。
本发明的第三方面涉及一种用于确定材料移动机械的铲斗的材料装载状况的方法。该方法包括如下步骤：
–生成被装载到铲斗中的材料的表面的表面模型；和
–将该表面模型与和铲斗相关联的预定义的优选表面形状进行比较。
可选地，所述预定义的优选表面形状包括关于装载到铲斗中的材料的标称休止角的信息。
可选地，该铲斗包括铲斗底部和铲斗开口边缘，所述铲斗开口边缘带有至少三个边缘点，其中所述预定义的优选表面形状通过如下方式生成：
–通过如下方式形成一组边缘点平面：
●对每一对相邻的边缘点生成边缘点平面，其中，边缘点平面与所述一对相邻的边缘点中的每一个边缘点相交并且以指示标称休止角的平面角度朝向铲斗的相对侧延伸；和
–组合所述一组边缘点平面以形成预定义的优选表面形状，所述预定义的优选表面形状包括每一个边缘点平面的边缘点平面底板部分，所述边缘点平面底板部分的位置使得所述一组边缘点平面中没有其它平面位于所述边缘点平面底板部分和铲斗底部之间。
可选地，铲斗开口边缘包括至少三个边缘角部，边缘点包括边缘角部。
可选地，将表面模型与和铲斗相关联的预定义的优选表面形状进行比较的特征包括：确定超出预定义的优选表面形状的材料的体积。
可选地，将所述表面模型与和铲斗相关联的预定义的优选表面形状进行比较的特征包括：确定超出每个边缘点平面底板部分的材料的体积。
可选地，将所述表面模型与和铲斗相关联的预定义的优选表面形状进行比较的特征包括：
–确定多个表面模型点；
–对于表面模型点中的超出所述预定义的优选表面形状的每一个表面模型点，确定该表面模型点与预定义的优选表面形状之间的最小距离。
可选地，该方法进一步包括：对于表面模型点中的位于所述预定义的优选表面形状之外的所有表面模型点确定如下参数：所述参数指示了所述表面模型点与预定义的优选表面形状之间的最小距离的平均值和/或方差。
附图说明
参考附图，下文中给出了作为示例陈述的对本发明的实施例的更详细描述。
在附图中：
图1是材料移动机械的示意性透视图；
图2是装填有材料的铲斗的图像的示意性侧视图；
图3是材料表面的表面模型的示意性侧视图；
图4至图6示意了预定义的优选表面形状的示例；
图7示意了将表面模型与预定义的优选表面形状进行比较的实施方式；
图8是包括感知组件的替代实施方式的材料移动机械的示意性透视图；并且
图9是方法的流程图。
具体实施方式
在下文中，将针对轮式装载机10(例如图1中所示的轮式装载机)形式的材料移动机械来描述本发明。轮式装载机10应视作能够包括根据本发明的系统和/或可对其使用本发明的方法的材料移动机械的示例。然而，还可以想到的是，本发明可在另一种材料移动机械、例如挖掘机(未示出)或推土机(未示出)中实施。此外，应强调的是，虽然在下文中参考可移动的材料移动机械描述本发明，但本发明可同样应用于且因此也包括静止的材料移动机械。
图1的材料移动机械10包括铲斗12。此外，材料移动机械10包括促动设备14，用于升起和/或倾斜铲斗12。仅作为示例，促动设备14可包括液压促动器和/或电促动器(在图1中未示出)。
仅作为示例，铲斗12可适于相对于地面和/或相对于材料移动机械的其余部分移动，从而装载材料。
此外，图1示意了铲斗12装有材料16。仅作为示例，该材料可包括沙、砾石、土壤、卵石、岩石等。
图1进一步示意了用于确定材料移动机械10的铲斗12的材料装载状况的系统18。在图1中，材料移动机械10包括系统18。然而，还可构思出的是，系统18可在空间上与材料移动机械10分离。仅作为示例，系统18或系统18的至少一部分可位于在空间上与材料移动机械10分离的静止或移动物体中。
系统18包括用于生成被装载到铲斗中的材料的表面的表面模型的装置。
为此，虽然仅作为示例，但图2示意了图1的铲斗12和材料16的图像，所述图像已由系统18生成。仅作为示例，图2的模型可通过铲斗12和材料16的点云测量来生成。
此外，图3示意了材料16的表面的表面模型17。图3的表面模型17已基于图2的图像生成。仅作为示例，图3的表面模型17可通过对数据，例如能够从图2的图像获得的点，进行外插生成。
应注意的是，在图2和图3中，所述图像和表面模型17是三维模型，所述三维模型是图像和表面模型的优选实施方式。然而，还可构思出的是，系统18的实施例替代地生成二维图像和/或表面模型。此外，虽然图2和图3示意了其中表面模型在两个步骤中生成的替代方案(即，首先生成所述图像，然后生成表面模型17)，但还可构思出的是，所述表面模型可在单个步骤中生成，例如通过基于至少材料表面的一组点来生成表面模型，或者通过使用超过两个步骤来生成表面模型。
系统18可适于在图3的图像中识别铲斗12的类型。仅作为示例，该系统可适于读取铲斗标识符(未示出)，例如条形码或任何其它类型的识别信息。应注意的是，该识别信息并非必需包含可视觉读取的信息，而是可替代地包含可使用例如无线电波传感器、磁性传感器等读取的信息。作为读取铲斗标识符的替代或补充，系统18可适于例如基于铲斗12和材料16的图像来生成铲斗12的模型，且将该铲斗的模型与所存储的模型组进行比较。作为另外的选项，铲斗12的类型可手动输入到系统18中，例如通过材料移动机械10的操作者手动输入。
与如何识别铲斗12的类型无关，该系统可适于移除被装载到铲斗12中的材料16的模型的部分，例如点，使得：当评估装载状况时，可仅考虑位于铲斗模型的边界框内侧的材料16的部分。
一旦该材料的相关部分已被识别，系统18就可生成表面模型17，例如通过生成三角形单元的网格，其中该三角形单元中的节点对应于材料的图像的点。由此生成的网格可形成表面模型17。一旦表面模型17以及其相对于铲斗的位置和定向已被识别，就可确定诸如装载到铲斗12中的材料16的体积的实体。这样的体积确定可通过多种方式来执行。作为非限制性示例，铲斗12的几何模型可与表面模型17组合，并且可通过积分来确定以上两个模型所封闭的体积。
图3示意了这种积分的示例，其中已通过多个铲斗节点对铲斗12的内部进行建模。铲斗节点和表面模型17的节点是在相邻的节点之间生成的组合的三角单元(triangulateelement)。对于每个三角形单元，可生成四面体单元，所述四面体单元的三个角部是三角形单元的节点，并且第四个角部是被铲斗节点和表面模型17的节点封闭的体积的质心。仅作为示例，该质心的位置可通过计算铲斗节点的表面模型17的节点的位置的平均值来计算。
此外，系统18可适于确定与铲斗12相关联的预定义的优选表面形状，即，因此确定的铲斗类型，。仅作为示例，系统18可适于通过从数据库接收数据来确定所述预定义的优选表面形状。该数据库可形成系统18的一部分。替代地，该数据库可与系统18分离且系统18可包括用于与该数据库通信的装置。
与如何确定预定义的优选表面形状无关，系统18适于将所述表面模型与和铲斗12相关联的预定义的优选表面形状进行比较。
所述预定义的优选表面形状不必仅仅基于相关联的铲斗12。可构思出的是，所述预定义的优选表面形状还可取决于装载到铲斗12中的材料的类型。
装载到铲斗中的材料的优选表面形状可随着装载到铲斗12中的材料的类型而变化。为此，系统18优选适于接收指示要装载或已装载到铲斗中的材料的类型的信息。仅作为示例，系统18可适于从操作者接收指示材料的类型的输入。作为另一个选项，系统18可以能够通过以下方式来确定材料的类型：例如，使用一个或多个重量传感器(未示出)例如读取被装载到铲斗中的材料的重量，例如使用上述图像和/或上述表面模型来确定被装载到铲斗中的材料的体积，确定材料的密度，并且根据因此确定的密度建立材料的类型。作为另外的选项，系统18能够通过如下方式来确定材料的类型，即，例如使用GPS系统等来确定铲斗的位置，并且使用此位置处的材料的数据，例如使用数据库、查询表，并因此确定材料的类型。
与如何确定材料的类型无关，系统18优选适于确定与铲斗12相关联的预定义的优选表面形状，即，因此确定的铲斗类型以及因此确定的材料的类型。仅作为示例，基于铲斗类型和材料类型的以上两个参数的所述预定义的优选表面形状可通过从数据库接收数据来确定。作为从数据库接收数据的替代或补充，系统18可适于基于铲斗和材料类型来计算预定义的优选表面形状。
在针对材料类型确定预定义的优选表面形状时可能相关的参数是标称休止角，即，对于装载到铲斗12中的材料而言不发生滑塌的相对于水平面的最陡角度，材料能够被堆在所述水平面上。基于针对材料的类型的标称休止角和铲斗12的类型，能够确定所述预定义的优选表面形状。仅作为示例，这种预定义的优选表面形状包括带有倾斜的顶表面的体积，诸如料堆，其中该体积的形状使得适当大体积的材料可装载到铲斗12中，但其中该体积的顶表面的倾斜等于或低于针对该材料类型的上述的标称休止角。
基于因此生成的表面模型和因此确定的预定义的优选表面形状，系统18可适于确定指示溢出风险的溢出参数和/或指示材料装填率的装填率参数。
仅作为示例，系统18可适于发出指示材料装载状况的信号。例如，系统18可适于发出指示铲斗12是否被适当地装载的信号。
作为非限制性示例，指示铲斗12是否被适当地装载的信号可包括关于铲斗中的材料的体积超出预定义的优选表面形状的信息。作为另外的非限制性示例，所述信号可包括指示关于超出预定义的优选表面形状的体积的位置的信息。
图4至图6示意了可如何对于铲斗12和材料的标称休止角生成预定义的优选表面形状。
图4中示意的铲斗12的实施方式包括铲斗底部19和铲斗开口边缘20。铲斗开口边缘20包括至少三个边缘点。图4中示意的铲斗实施方式包括四个边缘角部22、24、26、28，该四个边缘角部还形成了边缘点。然而，还可构思出的是，至少一个边缘点可位于另一个边缘位置，而不是在边缘角部中。
基于边缘点22、24、26、28，通过对于每一对相邻的边缘点22、24、26、28生成边缘点平面来形成一组边缘点平面，其中边缘点平面与成对的相邻边缘点中的每一个边缘点相交，并且以指示标称休止角的平面角度α朝向铲斗12的相反侧延伸。
图4示意了两个边缘点平面30、32，并且图5示意了另外的两个边缘点平面34、36。
参考图4，对于相邻的边缘点，即第一边缘点22和第二边缘点24生成第一边缘点平面30。第一边缘点平面与成对的相邻边缘点22、24中的每一个边缘点相交并且以指示标称休止角的平面角度α朝向铲斗12的相反侧延伸。仅作为示例，平面角度α可以是标称休止角的函数，例如与标称休止角成比例。作为非限制性示例，平面角度α可与标称休止角相同或至少大体上相同。
对于另一组相邻的边缘点，即图4中的第三边缘点26和第四边缘点28，生成了第二边缘点平面32。
图5示意了对于另外的两组相邻的边缘点的，即对于第一边缘点22和第三边缘点26以及第二边缘点24和第四边缘点28的第三边缘平面34和第四边缘平面36。
图6示意了预定义的优选表面形状38可通过组合所述一组边缘点平面而生成。图6示意了预定义的优选表面形状38包括每个边缘点平面的边缘点平面底板部分(floorportion)30’、32’、34’、36’。所述边缘点平面底板部分的位置使得所述一组边缘点平面中没有其它平面位于边缘点平面底板部分和铲斗底部之间。
如上文中已暗示，指示铲斗12是否被适当地装载的信号可包括关于超出预定义的优选表面形状的铲斗中的材料的体积的信息。
图7示意了其中铲斗12中的材料16的部分16’超出预定义的优选表面形状38的装载状况。如在此所使用，表述“超出预定义的优选表面形状”指示了在预定义的优选表面形状38的背离铲斗底部19的一侧上的位置。
如此，系统18和/或方法的实施例可包括确定超出预定义的优选表面形状38的材料的体积。体积的大小可提供关于铲斗是否被适当地装填的信息。仅作为示例，具有超出预定义的优选表面形状38的大体积的装载状况可具有高的溢出风险且因此可能是较不优选的。
在图7中示意的装载状况中，铲斗12中的材料16的部分16’位于第二边缘点平面底板部分32’中。根据系统18和/或方法的实施例，将表面模型17与和铲斗12相关联的预定义的优选表面形状进行比较的特征包括确定超出每个边缘点平面底板部分30’、32’、34’、36’的材料的体积。
将表面模型与和铲斗相关联的预定义的优选表面形状进行比较的特征可包括确定多个表面模型点。仅作为示例，表面模型点可涉及铲斗12和材料16的点云测量，例如在上文中参考图2展示的点云测量过程。如此，作为非限制性示例，表面模型点能够是点云的点的至少子集。
然而，还可构思出的是，基于被装载到铲斗12中的材料16的表面的表面模型来生成面模型点。
与如何生成表面模型点无关，将表面模型与和铲斗相关联的预定义的优选表面形状进行比较的特征可进一步包括：对于超出预定义的优选表面形状的表面模型点中的每一个表面模型点，确定在该表面模型点和预定义的优选表面形状之间的最小距离d。
仅作为示例，所述最小距离d可通过考虑(assuming)通过点c(例如被选择为是边缘点和/或边缘角部)、法向量n和表面模型点p限定的平面来确定。
最小距离d因而可通过如下公式来计算：
d(p，c，n)＝(p-c)·n 公式1
点组P＝{p1，...，pn}的方差被计算为
然而，在该情形中，我们仅关注模型体积外侧的点；即，带有正距离d的点。更相关的测量则是围绕平均正距离的方差m。设Q＝{p1，...，pk}为其距离d(p，c，n)为正的点组。
然后能够对于位于预定义的优选表面形状的外侧的所有表面模型点确定表面模型点与预定义的优选表面形状之间的最小距离的平均值和/或标准差。
最小距离d的平均值m可根据如下公式确定：
并且，最小距离d的方差σ2通过如下公式确定：
作为确定最小距离d的平均值和/或方差的替代或补充，一组表面模型点的最小距离d可与预定义的优选表面形状有关地来表示。仅作为示例，对于一组表面模型点的最小距离d可针对每个边缘点平面底板部分30’、32’、34’、36’给出。
如此，每个边缘点平面底板部分包括基准点c、法向量n和两个平面向量a、b，所述两个平面向量a、b中的每一个在相关的边缘点平面底板部分的平面中延伸。
为此目的，再次参考图7，其中对于第一边缘点平面底板部分30’示意了以上所述的几何实体c、n、a、b。然而，应注意到的是，第一边缘点平面底板部分中的每一个包括这些实体。
第一边缘点平面底板部分30’可分为多个部分区域30k’或部分单元，所述多个部分区域30k’或部分单元中的每一个具有在平行于a和b向量的方向上的延伸部。对于每一个部分单元30k’，可分别根据公式2或公式3来确定平均值m和/或方差σ2。可因而对每个部分单元30k’给出因此确定的平均值m和/或方差σ2，例如通过以与所确定的值(多个值)对应的颜色对每个部分单元进行颜色标记，或通过对每个部分单元提供带有柱条的直方图。
为确定表面模型，系统18的用于生成表面模型的装置可包括用于生成表面模型的感知组件。作为非限制性示例，该感知组件可包括照相机和激光传感器中的至少一个。在系统18适于生成三维表面模型的情形中，该感知组件可包括飞行时间照相机、立体照相机、结构光照相机或被促动的激光测距仪中的至少一个。
图8示意了图1的材料移动机械10和感知组件40的两个替代实施方式。在第一替代实施方式中，感知组件40’附接到材料移动机械10。仅作为示例且如图8中所示，材料移动机械10可包括带有驾驶室顶部44的驾驶室42，其中第一替代实施方式的感知组件40’的至少一部分附接到驾驶室顶部44。然而，还可构思出的是，可将感知组件40’的第一替代实施方式附接到材料移动机械10的另一个部分，例如促动设备14。
在该感知组件的第二替代实施方式中，感知组件40”不附接到材料移动机械10。此外，虽然仅作为示例，但根据第二替代实施方式的感知组件40”在空间上与材料移动机械10分离。作为非限制性示例，根据第二替代实施方式的感知组件40”可位于静止物体上，例如位于立柱(未示出)等上，或者可位于移动的物体上。仅作为示例，该移动物体可以是能够飞行且具有一个或多个旋翼的物体，例如直升机或四旋翼机。
最后，图9示意了流程图，其示意了根据本发明的第三方面的方法。该第三方面涉及用于确定材料移动机械的铲斗的材料装载状况的方法。铲斗可适于移动以由此装载材料。
如图9可见，该方法包括：
S1.生成被装载到铲斗中的材料的表面的表面模型，和
S2.将该表面模型与和铲斗相关联的预定义的优选表面形状进行比较。
应理解的是，本发明不限于以上所述且在附图中示意的实施例；而是，普通技术人员将认识到可进行许多改变和改型。

Claims (20)

1.一种用于确定材料移动机械(10)的铲斗(12)的材料装载状况的系统(18)，其特征在于，所述系统包括用于生成被装载到所述铲斗中的所述材料(16)的表面的表面模型(17)并将所述表面模型与和所述铲斗(12)相关联的预定义的优选表面形状(38)进行比较的装置。
2.根据权利要求1所述的系统(18)，其中，所述系统(18)适于生成被装载到所述铲斗(12)中的所述材料的表面的三维模型。
3.根据权利要求1或2所述的系统(18)，其中，所述预定义的优选表面形状取决于被装载到所述铲斗(12)中的所述材料的类型。
4.根据权利要求3所述的系统(18)，其中，所述预定义的优选表面形状(38)包括关于被装载到所述铲斗中的所述材料的标称休止角的信息。
5.根据前述权利要求中的任一项所述的系统(18)，其中，所述系统(18)适于确定指示溢出风险的溢出参数和/或指示材料装填率的装填率参数。
6.根据前述权利要求中的任一项所述的系统(18)，其中，所述系统(18)适于发出指示所述材料装载状况的信号，所述系统优选适于发出指示所述铲斗(12)是否被适当地装载的信号。
7.根据前述权利要求中的任一项所述的系统(18)，其中，所述系统(18)包括用于生成所述表面模型(17)的感知组件(40、40’、40”)，所述感知组件(40、40’、40”)优选包括照相机和激光传感器中的至少一个。
8.根据从属于权利要求2时的权利要求7所述的系统(18)，其中，所述感知组件(40、40’、40”)适于生成被装载到所述铲斗(12)中的所述材料的表面的所述三维表面模型(17)，所述感知组件(40、40’、40”)优选包括飞行时间照相机、立体照相机、结构光照相机或被促动的激光测距仪中的至少一个。
9.根据权利要求7或8所述的系统(18)，其中，所述感知组件(40、40’、40”)的至少一部分适于附接到所述材料移动机械(10)的一部分。
10.一种包括铲斗(12)的材料移动机械(10)，所述材料移动机械还包括用于确定所述铲斗(12)的材料装载状况的系统(10)，其特征在于，所述系统包括用于生成被装载到所述铲斗(12)中的所述材料的表面的表面模型(17)并将所述表面模型(17)与和所述铲斗相关联的预定义的优选表面形状(38)进行比较的装置。
11.根据权利要求10所述的材料移动机械(10)，其中，所述系统包括根据权利要求2至9中的任一项所述的特征。
12.根据权利要求10或11所述的材料移动机械(10)，其中，所述材料移动机械(10)包括具有驾驶室顶部(44)的驾驶室(42)，其中，至少所述感知组件(40、40’、40”)的所述部分被附接到所述驾驶室顶部(44)。
13.一种用于确定材料移动机械(10)的铲斗(12)的材料装载状况的方法，其特征在于，
-生成被装载到所述铲斗中的所述材料的表面的表面模型(17)，和
-将所述表面模型(17)与和所述铲斗(12)相关联的预定义的优选表面形状(38)进行比较。
14.根据权利要求13所述的方法，其中，所述预定义的优选表面形状(38)包括关于被装载到所述铲斗(12)中的所述材料的标称休止角的信息。
15.根据权利要求14所述的方法，其中，所述铲斗(12)包括铲斗底部(19)和铲斗开口边缘(20)，所述铲斗开口边缘具有至少三个边缘点(22、24、26、28)，其中，通过以下方式生成所述预定义的优选表面形状(38)：
-通过以下方式形成一组边缘点平面(30、32、34、36)：
●对每一对相邻的边缘点(22、24、26、28)生成边缘点平面(30、32、34、36)，其中，所述边缘点平面(30、32、34、36)与所述一对相邻的边缘点(22、24、26、28)中的每一个边缘点相交并且以指示了所述标称休止角的平面角度(α)朝向所述铲斗(12)的相反侧延伸，和
-组合所述一组边缘点平面(30、32、34、36)以形成所述预定义的优选表面形状(38)，所述预定义的优选表面形状包括每一个边缘点平面(30、32、34、36)的边缘点平面底板部分(30’、32’、34’、36’)，所述边缘点平面底板部分(30’、32’、34’、36’)的位置使得所述一组边缘点平面(30’、32’、34’、36’)中没有其它平面位于所述边缘点平面底板部分(30’、32’、34’、36’)和所述铲斗底部(19)之间。
16.根据权利要求15所述的方法，其中，所述铲斗开口边缘(20)包括至少三个边缘角部，所述边缘点包括所述边缘角部。
17.根据权利要求13至16中的任一项所述的方法，其中，将所述表面模型(17)与和所述铲斗相关联的预定义的优选表面形状(38)进行比较的特征包括：确定超出所述预定义的优选表面形状(38)的所述材料的体积。
18.根据从属于权利要求15或16时的权利要求17所述的方法，其中，将所述表面模型(17)与和所述铲斗相关联的预定义的优选表面形状(38)进行比较的特征包括：确定超出每个边缘点平面底板部分(30’、32’、34’、36’)的所述材料的体积。
19.根据权利要求17或18所述的方法，其中，将所述表面模型(17)与和所述铲斗相关联的预定义的优选表面形状(38)进行比较的特征包括：
-确定多个表面模型点；
-对于所述表面模型点中的超出所述预定义的优选表面形状的每一个表面模型点，确定该表面模型点与所述预定义的优选表面形状之间的最小距离。
20.根据权利要求19所述的方法，其中，所述方法进一步包括：对于所述表面模型点中的位于所述预定义的优选表面形状(38)之外的所有表面模型点确定以下参数值：所述参数值指示了所述表面模型点与所述预定义的优选表面形状(38)之间的最小距离的平均值(m)和/或方差(δ2)。
CN201580077071.4A 2015-03-30 2015-03-30 用于确定材料移动机械的铲斗的材料装载状况的系统和方法 Pending CN107251093A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2015/050382 WO2016159839A1 (en) 2015-03-30 2015-03-30 System and method for determining the material loading condition of a bucket of a material moving machine

Publications (1)

Publication Number Publication Date
CN107251093A true CN107251093A (zh) 2017-10-13

Family

ID=57005249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077071.4A Pending CN107251093A (zh) 2015-03-30 2015-03-30 用于确定材料移动机械的铲斗的材料装载状况的系统和方法

Country Status (4)

Country Link
US (1) US11062061B2 (zh)
EP (1) EP3278304B1 (zh)
CN (1) CN107251093A (zh)
WO (1) WO2016159839A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108661107A (zh) * 2018-04-12 2018-10-16 王海燕 液压能分配可控式挖掘机
CN109902857A (zh) * 2019-01-22 2019-06-18 江苏徐工工程机械研究院有限公司 一种运输车辆装载点自动规划方法及系统
CN111062254A (zh) * 2019-11-18 2020-04-24 厦门大学 一种装载机铲斗内物料堆积密度评估方法和装置
CN111305293A (zh) * 2020-02-25 2020-06-19 深圳冰河导航科技有限公司 一种自动化平地机控制系统及其平地方法
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN116761919A (zh) * 2021-03-08 2023-09-15 神钢建机株式会社 容器测量系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399110B1 (en) * 2015-12-28 2021-02-17 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
WO2017184037A1 (en) * 2016-04-19 2017-10-26 Volvo Construction Equipment Ab Control unit for dumping of material
US10884393B2 (en) * 2016-05-02 2021-01-05 Veolia Nuclear Solutions, Inc. Tank cleaning system
WO2018119240A1 (en) 2016-12-21 2018-06-28 Massachusetts Institute Of Technology Determining soil state and controlling equipment based on captured images
US10733752B2 (en) 2017-07-24 2020-08-04 Deere & Company Estimating a volume of contents in a container of a work vehicle
GB2579981A (en) 2017-08-17 2020-07-08 Veolia Nuclear Solutions Inc Systems and methods for tank cleaning
JP6868938B2 (ja) * 2017-08-24 2021-05-12 日立建機株式会社 建設機械の荷重計測システム
US10982409B2 (en) 2018-04-02 2021-04-20 Deere & Company Excavator measurement and control logic
US10689830B2 (en) 2018-08-06 2020-06-23 Deere & Company Container angle sensing using vision sensor for feedback loop control
US11124947B2 (en) * 2018-08-22 2021-09-21 Deere & Company Control system for a work machine
US11041291B2 (en) 2018-09-14 2021-06-22 Deere & Company Controlling a work machine based on sensed variables
DE102018217029A1 (de) 2018-10-04 2020-04-09 Deere & Company Verfahren zur Steuerung eines Ladewerkzeugs
CN113167569B (zh) * 2018-11-21 2022-10-11 日本电气通信系统株式会社 体积测量装置、系统、方法和程序
US11001991B2 (en) * 2019-01-11 2021-05-11 Caterpillar Inc. Optimizing loading of a payload carrier of a machine
WO2021178441A2 (en) 2020-03-02 2021-09-10 Clark Equipment Company Electrically powered power machine
JP7472746B2 (ja) * 2020-09-30 2024-04-23 コベルコ建機株式会社 作業支援装置
JP7374142B2 (ja) * 2021-03-01 2023-11-06 日立建機株式会社 ホイールローダ
CA3220521A1 (en) 2021-09-02 2023-03-09 Brent DURKIN Lift arm arrangements for power machines
JP2023057349A (ja) * 2021-10-11 2023-04-21 国立大学法人広島大学 バケット情報取得装置およびこれを備えた建設機械
US20250043546A1 (en) * 2023-07-31 2025-02-06 Caterpillar Inc. Material selection for a loading operation performed by a machine
GB2635203A (en) * 2023-11-03 2025-05-07 Motion Metrics Int Corp Bulk volume monitoring and estimation of material

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US20080193273A1 (en) * 1999-06-15 2008-08-14 Philipp-Hagenbuch, Inc. Process for three-dimensional modeling and design of off-highway dump bodies
US20120191431A1 (en) * 2009-06-25 2012-07-26 Commonwealth Scientfic And Industrial Research Organisation Autonomous loading
CN102762344A (zh) * 2009-05-29 2012-10-31 考戈奈克斯技术和投资股份有限公司 用于实用3d视觉系统的方法和设备
CN102979131A (zh) * 2011-09-06 2013-03-20 齐国静 一种装载机铲斗的结构

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887914A (en) * 1993-11-30 1999-03-30 Hagenbuch; Leroy G. Vehicle in-service/out-of-service rotatable tailgate mechanism
AUPN385195A0 (en) * 1995-06-29 1995-07-20 Hall, David John A system for monitoring a movement of a vehicle tool
FR2765692B1 (fr) * 1997-07-04 1999-09-10 Inst Francais Du Petrole Methode pour modeliser en 3d l'impedance d'un milieu heterogene
AU9522598A (en) 1997-12-19 1999-07-08 Carnegie Wave Energy Limited Template-based loading strategy using perceptual feedback
JP2002277222A (ja) 2001-03-21 2002-09-25 Kajima Corp シールド掘進時の排土量計測方法及びシステム
US7171344B2 (en) * 2001-12-21 2007-01-30 Caterpillar Inc Method and system for providing end-user visualization
SE526913C2 (sv) * 2003-01-02 2005-11-15 Arnex Navigation Systems Ab Förfarande i form av intelligenta funktioner för fordon och automatiska lastmaskiner gällande kartläggning av terräng och materialvolymer, hinderdetektering och styrning av fordon och arbetsredskap
JP4173121B2 (ja) 2003-09-02 2008-10-29 株式会社小松製作所 建設機械の運転システム
AU2005227398B1 (en) 2005-10-28 2006-04-27 Leica Geosystems Ag Method and apparatus for determining the loading of a bucket
JP5108350B2 (ja) 2007-03-26 2012-12-26 株式会社小松製作所 油圧ショベルの作業量計測方法および作業量計測装置
KR100916638B1 (ko) 2007-08-02 2009-09-08 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법
US8170756B2 (en) 2007-08-30 2012-05-01 Caterpillar Inc. Excavating system utilizing machine-to-machine communication
US9611620B2 (en) * 2009-09-04 2017-04-04 Philip Paull Apparatus and method for enhanced grading control
US8988759B2 (en) * 2010-07-26 2015-03-24 The Invention Science Fund I Llc Metamaterial surfaces
US20120114181A1 (en) 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
US8833861B2 (en) * 2010-12-03 2014-09-16 Caterpillar Inc. Loading analysis system and method
US8702713B2 (en) 2011-01-26 2014-04-22 Warsaw Orthopedic, Inc. Instruments and techniques for adjusting relative positioning of bones or bony tissues
US8825314B2 (en) * 2012-07-31 2014-09-02 Caterpillar Inc. Work machine drive train torque vectoring
JP5552523B2 (ja) * 2012-11-20 2014-07-16 株式会社小松製作所 作業機械および作業機械の作業量計測方法
US20140200863A1 (en) * 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
US9091586B2 (en) * 2013-03-29 2015-07-28 Caterpillar Inc. Payload determination system and method
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
US9234329B2 (en) * 2014-02-21 2016-01-12 Caterpillar Inc. Adaptive control system and method for machine implements
WO2015162710A1 (ja) * 2014-04-23 2015-10-29 株式会社日立製作所 掘削装置
US20150379457A1 (en) * 2014-06-27 2015-12-31 Topcon Positioning Systems, Inc. Method and Apparatus for Task Driven Operations for Construction Machines
EP3207187B1 (en) * 2014-10-13 2019-11-20 Sandvik Mining and Construction Oy Arrangement for controlling a work machine
US9816248B2 (en) * 2015-10-30 2017-11-14 Deere & Company System and method for assisted bucket load operation
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US20080193273A1 (en) * 1999-06-15 2008-08-14 Philipp-Hagenbuch, Inc. Process for three-dimensional modeling and design of off-highway dump bodies
CN102762344A (zh) * 2009-05-29 2012-10-31 考戈奈克斯技术和投资股份有限公司 用于实用3d视觉系统的方法和设备
US20120191431A1 (en) * 2009-06-25 2012-07-26 Commonwealth Scientfic And Industrial Research Organisation Autonomous loading
CN102979131A (zh) * 2011-09-06 2013-03-20 齐国静 一种装载机铲斗的结构

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108661107A (zh) * 2018-04-12 2018-10-16 王海燕 液压能分配可控式挖掘机
CN109902857A (zh) * 2019-01-22 2019-06-18 江苏徐工工程机械研究院有限公司 一种运输车辆装载点自动规划方法及系统
CN109902857B (zh) * 2019-01-22 2020-11-10 江苏徐工工程机械研究院有限公司 一种运输车辆装载点自动规划方法及系统
CN111062254A (zh) * 2019-11-18 2020-04-24 厦门大学 一种装载机铲斗内物料堆积密度评估方法和装置
CN111062254B (zh) * 2019-11-18 2022-05-10 厦门大学 一种装载机铲斗内物料堆积密度评估方法和装置
CN111305293A (zh) * 2020-02-25 2020-06-19 深圳冰河导航科技有限公司 一种自动化平地机控制系统及其平地方法
CN111368664A (zh) * 2020-02-25 2020-07-03 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN111368664B (zh) * 2020-02-25 2022-06-14 吉林大学 基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
CN116761919A (zh) * 2021-03-08 2023-09-15 神钢建机株式会社 容器测量系统

Also Published As

Publication number Publication date
WO2016159839A1 (en) 2016-10-06
EP3278304A1 (en) 2018-02-07
US20180239849A1 (en) 2018-08-23
EP3278304A4 (en) 2019-03-20
EP3278304B1 (en) 2022-09-07
US11062061B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107251093A (zh) 用于确定材料移动机械的铲斗的材料装载状况的系统和方法
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
CN108431336A (zh) 用于确定待从料堆移除的材料实体的系统和方法以及用于包括这种系统的工程机械的控制单元
JP6925775B2 (ja) 施工管理システム
JP6979015B2 (ja) 作業機械を用いて施工する施工現場のシミュレーションシステム及びシミュレーション方法
CN110805093B (zh) 利用视觉传感器进行反馈回路控制的容器角度感测
US11169018B2 (en) Construction machine including a display device displaying the weight of a work object
AU2022209235B2 (en) Display control device and display control method
WO2017002749A1 (ja) 作業機械の作業支援システム
JP6322612B2 (ja) 施工管理システム及び形状計測方法
CN110574078B (zh) 显示控制装置、显示控制方法、记录介质以及显示系统
CN112513563B (zh) 作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集
CN103362172A (zh) 用于挖掘机的碰撞探测和减缓系统及其方法
JPWO2017119517A1 (ja) 作業機械の制御システム、作業機械、作業機械の制御方法、及びナビゲーションコントローラ
JP6585697B2 (ja) 施工管理システム
CN110032922A (zh) 为采矿作业提供增强现实的方法和系统
JP6606230B2 (ja) 形状計測システム
JP7107792B2 (ja) 建設機械
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
JP2018112051A (ja) 作業機械の制御システム、作業機械、作業機械の制御方法及びナビゲーションコントローラ
JP2022074843A (ja) 作業機械の動作検証装置
JP7502555B2 (ja) 出来形情報処理システム
JP7577589B2 (ja) 物体認識システム
JP7117774B2 (ja) 建設機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination