CN111928782B - 引导信息显示装置、引导信息显示方法及作业机 - Google Patents

Abstract

提供引导信息显示装置、引导信息显示方法及作业机。引导信息显示装置具备：数据显示部；数据获取部，其获取通过摄像机拍摄的吊物区域的影像数据、以及通过激光扫描仪对吊物区域内的包含吊物及地物的物体从上表面进行扫描而获得的点云数据；以及数据处理部，其根据作为从点云数据推定出的物体的上表面的形状的、对点云数据加以聚集而得的平面集群，来生成与物体对应的引导框，使生成的引导框与影像数据内的物体重叠地显示在数据显示部上，数据处理部在从激光扫描仪起的距离方向上对点云数据进行分层，计算属于同一分层的点云数据中的、点间距离在阈值以下的多个点的重心，将与该重心之间的距离在阈值以下的点数据视为同一平面集群来生成引导框。

Description

引导信息显示装置、引导信息显示方法及作业机

本申请是申请日2018年7月19日，申请号201880047717.8，发明名称为“测定对象物的上表面推定方法、引导信息显示装置以及起重机”的分案申请。

技术领域

本发明涉及一种测定对象物的上表面推定方法、使用该方法的引导信息显示装置以及具有引导信息显示装置的起重机的技术。

背景技术

现有技术中已知一种技术，根据通过激光扫描仪获得的测定对象物的点云数据来获取该测定对象物的三维形状。这样的技术例如被以下的专利文献1～3公开。

在专利文献1～3中，作为用于制作三维表示作为测定对象物的地物的形状的三维地图的技术，公开了一种用于解析表示多个地物等的形状的三维点云的三维点云解析方法所涉及的技术。在专利文献1～3所记载的三维点云解析方法中，首先，准备存储有表示多个地物的外形轮廓，并设定用于解析的三维坐标空间中的位置坐标、和推测存在该点的面的法线向量的三维点云数据。而且，通过对三维点云数据进行主成分分析来确定暂时的重力方向，通过排除具有沿着该重力方向的法线向量的点而提取出侧面点云。进而，通过将点间距离接近的点分组，将点云分离为建筑物单位，从而确定每个建筑物的侧面。针对如此获得的各侧面，通过主成分分析而求出法线向量，并通过取得法线向量彼此之间的向量积的加权平均而求出重力方向。

在这样的专利文献1～3所记载的三维点云解析方法中，通过使用表示多个地物的广域的三维点云数据，并使用主成分分析这一统计方法，从而确定每个建筑物的侧面。

现有技术文献

专利文献

专利文献1：日本专利特开2014-186565号公报

专利文献2：日本专利特开2014-186566号公报

专利文献3：日本专利特开2014-186567号公报

发明内容

发明所要解决的技术问题

专利文献1～3所记载的现有技术是在飞机等上安装激光扫描仪，根据在上空飞行的同时获得的点云数据制作三维地图的技术，因此，获取与测定对象物的侧面对应的点云数据，并根据该点云数据确定包括测定对象物的上表面的立体形状。在获取与测定对象物的侧面对应的点云数据的情况下，优选改变测定方向进行多次测定，此外，在测定对象物密集的情况下，有时也无法顺利地从上空获得与测定对象物的侧面对应的点云数据。

因此，在专利文献1～3所记载的现有技术中，能够推定测定对象物的上表面，但用于推定上表面的计算变得复杂，另外，获取点云数据也耗时耗力。

另一方面，与测定对象物的上表面对应的点云数据能够从上空通过大致一次的测定可靠地获得，因此，期望开发出一种仅使用与测定对象物的上表面对应的点云数据，就能够推定测定对象物的上表面的技术。

本发明是鉴于上述现实问题而做出的，其目的在于提供一种能够根据与通过激光扫描仪获得的测定对象物的上表面对应的点云数据来推定测定对象物的上表面的测定对象物的上表面推定方法、使用该方法的引导信息显示方法以及起重机。

用于解决问题的技术方案

本发明所要解决的技术问题如上所述，下面对用于解决该技术问题的技术方案进行说明。

即，本发明涉及的测定对象物的上表面推定方法的特征在于，通过对点云数据进行运算处理的数据处理单元执行如下工序：两点选择工序，从通过激光扫描仪从测定对象物的上方获得的、包含所述测定对象物的区域中的所述点云数据，提取所述区域的铅垂方向上的规定厚度内所包含的所述点云数据，并从提取出的所述点云数据选择两个点；点间距离计算工序，计算所述两个点的点间距离；两点视为平面工序，在计算出的所述点间距离在规定的阈值以下的情况下，将所述两个点视为位于同一平面上的两点；重心计算工序，计算被视为位于同一平面上的各点的重心；附近点搜索工序，搜索作为与所述重心之间的距离在所述阈值以下的点的附近点；以及附近点视为平面工序，当发现所述附近点时，将所述附近点视为与被视为位于所述同一平面上的各点位于同一平面上的点，每当检测到所述附近点时，便依次反复进行所述重心计算工序、所述附近点搜索工序以及所述附近点视为平面工序，获取被视为位于同一平面上的多个点，并根据所述多个点推定所述测定对象物的上表面。

根据这样构成的测定对象物的上表面推定方法，能够根据与由激光扫描仪获得的测定对象物的上表面对应的点云数据推定测定对象物的上表面。该情况下，能够在短时间内推定上表面，而且，能够实时推定测定对象物的上表面。

另外，本发明涉及的测定对象物的上表面推定方法的特征在于，通过所述数据处理单元，根据被视为位于同一平面上的所述多个点中的、在所述上表面的宽度方向上分离最远的两点的点间距离来推定所述上表面的宽度，根据在所述上表面的进深方向上分离最远的两点的点间距离来推定所述上表面的进深。

根据这样构成的测定对象物的上表面推定方法，能够根据与由激光扫描仪获得的测定对象物的上表面对应的点云数据，容易地推定上表面的宽度和进深。

另外，本发明涉及的引导信息显示装置的特征在于，具备：数据获取部，其具有摄像机和激光扫描仪，所述摄像机从测定对象物的上方拍摄至少包含所述测定对象物和地表面的区域的影像，所述激光扫描仪在所述区域内从所述测定对象物的上方获取点云数据；数据处理部，其根据由所述数据获取部的激光扫描仪获得的所述点云数据，推定所述测定对象物的上表面和所述测定对象物的周围存在的地物的上表面，并生成分别包围所述测定对象物的上表面和所述地物的上表面的引导框；以及数据显示部，其显示将由所述数据处理部生成的所述引导框和由所述摄像机拍摄到的所述影像进行重叠而成的引导信息，前記数据处理部执行如下处理：从包含所述测定对象物的区域中的所述点云数据提取所述区域的铅垂方向上的规定厚度内所包含的所述点云数据；从提取出的所述点云数据选择两个点；计算所述两个点的点间距离；在计算出的所述点间距离为规定的阈值以下的情况下，将所述两个点视为位于同一平面上的两点；计算被视为位于同一平面上的各点的重心；搜索作为与所述重心之间的距离在所述阈值以下的点的附近点；当发现所述附近点时，将所述附近点视为与被视为位于所述同一平面上的各点位于同一平面上的点；每当检测到所述附近点时，便依次反复进行所述重心的计算、所述附近点的搜索以及将所述附近点视为位于同一平面上的点，获取被视为位于同一平面上的多个点，并根据所述多个点推定所述测定对象物的上表面。

根据这样构成的引导信息显示装置，能够根据与由激光扫描仪获得的测定对象物的上表面对应的点云数据推定测定对象物的上表面。

另外，本发明涉及的引导信息显示装置的特征在于，前記数据处理部根据被视为位于同一平面上的所述多个点中的、在所述上表面的宽度方向上分离最远的两点的点间距离来推定所述上表面的宽度，根据在所述上表面的进深方向上分离最远的两点的点间距离来推定所述上表面的进深。

根据这样构成的引导信息显示装置，能够根据与由激光扫描仪获取到的测定对象物的上表面对应的点云数据，容易地推定上表面的宽度和进深。

另外，本发明涉及的起重机的特征在于，具有上述的引导信息显示装置。

根据这样构成的起重机，能够根据与由激光扫描仪获得的测定对象物的上表面对应的点云数据推定测定对象物的上表面。

(发明效果)

作为本发明的效果，能够实现以下所示的效果。

根据本发明涉及的测定对象物的上表面推定方法、引导信息显示装置以及起重机，能够根据与由激光扫描仪获得的测定对象物的上表面对应的点云数据推定测定对象物的上表面。

附图说明

图1是示出本发明的一实施方式涉及的起重机的整体构成的示意图。

图2是说明吊物区域的俯视示意图。

图3是示出本发明的一实施方式涉及的引导信息显示装置的整体构成的示意图。

图4是说明吊物区域的侧面示意图。

图5是摄像机空间坐标系和摄像机的视场角的说明图，其中，(A)是沿Z轴方向观察的示意图，(B)是沿X轴方向观察的示意图。

图6是利用激光扫描仪照射激光的状况的说明图，其中，(A)是沿X轴方向观察的示意图，(B)是沿Y轴方向观察的示意图。

图7是示出数据获取部的示意图，其中，(A)是沿Y轴方向观察的仰视图，(B)是(A)中的A-A剖视图。

图8是示出引导信息的显示状态的图，其中，(A)是表示显示影像M的数据显示部的图，(B)是表示将影像M与引导信息GD重叠显示的数据显示部的图。

图9是示出引导信息显示装置的另一构成的示意图，其中，(A)是由平板电脑构成数据处理部、数据显示部、数据输入部的情况，(B)是由触摸面板式显示装置构成数据显示部、数据输入部的情况。

图10是示出吊物区域和激光侧线的关系的示意图。

图11是对利用激光扫描仪照射激光的状况进行说明的沿Z轴方向观察的示意图。

图12是示出利用数据处理部进行的数据处理的流程的流程图。

图13是示出通过数据获取部获得的点云数据的图，其中，(A)是在XYZ坐标系中绘制点云数据的图，(B)是将在XYZ坐标系中绘制的点云数据分为多个组的图。

图14是示出操作员指定地表面的状况的示意图。

图15是指定地表面时的基准高度的计算方法的说明图，其中，(A)是表示基准高度的计算方法的图，(B)是表示吊物区域的分割状况的示意图。

图16是平面集群的生成方法的说明图。

图17是示出平面的推定步骤的流程图。

图18是平面的推定步骤(STEP-201～202)的说明图。

图19是平面的推定步骤(STEP-203～205)的说明图。

图20是平面的推定步骤(STEP-206～208)的说明图。

图21是平面的推定步骤(STEP-206～208(第二次))的说明图。

图22是平面的推定步骤(上表面的推定状况)的说明图。

图23是存在于不同组的平面的结合方法的流程图。

图24是存在于不同组的平面的结合方法的说明图。

图25是同一区域的聚集处理的说明图。

图26是分层聚集的说明图，其中，(A)是第一例的地物的情况，(B)是第二例的地物的情况。

图27是引导框的生成步骤的说明图。

图28是示出分层聚集中的同一区域集群的设定例的图，其中，(A)是设为包围整体的同一区域集群的情况，(B)是将标高值最高的平面集群设定为另一个同一区域集群的情况，(C)是设定包含全部标高值的差分在阈值以上的平面集群的另一个同一区域集群的情况。

图29是示出数据显示部中的警报显示的示意图。

图30是排除区域的设定状况的说明图。

具体实施方式

接着，对发明的实施方式进行说明。

如图1所示，起重机1是具有本发明的一实施方式涉及的引导信息显示装置的起重机的一例，且是能够在所期望的场所移动的移动式起重机。

起重机1具有行驶车辆10和起重机装置20。

行驶车辆10是用于输送起重机装置20的车辆，具有多个(在本实施方式中为四个)车轮11，并以发动机(未图示)作为动力源进行行驶。

在行驶车辆10的四周角部设置有外伸支架12。外伸支架12由能够通过液压向行驶车辆10的宽度方向两侧延伸的伸出梁12a、和能够向与地面垂直的方向延伸的液压式的千斤顶气缸12b构成。并且，行驶车辆10能够通过使千斤顶气缸12b接地而使起重机1变为能够作业的状态，通过增加伸出臂12a的延伸长度，能够扩大起重机1的可作业范围(作业半径)。

起重机装置20通过钢丝绳吊起吊物W，具有旋转台21、伸缩臂22、主带钩滑轮(mainhook block)23、副带钩滑轮24、升降气缸25、主绞盘(main winch)26、主钢丝绳27、副绞盘28、副钢丝绳29以及驾驶室30。

旋转台21构成为能够使起重机装置20旋转，并通过圆环状的轴承设置在行驶车辆10的车架上。圆环状的轴承以其旋转中心与行驶车辆10的设置面垂直的方式配置。旋转台21构成为以圆环状的轴承的中心为旋转中心向一方向和另一方向旋转自如。另外，旋转台21通过液压式的旋转电机(未图示)进行旋转。

伸缩臂22以能够吊起吊物W的状态支承钢丝绳。伸缩臂22由多个臂部件、即基础臂部件22a、第二臂部件22b、第三臂部件22c、第四臂部件22d、第五臂部件22e以及顶端臂部件22f构成。各臂部件按照截面面积大小的顺序呈嵌套式被插入。伸缩臂22构成为通过未图示的伸缩气缸使各臂部件移动，从而在轴向上伸缩自如。伸缩臂22的基础臂部件22a的基端以能够摆动的方式设置在旋转台21上。据此，伸缩臂22构成为在行驶车辆10的车架上能够水平旋转且摆动自如。

主带钩滑轮23用于悬挂垂吊吊物W，并设置有挂绕主钢丝绳27的多个吊钩滑轮和悬挂吊物W的主吊钩32。

起重机装置20除了具有主带钩滑轮23之外，还具有用于悬挂垂吊吊物W的副带钩滑轮24，副带钩滑轮24上设置有悬挂吊物W的副吊钩33。

升降气缸25用于使伸缩臂22升起和下降，并保持伸缩臂22的姿势。升降气缸25由包括气缸部和杆部的液压气缸构成。

主绞盘26进行主钢丝绳27的卷入(卷起)和放出(放下)，在本实施方式中由液压绞盘构成。

主绞盘26构成为：通过主液压电机使缠绕主钢丝绳27的主滚筒旋转。主绞盘26构成为：通过以使主液压电机向一方向旋转的方式供给液压油，从而将缠绕于主滚筒的主钢丝绳27放出，通过以使主液压电机向另一方向旋转的方式供给液压油，从而将主钢丝绳27缠绕卷入至主滚筒上。

另外，副绞盘28用于进行副钢丝绳29的卷入和放出，在本实施方式中，由液压绞盘构成。

驾驶室30覆盖操作员就座的驾驶座席31，并设置在旋转台21上的伸缩臂22的侧方。

如此构成的起重机1通过使行驶车辆10行驶，能够使起重机装置20移动至任意的位置，另外，通过利用升降气缸25使伸缩臂22以任意的升降角度立起，能够使伸缩臂22延伸至任意的伸缩臂长度。

另外，起重机1具有用于控制旋转台21、伸缩臂22、升降气缸25等的动作(即，起重机1的动作)的控制器34。控制器34能够向外部输出与旋转台21、伸缩臂22、升降气缸25等的动作状态有关的信息、与起重机1固有的性能有关的信息、以及吊物W的重量等。

另外，在本说明中，以伸缩臂22的升降支点的轴向为基准而规定图1所示那样的XYZ坐标系(在以下的说明中也同样)。

X轴方向(也称为侧线方向)是与伸缩臂22的升降支点的轴向平行的水平方向。另外，Y轴方向(也称为标高方向)为铅垂方向。进而，Z轴方向(也称为进深方向)是与伸缩臂22的升降支点的轴向垂直的水平方向。即，如图2所示，XYZ坐标系规定为以伸缩臂22为基准的局部坐标系。

接着，对本发明的一实施方式涉及的引导信息显示装置进行说明。

起重机1具有图3所示的引导信息显示装置50。

引导信息显示装置50是本发明涉及的引导信息显示装置的一例，且是为了高效且安全地进行图1所示的起重机1所进行的作业，而以影像的形式显示包含吊物W的区域(以下称为“吊物区域WA”)的信息(以下称为“引导信息”)并提示给操作员的装置。

此处所谓的“吊物区域WA”如图2和图4所示，在起重机1的作业区域SA内设定为沿Y轴方向观察时包含吊物W的区域，且是作为生成“引导信息”的对象的区域。

“吊物区域WA”被设定为包含起重机1中的伸缩臂22的顶端臂部件22f正下方的区域，存在于吊物区域WA内的吊物W、地表面F以及地物C成为引导信息显示装置50的测定对象物。“吊物区域WA”根据伸缩臂22的旋转动作、升降动作、伸缩动作而进行位移。

另外，此处所谓的“引导信息”是指在操作员利用起重机1搬送吊物W时，辅助操作员判断伸缩臂22的长度、旋转位置以及升降角度、钢丝绳的卷出量等是否合适的信息，包括吊物区域WA的影像信息、与吊物W和地物C的形状有关的信息、吊物W的高度信息、地物C的高度信息、与吊物W的移动路线有关的信息等。

如图3和图4所示，引导信息显示装置50由数据获取部60、数据处理部70、数据显示部80以及数据输入部90构成。

数据获取部60是获取用于生成吊物区域WA中的引导信息所需要的数据的部位，如图3所示，具有摄像机61、激光扫描仪62以及惯性测量装置(IMU)63。

如图4所示，数据获取部60附设于位于起重机1的伸缩臂22的顶端的顶端臂部件22f上，并以能够从位于吊物W的正上方位置处的臂顶端捕捉正下方的状况的状态配置。此外，此处所谓的吊物W的“正上方”的概念包含吊物W的铅垂上方的位置和以该位置为基准的一定范围(例如，吊物W的上表面的范围)的位置。

数据获取部60经由常平架67(参照图1)附设于伸缩臂22的顶端部的顶端臂部件22f上，并被构成为在伸缩臂22进行升降动作、旋转动作以及伸缩动作时，能够使数据获取部60的姿势(朝向Y轴方向的姿势)保持大致固定不动。由此，能够使摄像机61和激光扫描仪62始终朝向吊物W。因此，数据获取部60能够通过摄像机61和激光扫描仪62，从吊物W和存在于其下方的地表面F(即，吊物区域WA)始终获得数据。另外，在吊物区域WA中存在地物C的情况下，能够通过摄像机61和激光扫描仪62获得地物C的数据。

如图5中的(A)、(B)所示，摄像机61是用于拍摄吊物区域WA的影像的数码摄像机，并具有将拍摄到的影像实时向外部输出的功能。摄像机61具有图5中的(A)、(B)所示的视场角(水平视场角θh和垂直视场角θv)。另外，摄像机61具有考虑到生成适当的引导信息所需要的数据量的像素数、帧频(frame rate)以及图像传输率。

如图3所示，激光扫描仪62是向测定对象物照射激光，并接收该激光在测定对象物中的反射光，从而获取与该反射点有关的信息，获取测定对象物的点云数据的装置。激光扫描仪62的测定对象物为吊物W、地物C以及地表面F。另外，激光扫描仪62中连接有用于获取测定时刻的第一GNSS接收机65。

在引导信息显示装置50中，通过激光扫描仪62实时获取平面的三维点云数据。

如图6所示，激光扫描仪62具有共计16个激光收发传感器，能够同时向测定对象物照射16束激光来获取测定对象物的点云数据。激光扫描仪62的16个激光收发传感器分别在Z轴方向上以使照射角度相差2°的方式配置，由此被构成为能够以整体具有30°的扩张角的方式对测定对象物照射激光。另外，激光扫描仪62的各激光收发传感器构成为能够绕着Z轴360°(全方位)旋转。此外，在以下的说明中，将向吊物区域WA照射的激光所描绘的轨迹称为激光侧线。激光侧线与X轴方向平行，在激光扫描仪62中，同时描绘16条激光侧线。

并且，激光扫描仪62被配置为激光侧线与X轴方向平行。另外，激光扫描仪62被设为变更激光的照射角度的基准轴与Z轴方向平行。

如图3所示，惯性测量装置(Inertial Measurement Unit，以下称为IMU)63是用于获取数据获取时的摄像机61和激光扫描仪62的姿势数据的装置。IMU63能够实时测定姿势角，具有能够用于校正通过激光扫描仪62获得的点云数据的测定精度。另外，IMU63中连接有用于获取测定时刻的第二GNSS接收机66。

如图7中的(A)、(B)所示，数据获取部60是将摄像机61、激光扫描仪62、惯性测量装置(IMU)63固定于框架部件64上，呈一体地构成的传感器单元。

框架部件64是将五张板材组合而构成的大致长方体状的物体。框架部件64被构成为：利用四张板材构成长方体的四周的侧面部，利用剩余的一张板材构成长方体的顶面部，在下方具有开口部的形状。在数据获取部60中，将摄像机61和激光扫描仪62附设于框架部件64的侧面部内侧，将IMU63附设于框架部件64的顶面部。如图7中的(A)所示，在沿Y轴方向观察时，摄像机61的摄像元件中心位置与激光扫描仪62的激光中心位置在Z轴方向上分离距离Δzh。此外，激光中心位置是指激光扫描仪62中的激光的旋转中心，位于Z轴上。

另外，如图7中的(B)所示，在X轴方向观察时，摄像机61的摄像元件中心位置与激光扫描仪62的激光中心位置在Y轴方向上分离距离Δyv。

数据获取部60以框架部件64的四周侧面部中的一对相对的侧面部与Z轴垂直，另一对相对的侧面部与X轴垂直的姿势配置。另外，数据获取部60以框架部件64的顶面部与Y轴垂直的姿势配置。

接着，对于将XYZ坐标系中的点(x，y)的X坐标转换为摄像机空间坐标系中的Xc坐标的方法进行说明。

在引导信息显示装置50中，为了将后述的引导信息GD重叠在摄像机61拍摄的影像M上并显示在数据显示部80上，在XYZ坐标系与摄像机空间坐标系之间进行坐标值的转换处理。在引导信息显示装置50中，在摄像机61的影像空间中，规定了三维的摄像机空间坐标系Xc、Yc、Zc。

如图5中的(A)所示，将从摄像机61的透镜中心延伸的垂线至点(x，y)为止的X轴方向上的距离设为dh，将摄像机61的水平方向上的最大画面宽度设为wh。另外，点(x，y)的距离画面中心的X轴方向上的位置为x。此时，摄像机空间中的点(x，y)的Xc坐标由以下的数式(1)、(2)表示。

此外，在以下的数式中，将摄像机61的摄像元件与激光中心位置在水平方向上的差分设为Δzh(参照图7中的(A))，将摄像机图像的横向宽度设为wh，将摄像机61的水平视场角设为θh，将临时变量设为tmp1。

tmp1＝(y-Δzh)×tan(π×θh/360)…(1)

Xc＝wh/2-wh×x/(2×tmp1)…(2)

接着，对于将XYZ坐标系中的点(y，z)的Z坐标转换为摄像机空间坐标系中的Zc坐标的方法进行说明。

如图5中的(B)所示，将点(y，z)至激光中心为止的Z轴方向的距离设为dv，将摄像机61的水平方向上的最大画面宽度设为wv。另外，点(y，z)的距离画面中心的Z轴方向上的位置为z。此时，摄像机空间中的点(y，z)的Zc坐标由以下的数式(3)、(4)表示。

此外，在以下的数式中，将摄像机61的摄像元件与激光扫描仪62的激光中心位置在垂直方向上的差分设为Δyv(参照图7中的(B))，将摄像机图像的纵向宽度设为wv，将摄像机61的垂直视场角设为θv，将临时变量设为tmp2。

tmp2＝Y×tan(π×θv/360)…(3)

Zc＝wv/2+wv×(Z-Δyv)/(2×tmp2)…(4)

在引导信息显示装置50中，通过使用上述数式(1)～(4)，将在XYZ坐标系中通过激光扫描仪62等获得的点云数据的坐标转换为摄像机空间坐标系，从而将引导信息GD位置对准显示在利用摄像机61拍摄的影像M上。

此外，作为激光扫描仪62，考虑到伸缩臂22的最高到达高度，选择能够从该最高到达高度(例如约100m)测定测定对象物的三维形状的设备。另外，作为激光扫描仪62，考虑到生成适当的引导信息所需要的数据量和数据精度，选择在测定速度、测定点数、测定精度等的各规格上具有规定性能的设备。

此外，在本实施方式中，例示了使用具有共计16个激光收发传感器的激光扫描仪62的情况，但本发明涉及的引导信息显示装置的构成激光扫描仪的激光收发传感器的数量不受限制。即，在本发明涉及的引导信息显示装置中，按照起重机的悬臂(吊臂)的最高到达高度等，适当地选择最佳规格的激光扫描仪。

通过数据获取部60在吊物区域WA内获得的数据中，包含通过摄像机61拍摄吊物W、吊物W下方的地表面F以及存在于吊物W周围的地物C而得到的影像数据。另外，通过数据获取部60在吊物区域WA内获得的数据中，包含通过激光扫描仪62扫描吊物W、地表面F以及地物C而获得的点云数据。此外，此处所谓的地表面F广泛包括作为吊物W的搬送源和搬送目的地的面，不仅是地面，还包含建筑屋顶的地板面和屋顶面等。

如图3所示，数据处理部70是用于对通过数据获取部60获得的数据进行处理，从而生成提示给操作员的引导信息GD的部位，在本实施方式中，通过安装有规定的数据处理程序的通用的个人计算机构成。

另外，数据处理部70与起重机1的控制器34电连接，将从控制器34输出的“起重机信息”输入数据处理部70。

数据显示部80是用于显示提示给操作员的引导信息GD的部位，由与数据处理部70连接的显示装置构成。

如图8中的(A)所示，在数据显示部80中实时显示通过摄像机61拍摄到的吊物区域WA的影像M。

如图8中的(B)所示，引导信息GD中包含表示吊物W、地物C的从Y轴方向观察时的外形形状的引导框GD1、吊物W的下表面的高度信息GD2、地物C的上表面的高度信息GD3、表示吊物W的移动路线的作业半径信息GD4、表示伸缩臂22的轴线方向的轴线信息GD5等。

而且，数据显示部80中重叠显示由数据处理部70生成的引导信息GD和影像M。

如图3所示，数据输入部90是用于向数据处理部70输入设定值等的部位，由触摸面板、鼠标、键盘装置等构成。

此外，如图9中的(A)所示，引导信息显示装置50优选通过平板式的通用个人计算机(以下也称为平板电脑)呈一体地构成数据处理部70、数据显示部80以及数据输入部90。另外，如图9中的(B)所示，引导信息显示装置50也可以构成为：通过触摸面板式显示装置呈一体地构成数据显示部80和数据输入部90，并在该触摸面板式显示装置上连接作为通用个人计算机的数据处理部70。

如图4所示，数据显示部80和数据输入部90配置在驾驶室30内的驾驶座席31前方操作员容易观察的位置。数据处理部70优选配置在数据获取部60的附近。此外，在通过平板电脑呈一体地构成数据处理部70、数据显示部80以及数据输入部90的情况下，也可以形成为将数据处理部70配置在驾驶室30内的构成。

数据获取部60与数据处理部70之间的数据的传送优选通过有线LAN进行。此外，数据获取部60与数据处理部70之间的数据的传送也可以采用无线LAN，或者也可以采用电力线通信。

此外，如图9中的(A)所示，引导信息显示装置50优选通过平板式的通用个人计算机(以下也称为平板电脑)呈一体地构成数据处理部70、数据显示部80以及数据输入部90。另外，如图9中的(B)所示，引导信息显示装置50也可以构成为：通过触摸面板式显示装置呈一体地构成数据显示部80和数据输入部90，并在该触摸面板式显示装置上连接作为通用个人计算机的数据处理部70。

在此，对通过数据获取部60获取数据的获取状况进行说明。

在数据获取部60中，通过摄像机61连续拍摄吊物区域WA，获取吊物区域WA的影像M。

如图10所示，在数据获取部60中，通过激光扫描仪62连续扫描吊物区域WA，获取吊物区域WA中的测定对象物的点云数据。以下，将通过激光扫描仪62获取的点云数据称为点云数据P。点云数据P是点数据p的集合，点数据p表示位于吊物区域WA中存在的地表面F、吊物W、地物C的上表面上的点。并且，如图11所示，点数据p中包含从测定对象物(例如地物C)至激光扫描仪62的距离a、和获得该点数据p时的激光扫描仪62的照射角度b的信息。

如图3所示，激光扫描仪62与第一GNSS接收机65连接，在获取点云数据P的同时，通过第一GNSS接收机65从多个定位卫星接收时间信息。并且，数据处理部70对点数据p赋予与该点数据p的获取时间相关的信息。即，点数据p涉及的信息中除了包含距离a、照射角度b之外，还包含获取时间tp。

另外，在数据获取部60中，在通过激光扫描仪62获取点云数据P的同时，通过IMU63以规定的周期获取激光扫描仪62的姿势数据Q。姿势数据Q中包含与激光扫描仪62相对于X、Y、Z轴的各轴向的角度和加速度的信息。此外，IMU63获取姿势数据Q的获取周期比激光扫描仪62获取点云数据P的获取周期短。姿势数据Q是在每个测定周期测定的个别姿势数据q的集合。

IMU63与第二GNSS接收机66连接，在获取姿势数据Q的同时，通过第二GNSS接收机66从多个定位卫星接收时间信息。数据处理部70对个别姿势数据q赋予获取时间tq作为与该个别姿势数据q的获取时间相关的信息。即，与个别姿势数据q相关的信息中包含获取时间tq。

接着，对数据处理部70的数据的处理状况进行说明。

如图12所示，在数据处理部70的数据处理中，首先进行“帧提取处理”(STEP-101)。

在数据处理部70进行的点云数据P的数据处理中，从点云数据P的流数据中切取1帧的点云数据P并输出。1帧的点云数据P是在激光扫描仪62的激光的照射方向绕Z轴转动一周期间获得的点数据p的集合。

如图12所示，在数据处理部70的数据处理中，接着进行“点云数据与姿势数据的同步处理”(STEP-102)。

数据处理部70使1帧的点云数据P所包含的点数据p与通过IMU63获得的姿势数据Q同步。

具体而言，在各点数据p中，搜索最接近于该点数据p的获取时间tp的个别姿势数据q的获取时间tq，并通过使该获取时间tq中的个别姿势数据q与该点数据p对应而进行同步。

如此一来，数据处理部70输出与个别姿势数据q同步的点数据p。

并且，如图11所示，数据处理部70根据距离a和照射角度b，计算从激光扫描仪62的激光中心位置至点数据p为止的距离h。此外，此处所谓的“距离h”是从激光扫描仪62的激光中心位置至点数据p所存在的水平面为止的距离。

另外，在数据处理部70中，在计算点数据p的距离h时，使用与该点数据p对应的个别姿势数据q进行校正。通过这样，能够消除因激光扫描仪62的姿势而引起的误差，从而能够更高精度地计算点数据p的距离h。

即，在引导信息显示装置50中，数据获取部60具有用于获取激光扫描仪62的姿势数据Q的IMU63，数据处理部70根据由IMU63获得的激光扫描仪62的姿势数据Q对点云数据P进行校正。

在引导信息显示装置50中，通过这样的构成，能够向操作员提示更准确的引导信息GD。

当将1帧的点云数据P描绘至XYZ坐标系中时，如图13中的(A)所示。图13中的(A)是从Z轴方向观察的点云数据P(点数据p的集合)。

如图12所示，在数据处理部70的数据处理中，接着进行“地表面推定处理”(STEP-103)。数据处理部70进行推定地表面F的处理。

首先，对于以影像上的特定位置为基准推定地表面F的情况进行说明。此外，此处例示出操作员手动指定影像上的特定位置的情况，但也可以构成为数据处理部70自动确定并指定影像上的特定位置。

在引导信息显示装置50中，通过在数据显示部80和数据输入部90中指定地表面的位置，能够确定成为基准的地表面F。

在手动进行的情况下，首先如图14的上图所示，操作员在数据显示部80中显示的影像上指定明确为地表面的位置。于是，如图14的中图所示，数据处理部70生成以该被指定的位置(点)为中心的规定半径的基准圆。然后，如图14的下图所示，数据处理部70检测与激光侧线上的点数据p的重叠，并选择被包含在基准圆内的多个点数据p。

然后，如图15中的(A)所示，数据处理部70从被选择的多个点数据p中首先提取出距离h为最大距离hmax的点数据p。为最大距离hmax的点数据p被推测为最低位置处的点数据p。然后，数据处理部70以最大距离hmax为基准，提取距离h的分离量D在一定范围内(本实施方式中为7cm以内)的点数据p，并计算提取出的点数据p的距离h的平均值。数据处理部70将如此算出的平均值推定为到地表面F的距离h，并据此确定地表面F的高度(以下称为基准高度H0)。

然后，数据处理部70根据距离h和基准高度H0计算点数据p的标高值H。如图10所示，标高值H是点数据p与基准高度H0之间的高度。

引导信息显示装置50构成为：根据通过上述处理高精度地获得的地表面F的基准高度H0而生成引导信息GD。因此，在引导信息显示装置50中，能够根据地表面F的高度高精度地计算出吊物W及其周边存在的地物C的形状。

接着，对于自动推定地表面F的情况进行说明。

在上述说明中，示出了操作员指定地表面F的构成，但在引导信息显示装置50中构成为：通过数据处理部70自动推定地表面F。

在通过数据处理部70自动推定地表面F的情况下，如图15中的(B)所示，数据处理部70将吊物区域WA分割为面积相等的多个(本实施方式中为160个)小区域S。

接着，数据处理部70在各小区域S中提取距离h最大(距离h为最大距离hmax)的点数据p，如图15中的(A)所示，以最大距离hmax为基准，提取距离h的分离量D在一定范围内(本实施方式中分离量D为7cm以内)的点数据p。

接着，数据处理部70在各小区域S中计算提取到的点数据p的距离h的平均值。数据处理部70根据如此计算出的距离h的平均值自动推定各小区域S中的地表面F的基准高度H0。

或者，数据处理部70将在各小区域S中计算出的距离h的平均值进一步在全部小区域S内进行平均，并根据该平均值自动推定吊物区域WA的地表面F的基准高度H0。该情况下，数据处理部70以各小区域S的距离h的平均值中的最大值为基准，仅使用与该最大值的分离量D在规定阈值以内的小区域S来计算基准高度H0。

如图12所示，在数据处理部70的数据处理中，接着进行“平面的推定处理”(STEP-104)。数据处理部70通过以下所示的上表面推定方法对存在于吊物区域WA的作为测定对象物的吊物W和地物C的上表面进行推定。

当将1帧的点云数据P描绘至以XYZ坐标系表示的吊物区域WA上时，如图13中的(A)所示。并且，若示意性地表示位于这样的吊物区域WA的点云数据P，则如图16的上图所示。

(点云数据获取工序)

数据处理部70首先获取这样的1帧的点云数据P。点云数据P是从作为测定对象物的吊物W和地物C的上方在包含吊物W和地物C的吊物区域WA中获得的数据。

(分组工序)

数据处理部70将在图16的上图所示那样的吊物区域WA中获得的点云数据P，如图16的中图所示在Y轴方向上以规定的厚度d分割为层状，将点云数据P分成多个组(参照图13中的(B))。

此时，数据处理部70对分割后的各组赋予单独的组ID(此处为ID：001～006)，并使各点数据p与组ID建立关联。

(上表面推定工序)

然后，数据处理部70在各组中使用该组所包含的多个点数据p推定平面。此处所谓的“平面”是吊物W和地物C中朝上存在的平面，即，吊物W和地物C的“上表面”。

以下，对上表面推定工序具体进行说明。

首先，如图17和图18的上图所示，数据处理部70从同一组中包含的多个点数据p、p、…选择两个点数据p、p(两点选择工序：STEP-201)。

然后，如图17和图18的下图所示，数据处理部70计算所选择的两个点数据p、p的两点间距离L1(点间距离计算工序：STEP-202)。

接着，如图17和图19的上图所示，若两点间距离L1在规定的阈值r1以下(STEP-203)，则数据处理部70视为该两点(虚线表示的两个点数据p、p)位于同一平面上(两点视为平面工序：STEP-204)。然后，如图17和图19的下图所示，数据处理部70计算被视为位于同一平面上的各点(此处为所选择的两点)的重心G1(重心计算工序：STEP-205)。假如在(STEP-203)中判定为“否”的情况下，返回(STEP-201)，重新选择新的两点。

接着，如图17和图20的上图所示，数据处理部70搜索成为相对于计算出的重心G1的附近点的点数据p(附近点搜索工序：STEP-206)。此处所谓的“临近点”是相对于重心G1的点间距离为阈值r1以下的点。

然后，如图17和图20的下图所示，当找到成为附近点的点数据p时(STEP-207)，数据处理部70将成为该附近点的点数据p也视为与先前选择的两个点数据p、p位于同一平面上(附近点视为平面工序：STEP-208)。

然后，如图17和图21的上图所示，返回(步骤－205)，数据处理部70根据被视为位于同一平面上的各点(此处为虚线表示的三个点数据p、p、p)计算新的重心G2。

数据处理部70转移至(STEP-206)，进一步搜索成为相对于重心G2的附近点的点数据p。然后，如图17和图21的下图所示，当进一步找到成为附近点的点数据p时(STEP-207)，数据处理部70将成为该附近点的点数据p也视为与先前选择的各点位于同一平面上的点数据p(STEP-208)。

然后，数据处理部70一边计算新的重心一边搜索附近点，每次检测到成为附近点的点数据p时，便依次反复进行(STEP-205)至(STEP-208)的处理。该处理反复进行直到不再检测到成为附近点的点数据p为止。

然后，如图17和图22所示，当找不到新的附近点时，数据处理部70在(STEP-207)中判定为“否”，将被视为位于同一平面上的点数据p的部分集合(集群)加以聚集(clustering)，从而推定平面(STEP-209)。此处所谓的“聚集”是指将点数据p的集合、即点云数据P切分为集群，使各集群中所包含的点数据p具有位于同一平面上这一共同特征的处理。

数据处理部70将点云数据P切分为被视为位于同一平面上的点数据p，设定平面集群CL1(参照图16的下图)。根据属于平面集群CL1的各点数据p，能够规定平面(即，吊物W和地物C的“上表面”)。此外，在被赋予同一组ID的组内，有时存在多个平面集群CL1。

然后，数据处理部70根据属于平面集群CL1的点数据p的、X坐标的最大值和最小值来推定平面的“宽度”，根据Z坐标的最大值和最小值来推定平面的“进深”。即，在本实施方式所示的吊物W和地物C的上表面推定方法中，通过数据处理部70根据被视为位于同一平面上(即，属于同一平面集群CL1)的多个点数据p中的、在上表面的宽度方向(X轴方向)上分离最远的两个点数据p、p的点间距离来推定上表面的“宽度”，根据在上表面的进深方向(Z轴方向)上分离最远的两个点数据p、p的点间距离来推定上表面的“进深”。

如此一来，数据处理部70根据推定出的平面集群CL1来规定平面。此外，这里所规定的平面也可以是矩形以外的多边形。

即，在本实施方式所示的吊物W和地物C的上表面推定方法中，通过数据处理部70执行如下工序：两点选择工序(STEP-201)，从通过激光扫描仪62从吊物W和地物C的上方获得的、包含吊物W和地物C的吊物区域WA中的点云数据P，提取吊物区域WA的铅垂方向上的规定的厚度d内包含的点云数据P，并从提取的点云数据P选择两个点数据p、p；点间距离计算工序(STEP-202)，计算所选择的两个点数据p、p的两点间距离L1；两点视为平面工序(STEP-204)，在计算出的两点间距离L1为规定的阈值r1以下时，将两个点数据p、p视为位于同一平面上的两点；重心计算工序(STEP-205)，计算被视为位于同一平面上的各点的重心G1(或者重心G2)；附近点搜索工序(STEP-206)，搜索成为与重心G1(或者重心G2)的距离为阈值r1以下的点数据p的附近点；附近点视为平面工序(STEP-208)，当发现附近点时，将该附近点视为与被视为位于同一平面上的各点位于同一平面上的点；并且，每当检测到附近点时，便依次反复进行重心计算工序(STEP-205)、附近点搜索工序(STEP-206)、附近点视为平面工序(STEP-207)，获得被视为位于同一平面上的多个点数据p，并根据多个点数据p推定表示吊物W和地物C的上表面的平面集群CL1(STEP-209)。

在这样的上表面推定方法中，可以仅根据通过激光扫描仪62获得的与上表面对应的点云数据P来推定吊物W和地物C的上表面。因此，在本实施方式所示的上表面推定方法中，能够根据由激光扫描仪62获得的点云数据P在短时间内推定吊物W和地物C的上表面，而且，能够实现实时推定吊物W和地物C的上表面。

另外，在这样的上表面推定方法中，能够不使用统计方法来推定吊物W和地物C的上表面，与使用统计方法的情况相比，能够降低推定吊物W和地物C的上表面所需要的计算量。因此，在本实施方式所示的上表面推定方法中，能够根据由激光扫描仪62获得的点云数据P在更短的时间内推定吊物W和地物C的上表面。

此外，在本实施方式所示的吊物W和地物C的上表面推定方法中，例示出了在起重机1中，在伸缩臂22的顶端臂部件22f上设置数据获取部60，通过激光扫描仪62从吊物W的上方获取与吊物W、地物C、地表面F相关的点云数据P的情况，但本发明涉及的测定对象物的上表面推定方法并不限定适用于将起重机的吊物和存在于该吊物周围的物体作为测定对象物的情况。

即，本发明涉及的测定对象物的上表面推定方法例如可以广泛适用于在具有悬臂的作业车辆(例如高空作业车等)的悬臂顶端部或无人机等上设置激光扫描仪，从上空获取存在于其铅垂下方的测定对象物的点云数据，并根据获得的点云数据推定测定对象物的上表面的情况中。

接着，数据处理部70将推定出的各平面集群CL1(上表面)进行结合。

如图23和图24的上图所示，数据处理部70选择推定出的平面集群CL1中被赋予不同的组ID的两个平面集群CL1、CL1，并计算各平面集群CL1的标高值H的差异dH(STEP-301：标高值差异计算工序)。在此，选择属于一个组的平面集群CL1和归于该一个组以外的其他组的平面集群CL1。此处所选择的两个平面集群CL1、CL1内的一方的平面集群CL1为成为结合的基准的上表面(基准上表面)，另一方的平面集群CL1为存在于基准上表面附近的上表面(附近上表面)。

在此，数据处理部70搜索差异dH在阈值r2以内的组合(STEP-302)。此处所谓的平面集群CL1的标高值H是指属于平面集群CL1的各点数据p的标高值H的平均值。

接着，如图23和图24的中图所示，数据处理部70在检测到标高值H的差异dH在阈值r2以内的平面集群CL1的组合时，针对这些平面集群CL1、CL1检测X轴方向上的重叠dW(STEP-303：重叠检测工序)。这里所谓的“重叠”是指通过平面集群CL1规定的平面在X轴方向上的重复程度和分离程度，如图23和图24所示，在检测到“宽度”的重复量dW1的情况下(dW1＞0)，或者分离量dW2在规定的阈值r3以下的情况下(0≤dW2≤r3)，设为检测到“重叠”。

然后，如图23和图24所示，数据处理部70在检测到“重叠”的情况下(STEP-304)，视为属于这些平面集群CL1、CL1的点数据p存在于同一平面上，并将作为附近上表面的平面集群CL1与作为基准上表面的平面集群CL1结合，更新作为基准上表面的平面集群CL1(STEP-305：平面结合工序)。

如图23所示，数据处理部70反复进行以上处理，直至不再有满足条件的平面集群CL1、CL1的组合为止(STEP-306)，推定跨越多个组而存在的平面。

即，数据处理部70在平面结合工序(STEP-305)之后，重新搜索相对于更新后的作为基准上表面的平面集群CL1的标高值H的差异dH在阈值r2以下的作为附近上表面的平面集群CL1，并在发现标高值H的差异dH在阈值r2以下的附近上表面、即新的平面集群CL1的情况下，进一步依次进行重叠检测工序(STEP-303、304)、平面结合工序(STEP-305)。

然后，数据处理部70输出通过以上处理结合后的平面(即，平面集群CL1)。

通过平面集群CL1规定的平面为吊物W和地物C中朝向上方存在的平面，即吊物W和地物C的上表面。

在这样的平面的推定方法中，能够不使用点云数据P的法线向量来推定平面。因此，与使用点云数据P的法线向量来推定平面的情况相比，具有计算量少的特征。

另外，在上述平面的推定方法中，通过推定吊物W、地物C的上表面，无需获取吊物W、地物C的侧面的点数据p便能掌握吊物W、地物C的立体形状。

如图12所示，在数据处理部70进行的数据处理中，接着进行“同一区域的聚集处理”(STEP-105)。此处所谓的“聚集”是指将作为数据集合的点云数据P分割为集群，并使各集群所包含的点数据p具有位于“同一区域”这一共同特征的处理。

此处进行的“同一区域的聚集处理”是与是否构成同一平面无关，而从是否存在于“同一区域”这一不同的观点出发，将生成的平面集群CL1(平面)加以聚集的处理。

具体而言，如图25的上图所示，数据处理部70提取包含标高值H为最大值Hh的点数据p的平面集群CL1、和未与该平面集群CL1结合的平面集群CL1。然后，数据处理部70计算提取出的各平面集群CL1的标高值H的差分ΔH，若差分ΔH在规定的阈值以下，则转移至接下来的判定。

当转移至接下来的判定时，如图25的中图所示，数据处理部70针对差分ΔH在规定的阈值以下的两个平面集群CL1、CL1确认从Y轴方向观察时的重叠。

在此，在两个平面集群CL1、CL1从Y轴方向观察时重叠的情况下，如图25的下图所示，数据处理部70将这些平面集群CL1、CL1视为位于“同一区域”，并通过这些平面集群CL1、CL1形成同一区域集群CL2。

然后，数据处理部70进一步搜索包含具有标高值H的最大值Hh的点数据p的平面集群CL1、和未与该平面集群CL1结合的平面集群CL1，当提取出未结合的平面集群CL1时，根据差分ΔH进行判定、以及确认从Y轴方向观察时的重叠，若存在符合上述条件的平面集群CL1，则进一步追加于上述同一区域集群CL2中。

每当找到未与包含具有标高值H的最大值Hh的点数据p的平面集群CL1结合的平面集群CL1时，数据处理部70便反复进行上述处理。数据处理部70通过以上那样的处理形成同一区域集群CL2。

并且，属于如此形成的同一区域集群CL2的点数据p，在后述的引导信息GD的显示中作为形状上具有一个群集的数据进行处理，并以包围同一区域集群CL2的方式显示引导框GD1。

此外，优选上述“同一区域的聚集处理”为图26中的(A)、(B)所示的、使用基于标高值的木结构的分层聚集。数据处理部70在“同一区域的聚集处理”中，针对每个地物C，使用标高值H制作木结构。在此，例示出针对图26中的(A)所示的第一例的地物C进行使用木结构的分层聚集的情况、和针对图26中的(B)所示的第二例的地物C进行使用木结构的分层聚集的情况。

在使用基于标高值的木结构的分层聚集中，数据处理部70设定标高值H的平均值最小的平面集群CL1为“根(route)”。另外，若存在从Y轴方向观察时与构成“根”的平面集群CL1具有重叠的平面集群CL1，则数据处理部70从“根”延伸出“枝(branch)”，并在“枝”的尖端追加具有该重叠的平面集群CL1。并且，数据处理部70设定标高值H的平均值最大的平面集群CL1为“子”。

在此，对引导框GD1的生成方法进行说明。

数据处理部70获取“同一区域的聚集处理”中制成的地物C的木结构。并且，数据处理部70获取构成木结构的各平面集群CL1中包含的点数据p。

接着，如图27的上图所示，数据处理部70从“子”的平面集群CL1的点数据p获取在Z轴方向上位于最深位置的激光侧线上的各点数据p。然后，数据处理部70形成在Z轴方向上分离与相邻激光侧线之间的距离的1/2，并具有能够包围各点数据p的X轴方向的宽度的矩形。

接着，在与形成的矩形邻接的激光侧线上存在点数据p的情况下，如图27的下图所示，数据处理部70使矩形变形为包含相应激光侧线上的全部点数据p，从而形成外形线。

然后，数据处理部70在邻接的激光侧线上搜索点数据p直到作为对象的激光侧线上不再有点数据p为止，并且反复进行上述处理。

最后，数据处理部70形成包围所选择的木结构所包含的全部平面集群CL1的外形线。

然后，数据处理部70从形成的外形线中仅输出符合条件的外形线作为引导框GD1。

作为引导框GD1输出的条件，例如如图28中的(A)所示，可以选择仅显示作为地物C的大框的外形线的条件。在选择该条件的情况下，在数据显示部80中，相对于该地物C而显示包围地物C整体的一个引导框GD1。

另外，作为引导框GD1输出的条件，例如如图28中的(B)所示，除了作为地物C的大框的外形线之外，还可以选择显示相对于“根”的标高值H的差(差分ΔH)在阈值以上的外形线(小框)中的、与各枝中标高值H最高的平面集群CL1相关的外形线的条件。在选择该条件的情况下，在数据显示部80中显示包围该地物C整体的第一个引导框GD1、和包含在第一个引导框GD1内侧的第二个引导框GD1，显示考虑到地物C的立体形状的更为详细的引导信息GD。

进而，作为引导框GD1输出的条件，例如如图28中的(C)所示，除了作为地物C的大框的外形线之外，还可以选择显示全部相对于“根”的标高值H的差(差分ΔH)在阈值以上的外形线(小框)的条件。在选择该条件的情况下，也在数据显示部80中显示包围地物C整体的第一个引导框GD1、和包含在其内侧的第二个引导框GD1，显示考虑到地物C的立体形状的更为详细的引导信息GD。

这样的显示条件也可以通过调整差分ΔH的阈值而进行。操作员能够适当地选择引导框GD1的显示条件，以便更容易观察引导信息GD的显示。

即，在引导信息显示装置50中，通过根据同一区域集群CL2生成引导框GD1，从而能够在考虑到地物C的立体形状的基础上生成更为详细地表现地物C的引导框GD1。另外，在引导信息显示装置50中，能够生成包围全部存在于同一区域的平面集群CL1的引导框GD1。即，根据引导信息显示装置50，能够提示更为详细且容易看到的引导信息GD。

如图12所示，在数据处理部70进行的数据处理中，接着进行“点云数据和摄像机影像的同步处理”(STEP-106)。

在此，如图5中的(A)、(B)所示，将在XYZ坐标系中获得的点云数据P转换为摄像机空间坐标系的坐标值，并使其与通过摄像机61拍摄到的影像M同步(位置对准)，并输出至数据显示部80。

如图12所示，在数据处理部70进行的数据处理中，接着进行“引导显示处理”(STEP-107)。

数据处理部70根据生成的同一区域集群CL2的信息生成引导信息GD，并输出至数据显示部80。

此外，在“引导显示处理”时，利用从起重机1的控制器34输出的“起重机信息”。此处利用的“起重机信息”中，包含与伸缩臂22的长度、升降角度、起重机1的作业半径、吊物W的重量等相关的信息。

对数据处理部70进行的数据处理的一系列流程进行了说明，但在这样的构成中，不需要获取测定对象物的侧面中的点数据p，能够以较少的运算量切实地掌握吊物W、地物C的立体形状，并生成引导信息GD。这样的构成的数据运算量少，因此，适用于实时掌握吊物W、地物C的形状的用途，能够使用简单的硬件构成的数据处理部70。

接着，对引导信息GD的内容进行说明。

在引导信息显示装置50中，通过数据显示部80显示引导信息GD。在通过数据显示部80显示的引导信息GD中，包含图8中的(B)所示那样的、与操作员进行的地表面F的指定位置相关的信息。

另外，在引导信息显示装置50中，能够指定吊物W。与操作员指定地表面F时同样，通过在画面上指示吊物W，将存在于该指定位置处的平面(上表面)设定为表示吊物W的上表面。优选在作为吊物W指定之后，改变线的颜色或粗细等，将与吊物W相关的引导框GD1和与地物C相关的引导框GD1加以区别进行显示。

与地表面F和吊物W的指定位置相关的信息通过以圆等的图形表示的标记进行显示。

另外，在通过数据显示部80显示的引导信息GD中，包含通过数据处理部70生成的引导框GD1。

数据处理部70根据设定的同一区域集群CL2输出引导框GD1。此外，作为吊物W的引导框GD1，数据处理部70可以设置用于可靠地避免碰撞的余量，并且可以将从吊物W的外形线向外侧偏离规定距离的框线作为引导框GD1输出。这样的引导框GD1成为利用线段包围在吊物W和地物C中推定出的上表面(平面集群CL1)的的框显示。

另外，在通过数据显示部80显示的引导信息GD中，包含从基准高度H0至吊物W的下表面的高度信息GD2、和从基准高度H0至地物C的上表面的高度信息GD3。

优选构成为：在数据显示部80的画面上易于观察的位置处设置独立的区域，并在该区域中显示吊物W的高度信息GD2。

在引导信息显示装置50中，通过这样的构成，能够防止看错吊物W的高度信息GD2和地物C的高度信息GD3。

数据处理部70通过从推定为吊物W的上表面的平面集群CL1的上表面高度减去吊物W的高度而计算出高度信息GD2。

在引导信息显示装置50中，操作员将与吊物W相关的信息(以下称为“吊物信息”)预先输入数据处理部70。该操作员进行的“吊物信息”的输入在数据输入部90中进行。并且，数据处理部70利用“吊物信息”获取吊物W的高度。

在引导信息显示装置50中，形成为将地物C的高度信息GD3显示在包围地物C的引导框GD1的内侧的构成。或者，在引导信息显示装置50中，形成为在引导框GD1小的情况下，以一部分与引导框GD1重叠的方式进行显示的构成。

在引导信息显示装置50中，通过这样的构成，明确了地物C与高度信息GD3的对应关系。

另外，在引导信息显示装置50中，形成为通过数据处理部70根据与该引导框GD1对应的平面集群CL1的标高值H来改变引导框GD1的线的颜色的构成。

在引导信息显示装置50中，通过这样的构成，操作员可以通过观察引导框GD1感知吊物W、地物C的大致标高值(高度)。因此，在引导信息显示装置50中，能够更准确地提示吊物W和地物C的高度。

进而，在引导信息显示装置50中，形成为通过数据处理部70根据与该引导框GD1对应的平面集群CL1的标高值H来改变高度信息GD2的字体颜色的构成。

在引导信息显示装置50中，通过这样的构成，操作员可以通过观察高度信息GD2感知吊物W、地物C的大致标高值(高度)。因此，在引导信息显示装置50中，能够更准确地提示吊物W和地物C的高度。

进而，在通过引导信息显示装置50进行的引导信息GD的显示中，包含吊物W的移动路线信息。在吊物W的移动路线信息中，包含吊物W的作业半径信息GD4和起重机1的伸缩臂22的轴线信息GD5。

作业半径信息GD4是从现状开始使伸缩臂22旋转动作时的吊物W的移动路线的基准，吊物W沿着作业半径信息GD4所示的圆弧进行移动。

另外，轴线信息GD5是从现状开始使伸缩臂22进行升降动作和伸缩动作时的吊物W的移动路线的基准，吊物W沿着作业半径信息GD4所示的直线移动。

在引导信息显示装置50中，根据“起重机信息”生成吊物W的作业半径信息GD4和伸缩臂22的轴线信息GD5。

数据处理部70根据“起重机信息”计算起重机1的作业半径，生成表示该作业半径的圆弧，并作为作业半径信息GD4输出。

另外，数据处理部70根据“起重机信息”计算伸缩臂22的轴线方向，生成表示该轴线方向的直线，并作为轴线信息GD5输出。

另外，在引导信息显示装置50中构成为：用虚线显示表示作业半径信息GD4和轴线信息GD5的线，并且用成为基准的长度(以下称为基准长度)表示该虚线的长度和间隔。例如，在基准长度为1m的情况下，作业半径信息GD4和轴线信息GD5根据显示于数据显示部80中的吊物区域WA的大小在显示上改变虚线的长度和间隔，在此时的尺度中，在地表面F上以相当于1m的长度和间隔显示。

在引导信息显示装置50中构成为：通过以基准长度(例如1m)显示虚线的长度、间隔，操作员能够从引导信息GD中感知吊物W、地物C的尺度感。

另外，数据处理部70根据“起重机信息”计算数据获取部60的高度，并计算吊物区域WA的大小和数据显示部80的显示范围的大小，并根据该计算结果变更作为作业半径信息GD4和轴线信息GD5进行显示的虚线的尺度(虚线及其间隔的大小)。

进而，在通过引导信息显示装置50进行的引导信息GD的显示中，包含用于防止吊物W与地物C接触的警报显示。

在将吊物W和地物C投影到水平面上时的水平距离在规定的阈值(例如1m)以下，且铅垂方向的距离在规定的阈值(例如1m)以下的情况下，数据处理部70判断为有接触的危险。

此时，如图29所示，数据处理部70以将可能与吊物W接触的地物C的引导框GD1和高度信息GD2加以强调的形态输出地物C的引导框GD1和高度信息GD2。或者，数据处理部70以使地物C的引导框GD1和高度信息GD2闪烁的形态输出地物C的引导框GD1和高度信息GD2。在引导信息显示装置50中，通过数据处理部70输出警报显示、即地物C的引导框GD1和高度信息GD2，并显示在数据显示部80上，从而能够提醒操作员注意。

另外，在引导信息显示装置50中，在通过数据处理部70生成引导信息GD时，如图30所示，在吊物W与顶端臂部件22f之间设定除外区域JA。并且，构成为：数据处理部70将在该除外区域JA内获得的点数据p从数据处理的对象中除外。

主钢丝绳27从除外区域JA通过。在引导信息显示装置50中构成为：通过在引导信息GD的生成对象(测定对象物)中不包含主钢丝绳27，从而提示更准确且容易观察的引导信息GD。此外，优选在考虑到不对吊物W的引导框GD1的生成造成影响的基础上，将除外区域JA的下端高度设定在从吊物W的上表面离开规定距离的位置。

在如此构成的引导信息显示装置50中，针对吊物W和存在于吊物W的周边的地物C，能够准确地向起重机1的操作员提示包含表示其形状的引导框GD1和表示高度的高度信息GD2、GD3的引导信息GD。并且，在使用如此构成的引导信息显示装置50的情况下，例如在操作员无法直接视觉确认吊物W的状况下，操作员也可以根据引导信息显示装置50所提示的引导信息GD，高效且安全地通过起重机1进行作业。

(符号说明)

1：起重机

50：引导信息显示装置

60：数据获取部

70：数据处理部(数据处理单元)

80：数据显示部

62：激光扫描仪

P：点云数据

p：点数据

W：吊物

C：地物

WA：吊物区域

CL1：平面集群

L1：(点数据的)两点间距离

r1：阈值

G1：重心

G2：重心

GD1：引导框。

Claims (6)

1.引导信息显示装置，具备：

数据显示部；

数据获取部，其获取通过摄像机拍摄的吊物区域的影像数据、以及通过激光扫描仪对所述吊物区域内的包含吊物及地物的物体从上表面进行扫描而获得的点云数据；以及

数据处理部，其根据作为从所述点云数据推定出的所述物体的上表面的形状的、对所述点云数据加以聚集而得的平面集群，来生成与所述物体对应的引导框，使生成的所述引导框与所述影像数据内的所述物体重叠地显示在所述数据显示部上，

所述数据处理部在从所述激光扫描仪起的距离方向上对所述点云数据进行分层，计算属于同一分层的所述点云数据中的、点间距离在阈值以下的多个点的重心，将与该重心之间的距离在阈值以下的点数据视为同一平面集群来生成所述引导框。

2.根据权利要求1所述的引导信息显示装置，

所述数据处理部，

根据被视为是所述同一平面集群的多个点中的、在从所述激光扫描仪起的距离方向的俯视观察时，在所述平面集群的宽度方向上分离最远的两点的点间距离来推定所述平面集群的宽度，

根据在所述平面集群的进深方向上分离最远的两点的点间距离来推定所述平面集群的进深。

3.一种引导信息显示方法，具备：

数据获取工序，其获取通过摄像机拍摄的吊物区域的影像数据、以及通过激光扫描仪对所述吊物区域内的包含吊物及地物的物体从上表面进行扫描而获得的点云数据；

数据处理工序，其对所述点云数据加以聚集，根据作为从所述点云数据推定出的所述物体的上表面的形状的平面集群，来生成与所述物体对应的引导框；以及

数据显示工序，其使所述生成的所述引导框与影像数据内的物体重叠地显示在数据显示部上，

所述数据处理工序，包括：

在从所述激光扫描仪起的距离方向上对所述点云数据进行分层，计算属于同一分层，且点间距离在阈值以下的多个所述点云数据的重心的工序；以及

将与所述重心之间的距离在阈值以下的点数据视为同一集群来生成所述引导框的工序。

4.根据权利要求3所述的引导信息显示方法，

所述数据处理工序中的、计算所述点云数据的重心的工序反复进行以下工序：追加与所述计算而得的重心之间的距离为阈值以下的点数据重新计算重心。

5.根据权利要求4所述的引导信息显示方法，

根据在所述数据处理工序中的、被视为是所述同一集群的多个点中的、在从所述激光扫描仪起的距离方向的俯视观察时，在所述集群的宽度方向上分离最远的两点的点间距离来推定所述集群的宽度，

根据在所述集群的进深方向上分离最远的两点的点间距离来推定所述集群的进深。

6.一种作业机，具备权利要求1或权利要求2所述的引导信息显示装置。

Images