CN111814936A - 基于空间扫描的集装箱识别方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了基于空间扫描的集装箱识别方法、系统、设备及存储介质，该方法包括以下步骤：通过吊具定位装置采集吊机对集装箱进行吊装的空间扫描数据建立训练集，获得判断吊机是否吊装集装箱的预测模型，空间扫描数据至少包括吊具的位置信息和集装箱的位置信息；采用吊具定位装置侦测吊机当前状态的空间扫描数据；通过预测模型判断吊机已吊装了集装箱时，根据此时空间扫描数据中的集装箱的位置信息，获得集装箱的目标表面与集装箱识别组件的旋转角度信息和焦距信息；图像采集装置根据旋转角度信息进行旋转，并根据焦距信息拍摄图像；对拍摄图像进行图文识别，获得集装箱的识别编码。本发明能够对被吊装的集装箱进行识别，实现集装箱智能理货。

Description

基于空间扫描的集装箱识别方法、系统、设备及存储介质

技术领域

本发明涉及传感器识别领域，具体地说，涉及用于起重机集装箱作业场景下的基于空间扫描的集装箱识别方法、系统、设备及存储介质。

背景技术

目前，外轮理货是港口集装箱装卸作业时所必备的环节。长期以来，理货作业均由人员在作业现场进行，工作强度大的同时也伴随着很大的危险性。随着摄像头技术的发展，特别是人工智能对图像检测方面的技术创新，现场理货员后撤和减员实现可能。通过更精准的图像识别技术，替代人工理货员实现远程智能识别，是目前港口智能理货发展的必然。

相比于用于大规模作业的智能岸桥起重机，固定上升和水平转运的操作方式，运动行程很长。门座式起重机和固定式悬臂吊的装卸作业由于其吊臂的旋转和水平运输车辆停放位置的随机性，对焦距离变化很大，导致了其智能理货所必须的集装箱信息难以出现在固定的画面中。而且，由于大量集装箱的集中堆放，多个集装箱的识别编码等信息经常出现在一个画面中，降低了图像识别对被操作集装箱识别编码辨识的准确性。单独通过多组固定的视频采集位置，只能满足部分作业智能识别的功能。对于常见的多车道作业，横向作业均无法确保需要识别的集装箱和车辆信息在画面中。因此，长期以来，门座式起重机和固定式悬臂吊作业的智能理货，无法达到智能识别及人员精简的要求。

因此，本发明提供了一种基于空间扫描的集装箱识别方法、系统、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供基于空间扫描的集装箱识别方法、系统、设备及存储介质，克服了现有技术的困难，能够通过吊具定位传感器融合引导随动图像传感器对被吊装的集装箱实现随动跟踪识别，从而实现集装箱作业的智能理货。

本发明的实施例提供一种基于空间扫描的集装箱识别方法，采用至少一集成了吊具定位装置和图像采集装置的集装箱识别组件，包括以下步骤：

S110、通过吊具定位装置采集吊机对集装箱进行吊装的空间扫描数据建立训练集，获得判断吊机是否吊装集装箱的预测模型，所述空间扫描数据至少包括吊具的位置信息和集装箱的位置信息；

S120、采用吊具定位装置侦测所述吊机当前状态的空间扫描数据；

S130、通过预测模型判断吊机已吊装了集装箱时，根据此时所述空间扫描数据中的集装箱的位置信息，获得所述集装箱的一目标表面与所述集装箱识别组件的旋转角度信息和焦距信息；

S140、所述图像采集装置根据所述旋转角度信息进行旋转，并根据所述焦距信息拍摄图像；

S150、对拍摄图像进行图文识别，获得集装箱表面的识别编码。

优选地，所述图像采集装置具有一图像传感器、一转向云台和一对焦模块，所述转向云台根据所述旋转角度信息转动所述图像采集装置的图像传感器对准所述集装箱，所述对焦模块根据所述焦距信息调节所述图像采集装置的焦距后，拍摄具有至少局部所述集装箱外表面的图像。

优选地，所述吊具定位装置是一个点云传感器，所述空间扫描数据是三维点云数据集，所述吊具的位置信息是所述吊具表面的三维点云集合，所述集装箱的位置信息是所述集装箱的多个表面的三维点云集合。

优选地，所述吊具定位装置是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合。

优选地，所述预测模型根据同时满足所述集装箱处在所述吊机的正下方以及所述集装箱与所述吊机进行水平方向的同步运动判断所述吊机吊装了集装箱。

优选地，所述点云传感器是激光传感器，所述激光传感器基于吊机进行周向扫描，在吊具和集装箱表面生成激光点，将所述激光传感器作为坐标原点根据所述激光传感器的激光坐标系下获得的激光点的空间坐标，根据吊机吊装集装箱的第一状态以及吊机未吊装集装箱的第二状态下的所述激光点空间坐标的集合建立训练集。

优选地，根据所述集装箱的目标表面的中心点的空间坐标与集装箱识别组件的空间坐标之间的距离获得焦距信息，根据所述集装箱的目标表面的中心点的空间坐标与集装箱识别组件的空间坐标之间的方向获得旋转角度信息。

优选地，根据所述集装箱表面的三维点云集合生成所述集装箱的多个表面的空间位置信息，

当所述集装箱一端的正方形表面与所述集装箱识别组件的之间的角度处于第一预设阈值内，则将所述正方形表面的中点的空间坐标作为目标坐标；或者，当所述集装箱的一长方形表面与所述集装箱识别组件的之间的角度处于第二预设阈值内，则将所述长方形表面中预设区域的中点的空间坐标作为目标坐标；

根据所述目标坐标获得焦距信息和旋转角度信息。

优选地，所述集装箱识别组件被固定在吊机的表面。

优选地，所述吊机是门式起重机，两个所述集装箱识别组件设置于所述门式起重机，一个设置在驾驶舱下方，另一个设置在所述门式起重机的陆侧门腿处。

优选地，根据所述集装箱的识别编码获得该集装箱预设的目标摆放位置，所述吊机将所述集装箱吊装到所述目标摆放位置。

本发明的实施例还提供一种基于空间扫描的集装箱识别系统，用于实现上述的基于空间扫描的集装箱识别方法，基于空间扫描的集装箱识别系统包括：

一集装箱识别组件，所述集装箱识别组件包括吊具定位装置和图像采集装置，所述吊具定位装置是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合，所述图像采集装置具有一图像传感器、一转向云台和一对焦模块，所述转向云台和对焦模块分别连接所述集装箱识别组件。

优选地，所述集装箱识别组件被固定在所述吊机的表面，所述集装箱识别组件集成了侦测集装箱位置的吊具定位装置和图像采集装置。

优选地，所述集装箱识别组件包括：

一第一支架，所述第一支架的一端固定于所述吊机的表面；

一鸭嘴支架，设置于所述第一支架的另一端的上表面；

一第二支架，所述第二支架的下表面连接所述鸭嘴支架；

一吊具定位装置，设置于所述第二支架的上表面；以及

一图像采集装置，设置于所述第一支架的另一端的下表面，所述图像采集装置的转向云台和焦模块通过数据线连接所述吊具定位装置。

优选地，所述吊机是门式起重机，两个所述集装箱识别组件设置于所述门式起重机，一个设置在驾驶舱下方，另一个设置在所述门式起重机的陆侧门腿处。

优选地，所述吊机是固定式悬臂吊。

本发明的实施例还提供一种基于空间扫描的集装箱识别设备，包括：

处理器；

存储器，其中存储有处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行上述基于空间扫描的集装箱识别方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于空间扫描的集装箱识别方法的步骤。

本发明的基于空间扫描的集装箱识别方法、系统、设备及存储介质，能够通过吊具定位传感器融合引导随动图像传感器对被吊装的集装箱实现随动跟踪识别，从而实现集装箱作业的智能理货。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的基于空间扫描的集装箱识别方法的流程图。

图2是实施本发明的基于空间扫描的集装箱识别方法的场景示意图。

图3是本发明的基于空间扫描的集装箱识别系统中集装箱识别组件的结构示意图。

图4至7是本发明的基于空间扫描的集装箱识别方法的实施过程示意图。

图8是本发明的基于空间扫描的集装箱识别设备的结构示意图。以及

图9是本发明一实施例的计算机可读存储介质的结构示意图。

附图标记

1 集装箱识别组件

11 第一支架

12 鸭嘴支架

14 第二支架

15 吊具定位装置

16 图像采集装置

2 吊机

21 吊具

22 吊臂

3 集装箱

4 集装箱

5 集装箱识别组件

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1是本发明的基于空间扫描的集装箱识别方法的流程图。图2是实施本发明的基于空间扫描的集装箱识别方法的示意图。本发明的实施例提供一种基于空间扫描的集装箱识别方法，采用至少一集成了吊具定位装置15和图像采集装置16的集装箱识别组件1，包括以下步骤：

S110、通过吊具定位装置15采集吊机2对集装箱4进行吊装的空间扫描数据建立训练集，获得判断吊机2是否吊装集装箱4的预测模型，空间扫描数据至少包括吊具21的位置信息和集装箱4的位置信息。

S120、采用吊具定位装置15侦测吊机2当前状态的空间扫描数据。

S130、通过预测模型判断吊机2已吊装了集装箱4时，根据此时空间扫描数据中的集装箱4的位置信息，获得集装箱4的一目标表面与集装箱识别组件1的旋转角度信息和焦距信息。

S140、图像采集装置16根据旋转角度信息进行旋转，并根据焦距信息拍摄图像。

S150、对拍摄图像进行图文识别，获得集装箱4表面的识别编码。

S160、根据集装箱4的识别编码获得该集装箱4预设的目标摆放位置，吊机2将集装箱4吊装到目标摆放位置。

本发明针对门座式起重机无法规范每次作业发起位置的特点，采用了多传种感器融合实时识别作业吊具和集装箱抓放状态，追踪吊具的实时位置。

在一个优选实施例中，图像采集装置16具有一图像传感器、一转向云台和一对焦模块，转向云台根据旋转角度信息转动图像采集装置16的图像传感器对准集装箱4，对焦模块根据焦距信息调节图像采集装置16的焦距后，拍摄具有至少局部集装箱4外表面的图像。

由于门座式起重机的装卸作业的随机性，吊具的运动范围很大，本发明通过吊具定位装置15配合吊具历史吊装的空间扫描数据建立训练集获得的预测模型来确定吊具是否吊装集装箱，当吊具吊装集装箱时，根据吊具定位装置15获得的空间扫描数据来确定集装箱的空间位置，从而能够使图像采集装置16通过角度旋转准确地对准集装箱，并且通过空间位置获得的焦距使得图像采集装置16针对集装箱准确对焦，从而获得最清洗的集装箱图像，大大提高后续集装箱辨识的准确的。也有效防止了其他堆放在地面的集装箱3对集装箱辨识的干扰。

在一个优选实施例中，吊具定位装置15是一个点云传感器，空间扫描数据是三维点云数据集，吊具21的位置信息是吊具21的三维点云集合，集装箱4的位置信息是集装箱4的多个表面的三维点云集合，但不以此为限。本发明中的三维点云数据集是使用红外图像采集装置、二维激光传感器累计扫描方式、三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。点云是在和目标表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。结合激光测量和摄影测量原理得到点云，包括三维坐标(XYZ)和颜色信息(RGB)。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。

在一个优选实施例中，吊具定位装置15是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合。本发明中使用的3D激光传感器的原理是当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。

在一个优选实施例中，预测模型根据同时满足集装箱4处在吊机2的正下方以及集装箱4与吊机2进行水平方向的同步运动判断吊机2吊装了集装箱4。由于被吊机2吊装的集装箱4受重力影响会处于吊机2的正下方并且伴随吊机2进行水平方向的同步运动，所以，预测模型根据上述特征可以准确地从大量的集装箱(也可能包括了被堆放在地面的集装箱3)中根据空间位置辨别出被吊装的集装箱4

在一个优选实施例中，点云传感器是激光传感器，激光传感器基于吊机2进行周向扫描，在吊具21和集装箱4表面生成激光点，将激光传感器作为坐标原点根据激光传感器的激光坐标系下获得的激光点的空间坐标，根据吊机2吊装集装箱4的第一状态以及吊机2未吊装集装箱4的第二状态下的激光点空间坐标的集合建立训练集。

在一个优选实施例中，根据集装箱4的目标表面的中心点的空间坐标与集装箱识别组件1的空间坐标之间的距离获得焦距信息，根据集装箱4的目标表面的中心点的空间坐标与集装箱识别组件1的空间坐标之间的方向获得旋转角度信息。

在一个优选实施例中，根据集装箱4的三维点云集合生成集装箱4的多个表面的空间位置信息。由于同一时刻集装箱4最多有三个面受到激光传感器的照射，而集装箱4的另外三个面不会受到激光传感器的照射，所以集装箱4的三维点云集合中可能会具有最少一个，最多三个矩形集装箱4的表面。考虑到集装箱4周身多处设有识别编码，但不是所有的表面都处在最好的拍摄位置(具有识别编码的表面垂直正对集装箱识别组件1)，所以，需要考虑两者的角度差，当集装箱4一端的正方形表面与集装箱识别组件1的之间的角度处于第一预设阈值内，第一预设阈值可以为45°，则将正方形表面的中点的空间坐标作为目标坐标，此时正方形表面更正对集装箱识别组件1，拍摄的图片更容易辨认识别编码。或者，当集装箱4的一长方形表面与集装箱识别组件1的之间的角度处于第二预设阈值内，第二预设阈值可以为45°，则将长方形表面中预设区域的中点的空间坐标作为目标坐标(由于通常会在集装箱长方形侧表面的左上位置标记识别编码，所以可以将集装箱长方形侧表面的左上矩形区域作为预设区域，但不以此为限)，此时长方形表面更正对集装箱识别组件1，拍摄的图片更容易辨认识别编码。然后根据目标坐标获得焦距信息和旋转角度信息，进行集装箱图片的拍摄。

在一个优选实施例中，集装箱识别组件1被固定在吊机2的表面，但不以此为限。

在一个优选实施例中，吊机2是门式起重机，两个集装箱识别组件设置于门式起重机，一个集装箱识别组件1设置在驾驶舱下方，另一个集装箱识别组件5可以设置在门式起重机的陆侧门腿处，但不以此为限。

在一个优选实施例中，吊机2是固定式悬臂吊，但不以此为限。

本系统可以由主识别系统(例如：图2中的集装箱识别组件1)、辅助识别系统(例如：图2中的集装箱识别组件5)组成，有多种传感器联动处理完成识别。相比于其他使用单纯视觉识别的装置和系统，本发明对门吊下方多车道、随机作业发生起点和横向作业都有比较好的识别效果。多种传感器融合系统中的传感器，包含但不限于2D激光探测装置、3D激光探测器、单目或多目视觉摄像机、毫米波雷达等，可用于目标检测的主动和被动探测设备或装置。

本系统中，主识别系统采用由定位传感器和识别传感器构成，并采用一体化支架连接，以确保观测坐标的一致性。此设计通过统一的机械支撑结构，确定统一的感知坐标体系，避免了常见的多传感器系统中，所需的联合标定过程。在确保识别精度的同时，最大限度的减少了现场标定导致的工程实施周期损失。实际工程安装中，主识别系统安装在门架式起重机司机室下方，随司机室和吊臂方向同步运动，以确保识别的前向视野。此外，为确保识别的精度能够达到使用的要求，通过在门座式起重机陆侧远端门腿上安装辅识别传感系统进行补充识别。辅识别系统，根据主识别系统进行联动控制，实现对角度对目标的检测和识别。

本系统识别过程，采用了随动跟踪技术。针对大部分门座式起重机场景，通过主识别系统即可完成全部识别。主识别系统中的定位传感器，通过探测信号(包含但不限于激光、摄像头图像、毫米波雷达、红外探测)跟随锁定吊具位置，计算集装箱各识别面与主、辅助识别系统位置关系。

目标定位计算过程如下：

其中：

(x_i，y_i，z_i)代表一个目标在空间中的坐标位置，坐标原点(0，0，0)为定位传感器物理中心。

r_i代表定位传感器目标探测数据信息。

为一帧定位传感器探测中总的探测数据强度信息。

通过对两帧传感器探测数据进行静态配准，来计算两帧静态数据的旋转矩阵R和平局矩阵T。具体算法如下：

迭代最近点算法多帧探测数据匹配。假设某一时刻定位传感器接收到一组探测数据P＝{p₁，p₂，...，p_n}，经过旋转和平移后，得到第二组探测数据Q＝{q₁，q₂，...，q_n}。通过迭代最近点方法，可以得到P、Q中在三维空间中对应同一点的匹配对。

假设定位传感器的旋转为R和平移向量为t，则P坐标系下的点转换到Q坐标系下的公式为

q_i＝R·p_i+t

而定位探测的目标函数为

通过定义前后两组探测数据的密度核心为

由于最后一项中

设p′_i＝p_i-μ_p，q′_i＝q_i-μ_q，则目标函数可以简化为：

设R^*，t^*为最优解，可以将优化问题分为两步：

t^*＝μ_q-R·μ_p

对于步骤1，将其展开得到

令

通过SVD分解有

W＝USV^T

对应唯一的U，V组合，对应的

R^*＝UV^T

t^*＝μ_q-R·μ_p

计算出前后两组数据之间的旋转矩阵后，考虑到门座式起重机旋转时水平方向的旋转可以忽略，因此可以得到

cosα＝R^*[0，0]

sinα＝R^*[1，0]

其中α∈[-180°，180°]

通过α可以得到前后两组探测数据之间门机旋转的距离，经过连续多帧计算可以得到门座式起重机作业过程中相对于基准帧的总体旋转角度，从而帮助进行作业发生位置判定。

根据识别结果反馈的实时位置和角度，调用门座式起重机两个固定机位的主辅识别系统进行跟踪扫描，实现对集装箱的精准实时随动。之后通过人工智能识别技术，对箱型、箱号、作业车辆、作业车道进行精准持续识别，并同步数据到作业系统端。由于识别过程采用跟踪机制，无论集装箱装船作业还是卸船作业均可完成识别。识别窗口不限定在集装箱位于地面托架、空中运动、船舱装卸过程中。

辅识别系统作为主识别系统的补充。辅识别系统安装在起重机陆侧门腿处，采用固定机位而不随吊臂旋转。在主识别系统的控制下，实现对集装箱和作业信息的跟踪识别。当主识别系统因为遮挡或角度不佳无法完成识别时，提供补充识别能力。辅识别系统，基于相对位置关系基于主识别系统定位传感器提供的目标数据，计算自身观测角度，以完成对相机的旋转控制。

本发明相比其他门架式起重机智能理货系统，只采用一体化识别系统即可完成识别过程，无需大量的云台相机，大大降低了施工难度。并且避免了起重机自身型号、高度、尺寸导致的实施差异。

本发明中的主识别系统，采用一体化设计，使用了多传感器融合识别方式，实现随动追踪识别。主识别系统中的定位传感器可以提供吊具、集装箱、车辆的精确位置信息。引导主副识别系统中的识别传感器完成精准识别。通过多种传感器互补探测以获得了更好的识别效果。

本发明中的主识别系统，采用标准的支撑结构。通过固定结构解决了多个传感器需要预先标定的问题，大大提升了产品出厂及符合场景应用条件的交付能力。

本发明中的还通过辅识别系统，实现多视角随动。融合不同角度的识别结果，获得更精确的识别精度。同时，弥补了由于地面双箱作业、横置作业、空重装卸作业、舱内作业等特殊工况遮挡导致的无法提前识别的问题。

图3是本发明的基于空间扫描的集装箱识别系统中集装箱识别组件的结构示意图。如3所示，本发明的实施例还提供一种基于空间扫描的集装箱识别系统，用于实现上述的基于空间扫描的集装箱识别方法，基于空间扫描的集装箱识别系统包括：一集装箱识别组件1，集装箱识别组件集成了吊具定位装置15和图像采集装置16，但不以此为限。吊具定位装置15是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合，图像采集装置16具有一图像传感器、一转向云台和一对焦模块，转向云台和对焦模块分别连接集装箱识别组件。转向云台可带动图像传感器以及对焦模块基于吊机进行旋转，使得图像传感器可以准确对准集装箱。

在一个变化例中，吊具定位装置15和图像采集装置16也可以分离设置，例如分别设置在吊机2的不同高度等，但不以此为限。

在一个优选实施例中，集装箱识别组件被固定在吊机2的表面。

在一个优选实施例中，集装箱识别组件包括：

一第一支架11，第一支架11的一端固定于吊机2的表面。

一鸭嘴支架12，设置于第一支架11的另一端的上表面。

一第二支架14，第二支架14的下表面连接鸭嘴支架12。

一吊具定位装置15，设置于第二支架14的上表面。以及

一图像采集装置16，设置于第一支架11的另一端的下表面，图像采集装置16的转向云台和焦模块通过数据线连接吊具定位装置15。

在一个优选实施例中，吊机2是门式起重机，两个集装箱识别组件设置于门式起重机，一个设置在驾驶舱下方，另一个设置在门式起重机的陆侧门腿处。

在一个优选实施例中，图像采集装置16具有一图像传感器、一转向云台和一对焦模块，转向云台根据旋转角度信息转动图像采集装置16的图像传感器对准集装箱4，对焦模块根据焦距信息调节图像采集装置16的焦距后，拍摄具有至少局部集装箱4外表面的图像。

在一个优选实施例中，根据集装箱4的目标表面的中心点的空间坐标与集装箱识别组件1的空间坐标之间的距离获得焦距信息，根据集装箱4的目标表面的中心点的空间坐标与集装箱识别组件1的空间坐标之间的方向获得旋转角度信息。

在一个优选实施例中，吊具定位装置15是一个点云传感器，空间扫描数据是三维点云数据集，吊具21的位置信息是吊具21的三维点云集合，集装箱4的位置信息是集装箱4的多个表面的三维点云集合，但不以此为限。本发明中的三维点云数据集是使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。点云是在和目标表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。结合激光测量和摄影测量原理得到点云，包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(Point Cloud)。

在一个优选实施例中，吊具定位装置15是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合。本发明中使用的3D激光传感器的原理是当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。

图4至7是本发明的基于空间扫描的集装箱识别方法的实施状态示意图。如图4所示，本发明的基于空间扫描的集装箱识别系统的使用过程如下：集装箱识别组件1被固定在吊机2的表面，吊机2是门式起重机，吊机2的吊臂22的外端悬挂着吊具21，用以吊起地面上的集装箱3，两个集装箱识别组件设置于门式起重机，一个集装箱识别组件1设置在驾驶舱下方，另一个集装箱识别组件5可以设置在门式起重机的陆侧门腿处，但不以此为限。集装箱识别组件1集成了吊具定位装置15和图像采集装置16。图像采集装置16具有一图像传感器、一转向云台和一对焦模块，转向云台根据旋转角度信息转动图像采集装置16的图像传感器对准被吊起的集装箱4，对焦模块根据焦距信息调节图像采集装置16的焦距后，拍摄具有至少局部集装箱4外表面的图像。吊具定位装置15是3D激光传感器，能够扫描吊机周围的空间形态，通过吊具定位装置15采集吊机2对集装箱4进行吊装的空间扫描数据建立训练集。如图5所示，通过3D激光传感器获得的空间扫描数据是三维点云数据集(G101、G102、G103、G104……是在集装箱4表面生成的激光点；J101、J102、J103、……是在吊具21表面生成的激光点，每个激光点都具有由3D激光传感器建立的激光坐标系下的空间坐标)，吊具21的位置信息是吊具21的三维点云集合，集装箱4的位置信息是集装箱4的多个表面的三维点云集合。在训练集中通过人为标记吊机2吊装集装箱4时的空间扫描数据和吊机2没有吊装集装箱4时的空间扫描数据。通过训练集采用例如：机器学习或是神经网络算法来获得判断吊机2是否吊装集装箱4的预测模型，获得的预测模型的过程可以使用现有技术，在此不再赘述。空间扫描数据至少包括吊具21的位置信息和集装箱4的位置信息。

现场使用时，采用吊具定位装置15侦测吊机2当前状态的空间扫描数据。通过预测模型判断吊机2已吊装了集装箱4时，根据此时空间扫描数据中的集装箱4的位置信息，获得集装箱4的一目标表面与集装箱识别组件1的旋转角度信息和焦距信息。参考图6，当集装箱4一端的正方形表面(图6中包含F1、F2、F3、F4四点之间的正方形表面)与集装箱识别组件1的之间的角度处于第一预设阈值内，第一预设阈值可以为45°，则将正方形表面的中点(F9)的空间坐标作为目标坐标，此时正方形表面更正对集装箱识别组件1，拍摄的图片更容易辨认识别编码。根据目标坐标与集装箱识别组件1的旋转角度信息和焦距信息。图像采集装置16的转向云台根据旋转角度信息转动图像采集装置16的图像传感器对准集装箱4，对焦模块根据焦距信息调节图像采集装置16的焦距后，拍摄具有至少局部集装箱4外表面的图像。

或者，参考图7，当集装箱4的一长方形表面(图7中包含F1、F4、F5、F8四点之间的长方形表面)与集装箱识别组件1的之间的角度处于第二预设阈值内，第二预设阈值可以为45°，则将长方形表面中预设区域(根据识别编码在集装箱侧面的位置进行预设)的中点(F10)的空间坐标作为目标坐标，此时长方形表面更正对集装箱识别组件1，拍摄的图片更容易辨认识别编码。然后根据目标坐标获得焦距信息和旋转角度信息，进行集装箱图片的拍摄，从而获得最清洗的集装箱图像，大大提高后续集装箱辨识的准确的。也有效防止了其他堆放在地面的集装箱3对集装箱辨识的干扰。根据目标坐标(F10)与集装箱识别组件1的旋转角度信息和焦距信息。图像采集装置16的转向云台根据旋转角度信息转动图像采集装置16的图像传感器对准集装箱4，对焦模块根据焦距信息调节图像采集装置16的焦距后，拍摄具有至少局部集装箱4外表面的图像。

最后，对拍摄图像进行图文识别，获得集装箱4表面的识别编码为“ABCD1234”。根据集装箱4的识别编码“ABCD1234”获得该集装箱4预设的目标摆放位置(例如：21号柜位)，吊机2将集装箱4吊装到目标摆放位置。

本发明实施例还提供一种基于空间扫描的集装箱识别设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于空间扫描的集装箱识别方法的步骤。

如上，本发明的基于空间扫描的集装箱识别设备能够通过吊具定位传感器融合引导随动图像传感器对被吊装的集装箱实现随动跟踪识别，从而实现集装箱作业的智能理货。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图8是本发明的基于空间扫描的集装箱识别设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于空间扫描的集装箱识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，能够通过吊具定位传感器融合引导随动图像传感器对被吊装的集装箱实现随动跟踪识别，从而实现集装箱作业的智能理货。

图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明的基于空间扫描的集装箱识别方法、系统、设备及存储介质，能够通过吊具定位传感器融合引导随动图像传感器对被吊装的集装箱实现随动跟踪识别，从而实现集装箱作业的智能理货。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (17)

1.一种基于空间扫描的集装箱识别方法，其特征在于，采用至少一集成了吊具定位装置和图像采集装置的集装箱识别组件，包括以下步骤：

通过吊具定位装置采集吊机对集装箱进行吊装的空间扫描数据建立训练集，获得判断吊机是否吊装集装箱的预测模型，所述空间扫描数据至少包括吊具的位置信息和集装箱的位置信息；

采用吊具定位装置侦测所述吊机当前状态的空间扫描数据；

通过预测模型判断吊机已吊装了集装箱时，根据此时所述空间扫描数据中的集装箱的位置信息，获得所述集装箱的一目标表面与所述集装箱识别组件的旋转角度信息和焦距信息；

所述图像采集装置根据所述旋转角度信息进行旋转，并根据所述焦距信息拍摄图像；

对拍摄图像进行图文识别，获得集装箱表面的识别编码。

2.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述图像采集装置具有一图像传感器、一转向云台和一对焦模块，所述转向云台根据所述旋转角度信息转动所述图像采集装置的图像传感器对准所述集装箱，所述对焦模块根据所述焦距信息调节所述图像采集装置的焦距后，拍摄具有至少局部所述集装箱外表面的图像。

3.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述吊具定位装置是一个点云传感器，所述空间扫描数据是三维点云数据集，所述吊具的位置信息是所述吊具表面的三维点云集合，所述集装箱的位置信息是所述集装箱的多个表面的三维点云集合。

4.根据权利要求3所述的基于空间扫描的集装箱识别方法，其特征在于，所述点云传感器是激光传感器，所述激光传感器基于吊机进行周向扫描，在吊具和集装箱表面生成激光点，将所述激光传感器作为坐标原点根据所述激光传感器的激光坐标系下获得的激光点的空间坐标，根据吊机吊装集装箱的第一状态以及吊机未吊装集装箱的第二状态下的所述激光点空间坐标的集合建立训练集。

5.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述吊具定位装置是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合。

6.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述预测模型根据同时满足所述集装箱处在所述吊机的正下方以及所述集装箱与所述吊机进行水平方向的同步运动判断所述吊机吊装了集装箱。

7.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，根据所述集装箱的目标表面的中心点的空间坐标与集装箱识别组件的空间坐标之间的距离获得焦距信息，根据所述集装箱的目标表面的中心点的空间坐标与集装箱识别组件的空间坐标之间的方向获得旋转角度信息。

8.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，根据所述集装箱表面的三维点云集合生成所述集装箱的多个表面的空间位置信息，

当所述集装箱一端的正方形表面与所述集装箱识别组件的之间的角度处于第一预设阈值内，则将所述正方形表面的中点的空间坐标作为目标坐标；或者，当所述集装箱的一长方形表面与所述集装箱识别组件的之间的角度处于第二预设阈值内，则将所述长方形表面中预设区域的中点的空间坐标作为目标坐标；

根据所述目标坐标获得焦距信息和旋转角度信息。

9.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述集装箱识别组件被固定在吊机的表面。

10.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，所述吊机是门式起重机，两个所述集装箱识别组件设置于所述门式起重机，一个设置在驾驶舱下方，另一个设置在所述门式起重机的陆侧门腿处。

11.根据权利要求1所述的基于空间扫描的集装箱识别方法，其特征在于，根据所述集装箱的识别编码获得该集装箱预设的目标摆放位置，所述吊机将所述集装箱吊装到所述目标摆放位置。

12.一种基于空间扫描的集装箱识别系统，其特征在于，用于实现如权利要求1所述的基于空间扫描的集装箱识别方法，包括：

一集装箱识别组件，所述集装箱识别组件包括吊具定位装置和图像采集装置，所述吊具定位装置是2D激光传感器、3D激光传感器、红外传感器、毫米波雷达、单目或双目视觉传感器中的一种或组合，所述图像采集装置具有一图像传感器、一转向云台和一对焦模块，所述转向云台和对焦模块分别连接所述集装箱识别组件。

13.根据权利要求12所述的基于空间扫描的集装箱识别系统，其特征在于，所述集装箱识别组件被固定在所述吊机的表面，所述集装箱识别组件集成了侦测集装箱位置的吊具定位装置和图像采集装置。

14.根据权利要求13所述的基于空间扫描的集装箱识别系统，其特征在于，所述集装箱识别组件包括：

一第一支架，所述第一支架的一端固定于所述吊机的表面；

一鸭嘴支架，设置于所述第一支架的另一端的上表面；

一第二支架，所述第二支架的下表面连接所述鸭嘴支架；

一吊具定位装置，设置于所述第二支架的上表面；以及

一图像采集装置，设置于所述第一支架的另一端的下表面，所述图像采集装置的转向云台和焦模块通过数据线连接所述吊具定位装置。

15.根据权利要求12所述的基于空间扫描的集装箱识别系统，其特征在于，所述吊机是门式起重机，两个所述集装箱识别组件设置于所述门式起重机，一个设置在驾驶舱下方，另一个设置在所述门式起重机的陆侧门腿处。

16.一种基于空间扫描的集装箱识别设备，其特征在于，包括：

处理器；

存储器，其中存储有处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行权利要求1至11中任意一项所述基于空间扫描的集装箱识别方法的步骤。

17.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至11中任意一项所述基于空间扫描的集装箱识别方法的步骤。

Images