CN101934982A - 基于图像传感器的双吊具桥吊定位方法 - Google Patents

Abstract

本发明为基于图像传感器的双吊具桥吊定位方法，所述的双吊具上设置标定点(16)、(17)，两个独立的视频摄像头(7)、(8)分别拍摄双吊具的摆动图像，将视频帧传送给对应于视频摄像头的视频图像处理器(9)、(10)。视频图像处理器由CPU、视频处理模块、存储器、I/O单元等组成，它的输入端与视频摄像头连接，它的输出端与控制计算机(11)连接，通过图像位置处理算法和图像深度恢复算法计算，得到吊具的摆角信息和绳长信息，并将其实时传送给控制计算机，完成当前控制周期的防摇定位控制；本发明涉及的定位方法简单，成本低廉，使用方便，既能用于双吊具桥吊防摇定位控制系统的摆角和吊绳长度的信息反馈，又能用于桥吊司机的手动操作参考。

Description

基于图像传感器的双吊具桥吊定位方法

技术领域

本发明涉及信息技术、桥吊装卸技术领域，特别是具有双吊具桥吊的定位检测方法。

背景技术

双起升双吊具桥吊（包括场桥和岸桥）是一种新型港口集装箱装卸机械，由于它具有两个起升吊具，可以同时工作，因而大大提高了集装箱的装卸效率。但是，这种双起升双吊具桥吊系统结构复杂，工作方式多样；由于这种新型桥吊具有两个可以单独起升的吊具，给吊具摇摆角度检测带来很大的难度。

现有的桥吊检测装置都是针对单吊具桥吊设计的，它们对吊具摆角的检测均采用了比较复杂的检测仪器，造价高，维护不方便，准确性低等缺点；无论从结构上还是从功能上来讲，现有的单吊具桥吊摆角检测方法很多不适合解决双吊具桥吊的摆角检测问题。

一般来讲，桥吊控制的目标是要实现吊具的防摇和负载的精确对位。现在使用中的桥吊大部分都是单起升桥吊系统，以手工操作为主，没有使用防摇装置，只是在一些大型集装箱桥吊系统中为了达到更好的操作效果，提高装卸效率，安装了一些机械防摇装置和电子防摇装置，但这些都不是自动化桥吊系统，即都没有从根本上实现桥吊操作的自动控制（即自动防摇控制和定位控制）。在新近的一些报道中，一些机构开展了针对单起升桥吊负载防摇和负载定位控制的研究和应用，在这些桥吊控制系统中普遍采用了比较复杂的激光角度仪、角度传感器等检测装置实现负载摆角的检测，这些检测装置只适用于单吊具桥吊负载摆角的检测，但不能够检测吊具的绳长，而且检测装置价格昂贵，使用复杂，抗干扰能力差，维护也不方便，有的还对使用环境有特殊要求（比如采用激光仪进行角度识别就要求工作环境状况良好，无尘无雨无遮挡等自然条件），这些都限制了上述桥吊吊具摆角角度检测装置的应用。

发明内容

本发明的目的是提供一种方法解决双起升桥吊双吊具的摆动角度的检测问题和双吊具的吊绳长度检测问题。本发明采用两个视频图像传感器分别拍摄两个吊具的视频图像，然后采用图像处理方法通过对拍摄到的图像进行处理和分析，可以计算出两个吊具及其负载（集装箱）的位置、吊绳长度和吊具摇摆角度，然后利用这些信息完成双起升双吊具桥吊的防摇定位控制。 

本发明为基于图像传感器的双吊具桥吊定位方法，整个定位过程采取以下步骤：

1）在双吊具上设定参考坐标系、标定参照点：即对双吊具进行标定，分别设置标定点； 

2）对视频摄像头和视频图像处理器进行初始化，两个独立视频摄像头拍摄并记录双吊具特定绳长时静止状态下的图像，并将其传送到视频图像处理器，两个视频图像处理器分析并提取当前图像的特征并进行记录，将此状态作为双吊具的初始参照状态；

3）桥吊小车接收运行命令，桥吊开始运行，此时吊具发生摆动，吊具绳长也可能发生变化，两个视频摄像头将这些信息实时拍摄之后，将连续的视频帧分别传送给两个视频图像处理器；

4）视频图像处理器首先对连续的视频帧进行过滤、存储、时序提取等预处理，然后根据控制要求实时抽取其中的个别图像帧进行分析处理，即根据图像识别算法，识别并提取出该帧图像中的标定点和标定图标的信息，利用图像位置处理算法和图像深度恢复算法，实时计算出该帧图像中吊具偏移原点的位移信息和吊具绳长的信息，再利用计算公式得到该帧时刻吊具的实际摆角，之后，将该帧时刻吊具的摆角信息和绳长信息实时传送给桥吊控制计算机，完成当前控制周期的防摇定位控制；

5）在下一个控制周期，开始进行新的图像的实时拍摄、预处理、提取、识别和信息传送的步骤，直到接收到桥吊控制计算机发出的停止工作的命令。

另外，根据桥吊操作需要，两个视频图像处理器的视频图像也可以发送到驾驶室上显示屏，供桥吊司机手动定位操作参考。

有益效果

本发明不需要额外的其它传感器或检测装置，只用两只视频摄像头、相应的标定方法、两个视频图像处理单元和控制计算机，通过相应的图像识别方法和计算，就能够完成对双吊具的摆角以及吊绳长度的检测，进而实现对双吊具桥吊的防摇和定位控制。

目前还没有针对双吊具桥吊的定位装置和方法的报道。相对于传统的单吊具桥吊吊具摆角检测技术，本发明涉及的定位方法结构简单，实用有效，成本低廉，使用方便，既能用于双吊具桥吊防摇定位控制系统的摆角检测、又能够对吊绳长度信息进行检测，该检测信息也可用于桥吊司机的手动操作参考。

 附图说明

图1基于图像传感器的双吊具桥吊定位方法示意图。

图中标号。

1（2）、集卡   3（4）、集装箱   5（6）、吊具   7（8）、视频摄像头 。

9（10）、视频图像处理器   11、桥吊控制计算机   12、桥吊的小车

13、桥吊的驾驶室  14、桥吊的大车  15、桥吊的吊绳  16（17）、标定点 

 18、桥吊小车的移动机构   19、桥吊大车的移动机构。

具体实施方式

本发明涉及的桥吊图像检测定位系统的具体工作过程如下：（见附图1）

新型双起升双吊具桥吊一次可以同时装卸两个40英尺集装箱或4个20英尺集装箱。桥吊设置两个独立的吊具5、6，它们可以同时工作，也可以分别工作；安装于桥吊小车12正下方的两个视频摄像头7、8，可以分别拍摄两个吊具5、6的运行情况，并将拍摄的视频图像信息实时传送给对应于摄像头7、8的视频图像处理器9、10进行分析处理；可以对摄像头拍摄到的吊具工作图像进行实时地分析处理，提取吊具的位置信息，并计算出吊具的摆角和摆动角速度                                                

。根据图像识别原理，先要在吊具目标图像上设定参考坐标系，并标定某些参照点（标定），再拍摄图像，然后利用图像处理的方法，得到目标运动的信息。获得目标图像相对位置的方法有很多，例如，本发明中可以采用如下方法计算：设某个吊具上两个标定点的坐标分别为A(

,

)和B(

,

)，则它们间的初始距离为

，两点的中心C的初始坐标(x_c,y_c)为(

,

)。根据等比变换原理，当吊具发生位移后，两个标定点之间的实际距离D可以由图像处理算法计算得到，于是实际的吊具坐标(X_c,Y_c)为(

,

)，其中，D为由图像传感器检测到的两个标定点的实际距离，据此可以计算出吊具在平面上的位移和方向（即由两点A、B连线中心C的初始坐标(x_c,y_c)和当前坐标(X_c,Y_c)确定）。利用类似的等比变换方法或采用深度恢复的方法，可以计算出该吊具的绳长L。于是，在此吊绳直角三角形中，吊具摆角

可以容易地根据上述信息计算得到，为

，其中，

为由图像处理计算出的参照点A、B的中心C的移动距离，即(x_c,y_c)与(X_c,Y_c)之间的距离。另外，角加速度可以利用微分器计算得到，比如，一种最直接的情况，若没有扰动且摆角检测数据经过光滑处理，则

，否则可以采用其它现有的微分器来实现；桥吊控制计算机11，负责接收桥吊控制命令和视频图像处理器等的反馈信息，完成桥吊小车的防摇定位控制；控制桥吊的小车机构12控制适当的运行速度，就可以抑制吊具过大的摆角，实现桥吊的快速定位；桥吊的驾驶室13负责发出桥吊运行命令；适当地控制桥吊的大车14的运行速度，也可以抑制吊具的摆角，实现桥吊的快速定位；实时检测和适当控制桥吊的吊绳15的伸缩，可以抑制吊具的摆动，实现桥吊的快速定位；设置吊具上的标定点（标定图案）16、 17，便于视频图像处理器实时捕捉并判断吊具的运行状态； 

本发明涉及装置的主要部件的具体情况如下：

视频图像处理器9、10作为数据处理单元，其功能是对图像传感器拍摄的吊具的图像进行实时过滤和处理，根据预先设定的参数和控制要求抽取出适当的视频帧，由摄像头拍摄到的该吊具帧实际位置图像，经过图像分析和运算，得到针对当前帧时刻的吊具的摆角和吊绳的长度，并计算出当前帧时刻的吊具的角速度（原理同上）。图像处理单元由CPU（或附加微分元件）、视频处理模块、存储器、I/O单元等组成，它的输入端与视频摄像头连接，它的输出端与控制计算机或驾驶室的显示屏连接。吊具视频图像处理器9、10安装在桥吊的小车12上，负责接收和处理桥吊的小车12正下方的视频摄像头7、8拍摄的连续图像。

控制计算机11是一个用于双吊具桥吊控制的计算机系统或工控机，它接收驾驶台发出的控制命令，接收桥吊吊具的摆角检测信号和小车/大车的位置信号，在适当的控制算法的控制下，完成双吊具桥吊的防摇和定位控制，或者根据视频图像处理器的结果，给桥吊司机提供操作参考和报警提示。当只有一个吊具工作时，控制计算机可以分辨并可以仅提取一个视频图像处理器的信息。控制计算机11安装在桥吊的小车12上。

驾驶室13是桥吊司机的操作室，负责发出桥吊运行命令，同时驾驶室的显示屏可以接受视频图像处理器的视频信号，供司机操作桥吊参考。

视频摄像头7、8是一组视频摄像头，在视频图像处理器的控制下拍摄吊具运行的连续的视频图像，然后将图像传送到视频图像处理器进行处理和分析。两个视频摄像头分别安装在吊具5、6正上方的小车12上。视频摄像头拍摄的信息（视频或图像）可以直接被用作桥吊司机操作的参照，也可以经过处理，被用作自动化桥吊控制系统的吊具摆动反馈信息。本发明的目标侧重于后者。

在图像处理技术上，需要在原始被摄物体上设置特定的标定图标（或标定点），以便于视频图像处理器对一幅图像的信息进行提取、比较和分析。本发明中，所设置的标定点（标定图标）16、17分别位于视频摄像头的正下方的吊具（5）、（6）上，标定点包括特定的几何图形和特定的参考点（A、B和C），用于视频图像处理器9、10提取吊具图像的深度信息和吊具的位置移动信息。

Claims (3)

1.一种基于图像传感器的双吊具桥吊定位方法，其特征在于，整个定位过程采取以下步骤：

1）在双吊具上设定参考坐标系、标定参照点：即对双吊具（5）、（6）进行标定，分别设置标定点（16）、（17）； 

2）对视频摄像头和视频图像处理器进行初始化，两个独立视频摄像头（7）、（8）拍摄并记录双吊具特定绳长时静止状态下的图像，并将其传送到视频图像处理器，两个视频图像处理器（9）、（10）分析并提取当前图像的特征并进行记录，将此状态作为双吊具的初始参照状态；

3）桥吊小车接收运行命令，桥吊开始运行，此时吊具发生摆动，吊具绳长也可能发生变化，两个视频摄像头将这些信息实时拍摄之后，将连续的视频帧分别传送给两个视频图像处理器；

4）视频图像处理器首先对连续的视频帧进行过滤、存储、时序提取等预处理，然后根据控制要求实时抽取其中的个别图像帧进行分析处理，即根据图像识别算法，识别并提取出该帧图像中的标定点和标定图标的信息，利用图像位置处理算法和图像深度恢复算法，实时计算出该帧图像中吊具偏移原点的位移信息和吊具绳长的信息，再利用计算公式得到该帧时刻吊具的实际摆角，之后，将该帧时刻吊具的摆角信息和绳长信息实时传送给桥吊控制计算机（11），完成当前控制周期的防摇定位控制；

5）在下一个控制周期，开始进行新的图像的实时拍摄、预处理、提取、识别和信息传送的步骤，直到接收到桥吊控制计算机发出的停止工作的命令。

2.根据权利要求1所述的双吊具桥吊定位方法，其特征在于：所述的步骤2）的视频图像处理器（9）、（10）均安装在桥吊的小车（12）上，它由CPU、视频处理模块、存储器、I/O单元等组成，它的输入端与视频摄像头（7）、（8）连接，它的输出端与控制计算机（11）连接。

3.根据权利要求1所述的双吊具桥吊定位方法，其特征在于：所述的步骤1）的标定点（16）、（17）分别位于桥吊的小车（12）上的视频摄像头（7）、（8）的正下方的吊具（5）、（6）上，标定点包括特定的几何图形和特定的参考点。