CN112528729B - 基于视频的飞机靠桥事件检测方法和装置 - Google Patents

Abstract

本申请涉及一种基于视频的飞机靠桥事件检测方法、装置、计算机设备和计算机可读存储介质，其中，该方法包括：获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件。通过本申请，解决相关技术检测飞机靠桥事件不准确的技术问题，提升飞机靠桥基于视频的飞机靠桥事件检测的精确度和鲁棒性。

Description

基于视频的飞机靠桥事件检测方法和装置

技术领域

本申请涉及计算机领域，特别是涉及基于视频的飞机靠桥事件检测方法、装置、计算机设备和计算机可读存储介质。

背景技术

相关技术中，机场靠撤廊桥作为机场停机坪事件的重要节点，如何快速准确地检测出飞机靠桥事件可以提高机场的调度效率，缩短下机时间。

相关技术中，使用人工记录或者电子感应的方式进行，使用视频自动检测的应用较少；有些相关技术采用停机坪的单一相机采集的画面来辅助检测靠桥事件，就单一相机画面而言廊桥与飞机框位置重叠并不能保证飞机和廊桥连接，当两者错开时在相机视角里框的位置也可能是重叠的，进而导致检测不准确，需要人工确认和检查。

目前针对相关技术存在的技术问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于视频的飞机靠桥事件检测方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术检测飞机靠桥事件不准确的技术问题。

第一方面，本申请实施例提供了一种基于视频的飞机靠桥事件检测方法，包括：获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件。

在其中一些实施例中，根据所述第一视频和所述第二视频检测廊桥区域包括：根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；若所述廊桥的前端未展开区域满足预设位移条件，基于前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界。

在其中一些实施例中，根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件包括：在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止要求。

在其中一些实施例中，基于第二视频对应的前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界包括：对所述第二视频对应的前n帧画面的每一帧进行灰度化后进行前背景分割，并累加n帧画面，得到第一结果图；对所述第二视频对应的前m帧画面的每一帧进行灰度化后，对相邻的帧画面进行帧差固定阈值分割及形态学处理，并累加所述m帧画面，得到第二结果图；对所述第一结果图和所述第二结果图进行与运算，得到第三结果图；对所述第三结果图自上而下遍历每一行像素，使用每行黑色像素点个数，生成水平投影，采用预定义的幅度阈值分割所述水平投影得到所述廊桥的廊桥边界。

在其中一些实施例中，根据所述第一视频检测客舱门的运动状态包括：在所述第一视频中检测所述廊桥的前端未展开区域和客舱门区域；若检测得到所述前端未展开区域和所述客舱门区域，在所述第一视频中检测所述廊桥的前端展开区域；若检测得到所述廊桥的前端展开区域，且所述前端展开区域内存在所述客舱门区域，所述客舱门区域的顶点坐标均落在所述前端展开区域内，确定所述客舱门的运动状态满足预定条件。

在其中一些实施例中，根据所述第二视频检测客舱门的运动状态包括：在所述第二视频的k帧画面中检测每帧画面的客舱门区域坐标；计算所述k帧画面中每两个相邻帧画面的重叠度IOU值，得到k-1个IOU值；若所述k-1个IOU值中的最小值大于预设阈值，确定所述客舱门的运动状态满足预定状态。

在其中一些实施例中，根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果包括：若所述运动状态满足预定状态，计算所述廊桥区域的廊桥口边界与廊桥内客舱门区域底端的连接长度；若所述连接长度满足预设条件，输出飞机靠桥事件的第一检测结果；若所述连接长度不满足所述预设条件，输出飞机靠桥事件的第二检测结果，其中，所述第一检测结果用于指示发生飞机靠桥事件，所述第二检测结果用于指示未发生飞机靠桥事件。

第二方面，本申请实施例提供了一种基于视频的飞机靠桥事件检测装置，包括：获取模块，用于获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；检测模块，用于根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；输出模块，用于根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件。

在其中一些实施例中，所述检测模块包括：判断单元，用于根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；分割单元，用于若所述廊桥的前端未展开区域满足预设位移条件，基于前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界。

在其中一些实施例中，所述判断单元包括：第一判断子单元，用于在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；第二判断子单元，用于在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止位移要求。

在其中一些实施例中，所述分割单元包括：分割子单元，用于对所述第二视频对应的前n帧画面的每一帧进行灰度化后进行前背景分割，并累加n帧画面，得到第一结果图；对所述第二视频对应的前m帧画面的每一帧进行灰度化后，对相邻的帧画面进行帧差固定阈值分割及形态学处理，并累加所述m帧画面，得到第二结果图；运算子单元，用于对所述第一结果图和所述第二结果图进行与运算，得到第三结果图；投影子单元，用于对所述第三结果图自上而下遍历每一行像素，使用每行黑色像素点个数，生成水平投影，采用预定义的幅度阈值分割所述水平投影得到所述廊桥的廊桥边界。

在其中一些实施例中，所述检测模块包括：第一检测单元，用于在所述第一视频中检测所述廊桥的前端未展开区域和客舱门区域；第二检测单元，用于若检测得到所述前端未展开区域和所述客舱门区域，在所述第一视频中检测所述廊桥的前端展开区域；第一确定单元，用于若检测得到所述廊桥的前端展开区域，且所述前端展开区域内存在所述客舱门区域，所述客舱门区域的顶点坐标均落在所述前端展开区域内，确定所述客舱门的运动状态满足预定条件。

在其中一些实施例中，所述检测模块包括：第二检测单元，用于在所述第二视频的k帧画面中检测每帧画面的客舱门区域坐标；计算单元，用于计算所述k帧画面中每两个相邻帧画面的重叠度IOU值，得到k-1个IOU值；第二确定单元，用于若所述k-1个IOU值中的最小值大于预设阈值，确定所述客舱门的运动状态满足预定状态。

在其中一些实施例中，所述输出模块包括：计算单元，用于若所述运动状态满足预定状态，计算所述廊桥区域的廊桥口边界与廊桥内客舱门区域底端的连接长度；输出单元，用于若所述连接长度满足预设条件，输出飞机靠桥事件的第一检测结果；若所述连接长度不满足所述预设条件，输出飞机靠桥事件的第二检测结果，其中，所述第一检测结果用于指示发生飞机靠桥事件，所述第二检测结果用于指示未发生飞机靠桥事件。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的检测方法。

相比于相关技术，本申请实施例提供的方案，通过采用双相机在多个场景方位的画面进行检测，可以解耦飞机入位靠桥事件的依赖关系，防止单相机画面导致的连锁误判，解决相关技术检测飞机靠桥事件不准确的技术问题，提升飞机靠桥事件检测的精确度和鲁棒性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的用户终端的结构框图；

图2是根据本申请实施例的一种基于视频的飞机靠桥事件检测方法的流程图；

图3是本发明实施例的场景示意图；

图4是本发明实施例中各个检测区域的示意图；

图5是本发明实施例检测廊桥区域的流程图；

图6是本发明实施例判断廊桥位移状态的示意图；

图7是本发明实施例分割出的廊桥边界的示意图；

图8是本发明实施例检测运动状态的流程图；

图9是本发明实施例的在一个实例中的方案流程图；

图10是根据本申请实施例的一种基于视频的飞机靠桥事件检测装置的结构框图；

图11为根据本申请实施例的基于视频的飞机靠桥事件检测设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种用户终端，可以是计算机，手机，服务器等。图1是根据本申请实施例的用户终端的结构框图。如图1所示，该用户终端包括：射频(Radio Frequency，简称为RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160(可选)、无线保真(wireless fidelity，简称为WiFi)模块170(可选)、处理器180、以及电源190等部件。本领域技术人员可以理解，图1中示出的用户终端结构并不构成对用户终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对用户终端的各个构成部件进行具体的介绍：

RF电路110可用于收发信息过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，简称为LNA)、双工器等。此外，RF电路10还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，简称为GSM)、通用分组无线服务(General Packet RadioService，简称为GPRS)、码分多址(Code Division Multiple Access，简称为CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称为WCDMA)、长期演进(Long TermEvolution，简称为LTE)、NR、电子邮件、短消息服务(Short Messaging Service，简称为SMS)等。

存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行用户终端的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据用户终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元130可用于接收输入的数字或字符信息，以及产生与用户终端100的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触控面板131以及其他输入设备132。触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及用户终端的各种菜单。显示单元140可包括显示面板141，可选的，可以采用液晶显示器(LiquidCrystal Display，简称为LCD)、有机发光二极管(Organic Light-Emitting Diode，简称为OLED)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现用户终端的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现用户终端的输入和输出功能。

音频电路160、扬声器161，传声器162可提供用户与用户终端之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一用户终端，或者将音频数据输出至存储器120以便进一步处理。

WiFi属于短距离无线传输技术，用户终端通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块170，但是可以理解的是，其并不属于用户终端100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者替换为其他的短距离无线传输模块，例如Zigbee模块、或者WAPI模块等。

处理器180是用户终端的控制中心，利用各种接口和线路连接整个用户终端的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行用户终端的各种功能和处理数据，从而对用户终端进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

用户终端100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，用户终端100还可以包括摄像头、蓝牙模块等，在此不再赘述。

本实施例还提供了一种基于视频的飞机靠桥事件检测方法。图2是根据本申请实施例的一种基于视频的飞机靠桥事件检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；

图3是本发明实施例的场景示意图，第一相机(相机A)安装于飞机前方俯视视角，画面包含飞机区域和廊桥区域，第二相机(相机B)安装于廊桥内部顶上，画面监控廊桥口区域，相机A画面使用事先训练的深度学习检测模型检测飞机客舱门区域和廊桥前端的未展开区域、展开区域，相机B画面使用事先训练的深度学习模型检测飞机客舱门区域，图4是本发明实施例中各个检测区域的示意图。

步骤S202，根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；

本实施例廊桥区域通过视频帧画面中的边界围成，客舱门的运动状态包括静止状态等。

步骤S203，根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件。

通过上述步骤，获取第一相机采集的第一视频和第二相机采集的第二视频，根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态，最后根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，通过采用双相机在多个场景方位的画面进行检测，可以解耦飞机入位靠桥事件的依赖关系，防止单相机画面导致的连锁误判，解决相关技术检测飞机靠桥事件不准确的技术问题，提升飞机靠桥事件检测的精确度和鲁棒性。

在其中一些实施例中，根据所述第一视频和所述第二视频检测廊桥区域包括：

S11，根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；

在其中一些实施例中，根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件包括：在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止位移要求。

S12，若所述廊桥的前端未展开区域满足预设位移条件，基于所述第二视频对应的前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界。

在其中一些实施例中，基于第二视频对应的前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界包括：对所述第二视频对应的前n帧画面的每一帧进行灰度化后进行前背景分割，并累加n帧画面，得到第一结果图；对所述第二视频对应的前m帧画面的每一帧进行灰度化后，对相邻的帧画面进行帧差固定阈值分割及形态学处理，并累加所述m帧画面，得到第二结果图；对所述第一结果图和所述第二结果图进行与运算，得到第三结果图；对所述第三结果图自上而下遍历每一行像素，使用每行黑色像素点个数，生成水平投影，采用预定义的幅度阈值分割所述水平投影得到所述廊桥的廊桥边界。

图5是本发明实施例检测廊桥区域的流程图，包括以下步骤：

步骤a，判断未展开前端区域是否满足位移：获取前n帧检测出的前端区域位置，和经过n个视频帧后的前端区域位置，当两者的水平方向位移差值大于当前帧前端区域的宽度值时则认为满足位移要求；获取前m帧视频帧检测出的前端区域位置，和经过m个视频帧后的前端区域位置，当两者的水平方向位移差值小于当前帧前端区域的宽度值的一半时则认为满足位移要求，图6是本发明实施例判断廊桥位移状态的示意图；

步骤b，当检测到未展开廊桥前端n帧满足静止要求时，对此n帧每一帧进行灰度化后使用大津阈值法进行前背景分割，再把该n帧图像累加；

步骤c，当检测到未展开廊桥前端m帧发生明显位移运动时，对此m帧每一帧进行灰度化后前后帧之间进行帧差固定阈值分割及形态学处理，再把该m帧图像累加；

步骤d，将步骤c和步骤b得到的结果图进行与运算；图像自上而下遍历每一行像素统计每行黑色像素点个数，生成水平投影；选取图像宽度W的α倍作为分割的幅度阈值T，T＝αW(0＜α＜1)，遍历每一行的黑色投影幅度，当满足投影幅度大于T时计数，遍历完成后得到计数值h；设图像高度为H，设廊桥口地面外侧出垂直方向坐标为y，满足y＝H-h，此函数即为分割后的廊桥口边界线，图7是本发明实施例分割出的廊桥边界的示意图。

在其中一些实施例中，根据所述第一视频检测客舱门的运动状态包括：在所述第一视频中检测所述廊桥的前端未展开区域和客舱门区域；若检测得到所述前端未展开区域和所述客舱门区域，在所述第一视频中检测所述廊桥的前端展开区域；若检测得到所述廊桥的前端展开区域，且所述前端展开区域内存在所述客舱门区域，所述客舱门区域的顶点坐标均落在所述前端展开区域内，确定所述客舱门的运动状态满足预定条件。通过状态机依次判断各个状态是否先后满足。

图8是本发明实施例检测运动状态的流程图，根据停机坪画面判断展开的前端区域位置和飞机客舱门的历史位置关系满足要求，当检测到连续多帧检测结果依次满足以下状态变化时输出是，确定所述客舱门的运动状态满足预定条件。

采用本实施例的方案，双相机联合利用廊桥口形态位置和廊桥内舱门停靠位置可以准确检测出飞机的停靠位置。

在其中一些实施例中，根据所述第二视频检测客舱门的运动状态包括：在所述第二视频的k帧画面中检测每帧画面的客舱门区域坐标；计算所述k帧画面中每两个相邻帧画面的重叠度IOU值，得到k-1个IOU值；若所述k-1个IOU值中的最小值大于预设阈值，确定所述客舱门的运动状态满足预定状态。

在一个实例中，基于廊桥相机的客舱门检测模型检测出每帧的客舱门区域坐标，记录k帧的客舱门检测坐标，前后帧之间两两计算检测的客舱门之间的IOU(通过区域相交面积除以相并面积得到)，当得出的k-1个IOU值中的最小值大于预设阈值θ(0.8＜θ＜1.0)时认为静止。

在其中一些实施例中，根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果包括：若所述运动状态满足预定状态，计算所述廊桥区域的廊桥口边界与廊桥内客舱门区域底端的连接长度；若所述连接长度满足预设条件，输出飞机靠桥事件的第一检测结果；若所述连接长度不满足所述预设条件，输出飞机靠桥事件的第二检测结果，其中，所述第一检测结果用于指示发生飞机靠桥事件，所述第二检测结果用于指示未发生飞机靠桥事件。

在一个实例中，设检测出的廊桥内客舱门区域的地段垂直方向坐标为y₀，设预设的廊桥口边界和客舱门底端连接的阈值为βh(β为预设阈值系数)，当满足|y₀-y|＜βh时判断为两者连接上，检测出靠桥状态，输出发生飞机靠桥事件的检测结果。

图9是本发明实施例的在一个实例中的方案流程图，通过两个相机采集到廊桥内画面和停机坪画面后，进行廊桥内客舱门的状态检测，判断是否为静止状态，进行双画面联合分割廊内相机画面的廊桥边界，判断判断展开的前端区域位置和飞机客舱门的历史位置关系满足要求，最后基于廊桥边缘和桥内舱门区域进行飞机靠桥事件的判断。

采用本实施例的方案，可以解耦飞机入位靠桥事件的依赖关系，单独模块检测防止连锁误判，基于多角度相机场景，利用可靠的深度学习模型对相关部件的检测结合进行有效分割，提升靠桥事件检测的精确度和鲁棒性。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种基于视频的飞机靠桥事件检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图10是根据本申请实施例的一种基于视频的飞机靠桥事件检测装置的结构框图，如图10所示，该装置包括：

获取模块100，用于获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；

检测模块102，用于根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；

输出模块104，用于根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件。

在本实施例的一个实施方式中，所述检测模块包括：判断单元，用于根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；分割单元，用于若所述廊桥的前端未展开区域满足预设位移条件，基于前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界。

在本实施例的一个实施方式中，所述判断单元包括：第一判断子单元，用于在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；第二判断子单元，用于在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止位移要求。

在本实施例的一个实施方式中，所述分割单元包括：分割子单元，用于对所述第二视频对应的前n帧画面的每一帧进行灰度化后进行前背景分割，并累加n帧画面，得到第一结果图；对所述第二视频对应的前m帧画面的每一帧进行灰度化后，对相邻的帧画面进行帧差固定阈值分割及形态学处理，并累加所述m帧画面，得到第二结果图；运算子单元，用于对所述第一结果图和所述第二结果图进行与运算，得到第三结果图；投影子单元，用于对所述第三结果图自上而下遍历每一行像素，使用每行黑色像素点个数，生成水平投影，采用预定义的幅度阈值分割所述水平投影得到所述廊桥的廊桥边界。

在本实施例的一个实施方式中，所述检测模块包括：第一检测单元，用于在所述第一视频中检测所述廊桥的前端未展开区域和客舱门区域；第二检测单元，用于若检测得到所述前端未展开区域和所述客舱门区域，在所述第一视频中检测所述廊桥的前端展开区域；第一确定单元，用于若检测得到所述廊桥的前端展开区域，且所述前端展开区域内存在所述客舱门区域，所述客舱门区域的顶点坐标均落在所述前端展开区域内，确定所述客舱门的运动状态满足预定条件。

在本实施例的一个实施方式中，所述检测模块包括：第二检测单元，用于在所述第二视频的k帧画面中检测每帧画面的客舱门区域坐标；计算单元，用于计算所述k帧画面中每两个相邻帧画面的重叠度IOU值，得到k-1个IOU值；第二确定单元，用于若所述k-1个IOU值中的最小值大于预设阈值，确定所述客舱门的运动状态满足预定状态。

在本实施例的一个实施方式中，所述输出模块包括：计算单元，用于若所述运动状态满足预定状态，计算所述廊桥区域的廊桥口边界与廊桥内客舱门区域底端的连接长度；输出单元，用于若所述连接长度满足预设条件，输出飞机靠桥事件的第一检测结果；若所述连接长度不满足所述预设条件，输出飞机靠桥事件的第二检测结果，其中，所述第一检测结果用于指示发生飞机靠桥事件，所述第二检测结果用于指示未发生飞机靠桥事件。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

另外，结合图2描述的本申请实施例基于视频的飞机靠桥事件检测方法可以由基于视频的飞机靠桥事件检测设备来实现。图11为根据本申请实施例的基于视频的飞机靠桥事件检测设备的硬件结构示意图。

基于视频的飞机靠桥事件检测设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于视频的飞机靠桥事件检测方法。

在其中一些实施例中，基于视频的飞机靠桥事件检测设备还可包括通信接口83和总线80。其中，如图11所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将基于视频的飞机靠桥事件检测设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(AddressBus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro Channel Architecture，简称为MCA)总线、外围组件互连(Peripheral ComponentInterconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SerialAdvanced Technology Attachment，简称为SATA)总线、视频电子标准协会局部(VideoElectronics Standards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的基于视频的飞机靠桥事件检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于视频的飞机靠桥事件检测方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于视频的飞机靠桥事件检测方法，其特征在于，包括：

获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；

根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；

根据所述廊桥区域和所述运动状态，输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件；

所述根据所述第一视频和所述第二视频检测廊桥区域包括：

根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；

若所述廊桥的前端未展开区域满足预设位移条件，基于所述第二视频对应的前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界；

所述根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件包括：

在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；

在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止位移要求。

2.根据权利要求1所述的检测方法，其特征在于，基于第二视频对应的前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界包括：

对所述第二视频对应的前n帧画面的每一帧进行灰度化后进行前背景分割，并累加n帧画面，得到第一结果图；对所述第二视频对应的前m帧画面的每一帧进行灰度化后，对相邻的帧画面进行帧差固定阈值分割及形态学处理，并累加所述m帧画面，得到第二结果图；

对所述第一结果图和所述第二结果图进行与运算，得到第三结果图；

对所述第三结果图自上而下遍历每一行像素，使用每行黑色像素点个数，生成水平投影，采用预定义的幅度阈值分割所述水平投影得到所述廊桥的廊桥边界。

3.根据权利要求1所述的检测方法，其特征在于，根据所述第一视频检测客舱门的运动状态包括：

在所述第一视频中检测所述廊桥的前端未展开区域和客舱门区域；

若检测得到所述前端未展开区域和所述客舱门区域，在所述第一视频中检测所述廊桥的前端展开区域；

若检测得到所述廊桥的前端展开区域，且所述前端展开区域内存在所述客舱门区域，所述客舱门区域的顶点坐标均落在所述前端展开区域内，确定所述客舱门的运动状态满足预定条件。

4.根据权利要求1所述的检测方法，其特征在于，根据所述第二视频检测客舱门的运动状态包括：

在所述第二视频的k帧画面中检测每帧画面的客舱门区域坐标；

计算所述k帧画面中每两个相邻帧画面的重叠度IOU值，得到k-1个IOU值；

若所述k-1个IOU值中的最小值大于预设阈值，确定所述客舱门的运动状态满足预定状态。

5.根据权利要求1所述的检测方法，其特征在于，根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果包括：

若所述运动状态满足预定状态，计算所述廊桥区域的廊桥口边界与廊桥内客舱门区域底端的连接长度；

若所述连接长度满足预设条件，输出飞机靠桥事件的第一检测结果；若所述连接长度不满足所述预设条件，输出飞机靠桥事件的第二检测结果，其中，所述第一检测结果用于指示发生飞机靠桥事件，所述第二检测结果用于指示未发生飞机靠桥事件。

6.一种基于视频的飞机靠桥事件检测装置，其特征在于，包括：

获取模块，用于获取第一相机采集的第一视频和第二相机采集的第二视频，其中，所述第一相机用于采集停机坪画面，所述第二相机用于在廊桥前端采集廊桥口画面；

检测模块，用于根据所述第一视频和所述第二视频检测廊桥区域，以及根据所述第一视频和所述第二视频检测客舱门的运动状态；

输出模块，用于根据所述廊桥区域和所述运动状态输出飞机靠桥事件的检测结果，其中，所述检测结果用于指示是否发生飞机靠桥事件；

所述检测模块包括：判断单元，用于根据所述第一视频的n+1帧画面和m+1帧画面判断所述廊桥的前端未展开区域是否满足预设位移条件，其中，n、m均为正整数；分割单元，用于若所述廊桥的前端未展开区域满足预设位移条件，基于前n帧画面和前m帧画面的水平投影分割得到所述廊桥的廊桥边界；

所述判断单元包括：第一判断子单元，用于在所述第一视频的前n帧画面中检测廊桥的第一前端未展开区域，以及在n+1帧画面中检测廊桥的第二前端未展开区域，若所述第一前端未展开区域和所述第二前端未展开区域的水平方向位移差值大于当前帧画面中前端未展开区域的宽度值时，确定满足运动位移要求；第二判断子单元，用于在所述第一视频的前m帧画面中检测廊桥的第三前端未展开区域，以及在m+1帧画面中检测第四前端未展开区域，若所述第三前端未展开区域和所述第四前端未展开区域的水平方向位移差值小于当前帧画面中前端未展开区域的宽度值的一半时，确定满足静止位移要求。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的检测方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的检测方法。