CN110197097A - 一种港区监控方法及系统、中控系统 - Google Patents

Abstract

本发明公开一种港区监控方法及系统、中控系统，以解决现有技术无法对港区内的目标物体进行直观、有效的进行全局查看的技术问题。港区监控方法包括：接收设置在港区内的各路侧摄像机采集的图像；对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；确定所述全局图像中的道路区域；对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；在全局图像中展示所述目标物体的跟踪结果和类别。采用本发明技术方案，解决了现有技术无法对港区内的目标物体进行直观、有效的进行全局查看的技术问题。

Description

一种港区监控方法及系统、中控系统

技术领域

本发明涉及自动驾驶领域，特别涉及一种港区监控方法、一种港区监控系统和一种中控系统。

背景技术

目前，随着自动驾驶技术的发展，在一些地理区域较大的特定区域(例如临海港区、公路港区、矿区、大型仓库、货物集散地、园区等)配备有大量的自动驾驶车辆，如何能够确保自动驾驶车辆在区域内行驶的安全性，需要对区域内的目标物体(例如自动驾驶车辆、非自动驾驶车辆、行人等)进行全局查看。目前在这些特定区域内虽然安装有监控摄像机，但各监控摄像机之间独立运行，且各摄像机的拍摄角度均不同，工作人员需要同时查看多个监控摄像机的屏幕画面，不仅效率低，而且拍摄得到画面并不是很直观能够获知区域内的目标物体的情况。

发明内容

鉴于上述问题，本发明提供一种港区监控方法，以解决现有技术无法对港区内的目标物体进行直观、有效的进行全局查看的技术问题。

本发明实施例，第一方面，提供一种港区监控方法，方法包括：

接收设置在港区内的各路侧摄像机采集的图像；

对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

确定所述全局图像中的道路区域；

对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

在全局图像中展示所述目标物体的跟踪结果和类别。

本发明实施例，第二方面，提供一种港区监控系统，该系统包括设置在港区内的路侧摄像机、中控系统，其中：

路侧摄像机，用于采集图像，并将图像发送给监控系统；

中控系统，用于接收各路侧摄像机采集的图像；对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；确定所述全局图像中的道路区域；对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；在全局图像中展示所述目标物体的跟踪结果和类别。

本发明实施例，第三方面，提供一种中控系统，该系统包括：

通信单元，用于接收各路侧摄像机采集的图像；

图像处理单元，用于对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

道路区域确定单元，用于确定所述全局图像中的道路区域；

目标检测跟踪单元，用于对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

展示单元，用于在全局图像中展示所述目标物体的跟踪结果和类别。

本发明技术方案在港区内设置有大量的路侧摄像机，通过路侧摄像机拍摄港区内的画面；首先，通过将港区内的各路侧摄像机采集的图像进行坐标转换和拼接以得到上帝视角下港区的全局图像；其次，确定出全局图像中的道路区域；最后，对全局图像进行物体检测和物体跟踪以得到道路区域中目标物体的跟踪结果和类别。采用本发明技术方案，一方面能够实时的得到整个港区的上帝视角下的全局图像，而上帝视角为俯瞰地面角度，能够更加直观的查看整个港区内的情况，工作人员只需要查看一个屏幕画面即可全局了解港区内所有的情况；另一方面，实时显示全局图像中的道路区域的目标物体的跟踪结果和类别，工作人员能够非常直观的了解各种类别的目标物体的运动情况；因此，采用本发明技术方案解决了现有技术无法对港区内的目标物体进行直观、有效的进行全局查看的技术问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例中港区监控系统的结构示意图之一；

图2为本发明实施例中港区监控系统的结构示意图之二；

图3为本发明实施例中中控系统的结构示意图之一；

图4A为本发明实施例中路侧摄像机采集得到的图像的示意图；

图4B为本发明实施例中将图像按照采集时间进行分组的示意图；

图4C为本发明实施例中一组俯瞰图像的示意图；

图4D为本发明实施例中将一组俯瞰图像拼接成一张全局图像的示意图；

图4E为本发明实施例中在一张全局图像中展示目标物体的跟踪结果和类别的示意图；

图5为本发明实施例中中控系统的结构示意图之二；

图6为本发明实施例中港区监控系统的结构示意图之三；

图7为本发明实施例中第一V2X设备、路侧V2X设备和第二V2X设备之间的通信示意图；

图8为本发明实施例中港区监控方法的流程图之一；

图9为本发明实施例中对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像的流程图；

图10为本发明实施例中港区监控方法的流程图之二。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明技术方案的应用场景，不仅限于港区(包括临海港区、公路港区等)，还可以应用于例如矿区、货物集散地、大型仓库、园区等其他应用场景；该技术方案移植到其他应用场景无需做实质性的改变，本领域技术人员也不需要付出创造性的劳动，也不需要克服一些特定的技术问题。由于篇幅有限，本申请不再对本发明技术方案应用于其他应用场景做详细的描述。以下对技术方案的描述，均以港区为例。

实施例一

参见图1，为本发明实施例中港区监控系统的结构示意图，该系统包括设置在港区内的路侧摄像机1、中控系统2，其中：

路侧摄像机1，用于采集图像，并将图像发送给监控系统2；

中控系统2，用于接收各路侧摄像机1采集的图像；对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；确定所述全局图像中的道路区域；对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；在全局图像中展示所述目标物体的跟踪结果和类别。

优选地，本发明实施例中，路侧摄像机1可采取港区全覆盖原则，尽量使得路侧摄像机1采集到的图像集合能够覆盖整个港区的地理区域范围，当然，本领域技术人员也可以根据实际需求进行灵活设置，例如仅对港区内的一些核心区域进行全面覆盖。本申请不作严格限定。

优选地，为使得路侧摄像机1采集的图像涵盖的视野范围更大，本发明实施例中，可以将路侧摄像机1设置在港区内已有的具有一定高度的设备上，例如塔吊、轮胎吊、桥吊、灯杆、天车、正面吊、吊车等上，或者还可以在港区内设置专门用于铺设路侧摄像机1的具有一定高度的路侧设备上。如图2所示，可以将设置在塔吊上的路侧摄像机1称为塔吊CAM，将设置在灯杆上的路侧摄像机称为灯杆CAM，将设置在天车上的路侧摄像机称为天车CAM。

优选地，为便于更好的对各路侧摄像机1拍摄的图像进行拼接，本发明实施例中，所有路侧摄像机1的图像采集时钟同步，且各路侧摄像机1的相机参数相同，采集得到的图像尺寸相同。

优选地，本发明实施例中，中控系统2的结构可如图3所示，包括通信单元21、图像处理单元22、道路区域确定单元23、目标检测跟踪单元24和展示单元25，其中：

通信单元21，用于接收各路侧摄像机采集的图像；

图像处理单元22，用于对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

道路区域确定单元23，用于确定所述全局图像中的道路区域；

目标检测跟踪单元24，用于对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

展示单元25，用于在全局图像中展示所述目标物体的跟踪结果和类别。

本发明实施例中，中控系统2可以运行在DSP(Digital Signal Processing，数字信号处理器)、FPGA(Field-Programmable Gate Array)，现场可编程门阵列)控制器、台式电脑、移动电脑、PAD、单片机等设备上。

本发明实施例中，通信单元21可以通过无线的方式收发信息，例如可以通过天线实现。图像处理单元22、道路区域确定单元23、目标检测跟踪单元24可以运行在DSP、FPGA控制器、台式电脑、移动电脑、PAD、单片机等设备的处理器上(例如CPU(Central ProcessingUnit，中央处理器))；展示单元25可以运行在DSP、FPGA控制器、台式电脑、移动电脑、PAD、单片机等设备的显示器(例如GPU(Graphics Processing Unit，图形处理器))上。

优选地，本发明实施例中，图像处理单元22具体用于：将接收到的图像中采集时间相同的图像确定为一组图像；将一组图像中的各图像进行坐标转换，得到一组俯瞰图像；将一组俯瞰图像按照预置的拼接顺序进行拼接得到一张全局图像，所述拼接顺序根据各路侧摄像机之间的空间位置关系得到。

以一个具体的实例进行描述，假设港区内设置有n台路侧摄像机1，该n台路侧摄像机1按照空间位置的相邻关系依次编号为CAM1、CAM2、CAM3、…、CAMn，根据该n个路侧摄像机1的空间位置关系设置图像拼接顺序为：CAM1->CAM2->CAM3->、…、->CAMn；以时间t0为起始时间，CAM1依次采集到的图像如图像集合1、CAM2依次采集到的图像如图像集合2、…、CAMn依次采集到的图像如图像集合n，如图4A所示，每个图像集合包含k张图像；将n个图像集合中的图像中采集时间相同的图像确定为一组图像，如图4B所示，一个虚线框内的图像构成一组图像，得到k组图像，每组图像生成一张全局图像，得到k张全局图像；将每组图像中的每张图像进行坐标转换，得到一组俯瞰图像，如图4C所示为港区的四个路侧摄像机分别拍摄得到的同一时间的四张图像的俯瞰图像，即该四张俯瞰图像组成一组俯瞰图像，图4D将一组俯瞰图像按照预置的拼接顺序拼接得到一张全局图像，图4E为一张全局图像的目标物体的跟踪结果及类别，虚线框表示车辆的跟踪结果。

在一个示例中，将一张图像投影到地平面即得到该图像对应的俯瞰图像。具体实现可如下：

首先，预先建立统一的地平面坐标系；

其次，针对每个路侧摄像机，预先标定得到该路侧摄像机的成像平面坐标系与地平面坐标系之间的转换关系。例如：预先通过人工或计算机标定每个路侧摄像机的相机坐标系与地平面坐标系之间的转换关系；根据路侧摄像机的相机坐标系与地平面坐标系之间的转换关系(为现有技术)、路侧摄像机的相机坐标系与该路侧摄像机的成像平面坐标系之间的转换关系，得到该路侧摄像机的成像平面坐标系与地平面坐标系之间的转换关系；

最后，针对路侧摄像机拍摄的一张图像，根据该路侧摄像机的成像平面坐标系与地平面坐标系之间的转换关系，将该路侧摄像机拍摄的图像中的每个像素点投影到地平面坐标系中，得到该图像对应的俯瞰图像。

优选地，本发明实施例中，道路区域确定单元23具体可通过但不仅限于以下任意一种方式实现：

方式A1、将所述港区对应的高精地图与所述全局图像进行叠加，以得到所述全局图像中的道路区域。

方式A2、采用预置的语义分割算法对所述全局图像进行语义分割，以得到所述全局图像中的道路区域。

方式A1中，港区对应的高精地图指采用地图引擎根据港区的高精地图数据绘制得到的一张电子地图，在该电子地图中绘制有港区内所有的道路(包括道路边界线、车道线、道路方向、限速、转向等信息)。本发明实施例中，将港区对应的高精地图与全局图像进行叠加得到全局图像的道路区域，可采用以下方式实现：步骤1)将全局图图像的尺寸调整为与高精地图一致(如通过拉伸/缩放的方式)；步骤2)通过人工在高精地图和全局图像上标定几个可用于叠加的共通基准点(例如高精地图的四个角点，或者某些道路的交界点等)，通过基准点将高精地图与全局图像进行叠加；步骤3)通过人工根据高精地图的上的道路在全局图像中相应位置绘制道路，以得到全局图像中的道路区域；或者，以全局图像的图像坐标系为基准，将高精地图上构成道路的道路点投射到该图像坐标系中，得到各道路点在图像坐标系中的坐标点，将全局图像中与前述坐标点重合的像素点标注为道路点，依此得到全局图像中的道路区域。

方式A2中，预置的语义分割算法可以为一个预先训练得到的能够对输入的图像进行语义分割的语义分割模型。该语义分割模型可以根据预先采集到的样本数据对神经网络模型进行迭代训练得到。样本数据包括：预先在港区内采集到的包含道路的一定数量的图像，以及通过人工对这些采集到的图像进行语义标注的标注结果。如何根据样本数据对神经网络模型进行迭代训练得到语义分割模型，可参见现有的技术，本申请不做严格限定。

本发明实施例中，目标检测跟踪单元24具体实现可如下：采用预置的物体检测算法对全局图像中的道路区域进行物体检测得到检测结果(检测结果包括目标物体的二维框和类别，可以通过将目标物体的二维框设置成不同的颜色来代表该目标物体的类别(例如，绿色框表示该框内的目标物体为车辆，红色框表示该框内的目标物体为行人等)，还可以通过在目标物体的二维框附近标注该目标物体的类别，例如在二维框的正上方或正下方用文字标注该二维框内的目标物体的类别)；采用预置的物体跟踪算法根据所述全局图像的检测结果和前一帧全局图像的物体跟踪结果，得到所述全局图像的跟踪结果和类别。本发明实施例中，目标物体的类别可以包括车辆、行人等。物体检测算法可以预先根据训练数据(包括在港区内预先采集到的包含目标物体的一定数量的图像，以及对该图像进行物体检测标定的标定结果)对神经网络模型进行迭代训练得到的物体检测模型；物体跟踪算法可以是预先根据训练数据对神经网络模型进行迭代训练得到的物体跟踪模型。

优选地，为进一步全局合理规划港区内所有自动驾驶车辆的行驶路径，本发明实施例中，中控系统2还可进一步包括运动轨迹预测单元26、路径优化单元27，如图5所示，其中：

运动轨迹预测单元26，用于根据目标物体的跟踪结果和类别，预测各目标物体对应的运动轨迹；

路径优化单元27，用于根据各目标物体对应的运动轨迹，对各自动驾驶车辆的行驶路径进行优化；

所述通信单元21进一步用于：将各自动驾驶车辆的优化后的行驶路径发送给相应的自动驾驶车辆。

在一个示例中，运动轨迹预测单元26预测各目标物体对应的运动轨迹，具体实现可如下：根据目标物体的跟踪结果和类别分析确定该目标物体的姿态数据；将目标物体的姿态数据输入到预置的与该目标物体类别对应的运动模型中，得到该目标物体对应的运动轨迹。

当然，本领域技术人员还可通过其他可替代的技术方案实现对目标物体的运动轨迹的预测，例如：在目标物体中设置有定位单元(例如GPS定位单元)和惯性测量单元(IMU)，或者其它的可实现定位以及实现姿态测量的设备；目标物体在行驶过程中，通过定位单元的测量结果和惯性测量单元的测量结果生成目标物体的姿态数据，并将该姿态数据发送给运动轨迹预测单元26。运动轨迹预测单元26预测各目标物体对应的运动轨迹，具体实现可如下：接收目标物体发送的姿态数据，将该目标物体的姿态数据输入到预置的与该目标物体类别对应的运动模型中，得到该目标物体对应的运动轨迹。

优选地，本发明实施例中，自动驾驶控制装置周期性地或实时地将其所在的自动驾驶车辆的预估行驶轨迹(自动驾驶控制装置会根据自动驾驶车辆的历史行驶轨迹和自动驾驶车辆上的IMU传感器反馈的姿态信息预估自动驾驶车辆的预估行驶轨迹，如何预估可参见现有技术，该技术点并不是本发明技术方案的发明点)同步给中控系统2。所述路径优化单元27具体用于：

针对每辆自动驾驶车辆，将自动驾驶车辆发送的该自动驾驶车辆对应的预估行驶轨迹与各目标物体对应的运动轨迹进行比对，若发生重合(包括全部重合、部分重合)则优化所述自动驾驶车辆的行驶路径，以使优化后的行驶路径与各目标物体对应的运动轨迹不重合；若不发生重合则不优化所述自动驾驶车辆的行驶路径。

本发明实施例中，自动驾驶车辆对应的预估行驶轨迹由一定数量的位置点构成，各目标物体分别对应的运动轨迹由一定数量的位置点构成，若自动驾驶车辆的预估行驶轨迹和目标物体的运动轨迹中有n(n为预先设置的大于等于1的自然数，可以根据实际需求灵活设置n的取值，本申请不做严格限定)个以上的位置点重合，则认为该自动驾驶车辆的预估行驶轨迹与目标物体的运动轨迹重合。

优选地，为提高通信成功率和质量，本发明实施例中，如图5所述的系统还包括设置在港区内的路侧V2X(即vehicle to everything)设备和设置在自动驾驶车辆上的自动驾驶控制装置；并且，所述中控系统2设置有第一V2X设备，自动驾驶控制装置设置有第二V2X设备，如图6所示，其中；

所述通信单元21具体用于：将各自动驾驶车辆的优化后的行驶路径发送给第一V2X设备，由第一V2X设备将各自动驾驶车辆的优化后的行驶路径发送给路侧V2X设备；

路侧V2X设备，用于将从第一V2X设备接收到的自动驾驶车辆的优化后的行驶路径进行广播，由自动驾驶车辆上的第二V2X设备接收与该自动驾驶车辆对应的优化后的行驶路径。

本发明实施例中，路侧V2X设备可采用港区全覆盖原则，即通过路侧V2X设备可以实现港区内所有区域的自动驾驶车辆、中控系统之间的通信。中控系统的第一V2X设备将自动驾驶车辆对应的优化后的行驶路径打包成V2X通信报文，并进行广播；路侧V2X设备接收到该V2X通信报文时，对该V2X通信报文进行广播；由第二V2X设备接收与其所在自动驾驶车辆对应的V2X通信报文。

通信单元21可将自动驾驶车辆的优化后的行驶路径打包成TCP/UDP(Transmission Control Protocol(传输控制协议)/User Datagram Protocol(用户数据协议))报文传输给第一V2X设备(例如在将行驶路径作为TCP/UDP报文的payload)；第一V2X设备对接收到的TCP/UDP报文进行解析得到优化后的行驶路径，并将解析得到的行驶路径打包成V2X通信报文，并广播该V2X通信报文；路侧V2X设备接收到该V2X通信报文时，广播该V2X通信报文；第二V2X设备接收与其对应自动驾驶车辆的V2X通信报文，并对接收到的V2X通信报文进行解析，得到与该第二V2X设备对应的自动驾驶车辆对应的优化后的行驶路径，并将该行驶路径打包成TCP/UDP报文发送给该自动驾驶车辆对应的自动驾驶控制装置，如图7所示。TCP/UDP报文和V2X通信报文中均携带有自动驾驶车辆对应的身份信息，以声明该TCP/UDP报文、V2X报文中的优化后的行驶路径对应的自动驾驶车辆。第一V2X设备与中控系统2的通信单元21的通信接口可通过以太网、USB(Universal Serial Bus，通用串行总线)或者串口进行通信；第二V2X设备与自动驾驶控制装置的通信接口可通过以太网、USB或者串口通信。

实施例二

基于前述实施例一相同构思，本发明实施例二还提供一种中控系统，该中控系统的结构可如图3或如图5所示，在此不再赘述。

实施例三

基于前述实施例一相同构思，本发明实施例三提供一种港区监控方法，该方法流程如图8所示，该港区监控方法可以运行在前述中控系统2中，方法包括：

步骤101、接收设置在港区内的各路侧摄像机采集的图像；

步骤102、对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

步骤103、确定所述全局图像中的道路区域；

步骤104、对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

步骤105、在全局图像中展示所述目标物体的跟踪结果和类别。

优选地，前述步骤102具体可通过图9所示的流程实现：

步骤102A、将接收到的图像中采集时间相同的图像确定为一组图像；

步骤102B、将一组图像中的各图像进行坐标转换，得到一组俯瞰图像；

步骤102C、将一组俯瞰图像按照预置的拼接顺序进行拼接得到一张全局图像，所述拼接顺序根据各路侧摄像机之间的空间位置关系得到。

优选地，所述步骤103具体实现可如下：将所述港区对应的高精地图与所述全局图像进行叠加，以得到所述全局图像中的道路区域(具体可参见实施例一中的方式A1，在此不再赘述)；或者，采用预置的语义分割算法对所述全局图像进行语义分割，以得到所述全局图像中的道路区域(具体可参见实施例一中的方式A2，在此不再赘述)。

优选地，前述图8、图9所示的方法，还可进一步包括步骤106～步骤108，如图10所示在图8所示的方法流程中还包括步骤106～步骤108，其中：

步骤106、根据目标物体的跟踪结果和类别预测各目标物体对应的运动轨迹；

步骤107、根据各目标物体对应的运动轨迹对自动驾驶车辆的行驶路径进行优化；

步骤108、将优化后的行驶路径发送给相应的自动驾驶车辆。

优选地，所述步骤107具体实现可如下：

针对每辆自动驾驶车辆，将自动驾驶车辆发送的该自动驾驶车辆对应的预估行驶轨迹与各目标物体对应的运动轨迹进行比对，若发生重合则优化所述自动驾驶车辆的行驶路径，以使优化后的行驶路径与各目标物体对应的运动轨迹不重合；若不发生重合则不优化所述自动驾驶车辆的行驶路径。

优选地，步骤108具体实现可如下：通过V2X通信技术将优化后的行驶路径发送给相应的自动驾驶车辆。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种港区监控方法，其特征在于，包括：

接收设置在港区内的各路侧摄像机采集的图像；

对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

确定所述全局图像中的道路区域；

对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

在全局图像中展示所述目标物体的跟踪结果和类别。

2.根据权利要求1所述的方法，其特征在于，对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像，具体包括：

将接收到的图像中采集时间相同的图像确定为一组图像；

将一组图像中的各图像进行坐标转换，得到一组俯瞰图像；

将一组俯瞰图像按照预置的拼接顺序进行拼接得到一张全局图像，所述拼接顺序根据各路侧摄像机之间的空间位置关系得到。

3.根据权利要求1所述的方法，其特征在于，确定所述全局图像中的道路区域，具体包括：

将所述港区对应的高精地图与所述全局图像进行叠加，以得到所述全局图像中的道路区域；

或者，采用预置的语义分割算法对所述全局图像进行语义分割，以得到所述全局图像中的道路区域。

4.根据权利要求1～3任意一项所述的方法，其特征在于，所述方法还包括：

根据目标物体的跟踪结果和类别预测各目标物体对应的运动轨迹；

根据各目标物体对应的运动轨迹对自动驾驶车辆的行驶路径进行优化；

将优化后的行驶路径发送给相应的自动驾驶车辆。

5.根据权利要求4所述的方法，其特征在于，根据各目标物体对应的运动轨迹对自动驾驶车辆的行驶路径进行优化，具体包括：

针对每辆自动驾驶车辆，将自动驾驶车辆发送的该自动驾驶车辆对应的预估行驶轨迹与各目标物体对应的运动轨迹进行比对，若发生重合则优化所述自动驾驶车辆的行驶路径，以使优化后的行驶路径与各目标物体对应的运动轨迹不重合；若不发生重合则不优化所述自动驾驶车辆的行驶路径。

6.根据权利要求4所述的方法，其特征在于，将优化后的行驶路径发送给相应的自动驾驶车辆，具体包括：

通过V2X通信技术将优化后的行驶路径发送给相应的自动驾驶车辆。

7.一种港区监控系统，其特征在于，包括设置在港区内的路侧摄像机、中控系统，其中：

路侧摄像机，用于采集图像，并将图像发送给中控系统；

中控系统，用于接收各路侧摄像机采集的图像；对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；确定所述全局图像中的道路区域；对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；在全局图像中展示所述目标物体的跟踪结果和类别。

8.根据权利要求7所述的系统，其特征在于，所述中控系统包括：

通信单元，用于接收各路侧摄像机采集的图像；

图像处理单元，用于对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

道路区域确定单元，用于确定所述全局图像中的道路区域；

目标检测跟踪单元，用于对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

展示单元，用于在全局图像中展示所述目标物体的跟踪结果和类别。

9.根据权利要求8所述的系统，其特征在于，所述图像处理单元，具体用于：

将接收到的图像中采集时间相同的图像确定为一组图像；

将一组图像中的各图像进行坐标转换，得到一组俯瞰图像；

将一组俯瞰图像按照预置的拼接顺序进行拼接得到一张全局图像，所述拼接顺序根据各路侧摄像机之间的空间位置关系得到。

10.根据权利要求8所述的系统，其特征在于，所述道路区域确定单元，具体用于：

将所述港区对应的高精地图与所述全局图像进行叠加，以得到所述全局图像中的道路区域；

或者，采用预置的语义分割算法对所述全局图像进行语义分割，以得到所述全局图像中的道路区域。

11.根据权利要求8～10任一项所述的系统，其特征在于，所述中控系统还包括运动轨迹预测单元、路径优化单元，其中：

运动轨迹预测单元，用于根据目标物体的跟踪结果和类别，预测各目标物体对应的运动轨迹；

路径优化单元，用于根据各目标物体对应的运动轨迹，对各自动驾驶车辆的行驶路径进行优化；

所述通信单元进一步用于：将各自动驾驶车辆的优化后的行驶路径发送给相应的自动驾驶车辆。

12.根据权利要求11所述的系统，其特征在于，所述路径优化单元具体用于：

针对每辆自动驾驶车辆，将自动驾驶车辆发送的该自动驾驶车辆对应的预估行驶轨迹与各目标物体对应的运动轨迹进行比对，若发生重合则优化所述自动驾驶车辆的行驶路径，以使优化后的行驶路径与各目标物体对应的运动轨迹不重合；若不发生重合则不优化所述自动驾驶车辆的行驶路径。

13.根据权利要求11所述的系统，其特征在于，所述系统还包括设置在港区内的路侧V2X设备和设置在自动驾驶车辆上的自动驾驶控制装置；并且，所述中控系统设置有第一V2X设备，自动驾驶控制装置设置有第二V2X设备；

所述通信单元具体用于：将各自动驾驶车辆的优化后的行驶路径发送给第一V2X设备，由第一V2X设备将各自动驾驶车辆的优化后的行驶路径发送给路侧V2X设备；

路侧V2X设备，用于将从第一V2X设备接收到的自动驾驶车辆的优化后的行驶路径进行广播，由自动驾驶车辆上的第二V2X设备接收与该自动驾驶车辆对应的优化后的行驶路径。

14.一种中控系统，其特征在于，包括：

通信单元，用于接收各路侧摄像机采集的图像；

图像处理单元，用于对接收到的图像进行坐标转换和拼接得到上帝视角下港区的全局图像；

道路区域确定单元，用于确定所述全局图像中的道路区域；

目标检测跟踪单元，用于对全局图像中的道路区域进行物体检测和物体跟踪，得到目标物体的跟踪结果和类别；

展示单元，用于在全局图像中展示所述目标物体的跟踪结果和类别。

15.根据权利要求14所述的中控系统，其特征在于，还包括运动轨迹预测单元、路径优化单元，其中：

根据目标物体的跟踪结果和类别，预测各目标物体对应的运动轨迹；

运动轨迹预测单元，用于根据目标物体的跟踪结果和类别，预测各目标物体对应的运动轨迹；

路径优化单元，用于根据各目标物体对应的运动轨迹，对各自动驾驶车辆的行驶路径进行优化；

所述通信单元进一步用于：将各自动驾驶车辆的优化后的行驶路径发送给相应的自动驾驶车辆。