[go: up one dir, main page]

CN118781561A - 一种基于船闸使用场景的视频监控方法 - Google Patents

一种基于船闸使用场景的视频监控方法 Download PDF

Info

Publication number
CN118781561A
CN118781561A CN202411266630.3A CN202411266630A CN118781561A CN 118781561 A CN118781561 A CN 118781561A CN 202411266630 A CN202411266630 A CN 202411266630A CN 118781561 A CN118781561 A CN 118781561A
Authority
CN
China
Prior art keywords
ship
image
time
ship lock
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202411266630.3A
Other languages
English (en)
Other versions
CN118781561B (zh
Inventor
吴红斌
耿勇
李秀安
曹卫星
章建林
张曼丽
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI JINHAIDIER INFORMATION T
Original Assignee
ANHUI JINHAIDIER INFORMATION T
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI JINHAIDIER INFORMATION T filed Critical ANHUI JINHAIDIER INFORMATION T
Priority to CN202411266630.3A priority Critical patent/CN118781561B/zh
Publication of CN118781561A publication Critical patent/CN118781561A/zh
Application granted granted Critical
Publication of CN118781561B publication Critical patent/CN118781561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/30—Flood prevention; Flood or storm water management, e.g. using flood barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于船闸使用场景的视频监控方法，涉及船闸视频监控技术领域，本发明通过采集船闸待监控区域的图像数据，通过上传到云端服务器对视频进行分解，获取视频中的每一帧图像，通过训练好的YOLOV3图像识别模型对图像进行检测目标、异常行为与定位标志牌识别，根据对定位标志牌的识别结果对两张图像进行拼接、融合，形成船闸区域的全景图像，利用全景图像合成全景视频，根据对异常行为识别的结果进行实时报警，在进出船闸的过程中，通过对检测目标进行综合评估进行实时预警，并显示综合评估值，将合成的全景视频以及危险信息发送至监控设备，用于实时监控。

Description

一种基于船闸使用场景的视频监控方法
技术领域
本发明涉及船闸视频监控技术领域，具体为一种基于船闸使用场景的视频监控方法。
背景技术
船闸可以使船只能够顺利通过不同水位的区域，从而增加了航运的通行能力，缩短了航程，降低了运输成本。但是，由于太多船只需要通过船闸，船只难免发生碰撞以及人员落水等安全事故，因此需要通过各种方法加强对船闸的监管。
现有技术中的，对船闸的监控方式多为在船闸关键位置安装摄像头，如入闸口、出闸口、船闸室内外等关键位置，然后通过机房的显示屏显示拍摄画面进行监控，这种方式能进行一定作用的监控，但是这些监控区域比较分散，需要对船闸熟悉的工作人员才能在诸多监控画面中准确的找到船闸监控画面的监控区域。
尽管现有技术能够提供一定作用的监控，但是无法对视频中的船只是否发生危险事故等异常行为进行识别，仍然需要工作人员时刻紧盯监控视频，观察是否发生危险，也无法对即将发生的危险进行预测，同时，大量的视频储存在机房中，也会影响监控设备的运行速度。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种基于船闸使用场景的视频监控方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于船闸使用场景的视频监控方法，具体步骤包括：
步骤1：对需要监控的船闸区域进行部署多个型号相同的摄像机，使每个相邻的摄像机取景区域重叠一部分，同时在每个摄像机的取景框的边界内放置多个定位标志牌；
步骤2：构建YOLOV3图像识别模型，获取船闸区域的历史监控图像作为初始训练图像集，并通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集；
步骤3：通过训练图像集对模型进行训练，通过设置损失函数，提高目标检测的准确性和精度；
步骤4：把摄像机采集的监控视频分解成时序帧图像，将时序帧图像输入到训练好的YOLOV3图像识别模型，输出检测目标的标签，检测到异常行为时进行实时报警；
步骤5：通过对定位标志牌的识别结果，对相邻两个摄像头采集的相同时序帧图像进行配准，转换为同一像素坐标系下的图像，将转换后的两张图像的将重叠部分进行融合，形成船闸监控区域的全景图像；
步骤6：根据配准后的检测目标的检测标签，通过对检测目标进行综合评估进行实时预警，并显示综合评估值；
步骤7：将获取的每一帧的船闸监控区域的全景图像，按照时间戳进行合成实时视频，并将识别到的异常行为的报警信息以及综合评估值进行在视频中显示。
进一步地，所述摄像机的部署方式为；
采用垂直间隔排列的方式，摄像机安装在同一高度的一条水平直线上，均匀分布在船闸监控区域。
进一步地，所述定位标志牌为形状不同的标志牌，在同一摄像机取景框的重叠区域中至少放置四个定位标志牌，且任意三个定位标志牌的位置不在一条直线上。
进一步地，所述通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集的具体方式为；
通过预处理增加初始训练图像集的数量的方法为；通过对初始训练图像集的翻转、裁剪和旋转操作增加初始训练图像集的数量，并将图像中需要识别的检测目标进行标记边界框与标签；
所述检测目标包括定位标志牌、船只状态、人员与异常行为，船只状态包括船只类型与船只吃水线，所述异常行为包括人员落水和船只碰撞；
所述标签类型包括边界框的中心点像素坐标、边界框坐标与边界框框选的检测目标名称。
进一步地，所述模型的损失函数为；
其中，为交并比，为真实框和预测框的最小包闭区域面积；为真实框和预测框的并集面积，为真实框和预测框的交集面积。
进一步地，根据定位标志牌的中心点坐标位置对两张图形进行配准的方法为；
选取其中一张图像作为基准图像，另一张为需要配准的图像，将两张图像中识别到的相同形状的定位标志牌中心点的位置坐标，代入配准模型，计算模型的参数，然后将需要配准的图像的像素点坐标，根据已经确认参数的配准模型进行配准，所述配准模型的公式为；
其中，为基准图像中定位标志牌中心点的位置坐标，为需要转换的图像中定位标志牌中心点位置坐标，为单应性矩阵；
所述将重叠部分进行融合，构成全景图像的方法为；
其中，重叠区域的图像像素点，为待拼接的一张图像的像素点，为待拼接的另一张图像的像素点，和分别表示重叠区域内的像素点所对应选取的加权系数，其中，。
进一步地，通过对检测目标进行综合评估进行实时预警的具体步骤为；
通过分别计算船只在船闸内的安全评分值与进出船闸时的安全预估值，计算综合评估；
船只在船闸内的安全评分值根据对船只种类的检测结果，通过船闸历史数据对每种类型的船只发生的事故概率进行统计，以及根据船只类型、船只吃水线，对船只进行预估价值与重量，根据事故概率、预估价值与重量，计算船只的安全停船距离，根据停船之间的距离计算安全评分值；
安全停船距离的计算公式为；
其中，为安全停船距离，为距离转换常数，为重量转换系数，为吃水线，为船只事故概率，为价值转换系数；
安全评分值的计算公式为；
其中，为安全评分值，,分别为第条船只与第条船只之间的距离；
安全预估值根据船只进出船闸时的移动轨迹，对船只进行安全预估；
对船只目标的移动速度的计算公式为；
其中，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度，分别为第个检测目标在第帧图像中的坐标，分别为上第个检测目标在与第帧图像相差帧的图像中的坐标，为相差帧的图像之间的时间；
所述对检测目标的移动方向的计算公式为；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正数，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度；
通过求解下列公式方程的时间，判断检测目标是否会碰撞；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正整数，且；
若不存在时间，则第个检测目标与第个检测目标不会相撞；
若存在时间，则第个检测目标与第个检测目标在会相撞，应立即预警；
安全预估值的计算方式为；
其中，为安全预估值，为避让安全时间；
综合评估值的计算公式为；
其中，为综合评估值，,分别为安全评分值、安全预估值所在权重，；
当时，存在安全风险，立即进行预警；
当时，不存在安全风险，无需预警。
与现有技术相比，本发明的有益效果是：本发明通过采集船闸待监控区域的图像数据，通过上传到云端服务器对视频进行分解，获取视频中的每一帧图像，通过训练好的YOLOV3图像识别模型对图像进行检测目标、异常行为与定位标志牌识别，根据对定位标志牌的识别结果对两张图像进行拼接、融合，形成船闸区域的全景图像，利用全景图像合成全景视频，根据对异常行为识别的结果进行实时报警，在进出船闸的过程中，通过对检测目标进行综合评估进行实时预警，并显示综合评估值，将合成的全景视频以及危险信息发送至监控设备，用于实时监控。
本发明根据采用多摄像机拼接技术，实现船闸无死角的全景监控，有助于工作人员对船闸整体监控区域的监管，图像识别技术，对监控视频进行实时分析，自动识别异常行为如船舶碰撞、人员落水等，并及时发出报警，这种智能分析系统能够大大提高监控的效率和准确性，本发明还通过图像识别技术，根据对检测目标的识别结果，分析检测目标在进出船闸整个阶段的运动方向和速度，对检测目标的运动轨迹和停船状态进行预警。
附图说明
图1为本发明整体方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
实施例：
请参阅图1，本发明提供一种技术方案：
一种基于船闸使用场景的视频监控方法，具体步骤包括：
步骤1：对需要监控的船闸区域进行部署多个型号相同的摄像机，使每个相邻的摄像机取景区域重叠一部分，同时在每个摄像机的取景框的边界内放置多个定位标志牌。
船闸作为一个复杂的工程系统，涉及到多个关键区域和设备，如船闸室、进出闸口、水位监测点等，传统的视频无法一次性捕捉到这些关键区域的全貌，但是将多个摄像机拍摄的视频，拼接成一个全景视频可以提供更广阔的监控视野，覆盖更广泛的区域，有助于监控人员全面掌握船闸的运行状态。
进一步地，所述摄像机的部署方式为；采用垂直间隔排列的方式，摄像机安装在同一高度的一条水平直线上，均匀分布在船闸监控区域。
视频图像获取是完成视频图像拼接过程的首步，采集的视频图像质量的优劣会影响到后期视频拼接的质量。随着科学技术的发展，以及对视频品质要求的提高，通过使用型号相同的摄像机设备完成，对摄像机的放置也尤为重要，以摄像机的镜头的中心轴所在的直线为基准，每个摄像机所在的中心轴均在一个平面，且相隔距离相同，保证每个摄像机拍摄的视频大小相同，减少后期再拼接过程中对图片配准的计算，每个相邻摄像机所拍摄的区域的重叠部分，占拍摄区域的五分之一，重叠区域有助于对定位标志牌的检测，从而方便进行图像拼接。
进一步地，所述定位标志牌为形状不同的标志牌，在同一摄像机取景框的重叠区域中至少放置四个定位标志牌，且任意三个定位标志牌的位置不在一条直线上。
步骤2：构建YOLOV3图像识别模型，获取船闸区域的历史监控图像作为初始训练图像集，并通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集。
YOLOv3利用全卷积网络，能够从整个图像中提取全局特征信息，这有助于提高目标检测的准确性，同时引入了多尺度特征的处理，通过不同层级的特征图来检测不同大小的物体，因此非常适合在船闸视频监控中对船只以及人员的检测。
对初始训练图像集的翻转包括水平翻转或垂直翻转图像，根据水平或垂直翻转后仍然保持其特征和类别，从而让模型学习到物体不同方向的表现，旋转是将图像随机旋转一个小角度，通常在0到±10度之间，这可以帮助模型适应不同角度的表现，裁剪是将图像中裁剪出一个固定大小的区域作为训练样本，这可以帮助模型学习物体在不同位置的表现，总之，翻转和旋转等数据增强技术在目标检测任务中的作用是为了增加数据的多样性，提升模型的准确性和泛化能力，减少过拟合，并增强训练效率。
进一步地，所述通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集的具体方式为；
通过预处理增加初始训练图像集的数量的方法为；通过对初始训练图像集的翻转、裁剪和旋转操作增加初始训练图像集的数量，并将图像中需要识别的检测目标进行标记边界框与标签；
所述检测目标包括定位标志牌、船只状态、人员与异常行为，船只状态包括船只类型与船只吃水线，所述异常行为包括人员落水和船只碰撞；
所述标签类型包括边界框的中心点像素坐标、边界框坐标与边界框框选的检测目标名称。
步骤3：通过训练图像集对模型进行训练，通过设置损失函数，提高目标检测的准确性和精度。
进一步地，模型的损失函数为；
其中，为交并比，为真实框和预测框的最小包闭区域面积；为真实框和预测框的并集面积，为真实框和预测框的交集面积。
交并比用于衡量模型预测的边界框与真实标签边界框之间的重叠程度，比值越高，则说明检测结果越准确，在训练过程中，模型会生成多个边界框，并预测每个边界框的置信度分数和类别，为了确定哪些预测边界框是正确的，用于评估预测边界框与真实标签边界框之间的匹配程度，只有当预测边界框的大于设定的阈值时，阈值通常是0.5，才认为该预测边界框正确检测到了目标。
步骤4：把摄像机采集的监控视频分解成时序帧图像，将时序帧图像输入到训练好的YOLOV3图像识别模型，输出检测目标的标签，检测到异常行为时进行实时报警。
摄像头在拍摄视频时，镜头存在暗角，暗角是由于镜头的制作及其他光学因素致使镜头拍摄出来的视频图像出现中间亮、边缘较暗的现象，为了使画面亮度的基本保持一致，可以对图像进行亮度统一的操作来消除暗角造成的影响，需要分别对多个摄像头采集到的图像执行图像亮度统一的操作。
步骤5：通过对定位标志牌的识别结果，对相邻两个摄像头采集的相同时序帧图像进行配准，转换为同一像素坐标系下的图像，将转换后的两张图像的将重叠部分进行融合，形成船闸监控区域的全景图像；
图像配准是将多幅图像中的内容和几何特征进行对齐和匹配的过程，它的主要目的是将多幅图像的信息整合到同一个参考坐标系中，使得它们在空间上对应或者重叠。
进一步地，根据定位标志牌的中心点坐标位置对两张图形进行配准的方法为；
选取其中一张图像作为基准图像，另一张为需要配准的图像，将两张图像中识别到的相同形状的定位标志牌中心点的位置坐标，代入配准模型，计算模型的参数，然后将需要配准的图像的像素点坐标，根据已经确认参数的配准模型进行配准，所述配准模型的公式为；
其中，为基准图像中定位标志牌中心点的位置坐标，为需要转换的图像中定位标志牌中心点位置坐标，为单应性矩阵。
将两张图像中的定位标志牌中心点的位置坐标，代入配准模型得出；
即一个对应的定位标志牌中心点可以生成约束两个方程，由于单应矩阵的自由度为8，因此至少需要4对对应点，且任意三点不共线，即在摄像机取景框重叠区域放置的至少4个不同形状的定位标志牌的坐标位置，就可以求解单应矩阵。
单应性矩阵是一个变换模型在图像配准的过程中，通过匹配两幅图像中的特征点，并计算它们之间的单应性函数，可以将这两幅图像在同一坐标系下对齐。
所述将重叠部分进行融合，构成全景图像的方法为采用渐入渐出加权均值融合算法进行融合，渐入渐出加权均值融合算法公式如下；
其中，重叠区域的图像像素点，为待拼接的一张图像的像素点，为待拼接的另一张图像的像素点，和分别表示重叠区域内的像素点所对应选取的加权系数，其中，。
渐入渐出加权均值融合算法不仅仅是对获取某图像的像素值进行直接拼接，而是综合考虑重叠区域内各像素点的位置关系，依据相对位置赋予像素点的逐渐变化设定权重，使得过度重叠区域融合有一个过渡的过程，使融合后的重叠区域的图像更加自然。
步骤6：根据配准后的检测目标的检测标签，通过对检测目标进行综合评估进行实时预警，并显示综合评估值。
进一步地，通过对检测目标进行综合评估进行实时预警的具体步骤为；
通过分别计算船只在船闸内的安全评分值与进出船闸时的安全预估值，综计算合评估；
船只在船闸内的安全评分值根据对船只种类的检测结果，通过船闸历史数据对每种类型的船只发生的事故概率进行统计，以及根据船只类型、船只吃水线，对船只进行预估价值与重量，根据事故概率、预估价值与重量，计算船只的安全停船距离，根据停船之间的距离计算安全评分值。
计算船闸内的安全停船距离时，考虑船只发生事故的概率、预估价值和船只的重量是为了确保操作的安全性和有效性。船只发生事故的概率直接影响到所需的安全距离。高事故概率意味着需要更多的安全空间，以降低事故发生时对船只和船闸的风险。预估价值的考虑是为了保护高价值的船只，避免由于空间不足而造成的损失，确保高价值船只在停靠时有足够的保护措施。船只的重量也影响安全距离，因为较重的船只在移动和停靠时需要更多的空间来稳定和安全地操作。综合这些因素可以精确评估安全停船距离，确保船闸在处理不同类型和大小的船只时能够有效地防止事故和损失，从而提高整体操作的安全性和效率。
安全停船距离的计算公式为；
其中，为安全停船距离，为距离转换常数，为重量转换系数，为吃水线，为船只事故概率，为价值转换系数；
安全评分值的计算公式为；
其中，为安全评分值，,分别为第条船只与第条船只之间的距离；
安全预估值根据船只进出船闸时的移动轨迹，对船只进行安全预估；
对船只目标的移动速度通过帧差法进行计算，帧差法是一种在视频处理和计算机视觉领域常用的技术，用于检测和跟踪物体的运动。它通过比较连续两帧或者多帧图像之间的差异来识别物体的移动，并根据帧之间的时间差计算物体移动的速度。
对船只目标的移动速度的计算公式为；
其中，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度，分别为第个检测目标在第帧图像中的坐标，分别为上第个检测目标在与第帧图像相差帧的图像中的坐标，为相差帧的图像之间的时间；
所述对检测目标的移动方向的计算公式为；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正数，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度；
通过求解下列公式方程的时间，判断检测目标是否会碰撞；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正整数，且；
若不存在时间，则第个检测目标与第个检测目标不会相撞；
若存在时间，则第个检测目标与第个检测目标在会相撞，应立即预警；
安全预估值的计算方式为；
其中，为安全预估值，为避让安全时间；
综合评估值的计算公式为；
其中，为综合评估值，,分别为安全评分值、安全预估值所在权重，；
当时，存在安全风险，立即进行预警；
当时，不存在安全风险，无需预警。
步骤7：将获取的每一帧的船闸监控区域的全景图像，按照时间戳进行合成实时视频，并将识别到的异常行为的报警信息以及综合评估值进行在视频中显示。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够通过电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方法来执行，取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (7)

1.一种基于船闸使用场景的视频监控方法，其特征在于，具体步骤包括：
步骤1：对需要监控的船闸区域进行部署多个型号相同的摄像机，使每个相邻的摄像机取景区域重叠一部分，同时在每个摄像机的取景框的边界内放置多个定位标志牌；
步骤2：构建YOLOV3图像识别模型，获取船闸区域的历史监控图像作为初始训练图像集，并通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集；
步骤3：通过训练图像集对模型进行训练，通过设置损失函数，提高目标检测的准确性和精度；
步骤4：把摄像机采集的监控视频分解成时序帧图像，将时序帧图像输入到训练好的YOLOV3图像识别模型，输出检测目标的标签，检测到异常行为时进行实时报警；
步骤5：通过对定位标志牌的识别结果，对相邻两个摄像头采集的相同时序帧图像进行配准，转换为同一像素坐标系下的图像，将转换后的两张图像的将重叠部分进行融合，形成船闸监控区域的全景图像；
步骤6：根据配准后的检测目标的标签，通过对检测目标进行综合评估进行实时预警，并显示综合评估值；
步骤7：将获取的每一帧的船闸监控区域的全景图像，按照时间戳进行合成实时视频，并将识别到的异常行为的报警信息以及综合评估值进行在视频中显示。
2.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：所述摄像机的部署方式为；
采用垂直间隔排列的方式，摄像机安装在同一高度的一条水平直线上，均匀分布在船闸监控区域。
3.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：所述定位标志牌为形状不同的标志牌，在同一摄像机取景框的重叠区域中至少放置四个定位标志牌，且任意三个定位标志牌的位置不在一条直线上。
4.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：所述通过预处理增加初始训练图像集的数量，并对图像中的检测目标进行标记标签，形成训练图像集的具体方式为；
通过预处理增加初始训练图像集的数量的方法为；通过对初始训练图像集的翻转、裁剪和旋转操作增加初始训练图像集的数量，并将图像中需要识别的检测目标进行标记边界框与标签；
所述检测目标包括定位标志牌、船只状态、人员与异常行为，船只状态包括船只类型与船只吃水线，所述异常行为包括人员落水和船只碰撞；
所述标签类型包括边界框的中心点像素坐标、边界框坐标与边界框框选的检测目标名称。
5.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：所述模型的损失函数为；
其中，为交并比，为真实框和预测框的最小包闭区域面积；为真实框和预测框的并集面积，为真实框和预测框的交集面积。
6.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：根据定位标志牌的中心点坐标位置对两张图形进行配准的方法为；
选取其中一张图像作为基准图像，另一张为需要配准的图像，将两张图像中识别到的相同形状的定位标志牌中心点的位置坐标，代入配准模型，计算模型的参数，然后将需要配准的图像的像素点坐标，根据已经确认参数的配准模型进行配准，所述配准模型的公式为；
其中，为基准图像中定位标志牌中心点的位置坐标，为需要转换的图像中定位标志牌中心点位置坐标，为单应性矩阵；
所述将重叠部分进行融合，构成全景图像的方法为；
其中，重叠区域的图像像素点，为待拼接的一张图像的像素点，为待拼接的另一张图像的像素点，和分别表示重叠区域内的像素点所对应选取的加权系数，其中，。
7.根据权利要求1所述的一种基于船闸使用场景的视频监控方法，其特征在于：通过对检测目标进行综合评估进行实时预警的具体步骤为；
通过分别计算船只在船闸内的安全评分值与进出船闸时的安全预估值，计算综合评估；
船只在船闸内的安全评分值根据对船只种类的检测结果，通过船闸历史数据对每种类型的船只发生的事故概率进行统计，以及根据船只类型、船只吃水线，对船只进行预估价值与重量，根据事故概率、预估价值与重量，计算船只的安全停船距离，根据停船之间的距离计算安全评分值；
安全停船距离的计算公式为；其中，为安全停船距离，为距离转换常数，为重量转换系数，为吃水线，为船只事故概率，为价值转换系数；
安全评分值的计算公式为；
其中，为安全评分值，,分别为第条船只与第条船只之间的距离；
安全预估值根据船只进出船闸时的移动轨迹，对船只进行安全预估；
对船只目标的移动速度的计算公式为；其中，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度，分别为第个检测目标在第帧图像中的坐标，分别为上第个检测目标在与第帧图像相差帧的图像中的坐标，为相差帧的图像之间的时间；
所述对检测目标的移动方向的计算公式为；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正数，为第个检测目标在像素坐标系中轴方向移动速度，为第个检测目标在像素坐标系中轴方向移动速度；
通过求解下列公式方程的时间，判断检测目标是否会碰撞；
其中，为第个检测目标时的坐标位置，为第个检测目标时的坐标位置，为正整数，且；
若不存在时间，则第个检测目标与第个检测目标不会相撞；
若存在时间，则第个检测目标与第个检测目标在会相撞，应立即预警；
安全预估值的计算方式为；
其中，为安全预估值，为避让安全时间；
综合评估值的计算公式为；
其中，为综合评估值，,分别为安全评分值、安全预估值所在权重，；
当时，存在安全风险，立即进行预警；
当时，不存在安全风险，无需预警。
CN202411266630.3A 2024-09-11 2024-09-11 一种基于船闸使用场景的视频监控方法 Active CN118781561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411266630.3A CN118781561B (zh) 2024-09-11 2024-09-11 一种基于船闸使用场景的视频监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411266630.3A CN118781561B (zh) 2024-09-11 2024-09-11 一种基于船闸使用场景的视频监控方法

Publications (2)

Publication Number Publication Date
CN118781561A true CN118781561A (zh) 2024-10-15
CN118781561B CN118781561B (zh) 2024-12-03

Family

ID=92989800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411266630.3A Active CN118781561B (zh) 2024-09-11 2024-09-11 一种基于船闸使用场景的视频监控方法

Country Status (1)

Country Link
CN (1) CN118781561B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119229381A (zh) * 2024-12-02 2024-12-31 上海建工集团股份有限公司 基于多模态模型的建造物料堆载量监测预警方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261869A1 (en) * 2014-03-13 2015-09-17 Electronics And Telecommunications Research Institute Vessel traffic service system and method for extracting accident data
CN106657910A (zh) * 2016-12-22 2017-05-10 国网浙江省电力公司杭州供电公司 一种电力变电站的全景视频监控方法
CN109151397A (zh) * 2018-10-19 2019-01-04 天津英田视讯科技有限公司 一种基于全景球和激光夜视仪的船舶监控系统
CN112446363A (zh) * 2021-01-29 2021-03-05 广州市玄武无线科技股份有限公司 一种基于视频抽帧的图像拼接与去重方法及装置
CN115294324A (zh) * 2022-07-25 2022-11-04 山东浪潮科学研究院有限公司 一种基于TinyML和MCU的区域检测系统
CN117974792A (zh) * 2024-03-28 2024-05-03 武汉理工大学三亚科教创新园 基于视觉与ais数据协同训练的船舶目标检测定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261869A1 (en) * 2014-03-13 2015-09-17 Electronics And Telecommunications Research Institute Vessel traffic service system and method for extracting accident data
CN106657910A (zh) * 2016-12-22 2017-05-10 国网浙江省电力公司杭州供电公司 一种电力变电站的全景视频监控方法
CN109151397A (zh) * 2018-10-19 2019-01-04 天津英田视讯科技有限公司 一种基于全景球和激光夜视仪的船舶监控系统
CN112446363A (zh) * 2021-01-29 2021-03-05 广州市玄武无线科技股份有限公司 一种基于视频抽帧的图像拼接与去重方法及装置
CN115294324A (zh) * 2022-07-25 2022-11-04 山东浪潮科学研究院有限公司 一种基于TinyML和MCU的区域检测系统
CN117974792A (zh) * 2024-03-28 2024-05-03 武汉理工大学三亚科教创新园 基于视觉与ais数据协同训练的船舶目标检测定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄琳琳: "裕溪河大桥主动预警系统研究", 珠江水运, 15 February 2024 (2024-02-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119229381A (zh) * 2024-12-02 2024-12-31 上海建工集团股份有限公司 基于多模态模型的建造物料堆载量监测预警方法

Also Published As

Publication number Publication date
CN118781561B (zh) 2024-12-03

Similar Documents

Publication Publication Date Title
CN106412501B (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN112084963B (zh) 一种监控预警方法、系统及存储介质
CN110390265A (zh) 一种无人机巡检的识别检测方法及系统
CN113743256B (zh) 一种工地安全智能预警方法与装置
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN118781561B (zh) 一种基于船闸使用场景的视频监控方法
CN108038424A (zh) 一种适用于高空作业的视觉自动化检测方法
CN116453276A (zh) 一种海上风电电子围栏监控预警方法和系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN113239854A (zh) 一种基于深度学习的船舶身份识别方法及系统
CN112257549A (zh) 一种基于计算机视觉的楼面危险检测预警方法及系统
CN114155470A (zh) 一种河道区域入侵检测方法、系统及存储介质
Wang et al. Traffic camera anomaly detection
CN116959028B (zh) 监管高空作业安全的方法和巡检设备及计算设备
CN118887608A (zh) 用于输电线路的作业监控方法及其装置、电子设备
CN118911770A (zh) 基于背景差分法的隧道突涌水监测预警方法、装置及系统
CN118823665A (zh) 一种基于深度学习的螺栓脱落检测方法
CN117934540A (zh) 目标跟踪方法、装置以及存储介质
CN111860378A (zh) 基于枪球联动和视频事件感知的商场消防设施巡检方法
Gessoni et al. Automated supervision of personal protective equipment usage
CN109359518A (zh) 一种红外视频的运动物体识别方法、系统和报警装置
CN117475343A (zh) 一种炼化装置区交叉作业智能监控方法
CN114979567A (zh) 一种应用于视频智能监控的物体与区域交互方法及系统
CN112883889A (zh) 一种适用于电力施工场景下违章行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant