[go: up one dir, main page]

CN117392615B - 一种基于监控视频的异常识别方法及系统 - Google Patents

一种基于监控视频的异常识别方法及系统 Download PDF

Info

Publication number
CN117392615B
CN117392615B CN202311695141.5A CN202311695141A CN117392615B CN 117392615 B CN117392615 B CN 117392615B CN 202311695141 A CN202311695141 A CN 202311695141A CN 117392615 B CN117392615 B CN 117392615B
Authority
CN
China
Prior art keywords
image
abnormal
image set
denoised
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311695141.5A
Other languages
English (en)
Other versions
CN117392615A (zh
Inventor
白书华
李素玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202311695141.5A priority Critical patent/CN117392615B/zh
Publication of CN117392615A publication Critical patent/CN117392615A/zh
Application granted granted Critical
Publication of CN117392615B publication Critical patent/CN117392615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种基于监控视频的异常识别方法及系统，所述方法包括将初始监控视频进行拆分处理；基于初始监控图像集建立噪声衰减模型，对初始监控图像集中的图像进行去噪处理；通过训练图像集对预设预测模型进行训练，基于预测视频帧图像与去噪监控图像集确定异常视频帧图像；提取异常视频帧图像的目标预测框，基于目标预测框确定异常目标姿态，将异常目标姿态输入训练好的预设识别模型中，输出异常识别结果，本发明可避免环境干扰而影响监控视频的清晰度，可提高后续识别过程中的精度，同时本发明通过预设预测模型辅助识别异常视频帧图像同时通过预设识别模型识别最终的异常类型，进一步提高了异常识别的准确性以及速度。

Description

一种基于监控视频的异常识别方法及系统
技术领域
本发明属于视频异常识别的技术领域，具体地涉及一种基于监控视频的异常识别方法及系统。
背景技术
监控视频是指一些视频监控设备记录得到的视频数据，完整的视频监控系统是由摄像、传输、控制、显示、记录登记等几部分组成，摄像机通过网络线缆或同轴视频电缆将视频图像传输到控制主机，控制主机再将视频信号分配到各监视器及录像设备，同时可将需要传输的语音信号同步录入到录像机内，通过控制主机，操作人员可发出指令，对云台的上、下、左、右的动作进行控制及对镜头进行调焦变倍的操作，并可通过视频矩阵实现在多路摄像机的切换，利用特殊的录像处理模式，可对图像进行录入、回放、调出及储存等操作。
对于一些室外的监控视频而言，其视频清晰度易受环境影响，如雾天环境下导致监控视频较为模糊，进而影响异常识别的精度，同时现有的针对监控视频进行异常识别的准确度较低，无法准确识别出监控视频中出现的异常情况。
发明内容
为了解决上述技术问题，本发明提供了一种基于监控视频的异常识别方法及系统，用于解决现有技术中的技术问题。
一方面，本发明提供以下技术方案，一种基于监控视频的异常识别方法，包括：
获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
所述基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集的步骤包括：
基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以的中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中。
相比现有技术，本申请的有益效果为：本申请首先获取初始监控视频，将初始监控视频进行拆分处理，以得到初始监控图像集；而后基于初始监控图像集建立噪声衰减模型，并基于噪声衰减模型对初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；之后获取训练图像集并通过训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将去噪监控图像集输入视频帧预测模型中，以得到预测视频帧图像，基于预测视频帧图像与去噪监控图像集确定异常视频帧图像；最后提取异常视频帧图像的目标预测框，基于目标预测框确定异常目标姿态，将异常目标姿态输入训练好的预设识别模型中，输出异常识别结果，本发明通过噪声衰减模型对监控视频进行去噪处理，以此可避免环境干扰而影响监控视频的清晰度，可提高后续识别过程中的精度，同时本发明通过预设预测模型辅助识别异常视频帧图像同时通过预设识别模型识别最终的异常类型，增加了视频特征的多样性，提高了异常识别的准确性以及速度。
较佳的，所述基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中的步骤包括：
对图像像素值进行趋零处理并基于所述最小化噪声衰减模型求解大气透射率：
；
对所述大气透射率进行粗糙优化，以得到优化透射率：
；
式中，为粗糙系数；
基于所述优化透射率求解去噪图像，并将所述去噪图像存入去噪监控图像集中：
；
式中，为透射率下限。
较佳的，所述获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型的步骤包括：
获取训练图像集并将训练图像集进行打包处理，以得到A个视频包，每个所述视频包中含有B个训练图像，将第i个视频包输入预设预测模型中，以得到模型变量、隐藏特征与实际KL值：
将所述模型变量与所述隐藏特征输入所述预设预测模型的解码部分进行图像预测，以得到初始预测视频帧；
将所述实际KL值、设定KL值、PID系数输入至PID算法中，以得到损失系数，基于所述损失系数与所述初始预测视频帧确定所述预设预测模型的损失目标函数；
根据所述损失目标函数迭代更新所述预测模型，直至满足迭代终止条件，以得到视频帧预测模型。
较佳的，所述基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像的步骤包括：
计算所述预测视频帧图像与所述去噪监控图像集中图像之间的预测误差：
；
式中，、、分别为第一、第二、第三常数，表示图像尺度，表示预测视频帧图像的像素均值，表示去噪监控图像集中图像的像素均值，为去噪监控图像集中图像的标准差，表示预测视频帧图像的标准差，为去噪监控图像集中图像与预测视频帧图像之间的协方差，为第一因子，为第二因子，表示预测类别在预测视频帧图像中第个像素的标准值，表示预测像素概率，为第个预测类别的权重；
计算所述预测视频帧图像与所述去噪监控图像集中图像之间的信任度：
；
式中，为图像尺度，为去噪监控图像集中第个尺度的图像，为第个尺度的预测视频帧图像；
将所述预测误差与所述信任度进行归一化处理，以得到误差评分与信任评分；
将所述误差评分不小于异常阈值或者所述信任评分不大于异常阈值对应的去噪监控图像集中的图像作为异常视频帧图像。
较佳的，所述提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果的步骤包括：
将所述异常视频帧图像输入预设目标网络中进行目标识别，以得到目标预测框；
基于所述目标预测框提取目标特征图并将所述目标特征图输入预设关节点预测模型中进行关节点预测，以得到预测关节图谱，将所述预测关节图谱的峰值点作为待定关节点，并将待定关节点存入待定关节点集中：
；
；
式中，为峰值扩散因子，为目标特征图中像素点的位置，为标注点位置；
对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
较佳的，所述对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果的步骤包括：
计算所述待定关节点集中任意两个待定关节点之间的关节亲和度：
；
；
；
式中，、为选取的两个待定关节点，为、连线上的像素点，为距离系数，为待定关节点集，表示从指向的单位向量，表示待定关节点的平均值在像素点上不为零向量的个数；
将关节亲和度小于亲和度阈值的待定关节点从所述待定关节点集中剔除，以得到目标关节点集，将所述目标关节点集中的关节点进行匹配连接，以得到异常目标姿态；
获取模板姿态图像与对应的异常标签，通过所述模板姿态图像与对应的异常标签对预设识别模型进行训练，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
第二方面，本发明提供以下技术方案，一种基于监控视频的异常识别系统，所述系统包括：
获取模块，用于获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
去噪模块，用于基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
第一异常识别模块，用于获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
第二异常识别模块，用于提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
所述去噪模块包括：
模型建立子模块，用于基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
最小化子模块，用于对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以的中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
去噪子模块，用于基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中。
第三方面，本发明提供以下技术方案，一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于监控视频的异常识别方法。
第四方面，本发明提供以下技术方案，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于监控视频的异常识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于监控视频的异常识别方法的流程图；
图2为本发明实施例一提供的基于监控视频的异常识别方法中步骤S2的详细流程图；
图3为本发明实施例一提供的基于监控视频的异常识别方法中步骤S23的详细流程图；
图4为本发明实施例一提供的基于监控视频的异常识别方法中步骤S31的详细流程图；
图5为本发明实施例一提供的基于监控视频的异常识别方法中步骤S32的详细流程图；
图6为本发明实施例一提供的基于监控视频的异常识别方法中步骤S4的详细流程图；
图7为本发明实施例一提供的基于监控视频的异常识别方法中步骤S43的详细流程图；
图8为本发明实施例二提供的基于监控视频的异常识别系统的结构框图；
图9为本发明另一实施例提供的计算机的硬件结构示意图。
以下将结合附图对本发明实施例作进一步说明。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明的实施例，而不能理解为对本发明的限制。
在本发明实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
实施例一
在本发明的实施例一中，如图1所示，一种基于监控视频的异常识别方法，包括：
S1、获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
具体的，初始监控视频可通过监控设备获取得到，之后将得到的初始监控视频按帧进行拆分处理，便可得到若干连续的单帧的初始监控图像，将若干初始监控图像按顺序存入图像集中，即可得到初始监控图像集。
S2、基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
如图2所示，其中，所述步骤S2包括：
S21、基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
需要说明的是，本发明中所提供的噪声衰减模型具体正对于雾天情况，因此噪声衰减模型具体为雾天衰减模型，通过雾天衰减模型可将带有雾天干扰的初始监控图像集还原为无雾的去噪监控图像集。
S22、对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以的中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
具体的，该步骤中的最小化处理具体为对噪声衰减模型的等式两边进行两次最小值计算，即可得到最小化噪声衰减模型。
S23、基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中；
如图3所示，其中，所述步骤S23包括：
S231、对图像像素值进行趋零处理并基于所述最小化噪声衰减模型求解大气透射率：
；
具体的，对于而言，其实际的像素值趋近于0，因此可得，将代入至最小化噪声衰减模型中，即可求解得到大气透射率。
S232、对所述大气透射率进行粗糙优化，以得到优化透射率：
；
式中，为粗糙系数；
具体的，在实际情况下，即在实际无雾环境下，空气中仍然会存在少量粒子，如果过渡去噪则会导致图像失真的情况，存在画面偏暗的情况影响实际观感同时也会影响后续的异常识别过程，通过引入粗糙系数，且的取值范围为0-1，在本发明中，为0.75，引入粗糙系数之后，可保留一定数量的粒子进而保证图像的真实感。
S233、基于所述优化透射率求解去噪图像，并将所述去噪图像存入去噪监控图像集中：
；
式中，为透射率下限；
具体的，在计算得到优化透射率之后，便可对雾天图像进行还原，进而求解得到去噪后的图像，即去噪图像，将得到的若干去噪图像存入对应的图像集中，以得到去噪监控图像集。
S3、获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
其中，所述步骤S3包括：S31、获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型；S32、基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像。
如图4所示，其中，所述步骤S31包括：
S311、获取训练图像集并将训练图像集进行打包处理，以得到A个视频包，每个所述视频包中含有B个训练图像，将第i个视频包输入预设预测模型中，以得到模型变量、隐藏特征与实际KL值：
具体的，在本实施例中，预设预测模型具体为Control-VRNN模型，将第i个视频包输入至预设预测模型中进行训练，即可得到模型变量、隐藏特征与实际KL值，
其中，模型变量为：
；
式中，、分别表示模型编码部分的权重与偏置，为Sigmoid激活函数，为输入的视频包；
隐藏特征为经过卷积神经网络所提取到的主要特征，而实际KL值为：
；
式中，为KL散度，为先验分布，为后验分布，，其中，、表示模型解码部分的权重与偏置，且为编码部分的模型变量，为解码部分的模型变量。
S312、将所述模型变量与所述隐藏特征输入所述预设预测模型的解码部分进行图像预测，以得到初始预测视频帧。
S313、将所述实际KL值、设定KL值、PID系数输入至PID算法中，以得到损失系数，基于所述损失系数与所述初始预测视频帧确定所述预设预测模型的损失目标函数；
其中，损失目标函数，其中，为重构损失，为损失系数，为预测损失，为KL损失，，其中，为解码与编码的模型变量之间的互信息。
S314、根据所述损失目标函数迭代更新所述预测模型，直至满足迭代终止条件，以得到视频帧预测模型；
具体的，迭代终止条件为损失目标函数趋于平稳或者达到最小值或者迭代次数等于B，如不满足迭代终止条件，则重复步骤S32。
如图5所示，其中，所述步骤S32包括：
S321、计算所述预测视频帧图像与所述去噪监控图像集中图像之间的预测误差：
；
式中，、、分别为第一、第二、第三常数，表示图像尺度，表示预测视频帧图像的像素均值，表示去噪监控图像集中图像的像素均值，为去噪监控图像集中图像的标准差，表示预测视频帧图像的标准差，为去噪监控图像集中图像与预测视频帧图像之间的协方差，为第一因子，为第二因子，表示预测类别在预测视频帧图像中第个像素的标准值，表示预测像素概率，为第个预测类别的权重；
具体的，为L1损失，为MS-SSIM损失，为GDL损失。
S322、计算所述预测视频帧图像与所述去噪监控图像集中图像之间的信任度：
；
式中，为图像尺度，为去噪监控图像集中第个尺度的图像，为第个尺度的预测视频帧图像。
S323、将所述预测误差与所述信任度进行归一化处理，以得到误差评分与信任评分。
S324、将所述误差评分不小于异常阈值或者所述信任评分不大于异常阈值对应的去噪监控图像集中的图像作为异常视频帧图像；
具体的，当所述误差评分小于异常阈值或者信任评分大于异常阈值时，则表明对应的图像为正常的图像。
S4、提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
如图6所示，其中，所述步骤S4包括：
S41、将所述异常视频帧图像输入预设目标网络中进行目标识别，以得到目标预测框；
具体的，预设目标网络可为常用的目标识别网络，例如YoLov5识别网络，将异常视频帧图像输入到预设目标网络中，即可输出对应的异常目标的目标预测框。
S42、基于所述目标预测框提取目标特征图并将所述目标特征图输入预设关节点预测模型中进行关节点预测，以得到预测关节图谱，将所述预测关节图谱的峰值点作为待定关节点，并将待定关节点存入待定关节点集中：
；
；
式中，为峰值扩散因子，为目标特征图中像素点的位置，为标注点位置；
其中，预设关节点预测模型具体为OpenPose模型。
S43、对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
如图7所示，其中，所述步骤S43包括：
S431、计算所述待定关节点集中任意两个待定关节点之间的关节亲和度：
；
；
；
式中，、为选取的两个待定关节点，为、连线上的像素点，为距离系数，为待定关节点集，表示从指向的单位向量，表示待定关节点的平均值在像素点上不为零向量的个数；
具体的，在计算关节亲和度时，为每个待定关节点集中的每个关节点都建立一个向量，该向量用于表示一个关节点至另一关节点的方向，而当、连线上的像素点属于待定关节点时，则意味着其单位向量的值存在且不为0，为，而对于其他点而言，其值为0，通过计算关节亲和度可以判断两个关节点之间是否属于同一驱干上的关节点。
S432、将关节亲和度小于亲和度阈值的待定关节点从所述待定关节点集中剔除，以得到目标关节点集，将所述目标关节点集中的关节点进行匹配连接，以得到异常目标姿态；
S433、获取模板姿态图像与对应的异常标签，通过所述模板姿态图像与对应的异常标签对预设识别模型进行训练，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
其中，预设识别模型具体为SVM分类识别模型，通过将模板姿态图像以及对应的标签输入至SVM分类识别模型进行训练，之后将异常目标姿态输入训练好的SVM分类识别模型中，即可输出与该异常目标姿态对应的异常标签。
本发明实施例一提供的基于监控视频的异常识别方法，本申请首先获取初始监控视频，将初始监控视频进行拆分处理，以得到初始监控图像集；而后基于初始监控图像集建立噪声衰减模型，并基于噪声衰减模型对初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；之后获取训练图像集并通过训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将去噪监控图像集输入视频帧预测模型中，以得到预测视频帧图像，基于预测视频帧图像与去噪监控图像集确定异常视频帧图像；最后提取异常视频帧图像的目标预测框，基于目标预测框确定异常目标姿态，将异常目标姿态输入训练好的预设识别模型中，输出异常识别结果，本发明通过噪声衰减模型对监控视频进行去噪处理，以此可避免环境干扰而影响监控视频的清晰度，可提高后续识别过程中的精度，同时本发明通过预设预测模型辅助识别异常视频帧图像同时通过预设识别模型识别最终的异常类型，增加了视频特征的多样性，提高了异常识别的准确性以及速度。
实施例二
如图8所示，在本发明的实施例二提供了一种基于监控视频的异常识别系统，所述系统包括：
获取模块1，用于获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
去噪模块2，用于基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
第一异常识别模块3，用于获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
第二异常识别模块4，用于提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
所述去噪模块2包括：
模型建立子模块，用于基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
最小化子模块，用于对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以的中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
去噪子模块，用于基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中。
所述去噪子模块包括：
透射率确定单元，用于对图像像素值进行趋零处理并基于所述最小化噪声衰减模型求解大气透射率：
；
透射率优化单元，用于对所述大气透射率进行粗糙优化，以得到优化透射率：
；
式中，为粗糙系数；
去噪单元，用于基于所述优化透射率求解去噪图像，并将所述去噪图像存入去噪监控图像集中：
；
式中，为透射率下限。
所述第一异常识别模块3包括：
打包子模块，用于获取训练图像集并将训练图像集进行打包处理，以得到A个视频包，每个所述视频包中含有B个训练图像，将第i个视频包输入预设预测模型中，以得到模型变量、隐藏特征与实际KL值：
预测子模块，用于将所述模型变量与所述隐藏特征输入所述预设预测模型的解码部分进行图像预测，以得到初始预测视频帧；
损失子模块，用于将所述实际KL值、设定KL值、PID系数输入至PID算法中，以得到损失系数，基于所述损失系数与所述初始预测视频帧确定所述预设预测模型的损失目标函数；
更新子模块，用于根据所述损失目标函数迭代更新所述预测模型，直至满足迭代终止条件，以得到视频帧预测模型。
所述第一异常识别模块3还包括：
误差计算子模块，用于计算所述预测视频帧图像与所述去噪监控图像集中图像之间的预测误差：
；
式中，、、分别为第一、第二、第三常数，表示图像尺度，表示预测视频帧图像的像素均值，表示去噪监控图像集中图像的像素均值，为去噪监控图像集中图像的标准差，表示预测视频帧图像的标准差，为去噪监控图像集中图像与预测视频帧图像之间的协方差，为第一因子，为第二因子，表示预测类别在预测视频帧图像中第个像素的标准值，表示预测像素概率，为第个预测类别的权重；
信任度计算子模块，用于计算所述预测视频帧图像与所述去噪监控图像集中图像之间的信任度：
；
式中，为图像尺度，为去噪监控图像集中第个尺度的图像，为第个尺度的预测视频帧图像；
归一化子模块，用于将所述预测误差与所述信任度进行归一化处理，以得到误差评分与信任评分；
异常识别子模块，用于将所述误差评分不小于异常阈值或者所述信任评分不大于异常阈值对应的去噪监控图像集中的图像作为异常视频帧图像。
所述第二异常识别模块4包括：
识别子模块，用于将所述异常视频帧图像输入预设目标网络中进行目标识别，以得到目标预测框；
待定关节点确定子模块，用于基于所述目标预测框提取目标特征图并将所述目标特征图输入预设关节点预测模型中进行关节点预测，以得到预测关节图谱，将所述预测关节图谱的峰值点作为待定关节点，并将待定关节点存入待定关节点集中：
；
；
式中，为峰值扩散因子，为目标特征图中像素点的位置，为标注点位置；
异常结果输出子模块，用于对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
所述异常结果输出子模块包括：
亲和度计算单元，用于计算所述待定关节点集中任意两个待定关节点之间的关节亲和度：
；
；
；
式中，、为选取的两个待定关节点，为、连线上的像素点，为距离系数，为待定关节点集，表示从指向的单位向量，表示待定关节点的平均值在像素点上不为零向量的个数；
剔除单元，用于将关节亲和度小于亲和度阈值的待定关节点从所述待定关节点集中剔除，以得到目标关节点集，将所述目标关节点集中的关节点进行匹配连接，以得到异常目标姿态；
异常结果输出单元，用于获取模板姿态图像与对应的异常标签，通过所述模板姿态图像与对应的异常标签对预设识别模型进行训练，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
在本发明的另一些实施例中，本发明实施例提供以下技术方案，一种计算机，包括存储器102、处理器101以及存储在所述存储器102上并可在所述处理器101上运行的计算机程序，所述处理器101执行所述计算机程序时实现如上所述的基于监控视频的异常识别方法。
具体的，上述处理器101可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器102可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器102可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（Solid State Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerial Bus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器102可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器102可在数据处理装置的内部或外部。在特定实施例中，存储器102是非易失性（Non-Volatile）存储器。在特定实施例中，存储器102包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random Access Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（ErasableProgrammable Read-Only Memory，简称为EPROM）、电可擦除PROM（Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM）、电可改写ROM（ElectricallyAlterable Read-Only Memory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-AccessMemory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器101所执行的可能的计算机程序指令。
处理器101通过读取并执行存储器102中存储的计算机程序指令，以实现上述基于监控视频的异常识别方法。
在其中一些实施例中，计算机还可包括通信接口103和总线100。其中，如图9所示，处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
通信接口103用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线100包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线100包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（Control Bus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线100可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（Front Side Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线100可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机可以基于获取到基于监控视频的异常识别系统，执行本申请的基于监控视频的异常识别方法，从而实现监控视频的异常识别。
在本发明的再一些实施例中，结合上述的基于监控视频的异常识别方法，本发明实施例提供以下技术方案，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于监控视频的异常识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于监控视频的异常识别方法，其特征在于，包括：
获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
所述基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集的步骤包括：
基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以为中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中。
2.根据权利要求1所述的基于监控视频的异常识别方法，其特征在于，所述基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中的步骤包括：
对图像像素值进行趋零处理并基于所述最小化噪声衰减模型求解大气透射率：
；
对所述大气透射率进行粗糙优化，以得到优化透射率：
；
式中，为粗糙系数；
基于所述优化透射率求解去噪图像，并将所述去噪图像存入去噪监控图像集中：
；
式中，为透射率下限。
3.根据权利要求1所述的基于监控视频的异常识别方法，其特征在于，所述获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型的步骤包括：
获取训练图像集并将训练图像集进行打包处理，以得到A个视频包，每个所述视频包中含有B个训练图像，将第i个视频包输入预设预测模型中，以得到模型变量、隐藏特征与实际KL值：
将所述模型变量与所述隐藏特征输入所述预设预测模型的解码部分进行图像预测，以得到初始预测视频帧；
将所述实际KL值、设定KL值、PID系数输入至PID算法中，以得到损失系数，基于所述损失系数与所述初始预测视频帧确定所述预设预测模型的损失目标函数；
根据所述损失目标函数迭代更新所述预测模型，直至满足迭代终止条件，以得到视频帧预测模型。
4.根据权利要求1所述的基于监控视频的异常识别方法，其特征在于，所述基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像的步骤包括：
计算所述预测视频帧图像与所述去噪监控图像集中图像之间的预测误差：
；
式中，、、分别为第一、第二、第三常数，表示图像尺度，表示预测视频帧图像的像素均值，表示去噪监控图像集中图像的像素均值，为去噪监控图像集中图像的标准差，表示预测视频帧图像的标准差，为去噪监控图像集中图像与预测视频帧图像之间的协方差，为第一因子，为第二因子，表示预测类别在预测视频帧图像中第个像素的标准值，表示预测像素概率，为第个预测类别的权重；
计算所述预测视频帧图像与所述去噪监控图像集中图像之间的信任度：
；
式中，为图像尺度，为去噪监控图像集中第个尺度的图像，为第个尺度的预测视频帧图像；
将所述预测误差与所述信任度进行归一化处理，以得到误差评分与信任评分；
将所述误差评分不小于异常阈值或者所述信任评分不大于异常阈值对应的去噪监控图像集中的图像作为异常视频帧图像。
5.根据权利要求1所述的基于监控视频的异常识别方法，其特征在于，所述提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果的步骤包括：
将所述异常视频帧图像输入预设目标网络中进行目标识别，以得到目标预测框；
基于所述目标预测框提取目标特征图并将所述目标特征图输入预设关节点预测模型中进行关节点预测，以得到预测关节图谱，将所述预测关节图谱的峰值点作为待定关节点，并将待定关节点存入待定关节点集中：
；
；
式中，为峰值扩散因子，为目标特征图中像素点的位置，为标注点位置；
对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
6.根据权利要求5所述的基于监控视频的异常识别方法，其特征在于，所述对所述待定关节点集中的待定关节点进行筛选，以得到目标关节点集，基于所述目标关节确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果的步骤包括：
计算所述待定关节点集中任意两个待定关节点之间的关节亲和度：
；
；
；
式中，、为选取的两个待定关节点，为、连线上的像素点，为距离系数，为待定关节点集，表示从指向的单位向量，表示待定关节点的平均值在像素点上不为零向量的个数；
将关节亲和度小于亲和度阈值的待定关节点从所述待定关节点集中剔除，以得到目标关节点集，将所述目标关节点集中的关节点进行匹配连接，以得到异常目标姿态；
获取模板姿态图像与对应的异常标签，通过所述模板姿态图像与对应的异常标签对预设识别模型进行训练，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果。
7.一种基于监控视频的异常识别系统，其特征在于，所述系统包括：
获取模块，用于获取初始监控视频，将所述初始监控视频进行拆分处理，以得到初始监控图像集；
去噪模块，用于基于所述初始监控图像集建立噪声衰减模型，并基于所述噪声衰减模型对所述初始监控图像集中的图像进行去噪处理，以得到去噪监控图像集；
第一异常识别模块，用于获取训练图像集并通过所述训练图像集对预设预测模型进行训练，以得到视频帧预测模型，将所述去噪监控图像集输入所述视频帧预测模型中，以得到预测视频帧图像，基于所述预测视频帧图像与所述去噪监控图像集确定异常视频帧图像；
第二异常识别模块，用于提取所述异常视频帧图像的目标预测框，基于所述目标预测框确定异常目标姿态，将所述异常目标姿态输入训练好的预设识别模型中，输出异常识别结果；
所述去噪模块包括：
模型建立子模块，用于基于所述初始监控图像集建立噪声衰减模型：
；
式中，为初始监控图像集中图像的像素值，为大气光值，为大气透射率，为去噪图像；
最小化子模块，用于对所述噪声衰减模型进行最小化处理，以得到最小化噪声衰减模型：
；
式中，表示初始监控图像集中图像中像素点的位置，表示以为中心的矩形像素范围，为RGB分量，分别为RGB三通道的分量值；
去噪子模块，用于基于所述最小化噪声衰减模型求解去噪图像，并将所述去噪图像存入去噪监控图像集中。
8.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于监控视频的异常识别方法。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于监控视频的异常识别方法。
CN202311695141.5A 2023-12-12 2023-12-12 一种基于监控视频的异常识别方法及系统 Active CN117392615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311695141.5A CN117392615B (zh) 2023-12-12 2023-12-12 一种基于监控视频的异常识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311695141.5A CN117392615B (zh) 2023-12-12 2023-12-12 一种基于监控视频的异常识别方法及系统

Publications (2)

Publication Number Publication Date
CN117392615A CN117392615A (zh) 2024-01-12
CN117392615B true CN117392615B (zh) 2024-03-15

Family

ID=89441395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311695141.5A Active CN117392615B (zh) 2023-12-12 2023-12-12 一种基于监控视频的异常识别方法及系统

Country Status (1)

Country Link
CN (1) CN117392615B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893779B (zh) * 2024-01-19 2024-11-26 广东筠诚建筑科技有限公司 基于机器视觉实现建筑施工下的异常识别方法及系统
CN117649165A (zh) * 2024-01-30 2024-03-05 南昌理工学院 一种运输安全管控方法及系统
CN117953470B (zh) * 2024-03-26 2024-06-18 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792606A (zh) * 2021-08-18 2021-12-14 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN115439926A (zh) * 2022-08-05 2022-12-06 武汉大学 一种基于关键区域和场景深度的小样本异常行为识别方法
CN116630832A (zh) * 2023-07-21 2023-08-22 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质
CN116994390A (zh) * 2023-07-18 2023-11-03 漳州市诺兰信息科技有限公司 基于物联网的安防监控系统及其方法
CN117173070A (zh) * 2023-11-02 2023-12-05 南昌理工学院 一种基于fpga的图像处理融合方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643189B (zh) * 2020-04-27 2025-01-10 深圳市中兴微电子技术有限公司 图像去噪方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792606A (zh) * 2021-08-18 2021-12-14 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN115439926A (zh) * 2022-08-05 2022-12-06 武汉大学 一种基于关键区域和场景深度的小样本异常行为识别方法
CN116994390A (zh) * 2023-07-18 2023-11-03 漳州市诺兰信息科技有限公司 基于物联网的安防监控系统及其方法
CN116630832A (zh) * 2023-07-21 2023-08-22 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质
CN117173070A (zh) * 2023-11-02 2023-12-05 南昌理工学院 一种基于fpga的图像处理融合方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Activity Recognition and Abnormal Behaviour Detection with Recurrent Neural Networks;Damla Arifoglu .etal;Procedia Computer Science;20171231;第110卷;全文 *
基于姿态时空特征的人体行为识别方法;郑潇 等;计算机辅助设计与图形学学报;20180930(第09期);全文 *
视频监控系统中异常行为检测与识别;董莹荷 等;机械设计与制造工程;20200331(第03期);全文 *

Also Published As

Publication number Publication date
CN117392615A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN117392615B (zh) 一种基于监控视频的异常识别方法及系统
CN115240121B (zh) 一种用于增强行人局部特征的联合建模方法和装置
US12327339B2 (en) Method and apparatus for correcting face distortion, electronic device, and storage medium
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
US20240428381A1 (en) Image processing method and apparatus
US11605220B2 (en) Systems and methods for video surveillance
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN114663957A (zh) 人脸检测方法、人脸检测模型的训练方法及装置
CN117197134A (zh) 缺陷检测方法、装置、设备及存储介质
CN111368657A (zh) 牛脸识别方法和装置
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN118521586A (zh) 基于机器视觉的产品视觉检测装置及方法
CN113255516A (zh) 活体检测方法、装置和电子设备
CN117011137A (zh) 基于rgb相似度特征匹配的图像拼接方法、装置及设备
CN110633630B (zh) 一种行为识别方法、装置及终端设备
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN114529890A (zh) 状态检测方法、装置、电子设备及存储介质
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN114067145B (zh) 无源分光器检测方法、装置、设备及介质
CN110135363A (zh) 基于判别词典嵌入行人图像检索方法、系统、设备及介质
CN117173692A (zh) 3d目标检测方法、电子设备、介质以及驾驶设备
CN118843870A (zh) 用于训练神经网络以改进对抗鲁棒性的方法和系统
CN111062479B (zh) 基于神经网络的模型快速升级方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240112

Assignee: Hefei Guoxin Quantum Technology Co.,Ltd.

Assignor: NANCHANG INSTITUTE OF TECHNOLOGY

Contract record no.: X2025980009002

Denomination of invention: A method and system for anomaly recognition based on surveillance videos

Granted publication date: 20240315

License type: Open License

Record date: 20250520

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240112

Assignee: Jiangxi Jinghong Electronic Technology Co.,Ltd.

Assignor: NANCHANG INSTITUTE OF TECHNOLOGY

Contract record no.: X2025980011054

Denomination of invention: A method and system for anomaly recognition based on surveillance videos

Granted publication date: 20240315

License type: Open License

Record date: 20250619

Application publication date: 20240112

Assignee: Kaili (Yichun) Electronic Technology Co.,Ltd.

Assignor: NANCHANG INSTITUTE OF TECHNOLOGY

Contract record no.: X2025980011051

Denomination of invention: A method and system for anomaly recognition based on surveillance videos

Granted publication date: 20240315

License type: Open License

Record date: 20250620

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240112

Assignee: Jiangxi Yiyao Pharmaceutical Co.,Ltd.

Assignor: NANCHANG INSTITUTE OF TECHNOLOGY

Contract record no.: X2025980012142

Denomination of invention: A method and system for anomaly recognition based on surveillance videos

Granted publication date: 20240315

License type: Open License

Record date: 20250630