CN102740121B - 应用于视频监控网络的视频质量诊断控制系统及方法 - Google Patents
应用于视频监控网络的视频质量诊断控制系统及方法 Download PDFInfo
- Publication number
- CN102740121B CN102740121B CN201210239325.6A CN201210239325A CN102740121B CN 102740121 B CN102740121 B CN 102740121B CN 201210239325 A CN201210239325 A CN 201210239325A CN 102740121 B CN102740121 B CN 102740121B
- Authority
- CN
- China
- Prior art keywords
- video
- diagnosis
- server
- detection unit
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 159
- 238000003745 diagnosis Methods 0.000 claims abstract description 295
- 238000002405 diagnostic procedure Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 133
- 238000010586 diagram Methods 0.000 claims description 48
- 238000012544 monitoring process Methods 0.000 claims description 43
- 230000005856 abnormality Effects 0.000 claims description 8
- 230000008014 freezing Effects 0.000 claims description 8
- 238000007710 freezing Methods 0.000 claims description 8
- 239000006002 Pepper Substances 0.000 claims description 7
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000036632 reaction speed Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000722363 Piper Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012774 diagnostic algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种应用于视频监控网络视频质量诊断控制系统及方法，属于网络视频技术领域。该系统包括：任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。该方法中，任务管理服务器将诊断任务发送至视频接入及轮询服务器和诊断方法服务器，并将诊断方法参数发送至诊断方法服务器；视频接入及轮询服务器从视频监控网络获取各视频源图像信息并发送至诊断方法服务器；诊断方法服务器根据诊断任务和诊断方法参数确定诊断方法，并对各视频源图像信息进行诊断，产生诊断结果并发送诊断结果管理服务器。本发明的系统及方法能自动分析视频监控网络前端视频内容，诊断视频故障，从而大幅提高诊断准确率和反应速度，降低误报率。
Description
技术领域
本发明涉及网络视频技术领域，特别涉及网络视频质量检测技术领域，具体是指一种应用于视频监控网络的视频质量诊断控制系统及方法。
背景技术
传统的利用监控相机进行视频故障检查的技术几乎全部依赖于人力完成。比如规模1万的网络监控平台，平均每人调入、检测、判断一个摄像头花费1分钟，一个人几乎需要整整一周167个小时(大致21个工作日)才可以检测完，充分暴露了人工方式问题：1)人工方式效率低；2)诊断速度慢，增加公共安全风险；因为故障摄像机不能有效记录该场景的事件信息。因此，面对迅猛发展的公共监控设施，传统人工监测方式已无法满足公众对服务质量要求。
目前CCD传感器的平均寿命为3年，如果工作在恶劣环境下将更低。1万容量的监控平台，平均每日将有10路摄像头出现故障，每个月将有300路出现故障。及时发现和排查故障摄像机，成为亟需解决的问题。
但无论是数字监控网络还是模拟监控网，现有的平台除了提供信号中断情况以外乎不能提供任何关于前端摄像机的信息，比如相机是否模糊，是否被遮挡，是否设备已经老化导致图像对比度太低等故障信息。
随着公众安全意识越来越高，各地电信全球眼系统、公安安防系统都在尝试或正在应用视频质量诊断系统，来解决公共安防设施的服务质量问题。对于每个城市和地区都有数万个摄像头，其维护成本非常高，视频质量诊断技术可以大大降低运维成本，及时迅速的检测排查故障摄像机，提高公共安全服务质量。
但目前，不同厂家对视频质量诊断的定义和检测内容各不相同，最主要是目前的诊断效果还有诸多不尽人意之处，比如准确率低，误报率偏高，诊断类型有限，或者仅对已训练的样本有效，不能诊断不同环境下的或同一环境下新出现的视频故障，导致可用性大大降低。同时，已有视频质量诊断方法往往只是按照固定的某一固定顺序模式，诊断视频质量，往往忽略了各诊断算法之间的内在关联性，比如信息含量太少的视频是无需计算下面的检测指标的，即如果无信号事件发生，下面算法检测结果有效的概率很低，几乎不反映有效价值。而且，已有视频质量诊断方法过多关注各个子算法的相互独立性，往往会导致太多的重复计算，其实我们可用的计算资源是有限的。如灰度直方图，可以计算信息含量，可以计算整体对比度，梯度图亦可以反映视频的信息含量，还可以反映局部区域的对比度，计算边缘，计算清晰度等等。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种运用图像处理和模式识别技术，自动处理分析视频监控网络中前端视频的内容，检测诊断视频故障，从而解决人工检测的效率低，反应慢的问题，同时可以克服现有诊断系统准确率低，误报率偏高，诊断类型有限，应用范围较小的问题，实现一种诊断准确率高，反应快，误报率低，且实现成本低廉，实现方式简便，应用范围较为广泛的应用于视频监控网络的视频质量诊断控制系统及方法。
为了实现上述的目的，本发明的应用于视频监控网络的视频质量诊断控制系统具有如下构成：
该系统包括：任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。其中，
任务管理服务器用以根据用户操作生成诊断任务和诊断方法参数；
视频接入及轮询服务器分别连接所述的任务管理服务器和视频监控网络，用以从所述的任务管理服务器获得所述的诊断任务，并根据所述的诊断任务生成需诊断的视频源列表，根据所述的视频源列表从所述的视频监控网络获取各视频源图像信息；
诊断方法服务器分别连接所述的任务管理服务器和视频接入及轮询服务器，用以根据从所述的任务管理服务器获得的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，并利用该诊断方法对从所述的视频接入及轮询服务器获得的各视频源图像信息进行诊断，产生诊断结果；
诊断结果管理服务器连接所述的诊断方法服务器，用以从所述的诊断方法服务器获得所述的诊断结果，并对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示。
该应用于视频监控网络的视频质量诊断控制系统中，所述的视频接入及轮询服务器包括相互连接的视频接入模块和视频轮询模块，所述的视频接入模块连接所述的视频监控网络，所述的视频轮询模块分别连接所述的视频接入及轮询服务器和诊断方法服务器。
该应用于视频监控网络的视频质量诊断控制系统中，所述的视频接入及轮询服务器还包括缓存模块，所述的视频接入模块的输出端连接所述的缓存模块的输入端，所述的缓存模块的输出端连接所述的视频轮询模块的输入端。
该应用于视频监控网络的视频质量诊断控制系统中，所述的诊断方法服务器包括依次对各视频源图像信息进行诊断的信号丢失检测单元、亮度异常检测单元、信号冻结检测单元、偏色检测单元、马赛克检测单元、噪声干扰检测单元、清晰度检测单元、相机干扰检测单元和PTZ运动检测单元，各检测单元的输入端均连接所述的任务管理服务器的输出端，所述的各检测单元的输出端均连接所述的诊断结果管理服务器的输入端，所述的信号丢失检测单元的输入端还连接所述的视频接入及轮询服务器的输出端。
该应用于视频监控网络的视频质量诊断控制系统中，所述的噪声干扰检测单元包括顺序连接的高斯及椒盐噪声检测子单元、条纹噪声检测子单元和强电磁干扰噪声检测子单元；所述的清晰度检测单元包括顺序连接的低对比度检测子单元和聚焦不准检测子单元。
本发明还提供一种利用所述的系统实现视频监控网络视频质量诊断控制的方法，该方法包括以下步骤：
(1)所述的任务管理服务器接收用户通过所述的任务管理服务器设定诊断任务的操作，并根据所述的诊断任务生成诊断方法参数；
(2)所述的任务管理服务器将所述的诊断任务发送至所述的视频接入及轮询服务器和诊断方法服务器，并将所述的诊断方法参数发送至所述的诊断方法服务器；
(3)所述的视频接入及轮询服务器根据所述的诊断任务生成需诊断的视频源列表；
(4)所述的视频接入及轮询服务器根据所述的需诊断的视频源列表从所述的视频监控网络获取各视频源图像信息；
(5)所述的视频接入及轮询服务器将所述的各视频源图像信息发送至所述的诊断方法服务器；
(6)所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法；
(7)所述的诊断方法服务器利用所述的诊断方法对所述的各视频源图像信息进行诊断，产生诊断结果；
(8)所述的诊断方法服务器将所述的诊断结果发送至所述的诊断结果管理服务器；
(9)所述的诊断结果管理服务器对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示。
该实现视频监控网络视频质量诊断控制的方法中，所述的视频接入及轮询服务器包括视频接入模块、视频轮询模块以及缓存模块，所述的视频接入模块的输入端连接所述的视频监控网络，所述的视频接入模块的输出端连接所述的缓存模块的输入端，所述的缓存模块的输出端连接所述的视频轮询模块的输入端，所述的视频轮询模块分别连接所述的视频接入及轮询服务器和诊断方法服务器，所述的步骤(4)具体包括以下步骤：
(41)所述的视频接入模块根据所述的需诊断的视频源列表从所述的视频监控网络获取多个视频源图像信息；
(42)所述的视频接入模块将所述的多个视频源图像信息存入所述的缓存模块；
(43)所述的视频轮询模块从所述的缓存模块中依次读取所述的各视频源图像信息。
该实现视频监控网络视频质量诊断控制的方法中，所述的诊断方法服务器包括依次对各视频源图像信息进行诊断的信号丢失检测单元、亮度异常检测单元、信号冻结检测单元、偏色检测单元、马赛克检测单元、噪声干扰检测单元、清晰度检测单元、相机干扰检测单元和PTZ运动检测单元，所述的各检测单元的输入端均连接所述的任务管理服务器的输出端，所述的各检测单元的输出端均连接所述的诊断结果管理服务器的输入端，所述的信号丢失检测单元的输入端还连接所述的视频接入及轮询服务器的输出端，所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，具体为：所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的检测单元。
该实现视频监控网络视频质量诊断控制的方法中，，所述的步骤(7)具体包括以下步骤：
(7-1)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算灰度图和直方图；
(7-2)所述的诊断方法服务器根据所述的灰度图和直方图，并基于似隐马尔可夫模型，顺序通过所述的信号丢失检测单元计算信号丢失状态，通过所述的亮度异常检测单元计算亮度异常状态，并通过所述的信号冻结检测单元计算信号冻结状态；
(7-3)所述的诊断方法服务器判断所述的信号丢失状态、亮度异常状态或信号冻结状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-4)；
(7-4)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算Lab色彩空间图和HSV色彩空间图；
(7-5)所述的诊断方法服务器根据所述的Lab色彩空间图和HSV色彩空间图，并基于似隐马尔可夫模型，顺序通过所述的偏色检测单元计算偏色状态，并通过所述的马赛克检测单元计算马赛克状态；
(7-6)所述的诊断方法服务器释放所述的Lab色彩空间图和HSV色彩空间图，并屏蔽所述的马赛克状态获得的马赛克区域；
(7-7)所述的诊断方法服务器判断所述的偏色状态或马赛克状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-8)；
(7-8)所述的诊断方法服务器根据所述的灰度图计算差分图和频谱图；
(7-9)所述的诊断方法服务器根据所述的差分图和频谱图，并基于似隐马尔可夫模型，通过所述的噪声干扰检测单元计算包括高斯椒盐噪声、条纹噪声和强电磁干扰噪声的噪声干扰状态；
(7-10)所述的诊断方法服务器根据所述的频谱图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元初步估算清晰度状态；
(7-11)所述的诊断方法服务器根据所述的灰度图计算水平及垂直梯度图和边缘图；
(7-12)所述的诊断方法服务器根据所述的水平及垂直梯度图和边缘图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元计算清晰度状态，并释放所述的频谱图；
(7-13)所述的诊断方法服务器根据所述的灰度图计算特征点图，并根据所述的差分图计算运动图；
(7-14)所述的诊断方法服务器根据所述的特征点图、运动图、灰度直方图和边缘图，并基于似隐马尔可夫模型，通过所述的相机干扰检测单元计算包括遮挡、晃动与转动状态的相机干扰状态，并释放所述的运动图、水平及垂直梯度图和边缘图；
(7-15)所述的诊断方法服务器根据所述的特征点图，并基于似隐马尔可夫模型，通过所述的PTZ运动检测单元计算PTZ运动状态，并释放特征点图；
(7-16)所述的诊断方法服务器根据所述噪声干扰状态、清晰度状态、相机干扰状态和PTZ运动状态生成诊断结果并进入步骤(8)。
采用了该发明的应用于视频监控网络视频质量诊断控制系统，其包括：任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。利用任务管理服务器将诊断任务发送至视频接入及轮询服务器和诊断方法服务器，并将诊断方法参数发送至诊断方法服务器；视频接入及轮询服务器根据诊断任务从视频监控网络获取各视频源图像信息，并发送至所述的诊断方法服务器；诊断方法服务器根据诊断任务和诊断方法参数确定诊断方法；并对各视频源图像信息进行诊断，产生诊断结果后，再将诊断结果发送诊断结果管理服务器。本发明的系统及方法运用图像处理和模式识别技术，自动处理分析视频监控网络中前端视频的内容，检测诊断视频故障，从而解决人工检测的效率低，反应慢的问题，同时可以克服现有诊断系统准确率低，误报率偏高，诊断类型有限，应用范围较小的问题，进而大幅提高诊断准确率和反应速度，降低误报率。且本发明的应用于视频监控网络的视频质量诊断控制系统及方法，其实现成本低廉，实现方式简便，应用范围也较为广泛。
附图说明
图1为本发明的应用于视频监控网络的视频质量诊断控制系统的结构示意图。
图2为本发明的实现视频监控网络视频质量诊断控制的方法的步骤流程图。
图3为本发明的系统中的视频接入及轮询服务器的结构示意图。
图4为本发明的系统中的诊断方法服务器所具有的各检测单元的示意图。
图5为本发明的视频质量诊断控制方法中待估计似隐马尔可夫模型隐含状态示意图。
图6为本发明的视频质量诊断控制方法中待估计似隐马尔可夫模型已知观察状态示意图。
具体实施方式
为了能够更清楚地理解本发明的技术页面，特举以下实施例详细说明。
请参阅图1所示，为本发明的应用于视频监控网络的视频质量诊断控制系统的结构示意图。
在一种实施方式中，该系统包括：任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。其中：
任务管理服务器用以根据用户操作生成诊断任务和诊断方法参数；
视频接入及轮询服务器分别连接所述的任务管理服务器和视频监控网络，用以从所述的任务管理服务器获得所述的诊断任务，并根据所述的诊断任务生成需诊断的视频源列表，根据所述的视频源列表从所述的视频监控网络获取各视频源图像信息；
诊断方法服务器分别连接所述的任务管理服务器和视频接入及轮询服务器，用以根据从所述的任务管理服务器获得的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，并利用该诊断方法对从所述的视频接入及轮询服务器获得的各视频源图像信息进行诊断，产生诊断结果；
诊断结果管理服务器连接所述的诊断方法服务器，用以从所述的诊断方法服务器获得所述的诊断结果，并对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示。
本发明还提供一种利用该实施方式所述的系统实现视频监控网络视频质量诊断控制的方法，如图2所示，包括以下步骤：
(1)所述的任务管理服务器接收用户通过所述的任务管理服务器设定诊断任务的操作，并根据所述的诊断任务生成诊断方法参数；
(2)所述的任务管理服务器将所述的诊断任务发送至所述的视频接入及轮询服务器和诊断方法服务器，并将所述的诊断方法参数发送至所述的诊断方法服务器；
(3)所述的视频接入及轮询服务器根据所述的诊断任务生成需诊断的视频源列表；
(4)所述的视频接入及轮询服务器根据所述的需诊断的视频源列表从所述的视频监控网络获取各视频源图像信息；
(5)所述的视频接入及轮询服务器将所述的各视频源图像信息发送至所述的诊断方法服务器；
(6)所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法；
(7)所述的诊断方法服务器利用所述的诊断方法对所述的各视频源图像信息进行诊断，产生诊断结果；
(8)所述的诊断方法服务器将所述的诊断结果发送至所述的诊断结果管理服务器；
(9)所述的诊断结果管理服务器对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示。
在一种较优选的实施方式中，如图3所示，所述的视频接入及轮询服务器包括相互连接的视频接入模块和视频轮询模块，所述的视频接入模块连接所述的视频监控网络，所述的视频轮询模块分别连接所述的视频接入及轮询服务器和诊断方法服务器。
在一种进一步优选的实施方式中，所述的视频接入及轮询服务器还包括缓存模块，所述的视频接入模块的输出端连接所述的缓存模块的输入端，所述的缓存模块的输出端连接所述的视频轮询模块的输入端。
在利用该进一步优选的实施方式所述的系统实现视频监控网络视频质量诊断控制的方法中，所述的步骤(4)具体包括以下步骤：
(41)所述的视频接入模块根据所述的需诊断的视频源列表从所述的视频监控网络获取多个视频源图像信息；
(42)所述的视频接入模块将所述的多个视频源图像信息存入所述的缓存模块；
(43)所述的视频轮询模块从所述的缓存模块中依次读取所述的各视频源图像信息。
在另一种较优选的实施方式中，如图4所示，所述的诊断方法服务器包括依次对各视频源图像信息进行诊断的信号丢失检测单元、亮度异常检测单元、信号冻结检测单元、偏色检测单元、马赛克检测单元、噪声干扰检测单元、清晰度检测单元、相机干扰检测单元和PTZ运动检测单元，各检测单元的输入端均连接所述的任务管理服务器的输出端，所述的各检测单元的输出端均连接所述的诊断结果管理服务器的输入端，所述的信号丢失检测单元的输入端还连接所述的视频接入及轮询服务器的输出端。
在另一种进一步优选的实施方式中，所述的噪声干扰检测单元包括顺序连接的高斯及椒盐噪声检测子单元、条纹噪声检测子单元和强电磁干扰噪声检测子单元；所述的清晰度检测单元包括顺序连接的低对比度检测子单元和聚焦不准检测子单元。
在利用该另一种进一步优选的实施方式所述的系统实现视频监控网络视频质量诊断控制的方法中，所述的步骤(6)中诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，具体为：所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的检测单元。
在一种更优选的实施方式中，所述的步骤(7)具体包括以下步骤：
(7-1)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算灰度图和直方图；
(7-2)所述的诊断方法服务器根据所述的灰度图和直方图，并基于似隐马尔可夫模型，顺序通过所述的信号丢失检测单元计算信号丢失状态，通过所述的亮度异常检测单元计算亮度异常状态，并通过所述的信号冻结检测单元计算信号冻结状态；
(7-3)所述的诊断方法服务器判断所述的信号丢失状态、亮度异常状态或信号冻结状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-4)；
(7-4)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算Lab色彩空间图和HSV色彩空间图；
(7-5)所述的诊断方法服务器根据所述的Lab色彩空间图和HSV色彩空间图，并基于似隐马尔可夫模型，顺序通过所述的偏色检测单元计算偏色状态，并通过所述的马赛克检测单元计算马赛克状态；
(7-6)所述的诊断方法服务器释放所述的Lab色彩空间图和HSV色彩空间图，并屏蔽所述的马赛克状态获得的马赛克区域；
(7-7)所述的诊断方法服务器判断所述的偏色状态或马赛克状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-8)；
(7-8)所述的诊断方法服务器根据所述的灰度图计算差分图和频谱图；
(7-9)所述的诊断方法服务器根据所述的差分图和频谱图，并基于似隐马尔可夫模型，通过所述的噪声干扰检测单元计算包括高斯椒盐噪声、条纹噪声和强电磁干扰噪声的噪声干扰状态；
(7-10)所述的诊断方法服务器根据所述的频谱图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元初步估算清晰度状态；
(7-11)所述的诊断方法服务器根据所述的灰度图计算水平及垂直梯度图和边缘图；
(7-12)所述的诊断方法服务器根据所述的水平及垂直梯度图和边缘图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元计算清晰度状态，并释放所述的频谱图；
(7-13)所述的诊断方法服务器根据所述的灰度图计算特征点图，并根据所述的差分图计算运动图；
(7-14)所述的诊断方法服务器根据所述的特征点图、运动图、灰度直方图和边缘图，并基于似隐马尔可夫模型，通过所述的相机干扰检测单元计算包括遮挡、晃动与转动状态的相机干扰状态，并释放所述的运动图、水平及垂直梯度图和边缘图；
(7-15)所述的诊断方法服务器根据所述的特征点图，并基于似隐马尔可夫模型，通过所述的PTZ运动检测单元计算PTZ运动状态，并释放特征点图；
(7-16)所述的诊断方法服务器根据所述噪声干扰状态、清晰度状态、相机干扰状态和PTZ运动状态生成诊断结果并进入步骤(8)。
在实际应用中，本发明的诊断控制系统，如图1所示，包括任务管理服务器、视频接入和轮询服务器、视频质量诊断算法服务器和诊断结果管理服务器。该系统既可以部署在单台机器上也可以分布式部署不同的多台机器上。同时支持任务的并发执行。任务管理服务器分发视频诊断任务和算法调整参数，视频接入与轮询服务器接收视频诊断任务，视频质量诊断算法服务器接收诊断任务和算法参数；视频接入与轮询服务器从视频监控平台或视频源接入诊断任务列表中的视频源，调用视频质量诊断算法服务器，完成一个视频源的质量诊断。诊断结束后，视频质量诊断算法服务器返回调用，同时把诊断结果发送给诊断结果管理服务器；视频接入与轮询服务器收到一次诊断完成消息后，顺序接入下一个视频源，重复执行诊断任务，直至整个诊断任务完成。视频接入与轮询服务器由视频接入子模块和轮询子模块组成；视频质量诊断算法服务器主要有算法模块构成，其包括信号丢失检测单元、信号冻结检测单元、亮度异常检测单元、偏色检测单元、马赛克检测单元、清晰度检测单元、噪声干扰检测单元、相机干扰检测单元及PTZ控制检测单元。
任务管理服务器主要负责任务的制定和算法参数的设置，并分发给视频接入与轮询服务器和视频质量诊断算法服务器；支持多任务并发执行，即可以同时发出多个任务和相应的多组算法参数。支持诊断任务的自动执行。
视频接入与轮询服务器获得诊断任务后，主动接入诊断视频源，调用视频质量诊断算方法服务器执行视频分析任务，一次分析完成后，依次轮询下一个视频源。视频接入子模块主要负责网络视频数据的获取：考虑到网络延时问题，设置最大网络延时时间为60s，超过最大延时时间，将放到诊断任务列表尾部；考虑到网络延时和算法诊断时间，视频接入任务将并发执行，起到视频源缓冲的作用。例如，每次并发接入10-100视频源，成功接入的视频依次放入视频缓存区，为视频轮询诊断做准备。视频轮询模块从视频接入的视频缓冲区依次接入各视频源，调用算法服务器，执行诊断任务。
视频质量诊断算法服务器完成视频质量分析，返回分析结果。
诊断结果管理服务器根据分析结果，给出诊断评价；并负责诊断结果数据的统计与分析，查询与展示。
视频质量诊断算法模块是该系统的核心模块，负责视频质量的算法分析。
本发明同时提出基于似隐马尔可夫模型(HMM-LikeModel)的视频质量诊断方法，如图5所示。
每个子算法诊断类型作为一个待估计的视频质量诊断的隐含状态，且个隐含状态之间存在某种依赖关系；已知观察状态如图6所示，包括源彩色图，灰度图，灰度直方图，由源彩色图构建的Lab色彩图和HSV色彩图，水平、垂直梯度图，梯度强度图，梯度直方图，边缘图，差分图，运动区域图。通过已知观察状态，估计各视频质量的隐含状态，避免各算法之间的孤立性诊断，增加算法间的依赖关联性，减少计算量，降低内存需求，提高检测准确性和算法执行速度。
已知状态观测图与视频质量隐含状态之间的推演过程如下：
1)通过源彩色图计算灰度图与直方图，顺序估计信号丢失状态，信号冻结状态和亮度异常状态。第一次出现待估计状态超过诊断阈值，则算法执行完毕，直接返回。
2)通过源彩色图计算与之对应的Lab色彩空间图和HSV色彩空间图，顺序估计偏色状态和马赛克状态。释放Lab和HSV色彩空间图，屏蔽马赛克区域用于以后计算。
3)通过灰度图计算差分图和频谱图，顺序估计高斯椒盐噪声、条纹噪声和强电磁干扰噪声噪声干扰隐含状态。对噪声区域或点设置清晰度状态估计置信值，置信值0-1之间，越大可信性越大。
4)根据频谱图初步估计清晰度隐含状态，通过灰度图计算水平、垂直梯度图(XY梯度图)、边缘图，精确估计清晰度隐含状态。释放频谱图。
5)通过灰度图计算特征点图，通过差分图计算运动图，结合灰度直方图和边缘图，顺序估计遮挡，晃动与转动隐含状态。释放运动图、梯度图、边缘图。
6)根据特征点图，估计PTZ运动状态。释放特征点图。
采用了该发明的应用于视频监控网络视频质量诊断控制系统，其包括：任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。利用任务管理服务器将诊断任务发送至视频接入及轮询服务器和诊断方法服务器，并将诊断方法参数发送至诊断方法服务器；视频接入及轮询服务器根据诊断任务从视频监控网络获取各视频源图像信息，并发送至所述的诊断方法服务器；诊断方法服务器根据诊断任务和诊断方法参数确定诊断方法；并对各视频源图像信息进行诊断，产生诊断结果后，再将诊断结果发送诊断结果管理服务器。本发明的系统及方法运用图像处理和模式识别技术，自动处理分析视频监控网络中前端视频的内容，检测诊断视频故障，从而解决人工检测的效率低，反应慢的问题，同时可以克服现有诊断系统准确率低，误报率偏高，诊断类型有限，应用范围较小的问题，进而大幅提高诊断准确率和反应速度，降低误报率。且本发明的应用于视频监控网络的视频质量诊断控制系统及方法，其实现成本低廉，实现方式简便，应用范围也较为广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (8)
1.一种应用于视频监控网络的视频质量诊断控制系统，其特征在于，所述的系统包括：
任务管理服务器，用以根据用户操作生成诊断任务和诊断方法参数；
视频接入及轮询服务器，分别连接所述的任务管理服务器和视频监控网络，用以从所述的任务管理服务器获得所述的诊断任务，并根据所述的诊断任务生成需诊断的视频源列表，根据所述的视频源列表从所述的视频监控网络获取各视频源图像信息，其中，根据所述的视频源列表从所述的视频监控网络获取各视频源图像信息，具体为：
根据所述的视频源列表从所述的视频监控网络并发接入多个所述的视频源图像信息；
诊断方法服务器，分别连接所述的任务管理服务器和视频接入及轮询服务器，用以根据从所述的任务管理服务器获得的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，并利用该诊断方法对从所述的视频接入及轮询服务器获得的各视频源图像信息进行诊断，产生诊断结果；
诊断结果管理服务器，连接所述的诊断方法服务器，用以从所述的诊断方法服务器获得所述的诊断结果，并对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示；
所述的诊断方法服务器包括依次对各视频源图像信息进行诊断的信号丢失检测单元、亮度异常检测单元、信号冻结检测单元、偏色检测单元、马赛克检测单元、噪声干扰检测单元、清晰度检测单元、相机干扰检测单元和PTZ运动检测单元，各检测单元的输入端均连接所述的任务管理服务器的输出端，所述的各检测单元的输出端均连接所述的诊断结果管理服务器的输入端，所述的信号丢失检测单元的输入端还连接所述的视频接入及轮询服务器的输出端。
2.根据权利要求1所述的应用于视频监控网络的视频质量诊断控制系统，其特征在于，所述的视频接入及轮询服务器包括相互连接的视频接入模块和视频轮询模块，所述的视频接入模块连接所述的视频监控网络，所述的视频轮询模块分别连接所述的视频接入模块和诊断方法服务器。
3.根据权利要求2所述的应用于视频监控网络的视频质量诊断控制系统，其特征在于，所述的视频接入及轮询服务器还包括缓存模块，所述的视频接入模块的输出端连接所述的缓存模块的输入端，所述的缓存模块的输出端连接所述的视频轮询模块的输入端。
4.根据权利要求1所述的应用于视频监控网络的视频质量诊断控制系统，其特征在于，所述的噪声干扰检测单元包括顺序连接的高斯及椒盐噪声检测子单元、条纹噪声检测子单元和强电磁干扰噪声检测子单元；所述的清晰度检测单元包括顺序连接的低对比度检测子单元和聚焦不准检测子单元。
5.一种利用权利要求1所述的系统实现视频监控网络视频质量诊断控制的方法，其特征在于，所述的方法包括以下步骤：
(1)所述的任务管理服务器接收用户通过所述的任务管理服务器设定诊断任务的操作，并根据所述的诊断任务生成诊断方法参数；
(2)所述的任务管理服务器将所述的诊断任务发送至所述的视频接入及轮询服务器和诊断方法服务器，并将所述的诊断方法参数发送至所述的诊断方法服务器；
(3)所述的视频接入及轮询服务器根据所述的诊断任务生成需诊断的视频源列表；
(4)所述的视频接入及轮询服务器根据所述的需诊断的视频源列表从所述的视频监控网络获取各视频源图像信息；
(5)所述的视频接入及轮询服务器将所述的各视频源图像信息发送至所述的诊断方法服务器；
(6)所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法；
(7)所述的诊断方法服务器利用所述的诊断方法对所述的各视频源图像信息进行诊断，产生诊断结果；
(8)所述的诊断方法服务器将所述的诊断结果发送至所述的诊断结果管理服务器；
(9)所述的诊断结果管理服务器对所述的诊断结果进行存储、统计和分析，产生分析结果，并根据用户操作提供诊断结果和分析结果的输出和展示。
6.根据权利要求5所述的实现视频监控网络视频质量诊断控制的方法，其特征在于，所述的视频接入及轮询服务器包括视频接入模块、视频轮询模块以及缓存模块，所述的视频接入模块的输入端连接所述的视频监控网络，所述的视频接入模块的输出端连接所述的缓存模块的输入端，所述的缓存模块的输出端连接所述的视频轮询模块的输入端，所述的视频轮询模块分别连接所述的视频接入模块和诊断方法服务器，所述的步骤(4)具体包括以下步骤：
(41)所述的视频接入模块根据所述的需诊断的视频源列表从所述的视频监控网络获取多个视频源图像信息；
(42)所述的视频接入模块将所述的多个视频源图像信息存入所述的缓存模块；
(43)所述的视频轮询模块从所述的缓存模块中依次读取所述的各视频源图像信息。
7.根据权利要求5所述的实现视频监控网络视频质量诊断控制的方法，其特征在于，所述的诊断方法服务器包括信号丢失检测单元、亮度异常检测单元、信号冻结检测单元、偏色检测单元、马赛克检测单元、噪声干扰检测单元、清晰度检测单元、相机干扰检测单元和PTZ运动检测单元，所述的各检测单元的输入端均连接所述的任务管理服务器的输出端，所述的各检测单元的输出端均连接所述的诊断结果管理服务器的输入端，所述的信号丢失检测单元的输入端还连接所述的视频接入及轮询服务器的输出端，所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的诊断方法，具体为：
所述的诊断方法服务器根据所述的诊断任务和诊断方法参数选择与诊断任务对应的检测单元。
8.根据权利要求7所述的实现视频监控网络视频质量诊断控制的方法，其特征在于，所述的步骤(7)具体包括以下步骤：
(7-1)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算灰度图和直方图；
(7-2)所述的诊断方法服务器根据所述的灰度图和直方图，并基于似隐马尔可夫模型，顺序通过所述的信号丢失检测单元计算信号丢失状态，通过所述的亮度异常检测单元计算亮度异常状态，并通过所述的信号冻结检测单元计算信号冻结状态；
(7-3)所述的诊断方法服务器判断所述的信号丢失状态、亮度异常状态或信号冻结状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-4)；
(7-4)所述的诊断方法服务器根据所述的视频源图像信息的源彩色图计算Lab色彩空间图和HSV色彩空间图；
(7-5)所述的诊断方法服务器根据所述的Lab色彩空间图和HSV色彩空间图，并基于似隐马尔可夫模型，顺序通过所述的偏色检测单元计算偏色状态，并通过所述的马赛克检测单元计算马赛克状态；
(7-6)所述的诊断方法服务器释放所述的Lab色彩空间图和HSV色彩空间图，并屏蔽所述的马赛克状态获得的马赛克区域；
(7-7)所述的诊断方法服务器判断所述的偏色状态或马赛克状态是否超出阈值，若是，则生成诊断结果并进入步骤(8)，若否，则进入步骤(7-8)；
(7-8)所述的诊断方法服务器根据所述的灰度图计算差分图和频谱图；
(7-9)所述的诊断方法服务器根据所述的差分图和频谱图，并基于似隐马尔可夫模型，通过所述的噪声干扰检测单元计算包括高斯椒盐噪声、条纹噪声和强电磁干扰噪声的噪声干扰状态；
(7-10)所述的诊断方法服务器根据所述的频谱图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元初步估算清晰度状态；
(7-11)所述的诊断方法服务器根据所述的灰度图计算水平及垂直梯度图和边缘图；
(7-12)所述的诊断方法服务器根据所述的水平及垂直梯度图和边缘图，并基于似隐马尔可夫模型，通过所述的清晰度检测单元计算清晰度状态，并释放所述的频谱图；
(7-13)所述的诊断方法服务器根据所述的灰度图计算特征点图，并根据所述的差分图计算运动图；
(7-14)所述的诊断方法服务器根据所述的特征点图、运动图、灰度直方图和边缘图，并基于似隐马尔可夫模型，通过所述的相机干扰检测单元计算包括遮挡、晃动与转动状态的相机干扰状态，并释放所述的运动图、水平及垂直梯度图和边缘图；
(7-15)所述的诊断方法服务器根据所述的特征点图，并基于似隐马尔可夫模型，通过所述的PTZ运动检测单元计算PTZ运动状态，并释放特征点图；
(7-16)所述的诊断方法服务器根据所述噪声干扰状态、清晰度状态、相机干扰状态和PTZ运动状态生成诊断结果并进入步骤(8)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210239325.6A CN102740121B (zh) | 2012-07-11 | 2012-07-11 | 应用于视频监控网络的视频质量诊断控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210239325.6A CN102740121B (zh) | 2012-07-11 | 2012-07-11 | 应用于视频监控网络的视频质量诊断控制系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102740121A CN102740121A (zh) | 2012-10-17 |
| CN102740121B true CN102740121B (zh) | 2015-12-09 |
Family
ID=46994780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210239325.6A Active CN102740121B (zh) | 2012-07-11 | 2012-07-11 | 应用于视频监控网络的视频质量诊断控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102740121B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103873852A (zh) * | 2012-12-11 | 2014-06-18 | 上海文广互动电视有限公司 | 多模态并行的视频质量故障检测方法及装置 |
| US9928880B2 (en) * | 2013-12-02 | 2018-03-27 | Mitsubishi Electric Corporation | System management device, system management method, and program |
| WO2015168893A1 (zh) * | 2014-05-08 | 2015-11-12 | 华为终端有限公司 | 一种视频质量检测的方法及装置 |
| CN104023209B (zh) * | 2014-06-12 | 2018-07-13 | 浙江宇视科技有限公司 | 一种自适应视频诊断方法和装置 |
| CN104284185B (zh) * | 2014-10-24 | 2017-04-26 | 苏州科达科技股份有限公司 | 视频图像质量巡检方法及系统 |
| CN105357518B (zh) * | 2015-11-26 | 2018-05-08 | 江苏省电力公司南京供电公司 | 用于视频监控系统的视频故障诊断方法 |
| CN105323565A (zh) * | 2015-12-11 | 2016-02-10 | 国网浙江桐乡市供电公司 | 一种变电站的智能化视频故障分析与预警系统 |
| CN106101696B (zh) * | 2016-06-16 | 2018-09-04 | 北京数智源科技股份有限公司 | 视频质量诊断系统及视频质量分析算法 |
| CN111836102B (zh) * | 2019-04-23 | 2023-03-24 | 杭州海康威视数字技术股份有限公司 | 视频帧的分析方法和装置 |
| CN119048333B (zh) * | 2024-10-31 | 2025-03-11 | 深圳市万物云科技有限公司 | 一种基于云边协同的图像设备数据管理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000209304A (ja) * | 1999-01-13 | 2000-07-28 | Mitsubishi Electric Corp | 自己監視式符号化装置および符号化装置の自己監視方法 |
| CN101557506A (zh) * | 2009-05-19 | 2009-10-14 | 浙江工业大学 | 基于计算机视觉的电梯轿厢内暴力行为智能检测装置 |
| CN102131101A (zh) * | 2011-04-21 | 2011-07-20 | 江苏东怡软件技术有限公司 | 智能视频图像质量自动分析系统及其分析方法 |
| CN102176758A (zh) * | 2011-03-07 | 2011-09-07 | 北京文安科技发展有限公司 | 一种视频质量诊断系统及其实现方法 |
| CN202086261U (zh) * | 2011-04-14 | 2011-12-28 | 林振让 | 榨汁机 |
| CN102387038A (zh) * | 2011-10-20 | 2012-03-21 | 赛特斯网络科技(南京)有限责任公司 | 基于视频检测及综合网管的网络视频故障定位系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009157457A (ja) * | 2007-12-25 | 2009-07-16 | Optim Corp | 端末装置、故障診断方法およびプログラム |
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
-
2012
- 2012-07-11 CN CN201210239325.6A patent/CN102740121B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000209304A (ja) * | 1999-01-13 | 2000-07-28 | Mitsubishi Electric Corp | 自己監視式符号化装置および符号化装置の自己監視方法 |
| CN101557506A (zh) * | 2009-05-19 | 2009-10-14 | 浙江工业大学 | 基于计算机视觉的电梯轿厢内暴力行为智能检测装置 |
| CN102176758A (zh) * | 2011-03-07 | 2011-09-07 | 北京文安科技发展有限公司 | 一种视频质量诊断系统及其实现方法 |
| CN202086261U (zh) * | 2011-04-14 | 2011-12-28 | 林振让 | 榨汁机 |
| CN102131101A (zh) * | 2011-04-21 | 2011-07-20 | 江苏东怡软件技术有限公司 | 智能视频图像质量自动分析系统及其分析方法 |
| CN102387038A (zh) * | 2011-10-20 | 2012-03-21 | 赛特斯网络科技(南京)有限责任公司 | 基于视频检测及综合网管的网络视频故障定位系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102740121A (zh) | 2012-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102740121B (zh) | 应用于视频监控网络的视频质量诊断控制系统及方法 | |
| CN109167997B (zh) | 一种视频质量诊断系统及方法 | |
| CN109145771B (zh) | 一种人脸抓拍方法及装置 | |
| EP2688296A1 (en) | Video monitoring system and method | |
| CN102176758A (zh) | 一种视频质量诊断系统及其实现方法 | |
| US10853949B2 (en) | Image processing device | |
| CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
| CN112291520A (zh) | 异常事件识别方法、装置、存储介质及电子装置 | |
| CN112017323B (zh) | 一种巡检报警方法、装置、可读存储介质及终端设备 | |
| CN102118629A (zh) | 基于监控平台的网络视频监控服务质量保障系统及方法 | |
| EP3878187A1 (en) | Methods and systems for detection of anomalous motion in a video stream and for creating a video summary | |
| CN107809615A (zh) | 视频质量诊断装置及方法 | |
| CN104639914A (zh) | 一种用于高压线绝缘子成像与污秽检测的装置及方法 | |
| US20110019002A1 (en) | Method and System for Low Complexity Analysis of Multiple Signals Using a Combined Sparse Set of Samples | |
| CN105554380A (zh) | 一种昼夜切换方法及装置 | |
| CN108174198B (zh) | 一种视频图像质量诊断分析检测设备及应用系统 | |
| JP2020160804A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN116245865A (zh) | 一种图像质量的检测方法、装置、电子设备及存储介质 | |
| CN114842376A (zh) | 状态确定方法、装置、存储介质及电子装置 | |
| EP3035596A1 (en) | Link performance test method and device, logical processor and network processor | |
| KR20220151583A (ko) | 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN118348016B (zh) | 一种led面板缺陷检测方法、装置及电子设备 | |
| CN112437274B (zh) | 一种抓拍图片的传输方法及抓拍机 | |
| WO2019100615A1 (zh) | 一种被调用方系统的心跳检测方法、装置、服务器及介质 | |
| KR20220151130A (ko) | 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 210042 Xuanwu District, Xuanwu District, Jiangsu, Nanjing, No. 699-22, building 18 Applicant after: CERTUSNET CORP. Address before: 210042 Xuanwu District, Xuanwu District, Jiangsu, Nanjing, No. 699-22, building 18 Applicant before: Certus Network Technology(Nanjing) Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: CERTUS NETWORK TECHNOLOGY(NANJING) CO., LTD. TO: CERTUS INFORMATION TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20121017 Assignee: BEIJING CERTUSNET INFORMATION TECHNOLOGY CO., LTD. Assignor: CERTUSNET CORP. Contract record no.: 2017110000003 Denomination of invention: Video quality diagnosis control system and method applied to video monitoring network Granted publication date: 20151209 License type: Common License Record date: 20170314 |
|
| EE01 | Entry into force of recordation of patent licensing contract |