CN110662024A - 基于多帧的视频质量诊断方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种基于多帧的视频质量诊断方法、装置及电子设备，所述基于多帧的视频质量诊断方法包括：获取包含连续的多个视频帧的视频流；分别检测每一视频帧的诊断项目是否合格；获取所述视频流中诊断项目不合格的视频帧的数量；判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。本发明有效解决现有技术中视频质量诊断容易出现误报、漏报的问题，可以最大可能地避免随机故障，以保证详尽的监控异常报告，事后查看时有充足的视频流和分析数据。

Description

基于多帧的视频质量诊断方法、装置及电子设备

技术领域

本发明属于图像处理技术领域，特别是涉及视频图像检测处理技术领域，具体为一种基于多帧的视频质量诊断方法、装置及电子设备。

背景技术

目前视频监控系统已经广泛应用在铁路运输生产各个领域。监控系统为创建“安全、高效、有序”的高铁运营提供了强有力的技术保障。

大部分的视频信号主要进行后台录像用于事后调查或取证，由于摄像头数量众多且地理位置分散，无法通过人工定期检查，往往在突发事件发生时查询录像才发现对应的摄像机视频模糊不清甚至获取不到有效视频。

图一是传统视频质量诊断方法的流程图。传统的视频质量诊断方法是随机抽取一帧进行数据分析，得出监控设备的质量情况。其最大缺陷是诊断结果误报或者漏报。

基于单一帧诊断数据异常推导出整个设备的故障，是个性推导共性，形成以偏概全的定论，逻辑存在不合理性。环境如温度、湿度、静电、接地系统、供电系统对机器的正常运行影响很大。由于瞬间一片随机树叶或者电路接触不良判断得出设备的不良，对本以肩负繁重工作的设备维保工人来说，会导致人力资源的极大浪费。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多帧的视频质量诊断方法、装置及电子设备，用于解决现有技术中视频质量诊断容易出现误报、漏报的问题。

为实现上述目的及其他相关目的，本发明的实施例提供一种基于多帧的视频质量诊断方法，所述基于多帧的视频质量诊断方法包括：获取包含连续的多个视频帧的视频流；分别检测每一视频帧的诊断项目是否合格；获取所述视频流中诊断项目不合格的视频帧的数量；判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。

于本申请的一实施例中，所述检测每一视频帧的诊断项目是否合格包括：获取一个视频帧；选取诊断项目并检测所述视频帧在选取的所述诊断项目下是否合格，若是，则该诊断项目的不合格视频帧的数量加一，若否，则该诊断项目的合格视频帧的数量加一；判断是否进行完所有诊断项目，若是，则进行下一个视频帧的检测；若否，则继续进行所述视频帧下一个诊断项目的检测。

于本申请的一实施例中，所述获取所述视频流中诊断项目不合格的视频帧的数量包括：分别获取各所述诊断项目对应的不合格视频帧的数量。

于本申请的一实施例中，所述判断不合格的视频帧的数量是否大于预设诊断阈值包括：分别判断各所述诊断项目对应的不合格的视频帧的数量是否大于预设诊断阈值，若有任一诊断项目对应的不合格的视频帧的数量大于预设诊断阈值，则确定所述视频流对应的视频设备异常，若所有诊断项目对应的不合格的视频帧的数量均小于预设诊断阈值，则确定所述视频流对应的视频设备正常。

于本申请的一实施例中，所述诊断项目包括遮挡检测、对比度异常检测、偏色检测、亮度异常检测、画面冻结检测、雪花检测、抖动异常检测、条纹检测、画面模糊检测、无信号检测中的多种组合。

于本申请的一实施例中，每一个所述诊断项目对应一个预设诊断阈值。

于本申请的一实施例中，所述基于多帧的视频质量诊断方法还包括：根据检测结果生成视频质量诊断报告；其中，所述视频质量诊断包括诊断项目名称、每一诊断项目对应的预设诊断阈值、视频帧总帧数、不合格视频帧数、异常率以及视频设备状态。

本发明的实施例还提供一种基于多帧的视频质量诊断装置，所述基于多帧的视频质量诊断装置包括：视频流获取模块，用于获取包含连续的多个视频帧的视频流；诊断项目检测模块，用于分别检测每一视频帧的诊断项目是否合格；数量获取模块，用于获取所述视频流中诊断项目不合格的视频帧的数量；判断模块，用于判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。

本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的基于多帧的视频质量诊断方法。

于本申请的一实施例中，所述电子设备与一输出视频流的视频输出设备相连，并通过轮询的方式获取和检测所述视频流。

如上所述，本发明的基于多帧的视频质量诊断方法、装置及电子设备，具有以下有益效果：

本发明通过提取一定数量的连续的视频帧，依次对每一帧进行质量诊断，得出每一检测项的数值，通过和预设阈值进行比对得出该诊断项是否异常，最后对所有诊断帧的数据进行统计，得出每一项的异常帧数，再与预设阈值进行比较判断设备该诊断项是否异常，有效解决现有技术中视频质量诊断容易出现误报、漏报的问题，可以最大可能地避免随机故障，以保证详尽的监控异常报告，事后查看时有充足的视频流和分析数据。

附图说明

图1显示为本发明的基于多帧的视频质量诊断方法的整体流程示意图。

图2显示为本发明的基于多帧的视频质量诊断方法中将病理图像切割成若干子图像的示意图。

图3显示为本发明的基于多帧的视频质量诊断方法中得到良恶性预测模型的流程图。

图4显示为本发明的基于多帧的视频质量诊断装置的整体原理结构框图。

图5显示为本发明的基于多帧的视频质量诊断装置中良恶性预测模型训练生成模块的原理结构框图。

图6显示为本申请一实施例中的电子终端的结构示意图。

图7和图8显示为本发明的基于多帧的视频质量诊断方法的应用实例效果图。

元件标号说明

100 基于多帧的视频质量诊断装置

110 视频流获取模块

120 诊断项目检测模块

130 数量获取模块

140 判断模块

1101 处理器

1102 存储器

S110～S160 步骤

S121～S127 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施例的目的在于提供一种基于多帧的视频质量诊断方法、装置及电子设备，用于解决现有技术中视频质量诊断容易出现误报、漏报的问题。

以下将详细阐述本实施例的基于多帧的视频质量诊断方法、装置及电子设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的基于多帧的视频质量诊断方法、装置及电子设备。

如图2所示，本实施例提供一种基于多帧的视频质量诊断方法，所述基于多帧的视频质量诊断方法包括以下步骤：

步骤S110，获取包含连续的多个视频帧的视频流；

步骤S120，分别检测每一视频帧的诊断项目是否合格；

步骤S130，获取所述视频流中诊断项目不合格的视频帧的数量；

步骤S140，判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则继续执行步骤S150：确定所述视频流对应的视频设备异常，若否，则继续执行步骤S160：确定所述视频流对应的视频设备正常。

以下对本实施例基于多帧的视频质量诊断方法的步骤S110至步骤S160进行详细说明。

步骤S110，获取包含连续的多个视频帧的视频流。

例如，从视频服务器(DVS)，网络摄像机(IPC)等视频输出设备获取包含连续的多个视频帧的视频流。

步骤S120，分别检测每一视频帧的诊断项目是否合格。

具体地，如图3所示，于本实施例中，所述检测每一视频帧的诊断项目是否合格包括：

步骤S121，获取一个视频帧；

步骤S122，选取诊断项目；

步骤S123，检测所述视频帧在选取的所述诊断项目下是否合格，若是，则继续执行步骤S124：该诊断项目的不合格视频帧的数量加一，若否，则继续执行步骤S125：该诊断项目的合格视频帧的数量加一；

步骤S126，判断是否进行完所有诊断项目，若是，则继续执行步骤S127：进行下一个视频帧的检测；若否，则返回步骤S122：继续进行所述视频帧下一个诊断项目的检测。

步骤S130，获取所述视频流中诊断项目不合格的视频帧的数量。

于本实施例中，所述获取所述视频流中诊断项目不合格的视频帧的数量包括：分别获取各所述诊断项目对应的不合格视频帧的数量。

步骤S140，判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则继续执行步骤S150：确定所述视频流对应的视频设备异常，若否，则继续执行步骤S160：确定所述视频流对应的视频设备正常。

于本实施例中，每一个所述诊断项目对应一个预设诊断阈值。

具体地，于本一实施例中，所述判断不合格的视频帧的数量是否大于预设诊断阈值包括：

分别判断各所述诊断项目对应的不合格的视频帧的数量是否大于预设诊断阈值，若有任一诊断项目对应的不合格的视频帧的数量大于预设诊断阈值，则确定所述视频流对应的视频设备异常，若所有诊断项目对应的不合格的视频帧的数量均小于预设诊断阈值，则确定所述视频流对应的视频设备正常。

其中，于本实施例中，所述诊断项目包括遮挡检测、对比度异常检测、偏色检测、亮度异常检测、画面冻结检测、雪花检测、抖动异常检测、条纹检测、画面模糊检测、无信号检测中的多种组合。

诊断项目和各自对应的诊断阈值可参考表1。

表1诊断项目和诊断阈值配置表

编号	诊断项目	诊断阈值	异常阀值百分比
				1	无信号	5	20％
2	画面冻结	5	20％
				3	偏色	50	20％
4	雪花	85	20％
				5	遮挡异常	40	20％
6	亮度异常	80	20％
				7	条纹	30	20％
8	画面模糊	40	20％
				9	对比度异常	40	20％
10	抖动异常	40	20％

如图4所示，本实施例的基于多帧的视频质量诊断方法整体方法原理如下：

提取一定数量的连续的视频帧(比如说500帧)，依次对每一帧进行质量诊断，得出每一检测项的数值，通过和预设阈值进行比对得出该诊断项是否异常。最后对所有诊断帧的数据进行统计，得出每一项的异常帧数，再与预设阈值进行比较判断设备该诊断项是否异常。

具体流程如下：

1)取一段视频流(流媒体)；

2)从流媒体中取出一帧，计算要求的诊断项数据是否在规定的阈值内，如是则此帧内此项诊断合格，此诊断项合格帧数计数加1。如否，则此帧内此项诊断异常。此诊断项异常帧数计数加1；

3)如此连续重复取下一帧，依次对每个诊断项进行诊断，得出每个诊断项的合格帧数和异常帧数。

4)处理完规定的帧数后，进行每个诊断项异常帧数的统计。

5)对异常帧数超过阈值的设备进行告警。

于本实施例中，所述基于多帧的视频质量诊断方法还包括：根据检测结果生成视频质量诊断报告；其中，所述视频质量诊断包括诊断项目名称、每一诊断项目对应的预设诊断阈值、视频帧总帧数、不合格视频帧数、异常率以及视频设备状态。

由上可见，本实施例的基于多帧的视频质量诊断方法根据用户要求，采用轮巡的方式，依次从视频输出设备中获取一定时长的实时码流(视频流)，进行解码分析，进而判断视频图像中是否存在质量故障问题，对视频图像中存在的质量问题进行智能分析、判断和预警，在短时间内对大量的视频输出设备进行检测，诊断的结果会保存在指定的数据库中。用户可以通过智能移动终端，例如手机查看所有的诊断结果，生成所需的报表，及时提供给运维单位，以尽快对故障设备进行检修。

本实施例的基于多帧的视频质量诊断方法对既有安防系统进行运营维护，及时掌握每个摄像机的工作情况；及时提醒修复重点监控区域的损坏摄像机，将风险扼杀在萌芽期。

如图5所示，本实施例还提供一种基于多帧的视频质量诊断装置100，所述基于多帧的视频质量诊断装置100包括：视频流获取模块110，诊断项目检测模块120，数量获取模块130以及判断模块140。

于本实施例中，所述视频流获取模块110用于获取包含连续的多个视频帧的视频流；所述诊断项目检测模块120用于分别检测每一视频帧的诊断项目是否合格；所述数量获取模块130用于获取所述视频流中诊断项目不合格的视频帧的数量；所述判断模块140用于判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。

本实施例的基于多帧的视频质量诊断装置100是与上述基于多帧的视频质量诊断方法对应的虚拟装置，原理与上述基于多帧的视频质量诊断方法的实现原理相同，在此不再赘述基于多帧的视频质量诊断装置100中视频流获取模块110，诊断项目检测模块120，数量获取模块130以及判断模块140的具体原理。

本发明的实施例还提供一种电子设备，所述电子设备为但不限于图像检测设备，图像处理设备等，如图6所示，所述电子设备处理器1101和存储器1102；存储器1102通过系统总线与处理器1101连接并完成相互间的通信，存储器1102用于存储计算机程序，处理器1101用于运行计算机程序，以使所述电子设备执行所述的基于多帧的视频质量诊断方法。上述已经对所述基于多帧的视频质量诊断方法进行了详细说明，在此不再赘述。

于本实施例中，所述电子设备与一输出视频流的视频输出设备相连，并通过轮询的方式获取和检测所述视频流。

所述电子设备通过IP网络与视频服务器(DVS)，网络摄像机(IPC)等连接，采用轮询方式进行视频质量分析，当发现视频质量不正常时给出报警信号，提醒工作人员及时查验和处理。

所述电子设备应用有基于多帧的视频质量诊断方法，是视频质量诊断技术在监控系统维护中的一种应用，包含一套智能化视频故障分析与预警系统，根据用户要求，采用轮巡的方式，依次从前端设备中获取一定时长的实时码流，进行解码分析，进而判断视频图像中是否存在质量故障问题，对视频图像中存在的质量问题进行智能分析、判断和预警，在短时间内对大量的前端设备进行检测，诊断的结果会保存在指定的数据库中。用户可以通过与所述电子设备连接的客户端查看所有的诊断结果，生成所需的报表，及时提供给运维单位，以尽快对故障设备进行检修。

应用有基于多帧的视频质量诊断方法的电子设备可以对既有安防系统进行运营维护，及时掌握每个摄像机的工作情况；及时提醒修复重点监控区域的损坏摄像机，将风险扼杀在萌芽期。

本发明的实施例还提供一种计算机可读存储介质，所述存储介质例如为存储器，存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，消息，图片等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，高速随机存取存储器，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。所述存储器存储有程序指令，所述程序指令被执行时实现如上所述的基于多帧的视频质量诊断方法。上述已经对所述的基于多帧的视频质量诊断方法进行了详细说明，在此不再赘述。

所述的基于多帧的视频质量诊断方法可应用于多种类型的电子设备。所述电子设备例如是控制器，具体如ARM(Advanced RISC Machines)控制器、FPGA(FieldProgrammable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital SignalProcessing)控制器、或者MCU(Micorcontroller Unit)控制器等等。所述电子设备例如也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。

于实际的实现方式中，所述电子设备例如为安装Android操作系统或者iOS操作系统，或者Palm OS、Symbian(塞班)、或者Black Berry(黑莓)OS、Windows Phone等操作系统的电子设备。

在示例性实施例中，所述电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述基于多帧的视频质量诊断方法。

另需说明的是，上述提到的系统总线可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器1101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图7所示为某一个故障摄像头的诊断，从图7中，可以看出共诊断了400帧，每一帧都诊断10个项目。其中对比度异常、亮度异常遮挡异常非常明显。电子设备提醒用户进行设备检修。

图8所示为某一个正常摄像头的诊断。从图8可以看出系统取得流媒体后共诊断了400帧，每一帧都诊断10个项目。其中画面模糊、偏色也有异常，但这个因为是环境因素问题，通过阈值可以容忍有部分帧异常存在。给用户的报告，设备正常运转状态。但如果用传统的诊断方法，这个很有可能是异常误报。

由上可见，基于多帧视频质量诊断方法可以最大可能地避免随机故障的报告，可以保证详尽的监控异常报告，事后查看时有充足的视频流和分析数据，并且在设备修复之后有充足而可靠的数据对比和证据提供。

综上所述，本发明通过提取一定数量的连续的视频帧，依次对每一帧进行质量诊断，得出每一检测项的数值，通过和预设阈值进行比对得出该诊断项是否异常，最后对所有诊断帧的数据进行统计，得出每一项的异常帧数，再与预设阈值进行比较判断设备该诊断项是否异常，有效解决现有技术中视频质量诊断容易出现误报、漏报的问题，可以最大可能地避免随机故障，以保证详尽的监控异常报告，事后查看时有充足的视频流和分析数据。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于多帧的视频质量诊断方法，其特征在于，所述基于多帧的视频质量诊断方法包括：

获取包含连续的多个视频帧的视频流；

分别检测每一视频帧的诊断项目是否合格；

获取所述视频流中诊断项目不合格的视频帧的数量；

判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。

2.根据权利要求1所述的基于多帧的视频质量诊断方法，其特征在于，所述检测每一视频帧的诊断项目是否合格包括：

获取一个视频帧；

选取诊断项目并检测所述视频帧在选取的所述诊断项目下是否合格，若是，则该诊断项目的不合格视频帧的数量加一，若否，则该诊断项目的合格视频帧的数量加一；

判断是否进行完所有诊断项目，若是，则进行下一个视频帧的检测；若否，则继续进行所述视频帧下一个诊断项目的检测。

3.根据权利要求2所述的基于多帧的视频质量诊断方法，其特征在于，所述获取所述视频流中诊断项目不合格的视频帧的数量包括：

分别获取各所述诊断项目对应的不合格视频帧的数量。

4.根据权利要求1所述的基于多帧的视频质量诊断方法，其特征在于，所述判断不合格的视频帧的数量是否大于预设诊断阈值包括：

分别判断各所述诊断项目对应的不合格的视频帧的数量是否大于预设诊断阈值，若有任一诊断项目对应的不合格的视频帧的数量大于预设诊断阈值，则确定所述视频流对应的视频设备异常，若所有诊断项目对应的不合格的视频帧的数量均小于预设诊断阈值，则确定所述视频流对应的视频设备正常。

5.根据权利要求1至4任一权利要求所述的基于多帧的视频质量诊断方法，其特征在于，所述诊断项目包括遮挡检测、对比度异常检测、偏色检测、亮度异常检测、画面冻结检测、雪花检测、抖动异常检测、条纹检测、画面模糊检测、无信号检测中的多种组合。

6.根据权利要求1至4任一权利要求所述的基于多帧的视频质量诊断方法，其特征在于，每一个所述诊断项目对应一个预设诊断阈值。

7.根据权利要求1至4任一权利要求所述的基于多帧的视频质量诊断方法，其特征在于，所述基于多帧的视频质量诊断方法还包括：

根据检测结果生成视频质量诊断报告；

其中，所述视频质量诊断包括诊断项目名称、每一诊断项目对应的预设诊断阈值、视频帧总帧数、不合格视频帧数、异常率以及视频设备状态。

8.一种基于多帧的视频质量诊断装置，其特征在于，所述基于多帧的视频质量诊断装置包括：

视频流获取模块，用于获取包含连续的多个视频帧的视频流；

诊断项目检测模块，用于分别检测每一视频帧的诊断项目是否合格；

数量获取模块，用于获取所述视频流中诊断项目不合格的视频帧的数量；

判断模块，用于判断不合格的视频帧的数量是否大于预设诊断阈值，若是，则确定所述视频流对应的视频设备异常，若否，则确定所述视频流对应的视频设备正常。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如权利要求1至权利要求7任一权利要求所述的基于多帧的视频质量诊断方法。

10.根据权利要求9所述的电子设备，其特征在于，所述电子设备与一输出视频流的视频输出设备相连，并通过轮询的方式获取和检测所述视频流。

Images