CN116634178B - 一种极低码率的安防场景监控视频编解码方法及系统 - Google Patents

Abstract

本申请实施例公开了一种极低码率的安防场景监控视频编解码方法及系统，可以极大地降低对安防场景监控视频的传输码率。该极低码率的安防场景监控视频编码方法包括：获取安防场景监控视频中的第一非关键帧；对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息；将所述第一语义信息编码传输至接收端，以使所述接收端根据所述第一语义信息、以及所述安防场景监控视频的关键帧的背景图，重建所述第一非关键帧。

Description

一种极低码率的安防场景监控视频编解码方法及系统

技术领域

本申请涉及视频编解码技术领域，特别是涉及一种极低码率的安防场景监控视频编解码方法及系统。

背景技术

安防场景监控视频采用传统的H264和H265的编码方式，虽然压缩效率在不断提高，但是要成倍提升仍然是很大的难题。传统视频压缩技术（即对视频帧整体进行压缩的方案）正遭遇编码复杂度大幅增加而码率降低缓慢的边际效应。

发明内容

本申请实施例的目的是提供一种极低码率的安防场景监控视频编解码方法及系统，可以极大降低对安防场景监控视频的传输码率。

为解决上述技术问题，第一方面，本申请实施例提供一种极低码率的安防场景监控视频编码方法，应用于发送端，所述方法包括：

获取安防场景监控视频中的第一非关键帧；

对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；

对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息；

将所述第一语义信息编码传输至接收端，以使所述接收端根据所述第一语义信息、以及所述安防场景监控视频的关键帧的背景图，重建所述第一非关键帧。

第二方面，本申请实施例提供一种极低码率的安防场景监控视频解码方法，应用于接收端，所述方法包括：

解码发送端传输的第一编码数据，得到第一目标物体所对应的第一语义信息，所述第一目标物体为安防场景监控视频中的第一非关键帧所包含的目标物体，所述第一语义信息是所述发送端对所述第一非关键帧的前景图进行语义信息提取而得到的；

根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像；

将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧。

第三方面，本申请实施例还提供了一种极低码率的安防场景监控视频编解码系统，所述系统包括发送端和接收端，其中：

所述发送端，用于获取安防场景监控视频中的第一非关键帧；

所述发送端，还用于对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；

所述发送端，还用于对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息；

所述发送端，还用于将所述第一语义信息编码传输至接收端；

所述接收端，用于解码所述发送端传输的第一编码数据，得到所述第一目标物体所对应的第一语义信息；

所述接收端，还用于根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像；

所述接收端，还用于将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧。

由上述技术方案可以看出，对于安防场景监控视频中占据绝大多数的非关键帧，发送端仅需要向接收端编码传输非关键帧所包含目标物体的语义信息，接收端即可根据关键帧的背景图和该语义信息完成对该非关键帧的重建，可以减少发送端所需传输的非关键帧的图像内容，从而极大地降低对安防场景监控视频的传输码率。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种极低码率的安防场景监控视频编码方法的实施流程图；

图2为本申请实施例提供的一种极低码率的安防场景监控视频编解码方案的实现过程的示意图；

图3为本申请实施例提供的前背景分离的实现过程的示意图；

图4为本申请实施例提供的语义信息提取的实现过程的示意图；

图5为本申请实施例提供的重建素描图的实现过程的示意图；

图6为本申请实施例提供的潜在扩散模型整体框架的示意图；

图7为本申请实施例提供的前背景融合的实现过程的示意图；

图8为本申请实施例提供的一种极低码率的安防场景监控视频解码方法的实施流程图；

图9为本申请实施例提供的一种极低码率的安防场景监控视频编解码系统的结构示意图；

图10为本申请实施例提供的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

安防场景监控视频主要采用传统的H264和H265的编码方式，虽然压缩效率在不断提高，但是要成倍提升仍然是很大的难题。传统视频压缩技术正遭遇编码复杂度大幅增加而码率降低缓慢的边际效应。

相关技术中，主要采用对视频帧整体进行压缩的方案，如编码端（即发送端）使用基于生成式对抗网络（GAN，Generative Adversarial Networks）的视频压缩模型对视频帧整体进行分辨率压缩以形成压缩视频流，解码端（即接收端）将该压缩视频流解压为原始分辨率，从而达到降低传输码率的目的。

然而，上述基于GAN压缩视频分辨率的方法，由于进行编码传输的处理对象为视频中的每一帧图像，其包含大量冗余信息（如背景和目标中不关注的部分），以致传输的码率还是较高，且由于视频的复杂性较高，使用GAN网络生成视频也会存在信息丢失的情况。

针对上述相关技术中存在的问题，本申请为安防场景监控视频的编解码过程提供了针对目标物体的前后景分离方法、目标物体语义信息提取和目标图像精准重建方法、以及目标物体和背景的融合方法，可以实现以极低码率传输安防场景监控视频，并能够保证视频传输的质量。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的一种极低码率的安防场景监控视频编解码方法及系统进行详细地说明。

第一方面，参见图1所示，为本申请实施例所提供的一种极低码率的安防场景监控视频编码方法的实施流程图，该极低码率的安防场景监控视频编码方法应用于发送端，该方法可以包括以下步骤：

步骤S101：获取安防场景监控视频中的第一非关键帧。

在具体实施时，发送端可以是用于拍摄监控视频的摄像头，该摄像头可以将采集到的当前时刻下的包含至少一个目标物体的非关键帧作为第一非关键帧，该目标物体可以是用户指定的特定目标对象，如用户指定的特定车辆、特定人物等，也可以是特定类型的目标对象，如属于人、车或家畜等类型的目标对象。

步骤S102：对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图。

其中，所述第一目标物体为所述第一非关键帧所包含的目标物体。

在具体实施时，发送端可以针对第一非关键帧所包含的每个目标物体分别分离出对应的前景，从而将安防场景中用户主要关注（即感兴趣）的各个目标物体分别从第一非关键帧中分离出来，以避免用户较少关注的背景部分参与后续的编码传输过程，从而实现对传输码率的降低。

步骤S103：对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息。

可以理解的是，利用语义信息提取技术能够从第一前景图中提取目标物体中用户更加关注的部分（如车的轮廓、颜色、类型、车牌号等）以进行编码传输，从而进一步减少编码传输过程中的冗余信息传输。

作为一种可能的实施方式，发送端还可以根据所述第一语义信息，建立所述第一非关键帧所对应的视频内容索引，以便对各非关键帧进行分类和检索。

步骤S104：将所述第一语义信息编码传输至接收端，以使所述接收端根据所述第一语义信息、以及所述安防场景监控视频的关键帧的背景图，重建所述第一非关键帧。

在具体实施时，发送端可以将关键帧（如I帧）的背景图或全部图像内容预先编码传输至接收端进行存储，接收端根据该第一语义信息重建第一目标物体所对应的第一前景图之后，即可根据该重建的第一前景图和自身存储的关键帧的背景图，实现对该第一非关键帧的重建。

可以理解的是，考虑到在安防场景下，用户主要关注监控视频中目标物体所在的前景图内容（如人、车等），对于背景图内容的关注较少，且背景图内容随时间的变化通常不会太大，故可以将关键帧的背景图作为非关键帧的背景图以参与对非关键帧的重建。此时发送端对于安防场景监控视频中占据了绝大多数视频帧数量的非关键帧，可以仅传输目标物体对应的语义信息，而无需传输非关键帧的完整图像内容，从而极大地减少了发送端对安防场景监控视频所需传输的图像内容，进而达到极低码率传输监控视频的目的。

作为一种可能的实施方式，在外部条件发生显著变化的情况下，更新所述安防场景监控视频的关键帧。

在具体实施时，考虑到发送端需要对安防场景监控视频的视频帧中的特定目标进行前背景分离，由接收端基于关键帧的背景图进行视频重建。由于连续帧的实际背景图所出现的细微变化（如树枝发生摇晃）通常不是用户所关注的内容，为降低背景图的传输次数，发送端可以在检测到外部条件发生显著变化（如白天黑夜交替）的时候才更新关键帧，并将该更新后的关键帧的背景图传输至发送端，以供发送端根据该背景图进行后续视频帧的重建。可以理解的是，外部条件是否发生显著变化可以根据亮度、不同视频帧的背景图之间的相似度等信息进行判定，其主要用于衡量当前关键帧的背景图与非关键帧的真实背景图之间的差别是否过大。

可选地，发送端可以在所述安防场景监控视频中存在亮度变化值大于设定阈值的目标非关键帧的情况下，将所述目标非关键帧确定为所述安防场景监控视频的新的关键帧。

例如，发送端可以在当前帧与上一帧之间的亮度差值（即亮度变化值）大于设定阈值，和/或，当前帧与关键帧之间的亮度差值大于设定阈值的情况下，将当前帧确定为新的关键帧。

由上述技术方案可以看出，对于安防场景监控视频中占据绝大多数的非关键帧，发送端仅需要向接收端编码传输非关键帧所包含目标物体的语义信息，接收端即可根据关键帧的背景图和该语义信息完成对该非关键帧的重建，可以减少发送端所需传输的非关键帧的图像内容，从而极大地降低对安防场景监控视频的传输码率。

以下结合图2，对上述技术方案作进一步说明。如图2所示，本申请提供了一种极低码率的安防场景监控视频编解码方案的实现过程，包括以下步骤：

（1）发送端（如摄像头）对原始监控视频（即安防场景监控视频）的关键帧进行前背景分离得到背景图和前景图，对原始监控视频中的非关键帧进行前背景分离得到前景图。

在具体实施时，发送端可以设置前背景分离模块以实现安防场景监控视频中针对目标物体的前背景分离功能，该前背景分离模块用于对输入的非关键帧（如第一非关键帧）进行前背景分离，并输出第一目标物体（即非关键帧所包含目标物体）所在的第一前景图，以及，用于对输入的关键帧进行前背景分离，并输出关键帧的背景图和第二目标物体（即关键帧所包含目标物体）所在的第二前景图。

示例性地，如图3所示，该前背景分离模块的实现方法包括：先根据图形学理论将t时刻下的视频帧I _t（如关键帧）所包含的目标物体（如车）的3D拓扑结构分解成np个部分；然后使用DensePose-RCNN网络（其包含分类和回归两个任务）先计算该视频帧I _t的像素i属于哪个部分，再计算出该像素i的UV坐标值以得到UV图；将视频帧I _t根据UV图分解成N（N=n+1）层，其包含n层前景（代表n个目标物体）和1层背景，对每层的UV图所对应的神经纹理进行采样和双线性插值，将得到的数据（如背景神经纹理T⁰和第i层的前景神经纹理Tⁱ）输入至神经渲染网络，得到神经渲染网络输出的背景层和各个前景层的RGBA 4通道图片，如图3中所示的背景层的背景图和第i层前景/>（即第i个目标物体所对应）的前景图。可以理解的是，该前背景分离模块能够分离出多个目标物体各自对应的前景图。

（2）发送端对关键帧的前景图进行语义信息提取，将关键帧的背景图和语义信息编码传输至接收端（如监控室电脑），以使接收端根据关键帧的语义信息（即第二语义信息）和背景图，重建该关键帧，以及，发送端对非关键帧的前景图进行语义信息提取，仅将非关键帧的语义信息编码传输至接收端，以使接收端根据非关键帧的语义信息（即第一语义信息）和关键帧的背景图，重建该非关键帧。

在具体实施时，发送端可以设置语义提取模块以实现对安防场景监控视频中视频帧的前景图的语义信息提取功能，如该语义提取模块可以用于对上述第一前景图进行语义信息提取，以得到第一目标物体所对应的第一语义信息，以及，用于对上述第二前景图进行语义信息提取，以得到第二目标物体所对应的第二语义信息。

作为一种可能的实施方式，该语义提取模块用于对视频帧（如关键帧或非关键帧）提取该视频帧所包含的各个目标物体各自对应的素描图（用于表征目标物体的轮廓信息）和属性信息等语义信息，并将提取出的各个素描图和各个属性信息等语义信息编码传输至接收端。

示例性地，如图4所示，该语义提取模块对分离出的前景图进行语义信息提取，利用U-NET模型提取目标物体的素描图（即前景图/>中车的轮廓图/>），以及对连续帧（如相邻两帧）的前景图使用3D卷积获取该目标物体的属性信息（如目标物体的颜色和类别等），然后将上述提取的语义信息发送到生成端进行图像重建。

在一个实施例中，每个素描图通过以下步骤编码传输至所述接收端：

基于连续帧的运动估计，确定所述素描图所关联的素描图变换矩阵和第一残差，所述第一残差为：所述素描图与所述素描图所关联的预测素描图之间的残差；

将所述素描图变换矩阵和所述第一残差编码传输至所述接收端，以使所述接收端根据所述第一残差、所述素描图变换矩阵、以及所述素描图所关联的上一帧素描图，重建所述素描图。

在具体实施时，如图5所示，发送端利用连续帧（如t+1时刻的视频帧I_t+1和t时刻的视频帧I_t）的运动估计得到素描图变换矩阵，根据该素描图变换矩阵、以及对视频帧I_t进行语义提取所得到的t时刻的素描图表征（即素描图）S_t，确定当前时刻（即t+1时刻）的预测素描图，计算对视频帧I_t+1进行语义提取所得到的当前素描图S_t+1和预测素描图/>之间的残差（即第一残差），将该第一残差和该素描图变换矩阵发送到生成端。接收端随后可根据该第一残差、上一帧素描图（t时刻关联的素描图）、以及素描图变换矩阵，重建当前帧（即视频帧I_t+1）的素描图。相对于传输整张素描图，发送端仅传输素描图重建所需的变换矩阵和残差，能够节约码率且有利于达到以极低码流传输视频的目的。

可以理解的是，接收端重建素描图所使用的上一帧素描图（即t时刻的素描图），可以是发送端预先发送的素描图（即素描图S_t），也可以是接收端基于t-1时刻的素描图所重建得到的素描图（即重建素描图）。例如，发送端可以将安防场景监控视频的首帧或I帧的素描图发送至接收端，以便接收端迭代地进行后续视频帧的素描图重建。

在一个实施例中，发送端还可以将所述关键帧的背景图、所述第一目标物体中各个目标物体各自对应的属性信息、所述第一目标物体中各个目标物体各自对应的第一残差、以及所述第一目标物体中各个目标物体各自对应的素描图变换矩阵作为所述第一非关键帧所关联的视频信息进行存储，以节省视频存储占用。

在一个实施例中，发送端还可以不针对所述安防场景监控视频中未包含目标物体的非关键帧进行编码传输，以使所述发送端根据所述关键帧的背景图，直接重建所述未包含目标物体的非关键帧，从而进一步减少发送端所需传输的图像内容。

（3）接收端根据发送端传输的语义信息，通过重建模型重建用于表征目标物体的目标图像（如非关键帧对应的第一目标图像或关键帧对应的第二目标图像）。

在具体实施时，接收端可以设置目标图像重建模块以实现对用于表征各个目标物体的各个目标图像的重建功能（即对各个目标物体各自对应的前景图的重建功能）。目标图像重建模块在获取到多模态语义信息后，可以使用稳定扩散（Stable diffuion）模型等重建模型进行目标重建。

其中，Stable diffusion模型是一个基于潜在扩散模型（LDMs，Latent DiffusionModels）的文图生成（text-to-image）模型。潜在扩散模型整体框架如图6所示，首先使用安防场景监控视频制作数据集训练好一个自编码模型（AutoEncoder，包括一个编码器和一个解码器/>），然后就可以利用编码器对图片x（如素描图）进行压缩，然后在潜在表示空间上做扩散（diffusion）操作，再用解码器恢复到原始像素空间即可得到目标图像/>。

ControlNet是Stable diffusion模型的扩展，能够轻松地控制Stable Diffusion模型生成的图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。可以使用CongtrolNet插件控制Stable diffusion模型根据素描图（作为输入图像x）和属性信息（作为条件约束以控制目标物体的细节特征）生成精确的目标图像，从而达到恢复原始安防场景监控视频的目的。

（4）接收端将安防场景监控视频的关键帧的背景图和得到的目标图像（如第一目标图像或第二目标图像）进行前背景融合，输出重建视频。

在具体实施时，接收端可以设置前背景分离模块以实现针对背景图片和目标图像的前背景融合功能。如图7所示，前背景融合模块在获取到重建的目标图像（如t时刻第i个目标物体的目标图像）和背景图/>后进行前背景融合。

可以理解的是，在视频帧包含多个目标物体时，前背景融合模块需要对该多个目标物体各自对应的目标图像、以及背景图进行前背景融合以得到重建视频帧，此时该重建的视频帧，其中，/>，/>是t时刻视频帧的第i层（第i个目标图像），/>为背景图，/>是层与层叠加的顺序，N为目标图像的层数。该前背景融合模块能够叠加不同层的目标物体，并与背景图像进行融合。

基于上述实施例，本申请采用Stable diffusion模型，结合目标图像的素描图和属性信息等语义信息能够精准控制目标图像生成。针对安防场景监控视频的目标物体（人、车、家畜等），发送端能够很容易地通过素描图和属性信息表征其语义信息，接收端使用包含目标物体的数据集训练得到的扩散模型，能够根据素描图准确生成对应的目标物体，以及使用属性信息精准控制目标图像的属性；本申请传输监控视频所需的码率极低，对于占据绝大多数的非关键帧，仅需要传输素描图残差、素描图变换矩阵和属性信息（如颜色）即可，当视频帧中未出现任何目标图像时，甚至不用传输任何信息，接收端仅显示背景图片即可；本申请的视频存储占用很小，对于占据绝大多数的非关键帧，仅需要存储素描图残差、素描图变换矩阵和属性信息（如颜色），以及关键帧分离的背景图片；本申请在视频传输过程中所使用的语义信息还可用于建立视频内容索引，即发送端和接收端皆可基于得到的语义信息实现视频的分类和检索，如根据视频内容索引，接收端可以很方便地找到红色车辆所在的各视频帧。

第二方面，参见图8所示，本申请实施例提供了一种极低码率的安防场景监控视频解码方法的实施流程图，该极低码率的安防场景监控视频解码方法应用于接收端，该方法可以包括以下步骤：

步骤S201：解码发送端传输的第一编码数据，得到第一目标物体所对应的第一语义信息。

其中，所述第一目标物体为安防场景监控视频中的第一非关键帧所包含的目标物体，所述第一语义信息是所述发送端对所述第一非关键帧的前景图进行语义信息提取而得到的。

步骤S202：根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像。

步骤S203：将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧。

作为一种可能的实施方式，所述方法还包括：

解码所述发送端传输的第二编码数据，得到所述安防场景监控视频的关键帧的背景图、以及第二目标物体所对应的第二语义信息，所述第二目标物体为所述关键帧所包含的目标物体，所述第二语义信息是所述发送端对所述关键帧的前景图进行语义信息提取而得到的；

根据所述第二语义信息，通过所述重建模型重建用于表征所述第二目标物体的第二目标图像；

将所述第二目标图像和所述关键帧的背景图进行前背景融合，得到所述关键帧所对应的重建视频帧。

作为一种可能的实施方式，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息；

每个所述素描图通过以下步骤得到：

从所述第一编码数据中解码得到所述素描图所关联的素描图变换矩阵和第一残差；

获取所述素描图所关联的上一帧素描图；

根据所述素描图变换矩阵、所述第一残差、以及所述上一帧素描图，重建所述素描图。

作为一种可能的实施方式，获取所述素描图所关联的上一帧素描图，包括：

获取所述第一非关键帧的上一个视频帧所对应的重建素描图；

根据所述上一个视频帧所对应的重建素描图，确定所述素描图所关联的上一帧素描图。

作为一种可能的实施方式，所述方法还包括：

将所述关键帧的背景图、所述第一目标物体中各个目标物体各自对应的属性信息、所述第一目标物体中各个目标物体各自对应的第一残差、以及所述第一目标物体中各个目标物体各自对应的素描图变换矩阵作为所述第一非关键帧所关联的视频信息进行存储。

作为一种可能的实施方式，所述方法还包括：

根据所述关键帧的背景图，直接重建所述安防场景监控视频中未包含目标物体的非关键帧。

作为一种可能的实施方式，所述方法还包括：

根据所述第一语义信息，建立所述第一非关键帧所对应的视频内容索引。

作为一种可能的实施方式，所述重建模型为稳定扩散模型。

由上述技术方案可以看出，对于安防场景监控视频中占据绝大多数的非关键帧，发送端仅需要向接收端编码传输非关键帧所包含目标物体的语义信息，接收端即可根据关键帧的背景图和该语义信息完成对该非关键帧的重建，可以减少发送端所需传输的非关键帧的图像内容，从而极大地降低对安防场景监控视频的传输码率。

第三方面，如图9所示，本申请实施例提供了一种极低码率的安防场景监控视频编解码系统，所述系统包括发送端和接收端，其中：

所述发送端，用于获取安防场景监控视频中的第一非关键帧；

所述发送端，还用于对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；

所述发送端，还用于对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息；

所述发送端，还用于将所述第一语义信息编码传输至接收端；

所述接收端，用于解码所述发送端传输的第一编码数据，得到所述第一目标物体所对应的第一语义信息；

所述接收端，还用于根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像；

所述接收端，还用于将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧。

可选地，所述发送端，还用于获取所述安防场景监控视频的关键帧；

所述发送端，还用于对所述关键帧进行前背景分离，得到所述关键帧的背景图、以及第二目标物体所对应的第二前景图，所述第二目标物体为所述关键帧所包含的目标物体；

所述发送端，还用于对所述第二前景图进行语义信息提取，得到所述第二目标物体所对应的第二语义信息；

所述发送端，还用于将所述第二语义信息和所述关键帧的背景图编码传输至所述接收端；

所述接收端，还用于根据所述第二语义信息和所述关键帧的背景图，重建所述关键帧。

可选地，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息；

所述发送端，还用于将各个所述素描图和各个所述属性信息编码传输至所述接收端。

可选地，所述发送端，还用于基于连续帧的运动估计，确定所述素描图所关联的素描图变换矩阵和第一残差，所述第一残差为：所述素描图与所述素描图所关联的预测素描图之间的残差；

所述发送端，还用于将所述素描图变换矩阵和所述第一残差编码传输至所述接收端；

所述接收端，还用于根据所述第一残差、所述素描图变换矩阵、以及所述素描图所关联的上一帧素描图，重建所述素描图。

可选地，所述发送端，还用于将所述关键帧的背景图、所述第一目标物体中各个目标物体各自对应的属性信息、所述第一目标物体中各个目标物体各自对应的第一残差、以及所述第一目标物体中各个目标物体各自对应的素描图变换矩阵作为所述第一非关键帧所关联的视频信息进行存储。

可选地，所述发送端，还用于在外部条件发生显著变化的情况下，更新所述安防场景监控视频的关键帧。

可选地，所述发送端，还用于在所述安防场景监控视频中存在亮度变化值大于设定阈值的目标非关键帧的情况下，将所述目标非关键帧确定为所述安防场景监控视频的新的关键帧。

可选地，所述发送端，还用于根据所述第一语义信息，建立所述第一非关键帧所对应的视频内容索引。

可选地，所述发送端，还用于不针对所述安防场景监控视频中未包含目标物体的非关键帧进行编码传输；

所述发送端，还用于根据所述关键帧的背景图，直接重建所述未包含目标物体的非关键帧。

可选地，所述接收端，还用于根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像；

所述接收端，还用于将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧。

可选地，所述接收端，还用于根据所述第二语义信息，通过所述重建模型重建用于表征所述第二目标物体的第二目标图像；

所述接收端，还用于将所述第二目标图像和所述关键帧的背景图进行前背景融合，得到所述关键帧所对应的重建视频帧。

可选地，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息；

所述接收端，还用于从所述第一编码数据中解码得到所述素描图所关联的素描图变换矩阵和第一残差；

所述接收端，还用于获取所述素描图所关联的上一帧素描图；

所述接收端，还用于根据所述素描图变换矩阵、所述第一残差、以及所述上一帧素描图，重建所述素描图。

可选地，所述接收端，还用于获取所述第一非关键帧的上一个视频帧所对应的重建素描图；

所述接收端，还用于根据所述上一个视频帧所对应的重建素描图，确定所述素描图所关联的上一帧素描图。

可选地，所述接收端，还用于将所述关键帧的背景图、所述第一目标物体中各个目标物体各自对应的属性信息、所述第一目标物体中各个目标物体各自对应的第一残差、以及所述第一目标物体中各个目标物体各自对应的素描图变换矩阵作为所述第一非关键帧所关联的视频信息进行存储。

可选地，所述接收端，还用于根据所述第一语义信息，建立所述第一非关键帧所对应的视频内容索引。

可选地，所述重建模型为稳定扩散模型。

由上述技术方案可以看出，对于安防场景监控视频中占据绝大多数的非关键帧，发送端仅需要向接收端编码传输非关键帧所包含目标物体的语义信息，接收端即可根据关键帧的背景图和该语义信息完成对该非关键帧的重建，可以减少发送端所需传输的非关键帧的图像内容，从而极大地降低对安防场景监控视频的传输码率。

本申请实施例还提供了一种电子设备，参照图10，图10是本申请实施例提出的电子设备的示意图。如图10所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有计算机程序，该计算机程序可在处理器120上运行，进而实现本申请实施例公开的极低码率的安防场景监控视频编码方法或实现本申请实施例公开的极低码率的安防场景监控视频解码方法中的步骤。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述极低码率的安防场景监控视频编码方法或实现如本申请实施例公开的所述极低码率的安防场景监控视频解码方法。

本申请实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述极低码率的安防场景监控视频编码方法或实现如本申请实施例公开的所述极低码率的安防场景监控视频解码方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、系统、设备、存储介质及程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种极低码率的安防场景监控视频编解码方法及系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种极低码率的安防场景监控视频编码方法，其特征在于，应用于发送端，所述方法包括：

获取安防场景监控视频中的第一非关键帧；

对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；

对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息，所述属性信息是文本形式的，所述素描图是图片形式的，所述素描图为所述目标物体的轮廓图，所述属性信息包括所述目标物体的颜色信息和类别信息中的至少一项；

将所述第一语义信息编码传输至接收端，以使所述接收端以所述各个目标物体各自对应的素描图为输入图像，以所述各个目标物体各自对应的属性信息为条件约束，通过稳定扩散模型重建用于表征所述各个目标物体的各个目标图像，根据所述关键帧的背景图和所述各个目标图像，重建所述第一非关键帧；

所述方法还包括：

获取所述安防场景监控视频的关键帧；

对所述关键帧进行前背景分离，得到所述关键帧的背景图、以及第二目标物体所对应的第二前景图，所述第二目标物体为所述关键帧所包含的目标物体；

对所述第二前景图进行语义信息提取，得到所述第二目标物体所对应的第二语义信息；

将所述第二语义信息和所述关键帧的背景图编码传输至所述接收端，以使所述接收端根据所述第二语义信息和所述关键帧的背景图，重建所述关键帧；

在外部条件发生显著变化的情况下，更新所述安防场景监控视频的关键帧，并将更新后的所述关键帧的背景图编码传输至所述接收端，以使所述接收端根据更新后的所述关键帧的背景图，重建更新后的所述关键帧之后的非关键帧；

其中，所述条件约束用于控制基于所述输入图像所重建的目标物体的细节特征，所述稳定扩散模型是基于包含所述各个目标物体的数据集训练得到的，所述第一非关键帧为所述安防场景监控视频的关键帧之后的任意非关键帧，所述外部条件发生显著变化用于表征更新前的所述关键帧的背景图与更新前的所述关键帧之后的非关键帧的背景图出现过大差别。

2.根据权利要求1所述的方法，其特征在于，每个所述素描图通过以下步骤编码传输至所述接收端：

基于连续帧的运动估计，确定所述素描图所关联的素描图变换矩阵和第一残差，所述第一残差为：所述素描图与所述素描图所关联的预测素描图之间的残差；

将所述素描图变换矩阵和所述第一残差编码传输至所述接收端，以使所述接收端根据所述第一残差、所述素描图变换矩阵、以及所述素描图所关联的上一帧素描图，重建所述素描图。

3.根据权利要求1所述的方法，其特征在于，在外部条件发生显著变化的情况下，更新所述安防场景监控视频的关键帧，包括：

在所述安防场景监控视频中存在亮度变化值大于设定阈值的目标非关键帧的情况下，将所述目标非关键帧确定为所述安防场景监控视频的新的关键帧。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

不针对所述安防场景监控视频中未包含目标物体的非关键帧进行编码传输，以使所述发送端根据所述关键帧的背景图，直接重建所述未包含目标物体的非关键帧。

5.一种极低码率的安防场景监控视频解码方法，其特征在于，应用于接收端，所述方法包括：

解码发送端传输的第一编码数据，得到第一目标物体所对应的第一语义信息，所述第一目标物体为安防场景监控视频中的第一非关键帧所包含的目标物体，所述第一语义信息是所述发送端对所述第一非关键帧的前景图进行语义信息提取而得到的，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息，所述属性信息是文本形式的，所述素描图是图片形式的，所述素描图为所述目标物体的轮廓图，所述属性信息包括所述目标物体的颜色信息和类别信息中的至少一项；

根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像；

将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧；

所述第一目标图像包括用于表征所述各个目标物体的各个目标图像，所述重建模型为基于包含所述各个目标物体的数据集训练得到的稳定扩散模型；所述根据所述第一语义信息，通过重建模型重建用于表征所述第一目标物体的第一目标图像，包括：

以所述各个目标物体各自对应的素描图为输入图像，以所述各个目标物体各自对应的属性信息为条件约束，通过稳定扩散模型重建用于表征所述各个目标物体的各个目标图像，所述条件约束用于控制基于所述输入图像所重建的目标物体的细节特征；

所述方法还包括：

解码所述发送端传输的第二编码数据，得到所述安防场景监控视频的关键帧的背景图、以及第二目标物体所对应的第二语义信息，所述第二目标物体为所述关键帧所包含的目标物体，所述第二语义信息是所述发送端对所述关键帧的前景图进行语义信息提取而得到的；

根据所述第二语义信息，通过所述重建模型重建用于表征所述第二目标物体的第二目标图像；

将所述第二目标图像和所述关键帧的背景图进行前背景融合，得到所述关键帧所对应的重建视频帧；

在接收到所述发送端编码传输的更新后的所述关键帧的背景图的情况下，根据更新后的所述关键帧的背景图，重建更新后的所述关键帧之后的非关键帧；

其中，更新后的所述关键帧是所述发送端在外部条件发生显著变化的情况下更新所述安防场景监控视频的关键帧而得到的，所述第一非关键帧为所述安防场景监控视频的关键帧之后的任意非关键帧，所述外部条件发生显著变化用于表征更新前的所述关键帧的背景图与更新前的所述关键帧之后的非关键帧的背景图出现过大差别。

6.根据权利要求5所述的方法，其特征在于，

每个所述素描图通过以下步骤得到：

从所述第一编码数据中解码得到所述素描图所关联的素描图变换矩阵和第一残差；

获取所述素描图所关联的上一帧素描图；

根据所述素描图变换矩阵、所述第一残差、以及所述上一帧素描图，重建所述素描图。

7.根据权利要求6所述的方法，其特征在于，获取所述素描图所关联的上一帧素描图，包括：

获取所述第一非关键帧的上一个视频帧所对应的重建素描图；

根据所述上一个视频帧所对应的重建素描图，确定所述素描图所关联的上一帧素描图。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述关键帧的背景图，直接重建所述安防场景监控视频中未包含目标物体的非关键帧。

9.一种极低码率的安防场景监控视频编解码系统，其特征在于，所述系统包括发送端和接收端，其中：

所述发送端，用于获取安防场景监控视频中的第一非关键帧；

所述发送端，还用于对所述第一非关键帧进行前背景分离，得到第一目标物体所对应的第一前景图，所述第一目标物体为所述第一非关键帧所包含的目标物体；

所述发送端，还用于对所述第一前景图进行语义信息提取，得到所述第一目标物体所对应的第一语义信息，所述第一语义信息包含所述第一目标物体中各个目标物体各自对应的素描图、以及所述第一目标物体中各个目标物体各自对应的属性信息，所述属性信息是文本形式的，所述素描图是图片形式的，所述素描图为所述目标物体的轮廓图，所述属性信息包括所述目标物体的颜色信息和类别信息中的至少一项；

所述发送端，还用于将所述第一语义信息编码传输至接收端；

所述接收端，用于解码所述发送端传输的第一编码数据，得到所述第一目标物体所对应的第一语义信息；

所述接收端，还用于以所述各个目标物体各自对应的素描图为输入图像，以所述各个目标物体各自对应的属性信息为条件约束，通过稳定扩散模型重建用于表征所述各个目标物体的各个目标图像，将所述各个目标图像确定为所述第一目标物体的第一目标图像，所述条件约束用于控制基于所述输入图像所重建的目标物体的细节特征，所述稳定扩散模型是基于包含所述各个目标物体的数据集训练得到的；

所述接收端，还用于将所述安防场景监控视频的关键帧的背景图和所述第一目标图像进行前背景融合，得到所述第一非关键帧所对应的重建视频帧；

所述接收端，还用于解码所述发送端传输的第二编码数据，得到所述安防场景监控视频的关键帧的背景图、以及第二目标物体所对应的第二语义信息，所述第二目标物体为所述关键帧所包含的目标物体，所述第二语义信息是所述发送端对所述关键帧的前景图进行语义信息提取而得到的；

所述接收端，还用于根据所述第二语义信息，通过重建模型重建用于表征所述第二目标物体的第二目标图像，将所述第二目标图像和所述关键帧的背景图进行前背景融合，得到所述关键帧所对应的重建视频帧；

所述发送端，还用于在外部条件发生显著变化的情况下，更新所述安防场景监控视频的关键帧，并将更新后的所述关键帧的背景图编码传输至所述接收端；

所述接收端，还用于在接收到所述发送端编码传输的更新后的所述关键帧的背景图的情况下，根据更新后的所述关键帧的背景图，重建更新后的所述关键帧之后的非关键帧；

其中，所述第一非关键帧为所述安防场景监控视频的关键帧之后的任意非关键帧，所述外部条件发生显著变化用于表征更新前的所述关键帧的背景图与更新前的所述关键帧之后的非关键帧的背景图出现过大差别。