CN104301735B - 城市交通监控视频全局编码方法及系统 - Google Patents

Abstract

本发明公开了一种城市交通监控视频全局编码方法及系统，包括步骤：步骤1，将原始监控视频分割成车辆视频和去除车辆的视频；步骤2，采用可选差分编码方式对去除车辆的视频进行编码；步骤3，提取车辆视频中全局运动车辆的全局特征参数集；步骤4，基于全局特征参数对车辆视频进行全局编码。本发明在去除场景冗余的基础上进一步去除了监控视频中的全局冗余，有效提高了城市交通监控视频编码压缩效率。

Description

城市交通监控视频全局编码方法及系统

技术领域

本发明属于城市交通监控视频编码技术领域，尤其涉及一种城市交通监控视频全局编码方法及系统。

背景技术

视频信号压缩编码技术的目标是在保证一定重构质量的前提下，以尽量少的比特数来表征视频信息。传统基于香农信息论的视频编码方法从信号处理层面入手，以像素、块为表示基础，采用变换、预测、熵编码融合的混合编码框架，通过挖掘图像视频信号自身的时空冗余来提高压缩性能。然而目前大多数视频压缩技术都面向非特定的应用，近年来，针对专门应用(例如监控视频)的特点和需求而开发的视频压缩技术成为备受关注的研究方向，例如城市交通环境下的监控视频编码和传输技术。AVS-S2针对监控视频场景长期不变的特点，通过对监控背景和前景进行建模，选择性地使用原始模式和差分模式对各块进行编码，去除了大量存在的“场景冗余”，编码效率是H.264/AVC的两倍，是首个面向视频监控的国际标准。然而AVS-S2无法去除因全局对象运动产生的“全局冗余”，压缩效率提升有限，数据量和存储容量之间的矛盾依然十分突出

监控视频中不同款型的车辆具有视频纹理特性的相似性，同一款型的车辆具有3D对象的同一性，同一台车则具有外观特征的长时稳定性。具有相似、同一、长时稳定性的各类城市运行车辆被遍布城市各地的监控摄像镜头反复捕获，从而产生了大量的城市监控数据冗余。城市监控点设置大多处于欠覆盖状态，车辆和人员移动产生的数据构成了城市监控数据的主要来源。同一台运动车辆在城域海量监控摄像头下被反复摄录产生的视频监控数据冗余称为全局冗余。不同运动对象间存在纹理相似性、同一类语义对象间存在形体一致性、特定对象间存在长时相似性，产生了大量的运动对象全局冗余。传统的视频编码和场景冗余去除技术去除的是局部时空冗余，而监控视频中由于车辆被摄像头重复长时摄录产生的全局冗余为视频压缩效率的进一步提升提供了巨大空间。

发明内容

针对现有技术存在的不足，本发明提供了一种考虑了全局冗余的城市交通监控视频全局编码方法及系统，该方法可进一步提高城市交通监控视频的编码效率。

为解决上述技术问题，本发明采用如下的技术方案：

(一)一种城市交通监控视频全局编码方法，包括步骤：

步骤1，将原始监控视频分割成车辆视频和去除车辆的视频；

步骤2，采用可选差分编码方式对去除车辆的视频进行编码；

步骤3，提取车辆视频中全局运动车辆的全局特征参数集，进一步包括：

S31提取全局运动车辆的2D外观特征；

S32构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精细3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得；

S33采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：

以为代价函数，基于全局运动车辆的纹理信息，获得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典；

获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r_c，以为代价函数，基于差异信息r_c，获得第二层知识字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典；

获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局运动车辆的差异信息r_c,m，以为代价函数，基于差异信息r_c,m，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字典；

上述，D₁表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类型编号；y_c表示所有类型全局运动车辆纹理信息；a₁表示编码系数；τ为平衡因子，根据实际情况和经验设定，τ越大编码系数越稀疏；表示第二层知识字典，M表示某类全局运动车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a_2,c表示编码系数；表示第三层知识字典，N表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运动车辆下的个体车辆编号；a_3,c,m表示编码系数；

S34将全局运动车辆的2D外观特征与车辆3D模型数据库中模型进行特征匹配，获得全局运动车辆的纹理及模型关键描述参数信息；

S35根据全局运动车辆的2D外观特征提取全局运动车辆位置信息，并结合对应的模型关键描述参数信息中的姿态信息构成全局运动车辆的位置及姿态参数；

S36对全局特征参数集和三级知识字典对应的编码系数进行无损压缩，所述的全局特征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获得的位置及姿态参数构成；

步骤4，基于全局特征参数对车辆视频进行全局编码。

步骤1中采用背景建模和车辆检测技术将原始监控视频分割成车辆视频和去除车辆的视频，具体包括：

S11将原始监控视频图像转换至YUV空间，基于背景差分法建立自动更新的背景模型；

S12利用车辆检测法检测原始监控视频图像中车辆，获得车辆视频图像；

S13将原始监控视频图像减去车辆视频图像，获得包含背景空洞的去除车辆的视频图像；

S14采用背景模型对S13获得的视频图像中背景空洞进行叠加填补，获得去除车辆的视频图像。

步骤2进一步包括子步骤：

S21根据去除车辆的视频图像生成背景图像，经编码后重构背景图像；

S22对去除车辆的视频图像进行全局运动估计，获得全局运动矢量；

S23基于重构背景图像和全局运动矢量，选择性地使用原始编码模式或差分编码模式对各视频块进行编码。

子步骤S32进一步包括：

(1)构建基于网格结构的车辆通用3D模型；

(2)获得车辆精细3D模型；

(3)根据车辆通用3D模型获得3D模型描述参数集；

(4)对3D模型描述参数集中参数进行降维，获得关键描述参数。

子步骤S35进一步包括：

(1)确定全局运动车辆的位置与角度参数ρ＝[x,y,θ]^T，x、y为全局运动车辆中心在世界坐标系的垂直投影坐标，θ为全局运动车辆主运动方向与OX轴的夹角；

(2)通过背景建模提取车辆视频中的运动区域；

(3)利用稀疏光流法获得全局运动车辆的二维运动矢量；

(4)获得全局运动车辆在世界坐标系的主运动方向θ与速度v；

(5)将全局运动车辆匹配的通用3D模型的二维投影与运动区域的大小与形状迭代匹配，得到全局运动车辆在世界坐标系下的位置参数(x,y)。

步骤4进一步包括子步骤：

S41基于全局车辆特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数信息；

S42获取全局运动车辆的光照补偿参数；

S43融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿参数进行无损编码。

(二)一种城市交通监控视频全局编码系统，包括：

(1)视频分割模块，用来将原始监控视频分割成车辆视频和去除车辆的视频；

(2)可选差分编码模块，用来采用可选差分编码方式对去除车辆的视频进行编码；

(3)全局特征参数提取模块，用来提取车辆视频中全局运动车辆的全局特征参数集，本模块进一步包括子模块：

2D外观特征提取模块，用来提取全局运动车辆的2D外观特征；

车辆3D模型数据库构建模块，用来构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精细3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得；

全局车辆纹理字典构建模块，用来采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：

以为代价函数，基于全局运动车辆的纹理信息，获得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典；

获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r_c，以为代价函数，基于差异信息r_c，获得第二层知识字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典；

获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局运动车辆的差异信息r_c,m，以为代价函数，基于差异信息r_c,m，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字典；

上述，D₁表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类型编号；y_c表示所有类型全局运动车辆纹理信息；a₁表示编码系数；τ为平衡因子，根据实际情况和经验设定，τ越大编码系数越稀疏；表示第二层知识字典，M表示某类全局运动车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a_2,c表示编码系数；表示第三层知识字典，N表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运动车辆下的个体车辆编号；a_3,c,m表示编码系数；

纹理及模型关键描述参数信息获取模块，用来将全局运动车辆的2D外观特征与车辆3D模型数据库中模型进行特征匹配，获得全局运动车辆的纹理及模型关键描述参数信息；

位置及姿态参数获取模块，用来根据全局运动车辆的2D外观特征提取全局运动车辆位置信息，并结合对应的模型关键描述参数信息中的姿态信息构成全局运动车辆的位置及姿态参数；

无损压缩模块，用来对全局特征参数集和三级知识字典对应的编码系数进行无损压缩，所述的全局特征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获得的位置及姿态参数构成；

(4)全局编码模块，用来基于全局特征参数对车辆视频进行全局编码。

上述位置及姿态参数获取模块进一步包括：

位置与角度参数确定模块，用来确定全局运动车辆的位置与角度参数ρ＝[x,y,θ]^T，x、y为全局运动车辆中心在世界坐标系的垂直投影坐标，θ为全局运动车辆主运动方向与OX轴的夹角；

运动区域提取模块，用来通过背景建模提取车辆视频中的运动区域；

二维运动矢量获得模块，用来利用稀疏光流法获得全局运动车辆的二维运动矢量；

主运动方向与速度获得模块，用来获得全局运动车辆在世界坐标系的主运动方向θ与速度v；

位置参数获得模块，用来将全局运动车辆匹配的通用3D模型的二维投影与运动区域的大小与形状迭代匹配，得到全局运动车辆在世界坐标系下的位置参数(x,y)。

上述全局编码模块进一步包括：

残差参数信息获得模块，用来基于全局车辆特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数信息；

光照补偿参数获取模块，用来获取全局运动车辆的光照补偿参数；

无损编码模块，用来融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿参数进行无损编码。

本发明基于城市监控视频中全局对象冗余产生的机制，利用监控视频中车辆信息占比较大，车辆结构性强、外观相似、纹理丰富的特点，通过车辆检测技术对原始视频进行分割，生成车辆视频和去除车辆后的视频，采用不同的方式分别进行编码。对于车辆视频通过稀疏编码技术等建立车辆知识字典，提取得到全局特征参数集，由于编码时仅通过对运动车辆的纹理、姿态等特征进行描述，将全局运动车辆的视频数据转变成仅包含少量信息的特征描述数据，有效去除了运动车辆的全局冗余；而对于去除车辆后的视频(包括背景图像和其他运动对象)则采用基于AVS-S2可选差分编码的方式进行编码。本发明在去除场景冗余的基础上进一步去除了监控视频中的全局冗余，有效提高了编码压缩效率。

附图说明

图1是本发明方法的具体流程图；

图2是视频分割的具体流程图；

图3是车辆检测法的具体流程图；

图4是提取全局特征参数的具体流程图；

图5为车辆2D外观特征示意图，其中，图a是车辆的3D模型图，图b是车辆2D模板的采样；

图6是车辆通用3D模型和车辆精细3D模型示意图，其中，图a是车辆通用3D模型，图b是车辆通用3D模型的纹理示意图，图c是车辆精细3D模型示意图；

图7为运动车辆姿态位置与空间角度参数描述示意图；

图8是车辆位置及姿态参数提取示意图；

图9是车辆视频全局编码流程示意图。

具体实施方式

为使本发明目的、技术特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步说明。

城市交通监控视频中监控场景较为固定，车辆信息占比较大，且车辆运动产生大量全局冗余。基于城市交通监控视频的上述特点及车辆结构性强、外观相似、纹理丰富的特点，本发明提供了一种城市交通监控视频全局编码方法及系统对城市交通监控视频进行编码，以去除监控视频中场景冗余和全局冗余。

本发明首先，通过视频分割技术将原始监控视频分成车辆视频和去除车辆的视频。然后，对去除车辆的视频，采用基于AVS-S2的可选差分编码方式去除该视频中的场景冗余。接着，对车辆视频，利用稀疏编码技术创建车辆知识字典，进而生成包括车辆的位置与姿态信息以及纹理与参数信息的全局特征参数集，对全局特征参数进行全局编码；编码时仅通过对运动车辆的纹理、姿态等特征进行描述，将全局运动车辆的视频数据转变成仅包含少量信息的特征描述数据，有效去除了运动车辆的全局冗余，从而进一步提升编码效率。

图1为本发明方法的具体流程图，参照图1，本发明方法具体步骤如下：

步骤1，视频分割：将原始监控视频分割成车辆视频和去除车辆的视频。

视频分割可通过背景建模和车辆检测技术实现，将原始监控视频分成车辆视频和去除车辆的视频两部分。

见图2，本步骤针对视频图像进行，进一步包括子步骤：

S11将原始监控视频图像转换至YUV空间，基于背景差分法建立自动更新的背景模型。

本具体实施中，背景模型的建立采用ViBe方法(视觉背景提取方法)实现，但背景模型的建模方法并不限于ViBe方法。

S12利用车辆检测法检测原始监控视频图像中车辆，并获得车辆视频图像。

本步骤的具体实施流程见图3，包括步骤：

(1)对原始监控视频图像进行高斯滤波，采用背景模型检测运动区域。高斯滤波用来消除图像中高斯噪声，改善图像质量，进一步保证后续视频处理的正确性。

(2)选取训练样本，提取训练样本的SIFT特征(尺度不变特征转换)，并采用Adaboost分类器训练车辆检测器；所述的训练样本为一系列原始监控视频图像。

(3)采用已训练的车辆检测器对运动区域的SIFT特征进行分类，若运动区域中属于车辆的SIFT特征占总SIFT特征的比例大于阈值R，则判断此运动区域为车辆；否则，为非车辆区域。阈值R根据经验设定。

作为优选，在获取运动区域后，还需要去除运动区域的运动阴影。

S13将原始监控视频图像减去车辆视频图像，获得包含背景空洞的去除车辆的视频图像。

S14采用背景模型对S13获得的视频图像中背景空洞进行叠加填补，获得去除车辆的视频图像。

步骤2，采用可选差分编码方式处理去除车辆的视频。

可选差分编码方式是视频编码技术领域的常规技术，即在传统混合编码标准方案(如H.264)基础上，增加基于背景帧的预测编码技术，扩展出背景参考预测和差分预测两种编码预测模式。当待编码模块为背景块，则通过背景参考预测使得残差更小；若待编码块是前背景混合块，则采用差分预测模式，即利用剪除掉背景后的前景部分进行预测；而纯前景块继续采用传统近邻预测模式。原则上，前背景混合块也可以采用传统近邻预测模式或差分预测模式。

本具体实施中，采用基于AVS-S2的可选差分编码方式对去除车辆的视频进行编码。基于AVS-S2的可选差分编码方式针对监控视频场景长期不变的特点，通过对监控背景和前景进行建模，以去除大量存在的“场景冗余”，编码效率是H.264/AVC编码方式的两倍。基于AVS-S2的可选差分编码方式对于各P帧的宏块，除使用现有编码方式外，还可以选择性的使用“最近参考帧与背景图像的差分结果”来对“当前宏块与其对应背景差分结果”进行预测编码。

本步骤针对去除车辆的视频进行编码，进一步包括以下子步骤：

S21背景建模：

使用视频图像建模生成背景图像，经编码后重构背景图像。

S22全局运动估计：

对去除车辆的视频图像进行像素或亚像素精度的全局运动估计，获得全局运动矢量。

S23编码模式选择：

基于重构背景图像和全局运动矢量，选择性地使用原始编码模式或差分编码模式对各视频块进行编码。对背景块通过背景参考预测使得残差更小；对前背景混合块，采用差分预测模式，利用减除掉背景后的前景部分进行预测；对纯前景块则继续采用传统近邻预测模式。

步骤3，提取车辆视频中全局运动车辆的全局特征参数。

见图4，本步骤进一步包括子步骤：

S31基于车辆视频提取全局运动车辆的2D外观特征。

对步骤1获得的车辆视频中各全局运动车辆提取其2D外观特征，具体实施方式如下：对某一款型车辆，预先计算其在不同视点下的2D图像轮廓。例如，对某款轿车，在360度车辆方向范围内将其量化为72段，在90度的仰角范围内将其量化为19段，共给出1368个2D形状模板。图5是车辆2D外观特征示意图。其中，图a为轿车3D模型图；图b为图a中轿车的2D模板的采样，第1～3行分别表示相机仰角为0度、15度和30度时的2D模板，第1～4列分别是车辆方向为0度、30度、90度和120度时的2D模板。

S32车辆3D模型数据库的建立。

建立车辆3D模型数据库时，根据车辆品牌和型号对车辆进行分类。

建立车辆的通用3D模型和精细3D模型，即构成车辆3D模型数据库。车辆3D模型由5个主要部分组成：车身主体及4个车轮，具体采用CAD模型构建，车辆3D模型由网格结构组成，并存储各网格顶点坐标及网格面索引。车窗、车灯等组件由于其可辨识性和可区分性高，在描述车辆特征及区分车辆型号中作用重要，该类组件被称为车辆的关键组件，在车辆通用3D模型和车辆精细3D模型中对关键组件采用不同详细程度的表示。

本步骤的具体实施方式如下：

(1)建立车辆通用3D模型

采用四边形网格表示车辆通用3D模型，见图6(a)，该图为奥迪Q7车型的通用3D模型。四边形网格具有高度概括性，四边形网格边界并不完全与车辆关键组件边界重合，因此，采用附着于模型上的二维封闭线表示车辆关键组件。在图6(a)的纹理示意图上显示所有关键组件的轮廓线，见图6(b)。

(2)获取车辆精细3D模型

各型号车辆出厂前，其基于CAD的精细3D模型就已经存在，可以在相关网站进行下载。精细3D模型中，为提高车辆型号的可辨识性，车辆关键组件不仅采用轮廓线表示，还保留各部件的外观特征。图6(c)展示了包括奥迪Q7车型的精细网格3D模型及其关键组件。

(3)基于通用3D模型参数将车辆通用3D模型与车辆视频中全局运动车辆进行匹配。

基于通用3D模型获得通用3D模型描述参数集，基于描述参数实现车辆通用3D模型与车辆视频中全局运动车辆的匹配，并通过调整通用3D模型描述参数实现车辆通用3D模型与车辆视频中全局运动车辆的最佳适配，车辆通用3D模型与全局运动车辆的匹配属于本技术领域内的常规技术。本具体实施中，通用3D模型描述参数包括车辆的轴距、车头宽度、引擎盖高度等30个参数。

通过车辆通用3D模型与全局运动车辆的匹配，即在视频图像恢复时，将与全局运动车辆匹配的通用3D车辆模型放置于视频中该全局运动车辆对应的真实位置。

(4)通用3D模型描述参数的降维

采用主成分分析法(PCA)对30个通用3D模型描述参数进行降维以获得关键描述参数。参数数目少，计算简单，对噪声与低质的适应度高；但参数数目多，模型对车辆细节表达程度高，以及与实际车辆匹配程度高，所以需要在两者间进行平衡。Leotta通过实验得出：前6个PCA主成分就能较好表达车辆模型，同时有效降低计算量。所以降维后的通用3D模型描述参数，即关键描述参数p＝[p₁,p₂,p₃,p₄,p₅,p₆]^T。

S33全局车辆纹理字典的构建

构建全局车辆纹理字典的作用是，当将与全局运动车辆匹配的通用3D车辆模型放置于视频中对应的真实位置后，可依据全局车辆纹理字典对通用3D车辆模型进行纹理重建。

根据全局车辆提取和识别结果，采用稀疏编码方式对车辆视频中各全局运动车辆构建全局车辆纹理字典，全局车辆纹理字典与车辆3D模型数据库共同构成车辆知识字典。

本步骤首先，构建全局车辆的共性视觉纹理信息知识库；接着，构建各类型车辆的三维结构及纹理个性信息知识字典；最后，构建个体车辆的个性长时更新信息知识字典。编码时仅通过对运动车辆的纹理、姿态等特征进行描述，将全局运动车辆的视频数据转变成仅包含少量信息的特征描述数据，有效去除运动车辆的全局冗余，进一步提升编码效率。

本步骤的三层知识字典构建的具体实施方式如下：

(1)第一层知识字典构建，即所有类型全局运动车辆的共性视觉纹理信息知识字典的构建。

通过稀疏编码方式构建所有类型运动车辆的共性视觉纹理信息知识字典，代价函数如下：

其中，D₁表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆的类型编号；y_c表示全局运动车辆的共性视觉纹理信息，即所有类型全局运动车辆的纹理信息；a₁表示编码系数；τ为平衡因子，根据实际情况和经验设定，τ越大编码系数越稀疏。

代价函数(1)用来计算稀疏度，通过约束项防止过拟合，同时也可以减少编码系数中非0元素。

(2)第二层知识字典构建，即各类型全局运动车辆的三维结构及纹理个性信息知识字典的构建。

通过稀疏编码方式构建各类型全局运动车辆的三维结构及纹理个性信息知识字典，具体为：

首先，提取各类全局运动车辆经第一层知识字典重建后与原始全局运动车辆的差异信息r_c：

其次，针对各类型全局运动车辆分别构建第二层知识字典，代价函数如下：

其中，表示第二层知识字典，M表示某类型全局运动车辆下的个体车辆数量，m表示某类型全局运动车辆下个体车辆编号，a_2,c表示编码系数。

(3)第三层知识字典构建，即个体全局运动车辆的个性长时更新信息知识字典。

通过稀疏编码方式构建个体运动车辆的个性长时更新信息知识字典，具体为：

首先，提取各类全局运动车辆下各个体车辆经第二层知识字典重建后与原始全局运行车辆的差异信息r_c,m：

其次，针对各类型全局运动车辆中个体车辆分别构建第三层知识字典，代价函数如下：

其中，表示第三层知识字典，N表示该类型全局运动对象下的个体车辆数量，i表示该类型运动对象下的个体车辆编号；a_3,c,m表示编码系数。

车辆视频编码由基于三层知识字典的全局车辆特征表达来处理。一方面，由于三层知识字典随时间缓慢变化，可以将全局运动车辆的视频数据转变成仅包含少量信息的特征描述信息，特征描述信息仅包含全局运动对象视频数据的少量信息；另一方面，在城市公共安全应用中，由于监控摄像头位置相对固定，背景信息相对固定，因此，可以降低背景信息传输频率，比如100帧传1次背景帧信息，那么，每帧背景信息只需传输少量的特征描述信息，在解码端利用三层知识字典即可完成重建，从而大幅提升视频大数据的编码效率。

S34获取全局运动车辆的纹理与模型参数信息。

将全局运动车辆的2D外观特征与车辆3D模型进行特征匹配，得到全局运动车辆的纹理及模型参数信息。

特征匹配的具体步骤如下：

(1)基于车辆3D模型数据库，预生成和建立车辆所有视点量化后(见步骤S31)的2D正交外观掩膜的索引；

(2)对检测到的车辆矩形区域，通过基于区域的匹配和轮廓的匹配，评估选出参数(类型，倾角，方向)以匹配前景模型。

S35根据全局运动车辆2D外观特征提取全局运动车辆位置信息，并结合车辆3D模型中对应的车辆姿态信息描述构成全局运动车辆的位置及姿态参数。

本步骤进一步包括子步骤：

(1)提取车辆视频中各全局运动车辆的特征信息。

第i个全局运动车辆的特征信息F_i包括空间位置(x,y,z)和姿态角度(α,β,γ)六个参数，见图8：

F_i＝[x_i,y_i,z_i,α_i,β_i,γ_i] (6)

第一步，参数确定：

假定静态监控摄像头满足透视投影原理，摄像头的检校及拍摄区域的地平面参数均实现离线预处理。通常情况下，目标姿态采用3个位置参数(x,y,z)与3个角度参数(α,β,γ)进行描述。但在车辆运行场景下，可以认为车辆主要沿地平面运行，利用地平面约束，车辆姿态参数ρ可以约减为3个：

ρ＝[x,y,θ]^T (6)

其中，x、y为车辆中心在以地平面为XOY平面的世界坐标系(WCS)上的垂直投影坐标，θ为车辆主运动方向与OX轴的夹角。

第二步，获取全局运动车辆的姿态参数：

本步骤主要包括基于光流法的车辆姿态参数初始化和基于预测跟踪的车辆姿态参数更新。首先，基于车辆3D模型通过背景建模提取运动区域；然后，利用稀疏光流法计算车辆的二维运动矢量，结合摄像头检校结果得到车辆在世界坐标系下的主运动方向θ与速度v；最后，将车辆3D模型的二维投影与运动区域的大小与形状迭代匹配，得到车辆在世界坐标系下的位置参数(x,y)。

(2)提取重建全局运动车辆时三级知识字典中基元的索引信息，即字典中的编码系数向量ID_i＝[a₁,a_2,c,a_3.c.m]。

(3)编码传输时，对特征信息F_i和编码系数向量ID_i进行无损压缩，具体可采用熵编码进行无损压缩，可有效保障全局运动车辆的关键信息。

步骤S35获得的车辆的位置及姿态参数及步骤S34获得的纹理与模型参数信息共同构成全局车辆特征参数集，对全局车辆特征参数集进行无损压缩。

步骤4基于全局车辆特征参数对车辆视频进行全局编码。

本步骤的具体流程见图9，具体步骤如下：

S41基于全局特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数信息。

采用多帧参考图像、1/4或1/8像素精度的运动估计方法和可变尺寸块运动补偿方法，具体可采用基于MPEG-1/2/4、H.263、H.264/AVC、H.265/HEVC或AVS的运动估计方法和运动补偿方法，但不限于此。

S42获取全局运动车辆的光照补偿参数。

由于光照变化因素对车辆视频的编码和恢复效果影响较大，本具体实施方式采用如下方法确定光照补偿参数：

(1)基于YUV颜色空间的UV分量建立颜色不变特征，并从车辆视频获得各种车辆样本构成样本集。

(2)从样本集中随机抽样抽取N个样本点，N通常设定为样本集数量的1/4，优选的N>50。

(3)基于样本点获得光照补偿参数。

通过颜色特征对样本点进行筛选后获得，也可通过其他单个或组合特征进行筛选，如梯度特征、小波特征等，其他任何通过图像特征筛选结果获取光照补偿参数的方法都应当包含在本发明保护范围内。

S43融合残差参数信息和光照补偿参数，并采用熵编码将残差参数信息和光照补偿参数传送到解码端，以对视频图像进行恢复。

对残差参数信息和光照补偿参数进行融合，采用熵编码对融合后的残差参数信息和光照补偿参数进行无损编码。熵编码可采用传统的变长编码和算法编码，实施方式包括但不限于CAVLC(基于上下文自适应的可变长编码)、CABAC(基于上下文的自适应二进制算术熵编码)、C2DVLC(基于上下文自适应的二维变长编码)和CBAC(基于上下文的二元算法编码)。

本发明利用城市监控视频中场景固定、存在大量全局冗余的特点，通过对视频车辆对象和剩余部分分别进行压缩处理，以更大程度消除视频序列中的冗余，获得更好的压缩性能。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种城市交通监控视频全局编码方法，其特征在于，包括步骤：

步骤1，将原始监控视频分割成车辆视频和去除车辆的视频；

步骤2，采用可选差分编码方式对去除车辆的视频进行编码；

步骤3，提取车辆视频中全局运动车辆的全局特征参数集，进一步包括：

S31提取全局运动车辆的2D外观特征；

S32构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精细3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得；

S33采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：

以为代价函数，基于全局运动车辆的纹理信息，获得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典；

获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r_c，以为代价函数，基于差异信息r_c，获得第二层知识字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典；

获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局运动车辆的差异信息r_c,m，以为代价函数，基于差异信息r_c,m，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字典；

上述，D₁表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类型编号；y_c表示所有类型全局运动车辆纹理信息；a₁表示编码系数；τ为平衡因子，根据实际情况和经验设定，τ越大编码系数越稀疏；表示第二层知识字典，M表示某类全局运动车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a_2,c表示编码系数；表示第三层知识字典，N表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运动车辆下的个体车辆编号；a_3,c,m表示编码系数；

S34将全局运动车辆的2D外观特征与车辆3D模型数据库中模型进行特征匹配，获得全局运动车辆的纹理及模型关键描述参数信息；

S35根据全局运动车辆的2D外观特征提取全局运动车辆位置信息，并结合对应的模型关键描述参数信息中的姿态信息构成全局运动车辆的位置及姿态参数；

S36对全局特征参数集和三级知识字典对应的编码系数进行无损压缩，所述的全局特征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获得的位置及姿态参数构成；

步骤4，基于全局特征参数对车辆视频进行全局编码；

步骤4进一步包括子步骤：

S41基于全局车辆特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数信息；

S42获取全局运动车辆的光照补偿参数；

S43融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿参数进行无损编码。

2.如权利要求1所述的城市交通监控视频全局编码方法，其特征在于：

步骤1中采用背景建模和车辆检测技术将原始监控视频分割成车辆视频和去除车辆的视频，具体包括：

S11将原始监控视频图像转换至YUV空间，基于背景差分法建立自动更新的背景模型；

S12利用车辆检测法检测原始监控视频图像中车辆，获得车辆视频图像；

S13将原始监控视频图像减去车辆视频图像，获得包含背景空洞的去除车辆的视频图像；

S14采用背景模型对S13获得的视频图像中背景空洞进行叠加填补，获得去除车辆的视频图像。

3.如权利要求1所述的城市交通监控视频全局编码方法，其特征在于：

步骤2进一步包括子步骤：

S21根据去除车辆的视频图像生成背景图像，经编码后重构背景图像；

S22对去除车辆的视频图像进行全局运动估计，获得全局运动矢量；

S23基于重构背景图像和全局运动矢量，选择性地使用原始编码模式或差分编码模式对各视频块进行编码。

4.如权利要求1所述的城市交通监控视频全局编码方法，其特征在于：

子步骤S32进一步包括：

(1)构建基于网格结构的车辆通用3D模型；

(2)获得车辆精细3D模型；

(3)根据车辆通用3D模型获得3D模型描述参数集；

(4)模型关键描述参数由模型描述参数集降维获得。

5.如权利要求1所述的城市交通监控视频全局编码方法，其特征在于：

子步骤S35进一步包括：

(1)确定全局运动车辆的位置与角度参数ρ＝[x,y,θ]^T，x、y为全局运动车辆中心在世界坐标系的垂直投影坐标，θ为全局运动车辆主运动方向与OX轴的夹角；

(2)通过背景建模提取车辆视频中的运动区域；

(3)利用稀疏光流法获得全局运动车辆的二维运动矢量；

(4)获得全局运动车辆在世界坐标系的主运动方向θ与速度v；

(5)将全局运动车辆匹配的通用3D模型的二维投影与运动区域的大小与形状迭代匹配，得到全局运动车辆在世界坐标系下的位置参数(x,y)。

6.一种城市交通监控视频全局编码系统，其特征在于，包括：

(1)视频分割模块，用来将原始监控视频分割成车辆视频和去除车辆的视频；

(2)可选差分编码模块，用来采用可选差分编码方式对去除车辆的视频进行编码；

(3)全局特征参数提取模块，用来提取车辆视频中全局运动车辆的全局特征参数集，本模块进一步包括子模块：

2D外观特征提取模块，用来提取全局运动车辆的2D外观特征；

车辆3D模型数据库构建模块，用来构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精细3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得；

全局车辆纹理字典构建模块，用来采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：

以为代价函数，基于全局运动车辆的纹理信息，获得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典；

获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r_c，以为代价函数，基于差异信息r_c，获得第二层知识字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典；

获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局运动车辆的差异信息r_c,m，以为代价函数，基于差异信息r_c,m，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字典；

上述，D₁表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类型编号；y_c表示所有类型全局运动车辆纹理信息；a₁表示编码系数；τ为平衡因子，根据实际情况和经验设定，τ越大编码系数越稀疏；表示第二层知识字典，M表示某类全局运动车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a_2,c表示编码系数；表示第三层知识字典，N表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运动车辆下的个体车辆编号；a_3,c,m表示编码系数；

纹理及模型关键描述参数信息获取模块，用来将全局运动车辆的2D外观特征与车辆3D模型数据库中模型进行特征匹配，获得全局运动车辆的纹理及模型关键描述参数信息；

位置及姿态参数获取模块，用来根据全局运动车辆的2D外观特征提取全局运动车辆位置信息，并结合对应的模型关键描述参数信息中的姿态信息构成全局运动车辆的位置及姿态参数；

无损压缩模块，用来对全局特征参数集和三级知识字典对应的编码系数进行无损压缩，所述的全局特征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获得的位置及姿态参数构成；

(4)全局编码模块，用来基于全局特征参数对车辆视频进行全局编码；

全局编码模块进一步包括子模块：

残差参数信息获得模块，用来基于全局车辆特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数信息；

光照补偿参数获取模块，用来获取全局运动车辆的光照补偿参数；

无损编码模块，用来融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿参数进行无损编码。

7.如权利要求6所述的城市交通监控视频全局编码系统，其特征在于：

所述的位置及姿态参数获取模块进一步包括：

位置与角度参数确定模块，用来确定全局运动车辆的位置与角度参数ρ＝[x,y,θ]^T，x、y为全局运动车辆中心在世界坐标系的垂直投影坐标，θ为全局运动车辆主运动方向与OX轴的夹角；

运动区域提取模块，用来通过背景建模提取车辆视频中的运动区域；

二维运动矢量获得模块，用来利用稀疏光流法获得全局运动车辆的二维运动矢量；

主运动方向与速度获得模块，用来获得全局运动车辆在世界坐标系的主运动方向θ与速度v；

位置参数获得模块，用来将全局运动车辆匹配的通用3D模型的二维投影与运动区域的大小与形状迭代匹配，得到全局运动车辆在世界坐标系下的位置参数(x,y)。