CN101511024A - 实时电子稳像中基于运动状态识别的运动补偿方法 - Google Patents

Abstract

一种实时电子稳像中基于运动状态识别的运动补偿方法，其方法步骤为：①训练运动类型的似然函数；②建立运动补偿模型；③计算当前帧图像相对于窗口中心点的偏移量；④对运动分量滤波，计算理想运动参数和线性拟和参数；⑤识别当前帧图像运动状态，设置运动补偿参数；⑥根据三阶段运动补偿量，计算当前帧图像的输出位置。该方法将运动补偿分为抖动补偿、平稳运动补偿和偏离补偿三部分，将摄像机运动分为凝视拍摄和扫描拍摄两种类型，通过识别场景的当前运动状态，自适应调整三部分运动补偿参数的比例，从而解决运动补偿过程中的“过平滑”与“欠平滑”问题。有效解决多种复杂运动状态和拍摄方式自由转换时的稳像问题，达到实时输出稳定视频的目的。

Description

实时电子稳像中基于运动状态识别的运动补偿方法

(一)技术领域

本发明属于图像处理技术的应用领域，涉及视频图像实时电子稳像中的一种运动补偿方法。该方法通过帧间运动估计和运动补偿能够消除视频图像序列中因拍摄载体的不规则运动给图像造成的影响，实时输出稳定的视频图像，以此提高视频设备的图像质量和系统后续处理的准确性。

(二)技术背景

随着光学成像设备在交通、医疗、精确制导、军事侦察和航天领域等的广泛应用，对成像质量的要求越来越高。通过手持摄像设备、车载摄像系统、飞机、导弹以及卫星等摄影平台所采集到的视频图像信号不仅包含摄像机载体的平稳运动，还包含了很多随机运动，如低频抖动、高频振动以及不规则的晃动、摄动等，涉及的运动类型主要有旋转、平移和尺度等。由于这种随机运动的存在，造成了拍摄视频的不稳定，严重影响视觉效果，不利于观察和监视，容易造成操作者的视觉疲劳甚至情绪变化，同时也不利于后续处理。

为避免上述不规则的随机运动对光学设备成像质量的影响，就需要判断出拍摄载体本身的平稳运动和随机抖动，利用图像处理的方法消除随机抖动，只保留摄像机本身的平稳运动，使输出的图像序列清晰稳定，这就是电子稳像技术。这种稳像方法具有成本低、效果好和应用灵活等特点，已获得广泛关注，在国内外都有较快发展。

电子稳像技术包含两项关键技术：(1)、帧间运动估计方法。通过估计相邻帧或多帧图像之间的运动参数来描述摄像机的平稳运动轨迹，这些运动关系包括平移、旋转或者尺度变换等；(2)、运动补偿方法。这一部分主要用于分析运动轨迹中的平稳运动成分和随机抖动成分，在保留平稳运动成分的同时剔除随机抖动。

其中运动补偿是电子稳像中涉及到的一个关键技术。通过运动补偿处理可以保留全局运动矢量中摄像机的平稳运动量，同时去除运动轨迹中的不稳定运动量，并确定输出图像在视场中的位置。摄像机拍摄的视频可分为两大类：(1)、凝视拍摄，即摄像机拍摄的画面始终保持对同一场景的拍摄，视频的帧间运动都是需要去除的不规则抖动；(2)、扫描拍摄，即摄像机随载体做无规则自由运动，视频帧间运动既包含摄像机随载体的平稳运动，也包括摄像机的随机抖动。通常情况下拍摄的视频可近似认为是这两类拍摄方式的组合以及它们之间的过渡。最简单的方法是以某一帧作为参考帧，将后续的各帧直接与参考帧配准，该方法的优点是能够获得十分稳定的视频，适用于凝视拍摄方式，但该方法无法适用于扫描拍摄，并且容易受到积累误差和噪声的影响。为了处理扫描拍摄的视频，通常采用滤波的方法对运动轨迹进行平滑，但该方法无法并不能很好的处理凝视和扫描混合拍摄的视频，一方面，较小的滤波器带宽虽能适应运动形式变化，但尖锐的噪声会严重破坏稳像效果，导致连续几帧的图像不稳定或跳动现象，称为“欠平滑”；另一方面，过度的平滑虽然可在一定程度上避免尖锐噪声的影响，却可将平稳运动作为噪声大幅抑制，出现视频滞后现象，称为“过平滑”。因此单纯采用一种运动补偿方法往往很难获得满意的效果，此外，现有方法都没有考虑到扫描拍摄和凝视拍摄两种状态过渡时对稳像效果的影响，常常导致运动补偿滞后于实际运动的变化。公开号是CN101281650A的中国发明专利申请采用参考帧方法，这种方法只适用于凝视拍摄的视频序列稳像。公开号是CN101316368A的中国发明专利申请采用滤波方法进行运动补偿，此方法没有考虑到拍摄状态的问题。由Yasuyuki Matsushita，Eyal Ofek，WeinaGe，Xiaoou Tang和Heung-Yeung Shum公开于PAMI VOL.28，NO.7，JULY 2006的Full-frame Video Stabilization with Motion Inpainting，采用了光流和滤波的运动补偿方法，该方法对于存在复杂运动的视频序列稳像效果也并不理想。

综上所述，目前现有的电子稳像技术对于摄像载体任意无规则运动的稳像能力还存在很多缺陷和不足，特别是运动补偿方法对于多种运动状态也不具有自适应能力，造成光学成像设备不能有效消除随机抖动，无法输出真实反映摄像载体运动情况的稳定视频图像，图像可能存在模糊、跳动等现象，给后续图像处理工作带来难度。

(三)发明内容

本发明的目的是针对上述传统电子稳像中运动补偿方法的缺陷和不足，为满足拍摄过程中多种复杂运动状态下进行正确运动补偿的目的，提出了一种基于运动状态识别的运动补偿方法，该方法将运动补偿分为抖动补偿、平稳运动补偿和偏离补偿三个部分，将摄像机运动分为凝视拍摄和扫描拍摄，通过识别场景的运动状态轨迹，并根据运动分类自适应调整三部分补偿参数的比例，从而解决运动补偿过程中的“过平滑”与“欠平滑”问题。本发明能够有效解决多种复杂运动状态和拍摄方式自由转换时的稳像问题，可以实现复杂环境下任意随机拍摄的视频图像序列的稳像要求，并达到实时输出稳定视频的目的，不仅可以改善视觉观察效果，而且能够保障后续信息处理的精度。

本发明所采用的技术方案是：

本发明一种实时电子稳像中基于运动状态识别的运动补偿方法，其具体步骤如下：

步骤1.运动类型的似然函数训练

为了对拍摄场景的运动状态和类型进行识别，在稳像前需要对运动类型的似然函数进行训练。在下述步骤5中，采用最大后验概率方法对运动状态进行估计，每种状态的似然函数必须通过样本训练，具体实现过程如下：

(1)、采集训练的视频样本

针对其应用背景，如车载、机载、手持设备，采集所需训练样本，即对该应用背景分别采集扫描和凝视两种拍摄类型的视频样本，视频样本为仅存在一种运动类型的视频片断。

(2)、帧间运动估计与拍摄状态标记

采用基于极性布局特征描述子的实时运动估计方法对训练样本进行帧间运动估计，并记录每一帧的帧间运动估计参数。帧间运动参数可以包括垂直运动、水平运动和旋转运动等。具体步骤为：

①、构造高斯尺度空间，提取特征点；

②、构建极性布局特征描述子；

③、局部特征点匹配；

④、计算帧间运动模型，求出帧间运动估计参数。

(3)、计算线性拟和参数

设第i组训练样本由m帧组成，设运动轨迹与帧序号呈线性关系，即通过下式表示：

用最小二乘解上述方程得到拟和参数a_i和b_i，其中y_i是由运动估计得到的帧间运动参数(如水平、垂直和旋转运动等)。

(4)、计算似然函数参数

按照下述步骤5中的定义，在稳像前需要分别计算每个类别ωc的两个似然函数p(a|ωc)和p(b|ω_c)的参数，即：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

在本发明中，似然函数采用高斯函数和对数高斯函数，其参数是均值μ和方差σ²。

步骤2.建立运动补偿模型

定义视频场景的运动模型，其中x_n是当前帧图像相对于输出窗口的绝对位置参数(包括平移和旋转等运动)；x_n-1是上一帧相当于输出窗口的绝对位置参数(包括平移和旋转等运动)；err(n)是需要进行补偿的运动部分；两帧之间的位置关系如下：

x_n＝x_n-1+err(n)

定义运动补偿模型为：

err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)

其中wrap(n)是帧间运动所引起的抖动分量，对应于随机抖动所引起的退化，具体数值由运动估计中的图像配准方法计算得出。wrap(n)是稳像系统中必须去除的运动成分。

motion(n)是由摄像机载体引起的理想运动，通过分析帧间配准参数就能得到摄像机运动的方向和运动速度，可以对摄像机的运动进行补偿。

departure(n)为偏离补偿部分，该部分使输出图像始终保持在窗口中心位置，能够及时纠正缓慢的图像飘移。在凝视状态下，由于拍摄的不稳定性以及算法的积累误差，存在视点缓慢偏离输出窗口的飘移现象，使视频中大量数据丢失而无法及时得到纠正，而利用该补偿部分则可以很好解决这一问题。

步骤3.计算当前帧图像输出位置相对于窗口中心点的偏移量

输出窗口与输出图像位置的距离代表了偏移的程度。为保证图像参数的运动曲线保持平滑，所有图像帧都必须进行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值，偏差纠正的权重由参数γ决定：

$\begin{array}{cc}\mathrm{\γ}=\frac{1}{\mathrm{threshold}-\mathrm{abs}\left(\mathrm{departure}\right)}& 0\≤\mathrm{\γ}\≤1\end{array}$

式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2。threshold的取值与图像的大小有关。

步骤4.对运动分量滤波，计算理想运动参数和线性拟和参数

定义

为帧间变换矩阵，若t为当前帧要平滑图像的帧号，定义它的相邻帧集合为N＝{j:t-k≤j≤t+k}，相邻帧与当前帧图像的变换矩阵为

，则当前帧图像平滑后的变换矩阵motion(n)为

$\mathrm{Motion}\left(n\right)=\underset{i\∈N}{\mathrm{\Σ}}{T}_t^i*G\left(k\right)$

这里 $G\left(k\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}{e}^{-k^2/2{\mathrm{\δ}}^2}$ 是高斯核函数。motion(n)是去除了高频抖动的理想运动轨迹，反映的是摄像机载体的理想运动。

步骤5.识别当前帧图像运动状态，设置运动补偿参数

抖动补偿系数α和理想运动补偿系数β通过识别的方法确定，不同的运动形式如静止、匀速运动和变速运动决定了不同的补偿系数。用户所提供的训练样本是在应用背景下拍摄含有抖动而不包含拍摄场景运动的视频图像序列，用以计算抖动的统计特征。本发明利用相邻帧运动估计参数来拟合线性函数，将线性函数的参数作为样本，函数参数不但体现了运动状态，也体现了运动变化的趋势。

对于第i组样本，样本由m帧帧间运动估计参数拟合线性函数得到，它们与时间的线性关系如公式：

用最小二乘解上述方程，得到参数斜率a_i和截距b_i。a_i体现了运动趋势，b_i是运动幅度。由最大后验概率(MAP)推导出：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

其中C是类别。由运动的趋势a和幅度b是相互独立的，则有：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left(a\right|{\mathrm{\ω}}_c)p\left(b\right|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

抖动可以认为是均值为0的高斯噪声，则固定拍摄状态的似然函数可定义为：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

稳像系统所满足的应用背景与摄像机载体和摄像机自身配置有关。对于匀速的运动拍摄，其载体速度有限，载体的运动速度不可能无限大，速度越大的运动发生概率也就越小；交大的运动速度也造成了运动模糊，无法用于稳像。因此，不同载体的运动速度通常集中在一定范围内，可采用混合对数正态分布表示运动幅度的似然函数，μ是平均运动速度。

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

根据运动状态设置运动补偿系数和抖动补偿系数。ω_c＝′凝视′时只需要补偿抖动，即α＝1，β＝0。在扫描拍摄状态下时，除了需要补偿抖动外，还需要对运动进行补偿，则α＝1，β＝1。

步骤6.根据三阶段运动补偿量，计算当前帧图像输出的位置

通过计算得到运动补偿函数的各个参数后，按照下面公式计算出当前帧的输出位置：

x_n＝x_n-1+err(n)

其中x_n是当前帧相对于输出窗口的绝对位置参数，x_n-1是上一帧相当于输出窗口的绝对运动参数，err(n)是两帧图像之间的运动补偿函数，当前帧图像输出的位置就是运动参数x_n的输出值。

本发明一种实时电子稳像中基于运动状态识别的运动补偿方法，其优点和功效是：

(1)、本发明提出了一种三阶段运动补偿方法，一方面保证稳像输出窗口的视点保持固定，避免窗口飘移现象(即由积累误差引起的输出视频偏离输出窗口)，另一方面避免传统运动补偿方法“过平滑”与“欠平滑”的问题。

本发明将运动补偿分为抖动补偿、平稳运动补偿和偏移补偿，通过每部分的系数调整补偿比例。其中抖动补偿去除视频中的抖动成分，平稳运动补偿补偿因载体运动而产生场景移动，通过偏移补偿纠正输出窗口视点中心。本发明设计的稳像系统全方位的保证输出视频平稳和信息量。

(2)、本发明设计了基于识别的运动类型分类方法，通过识别出不同类型的运动，设置不同的运动补偿参数。避免单一传统滤波方法对扫描拍摄的过平滑问题和凝视拍摄的欠平滑问题。

本发明对帧间运动参数进行线性拟和，并将拟和结果投影到参数空间，通过概率的方法进行建模。在使用中通过最大后验概率方法识别运动状态，并以此为依据调整运动补偿各部分系数。在凝视拍摄时，任何帧间运动都是有害的抖动成分，因而应通过减小平稳运动补偿部分系数，提高抖动补偿系数来输出稳定的凝视视频；在扫描拍摄时，应同时提高运动补偿系数和抖动补偿系数，以适应载体平稳运动下的补偿。本发明设计的稳像系统满足实时电子稳像中即可快速适应平稳运动的变化，又可稳定的平滑轨迹中的抖动。

(四)附图说明

图1本发明的运动补偿方法在稳像过程中的流程示意图

图2本发明运动类型似然函数训练过程示意图

图3a未经平滑的场景运动轨迹

图3b传统滤波方法获得的场景运动轨迹

图3c本发明的运动补偿方法获得的场景运动轨迹

图4本发明对随机拍摄的存在无规则运动的视频图像序列的稳像效果图

(五)具体实施方式

参照图1，本发明一种实时电子稳像中基于运动状态识别的运动补偿方法，其具体实施步骤如下：

步骤1.运动类型的似然函数训练

为了对拍摄场景的运动状态和类型进行识别，在稳像前需要对运动类型的似然函数进行训练；在下述步骤5中，采用最大后验概率方法对运动状态进行估计，每种状态的似然函数必须通过样本训练，具体实现过程如下：

(1)、采集训练的视频样本

针对其应用背景，如车载、机载、手持设备，采集所需训练样本，即对该应用背景分别采集扫描和凝视两种拍摄类型的视频样本，视频样本为仅存在一种运动类型的视频片断。

(2)、帧间运动估计与拍摄状态标记

采用基于极性布局特征描述子的实时运动估计方法对训练样本进行帧间运动估计，并记录每一帧的帧间运动估计参数。帧间运动参数可以包括垂直运动、水平运动和旋转运动等。具体步骤为：

①、构造高斯尺度空间，提取特征点；

②、构建极性布局特征描述子；

③、局部特征点匹配；

④、计算帧间运动模型，求出帧间运动估计参数。

(3)、计算线性拟和参数

设第i组训练样本由m帧组成，设运动轨迹与帧序号呈线性关系，即通过下式表示：

可用最小二乘解上述方程得到拟和参数a_i和b_i，其中y_i是由运动估计得到的帧间运动参数(如水平、垂直和旋转运动等)。

(4)、计算似然函数参数

按照步骤5中的定义，在稳像前需要分别计算每个类别ω_c的两个似然函数p(a|ω_c)和p(b|ω_c)的参数，即：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

在本发明中，似然函数采用高斯函数和对数高斯函数，其参数是均值μ和方差σ²。

步骤2.建立运动补偿模型

定义视频场景的运动模型，其中x_n是当前帧图像相对于输出窗口的绝对位置参数(包括平移和旋转等运动)；x_n-1是上一帧相当于输出窗口的绝对位置参数(平移和旋转等运动)；err(n)是需要进行补偿的运动部分；两帧之间的位置关系如下：

x_n＝x_n-1+err(n)

定义运动补偿模型为：

err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)

其中wrap(n)是帧间运动所引起的抖动分量，对应于随机抖动所引起的退化，具体数值由运动估计中的图像配准方法计算得出；wrap(n)是稳像系统中必须去除的运动成分。

motion(n)是由摄像机载体引起的理想运动，通过分析帧间配准参数就能得到摄像机运动的方向和运动速度，可以对摄像机的运动进行补偿。

departure(n)为偏离补偿部分，该部分使输出图像始终保持在窗口中心位置，能够及时纠正缓慢的图像飘移。在凝视状态下，由于拍摄的不稳定性以及算法的积累误差，存在视点缓慢偏离输出窗口的飘移现象，使视频中大量数据丢失而无法及时得到纠正，而利用该补偿部分则可以很好解决这一问题。

α，β，γ为针对各种补偿的权重，用于衡量每一项对总体运动补偿err(n)的影响。

步骤3.计算当前帧图像输出位置相对于窗口中心点的偏移量

输出窗口与输出图像位置的距离代表了偏移的程度。为保证图像参数的运动曲线保持平滑，所有图像帧都必须进行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值，偏差纠正的权重由参数γ决定：

$\begin{array}{cc}\mathrm{\γ}=\frac{1}{\mathrm{threshold}-\mathrm{abs}\left(\mathrm{departure}\right)}& 0\≤\mathrm{\γ}\≤1\end{array}$

式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2。threshold的取值与图像的大小有关。

步骤4.对运动分量进行滤波，计算理想运动参数和线性拟和参数

定义

为帧间变换矩阵，若t为当前帧要平滑图像的帧号，定义它的相邻帧集合为N＝{j:t-k≤j≤t+k}，相邻帧与当前帧图像的变换矩阵为T_t ^j，则当前帧图像平滑后的变换矩阵motion(n)为

$\mathrm{Motion}\left(n\right)=\underset{i\∈N}{\mathrm{\Σ}}{T}_t^i*G\left(k\right)$

这里 $G\left(k\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}{e}^{-k^2/2{\mathrm{\δ}}^2}$ 是高斯核函数。motion(n)是去除了高频抖动的理想运动轨迹，反映的是摄像机载体的理想运动。

步骤5.识别当前帧图像运动状态，设置运动补偿参数

抖动补偿系数α和理想运动补偿系数β通过识别的方法确定，不同的运动形式如静止、匀速运动和变速运动决定了不同的补偿系数。用户所提供的训练样本是在应用背景下拍摄含有抖动而不包含拍摄场景运动的视频图像序列，用以计算抖动的统计特征。本发明利用相邻帧运动估计参数来拟合线性函数，将线性函数的参数作为样本，函数参数不但体现了运动状态，也体现了运动变化的趋势。

对于第i组样本，样本由m帧帧间运动估计参数拟合线性函数得到，它们与时间的线性关系如公式：

用最小二乘解上述方程，得到参数斜率a_i和截距b_i。a_i体现了运动趋势，b_i是运动幅度。由最大后验概率(MAP)推导出：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

其中C是类别。由运动的趋势a和幅度b是相互独立的，则有：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left(a\right|{\mathrm{\ω}}_c)p\left(b\right|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

抖动可以认为是均值为0的高斯噪声，则固定拍摄状态的似然函数可定义为：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

稳像系统所满足的应用背景与摄像机载体和摄像机自身配置有关。对于匀速的运动拍摄，其载体速度有限，载体的运动速度不可能无限大，速度越大的运动发生概率也就越小；较大的运动速度也造成了运动模糊，无法用于稳像。因此，不同载体的运动速度通常集中在一定范围内，可采用混合对数正态分布表示运动幅度的似然函数，μ是平均运动速度。

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

根据运动状态设置运动补偿系数和抖动补偿系数。ω_c＝′凝视′时只需要补偿抖动，即α＝1，β＝0。在扫描拍摄状态下时，除了需要补偿抖动外，还需要对运动进行补偿，则α＝1，β＝1。

步骤6.根据三阶段运动补偿量，计算当前帧图像输出的位置

通过计算得到运动补偿函数的各个参数后，按照下面公式计算出当前帧的输出位置：

x_n＝x_n-1+err(n)

其中x_n是当前帧相对于输出窗口的绝对位置参数，x_n-1是上一帧相当于输出窗口的绝对运动参数，err(n)是两帧图像之间的运动补偿函数，当前帧图像输出的位置就是运动参数x_n的输出值。

本发明对存在复杂运动关系的视频序列的运动补偿效果和稳定效果可以通过实验情况进一步说明。图3给出了本发明对视频进行稳定后的轨迹与未稳定法和传统滤波法所得到场景运动轨迹的比较，图中描绘了横向运动的“时间-距离”曲线，图中横坐标表示时间，纵坐标表示x轴相对于原点的距离。图3(a)是未经过稳像处理的运动轨迹，其中包含了静止状态、加速、减速和匀速运动等情况。图3(b)是利用传统滤波方法稳定后的场景运动轨迹。图3(c)是采用本发明方法稳像后输出的运动轨迹。从图3(c)可以看出，由于本发明对轨迹类别的进行了识别，因此可以更准确的还原出原始拍摄状态的视频，如图中，凝视状态时在运动轨迹图中表现为水平直线(没有位移)，而滤波方法由于前后帧运动状态改变而引入了离散点，从而导致了凝视拍摄时无法达到真正视频稳定效果。实验结果表明，本方明方法对运动状态变化具有良好的自适应性。

图4给出了利用本发明的运动补偿方法对于存在复杂运动关系的视频图像的稳像效果，其中图4(a)(c)是原始抖动视频，图4(b)(d)是利用本发明提出的基于运动状态识别的运动补偿方法对视频图像序列稳像后的结果，在原始视频图像序列中不仅包含了平移、旋转、尺度和视角变换，还包含了多种运动状态和拍摄方式，对于这样复杂的视频运动图像序列，本发明方法能够获得较好的稳像效果，且达到了实时的速度要求。

本发明在VC2005下对于176×144的视频图像序列实现了每秒30帧的稳像速度。

Claims (1)

1.一种实时电子稳像中基于运动状态识别的运动补偿方法，其特征在于：其具体步骤如下：

步骤1.运动类型的似然函数训练

为了对拍摄场景的运动状态和类型进行识别，在稳像前需要对运动类型的似然函数进行训练；在下述步骤5中，采用最大后验概率方法对运动状态进行估计，每种状态的似然函数必须通过样本训练，具体实现过程如下：

(1)、采集训练的视频样本

针对其应用背景，如车载、机载、手持设备，采集所需训练样本，对该应用背景分别采集扫描和凝视两种拍摄类型的视频样本，视频样本为仅存在一种运动类型的视频片断；

(2)、帧间运动估计与拍摄状态标记

采用基于极性布局特征描述子的实时运动估计方法对训练样本进行帧间运动估计，并记录每一帧的帧间运动估计参数；帧间运动参数包括垂直运动、水平运动和旋转运动，具体步骤为：

①、构造高斯尺度空间，提取特征点；

②、构建极性布局特征描述子；

③、局部特征点匹配；

④、计算帧间运动模型，求出帧间运动估计参数；

(3)、计算线性拟和参数

设第i组训练样本由m帧组成，设运动轨迹与帧序号呈线性关系，即通过下式表示：

用最小二乘解上述方程，得到拟和参数α_i和b_i，其中y_i是由运动估计得到的帧间运动参数；

(4)、计算似然函数参数

按照下述步骤5中的定义，在稳像前需要分别计算每个类别ω_c的两个似然函数p(a|ω_c)和p(b|ω_c)的参数，即：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

其中，似然函数采用高斯函数和对数高斯函数，其参数是均值μ和方差σ²；步骤2.建立运动补偿模型

定义视频场景的运动模型，其中x_n是当前帧图像相对于输出窗口的绝对位置参数；x_n-1是上一帧相当于输出窗口的绝对位置参数；err(n)是需要进行补偿的运动部分；两帧之间的位置关系如下：

x_n＝x_n-1+err(n)

定义运动补偿模型为：

err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)

其中wrap(n)是帧间运动所引起的抖动分量，对应于随机抖动所引起的退化，具体数值由运动估计中的图像配准方法计算得出；wrap(n)是稳像系统中必须去除的运动成分；

motion(n)是由摄像机载体引起的理想运动，通过分析帧间配准参数就能得到摄像机运动的方向和运动速度，可以对摄像机的运动进行补偿；

departure(n)为偏离补偿部分，该部分使输出图像始终保持在窗口中心位置，能够及时纠正缓慢的图像飘移；在凝视状态下，由于拍摄的不稳定性以及算法的积累误差，存在视点缓慢偏离输出窗口的飘移现象，使视频中大量数据丢失而无法及时得到纠正，而利用该补偿部分则可以很好解决这一问题；

α，β，γ为针对各种补偿的权重，用于衡量每一项对总体运动补偿err(n)的影响比例；

步骤3.计算当前帧图像输出位置相对于窗口中心点的偏移量

输出窗口与输出图像位置的距离代表了偏移的程度，为保证图像参数的运动曲线保持平滑，所有图像帧都必须进行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值，偏差纠正的权重由参数γ决定：

$\begin{array}{cc}\mathrm{\γ}=\frac{1}{\mathrm{threshold}-\mathrm{abs}\left(\mathrm{departure}\right)}& 0\≤\mathrm{\γ}\≤1\end{array}$

式中threshold定义了边界阈值，即偏离限制在threshold范围内，且

threshold>abs(departure)×2，threshold的取值与图像的大小有关；

步骤4.对运动分量滤波，计算理想运动参数和线性拟和参数

定义为帧间变换矩阵，若t为当前帧要平滑图像的帧号，定义它的相邻帧集合为N＝{j：t-k≤j≤t+k}，相邻帧与当前帧图像的变换矩阵为

，则当前帧图像平滑后的变换矩阵motion(n)表示为：

$\mathrm{Motion}\left(n\right)=\underset{i\∈N}{\mathrm{\Σ}}{T}_t^i*G\left(k\right)$

这里 $G\left(k\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\δ}}{e}^{-k^2/{2\mathrm{\δ}}^2}$ 是高斯核函数，motion(n)是去除了高频抖动的理想运动轨迹，反映的是摄像机载体的理想运动；

步骤5.识别当前帧图像的运动状态，设置运动补偿参数

抖动补偿系数α和理想运动补偿系数β通过识别的方法确定，不同的运动形式如静止、匀速运动和变速运动决定了不同的补偿系数，用户所提供的训练样本是在应用背景下拍摄含有抖动而不包含拍摄场景运动的视频图像序列，用以计算抖动的统计特征；本发明利用相邻帧运动估计参数来拟合线性函数，将线性函数的参数作为样本，函数参数不但体现了运动状态，也体现了运动变化的趋势；

对于第i组样本，样本由m帧帧间运动估计参数拟合线性函数得到，它们与时间的线性关系如公式：

用最小二乘法解上述方程，得到参数斜率α_i和截距b_i；a_i体现了运动趋势，b_i是运动幅度；由最大后验概率(MAP)推导出：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

其中C是类别；由于运动的趋势a和幅度b是相互独立的，则有：

$C=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({\mathrm{\ω}}_c\right|a,b)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p(a,b|{\mathrm{\ω}}_c\left|\right)p\left({\mathrm{\ω}}_c\right)$

$=\underset{c=\mathrm{1,2,3}}{\arg \max }p\left({a|\mathrm{\ω}}_c\right)p\left(b\right|{\mathrm{\ω}}_c)p\left({\mathrm{\ω}}_c\right)$

若抖动是均值为0的高斯噪声，则固定拍摄状态的似然函数定义为：

p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)

p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)

稳像系统所满足的应用背景与摄像机载体和摄像机自身配置有关，对于匀速运动拍摄，其载体速度有限，载体的运动速度不可能无限大，速度越大的运动发生概率也就越小；较大的运动速度会造成运动模糊，无法用于稳像；因此，不同载体的运动速度通常集中在一定范围内，因此采用混合对数正态分布表示运动幅度的似然函数，μ是平均运动速度；

p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)

根据运动状态设置运动补偿系数和抖动补偿系数，ω_c＝′凝视′时只需要补偿抖动，即α＝1，β＝0；在扫描拍摄状态下时，除了需要补偿抖动外，还需要对运动进行补偿，则α＝1，β＝1；

步骤6.根据三阶段运动补偿量，计算当前帧图像输出的位置

通过计算得到运动补偿函数的各个参数后，按照下面公式计算出当前帧的输出位置：

x_n＝x_n-1+err(n)

其中x_n是当前帧相对于输出窗口的绝对位置参数；x_n-1是上一帧相当于输出窗口的绝对运动参数；err(n)是两帧图像之间的运动补偿函数；当前帧图像输出的位置就是运动参数x_n的输出值。

Images