CN105827975A - 一种用于全景视频拼接的颜色在线校正方法 - Google Patents

Abstract

本发明公开了一种用于全景视频拼接的颜色在线校正方法，包括以下步骤：S1.重叠区域颜色校正：求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行颜色校正；S2.整幅图像的颜色校正：分别统计当前帧全景图像中三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。本发明提供了一种用于全景视频拼接的颜色在线校正方法；在进行重叠区域的颜色校正时，利用三帧连续间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

Description

一种用于全景视频拼接的颜色在线校正方法

技术领域

本发明涉及一种用于全景视频拼接的颜色在线校正方法。

背景技术

目前，大量摄像机被安装在政府大楼、军事基地、银行、学校、商场、赛场，随着视频会议、远程教育、机器人导航等领域的兴起，单一相机由于视角限制不能记录下大场景下的所有目标，全景拼接技术的出现满足了各个领域对大视场的需求；当今社会激烈的竞争，人们平时都忙于工作，所以假日选择出游地点大部分依靠的是旅游景点的宣传，但传统的图片不能向游客全方位的展示景点，已经不能满足游客的需求，从而无法吸引游客的眼球；汽车展览时间往往是有限的，人们在网上查询时仅仅能获得汽车局部的图片展示，无法全方位的让人提前全面的了解，而要依靠汽车销售现场不停的解说；买房子时，人们除了要到销售中心看小区的整体布局之外，还要去看房子的内部构造，同时还需要销售人员不停的解说，所以如何全方位的展示目标场景是众多技术研究人员的研究热点。

虽然目前已经具有较为成熟的图片拼接技术，但是一张张独立的拼接图片仍然不能够满足人们的需求，相比之下，人们更倾向于汇聚声，乐，图等的高清全景视频；譬如汽车外部的全景展示，可以从每个角度观看汽车外观，可以在网上构建不落幕的车展；汽车内部的全景展示，可以展示汽车内饰和局部细节；可以让人实现轻松看车、买车。同时高清全景视频在监控领域也具有重要作用；众所周知，监控的运用是十分广泛的，例如交通、银行、企业、小区、地铁、火车和商店等；如果将高清全景视频的技术运动到球赛直播，那么就可以实现实时全景转播，让用户可以在有限的屏幕内一览广阔球场的每一个角落，这提高用户体验感。

但是传统的全景视频拼接技术通常会有光照引起的同一帧内和帧间的色差问题；因此在拼接过程中我们需要对待拼接图像进行颜色校正；传统的颜色校正采用的自动场景平衡算法倾向于调整曝光，以使得图像的平均颜色是中性灰色，这对于许多安防用途的消费者来说是可以接受的，但是对于球赛直播，看房和旅游类具有特定场景或者较高色彩保真要求的用户是不可接受的；例如，简单的平衡摄影ID图像以使得背景成为白色通常会使得对象的脸、头发和眼睛着色失真，会使得脸变亮，从而冲去特征；可替换地，在这样的场景中朝着中性灰色平衡可能会受对象衣服的着色的影响，并且产生有色背景；相似地，从天空、雪或冰场景中去掉了蓝色调，导致超出可接受水平的着色改变，对于具有暗阴影的图像也是如此；使阴影变亮或者改变阴影颜色可能会影响整个图像，因为使得阴影太亮或者因为不可接受地移动了图像的其它区域颜色；当进行颜色平衡以校正其它颜色的倾斜(skewing)时，会发生类似的不可接受的结果；并且，对于视频来说，传统的颜色校正只是对同一时刻的图像进行了颜色校正，但帧间图像由于拍摄时角度变化和光照不均匀会出现较大的颜色差异。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于全景视频拼接的颜色在线校正方法；在进行重叠区域的颜色校正时，利用连续三帧间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

本发明的目的是通过以下技术方案来实现的：一种用于全景视频拼接的颜色在线校正方法，包括以下步骤：

S1.重叠区域颜色校正：求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行颜色校正；

S2.整幅图像的颜色校正：分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

所述的步骤S1中，当前帧全景图像由多幅局部图像拼接而成，任意两幅待拼接局部图像重叠区域的颜色校正包括以下子步骤：

S11.求解两幅待拼接局部图像A、B之间的单应矩阵H；

进一步地；一般情况下先将局部图像A的坐标系投影到世界坐标系得到单应矩阵H₁；再将局部图像B的坐标系投影到世界坐标系,得到单应矩阵H₂；计算得到从局部图像A到局部图像B的单应矩阵：进一步可对单应矩阵H进行修正；

S12.根据单应矩阵H计算局部图像A和局部图像B之间的重叠区域的范围；

S13.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S14.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；颜色校正的转换关系矩阵R为：

$R={\[I_1^T{I}_1\]}^{-1}{I}_1^T{I}_2;$

式中，I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；其中I₁、I₂分别是[n3]的矩阵，n是图像的像素点个数，3即为三原色通道R,G,B，也就是说，I₁、I₂均为n行3列的矩阵。

S15.融入时间信息对转换矩阵R进行修正：

S151.定义当前帧为T，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I′₁：

I′₁＝[I_T1I_(T-1)1I_(T-2)1]^T

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；

S152.同时对转换矩阵R中的I₂进行修正得到I′₂：

I′₂＝[I_T2I_(T-1)2I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；其中I′₁和I′₂为[3n，3]的矩阵；

S153,计算修正后的转换矩阵R′为：

$R^{\′}={\[I_1^{\′T}{I}_1^{\′}\]}^{-1}{I}_1^{\′T}{I}_2^{\′};$

S16.利用修正后的矩阵R′对重叠区域进行颜色校正。

由于融入了时间信息，采用三帧连续间的图像信息对转换关系矩阵进行修正，在对重叠区域进行颜色校正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

步骤S2中对每个原色通道的校正均对包括以下子步骤：

S21.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S22.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\Σ}}h\left(x\right)=\mathrm{\λ}$

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\Σ}}h\left(x\right)=1-\mathrm{\λ}$

S23.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\′}=\frac{\underset{T-2}{\overset{T}{\Σ}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\′}=\frac{\underset{T-2}{\overset{T}{\Σ}}{x}_w\left(t\right)}{3},$

S24.对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x′_b≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x′_b或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。

本发明的有益效果是：(1)在进行重叠区域的颜色校正时，利用连续三帧间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

(2)在进行整幅图像的颜色校正时，分别统计当前帧全景图像中三原色通道图像的直方图,并对每个原色通道分别进行颜色校正，且在校正过程中，采用连续三帧图像对偏暗阈值对应的像素值和偏亮阈值对应的像素值进行修正；保持了同帧图像颜色的一致性，进一步加强了帧与帧间颜色变化的流畅性。

附图说明

图1为本发明的方法流程图。

图2为重叠区域颜色校正的流程图。

图3为整幅图像中每个像素点的像素值校正示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种用于全景视频拼接的颜色在线校正方法，包括以下步骤：

S1.重叠区域颜色校正：求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行颜色校正；

S2.整幅图像的颜色校正：分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

如图2所示,所述的步骤S1中，当前帧全景图像由多幅局部图像拼接而成，任意两幅待拼接局部图像重叠区域的颜色校正包括以下子步骤：

S11.求解两幅待拼接局部图像A、B之间的单应矩阵H；

进一步地；一般情况下先将局部图像A的坐标系投影到世界坐标系得到单应矩阵H₁；再将局部图像B的坐标系投影到世界坐标系,得到单应矩阵H₂；计算得到从局部图像A到局部图像B的单应矩阵：

进一步地，得到单应矩阵H后可对其进行修正，利用修正得到的H′进行后续计算：根据初始单应矩阵H进行坐标系变换，求出局部图像A和局部图像B的重叠区域；将重叠区域缩放到统一高度，扩大重叠区域范围；从而使得重叠区域能完全重合，矫正后的图像平面能够准确的成对出现在输入图像中；根据特征匹配算法将局部图像A和局部图像B的重叠区域进行特征匹配；得到准确的参数t_x、t_y、s_x、s_y；根据匹配结果求偏移矩阵M和缩放矩阵N：

$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right];$

$N=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right];$

式中，t_x表示重叠图像在x轴平移的坐标；t_y表示重叠图像在y轴平移的坐标；s_x表示重叠图像在x轴的缩放比例；s_y表示重叠图像在y轴的缩放比例；具体地，这里采用SURF特征点匹配算法对局部图像A和局部图像B的重叠区域进行特征匹配，然后再利用匹配结果计算偏移矩阵和缩放矩阵。对初始单应矩阵H进行修正，得到修正后的单应矩阵H′：

H′＝M·H·N。

S12.根据单应矩阵H计算局部图像A和局部图像B之间的重叠区域的范围；

S13.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S14.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；颜色校正的转换关系矩阵R为：

$R={\&lsqb;I_1^T{I}_1\&rsqb;}^{-1}{I}_1^T{I}_2;$

式中，I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；其中I₁、I₂分别是[n3]的矩阵，n是图像的像素点个数；3即为三原色通道R,G,B。

S15.融入时间信息对转换矩阵R进行修正：

S151.定义当前帧为T，T≥2，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I′₁：

I′₁＝[I_T1I_(T-1)1I_(T-2)1]^T

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；

S152.同时对转换矩阵R中的I₂进行修正得到I′₂：

I′₂＝[I_T2I_(T-1)2I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；其中I′₁和I′₂为[3n，3]的矩阵；

S153.计算修正后的转换矩阵R′为：

$R^{\&prime;}={\&lsqb;I_1^{\&prime;T}{I}_1^{\&prime;}\&rsqb;}^{-1}{I}_1^{\&prime;T}{I}_2^{\&prime;};$

进一步地，如果当前帧为第一帧，则不进行转换矩阵的修正，如果当前帧为第二帧，则只结合前一帧的图像进行修正；

S16.利用修正后的矩阵R′对重叠区域进行颜色校正。

由于融入了时间信息，采用三帧连续间的图像信息对转换关系矩阵进行修正，再对重叠区域进行颜色校正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

步骤S2中对每个原色通道的校正均对包括以下子步骤：

S21.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S22.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\&Sigma;}}h\left(x\right)=\mathrm{\&lambda;},$

进一步地，λ可以认为是已知量，一般情况下，偏暗阈值λ＝0.01，偏亮阈值1-λ＝0.99。

进一步地，如果计算得到的x_b不是整数，则对x_b取整；

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\&Sigma;}}h\left(x\right)=1-\mathrm{\&lambda;}$

进一步地，如果计算得到的x_w不是整数，则对x_w取整。

S23.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_w\left(t\right)}{3},$

进一步地，如果当前帧为第二帧，则x_b′和x_w′的修正只对第二帧和前一帧求均值，如果当前帧为第一帧，则不需要进行修正。

S24.如图3所示，对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x′_b≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x′_b或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。

进一步地，x′_b≤x≤x′_w时，a和b由(x′_b，λ*255)和(x′_w，255(1-λ))两个点带入F(x)＝a+bx来确定；

在0≤x＜x′_b时，c和d由(0,0)和(x′_b，λ*255)带入F(x)＝c+t(x/t)^d来确定，且d小于1；

在x′_w<x≤255时，c和d由(x′_w，255(1-λ))和(255,255)带入F(x)＝c+t(x/t)^d来确定，且d大于1。

进一步地，在进行全景视频拼接的过程中，一般采用三台不同方位的摄像机进行图像数据采集，三台摄像机分别输入每一帧全景图像待拼接的左图、中图和右图；每一帧全景图像的拼接过程，实际上就是将左图、右图分别与中图拼接；本申请中，左图与中图可以看作是相邻两幅待拼接局部图像，即将左图看作上述的局部图像A，中图看作上述的局部图像B，按照步骤S1进行重叠区域颜色校正即可；右图与中图之间的重叠区域颜色校正同理，将其分别当作局部图像A和局部图像B进行校正即可，重叠区域校正后，将左图，中图，右图拼接成的全景图像再按照步骤S2的方法进行整幅图像颜色校正。

Claims (3)

1.一种用于全景视频拼接的颜色在线校正方法，其特征在于：包括以下步骤：

S1.重叠区域颜色校正：求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行颜色校正；

S2.整幅图像的颜色校正：分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

2.根据权利要求1所述的一种用于全景视频拼接的颜色在线校正方法，其特征在于：所述的步骤S1中，当前帧全景图像由多幅局部图像拼接而成，任意两幅待拼接局部图像重叠区域的颜色校正包括以下子步骤：

S11.求解两幅待拼接局部图像A、B之间的单应矩阵H；

S12.根据单应矩阵H计算局部图像A和局部图像B之间的重叠区域的范围；

S13.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S14.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；其颜色校正的转换关系矩阵R为：

$R={\&lsqb;I_1^T{I}_1\&rsqb;}^{-1}{I}_1^T{I}_2;$

式中，I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；

S15.融入时间信息对转换矩阵R进行修正：

S151.定义当前帧为T，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I′₁：

I′₁＝[I_T1I_(T-1)1I_(T-2)1]^T

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；

S152.对转换矩阵R中的I₂进行修正得到I′₂：

I′₂＝[I_T2I_(T-1)2I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；

S153.计算修正后的转换矩阵R′：

$R^{\&prime;}={\&lsqb;I_1^{\&prime;T}{I}_1^{\&prime;}\&rsqb;}^{-1}{I}_1^{\&prime;T}{I}_2^{\&prime;};$

S16.利用修正后的矩阵R′对重叠区域进行颜色校正。

3.根据权利要求1所述的一种用于全景视频拼接的颜色在线校正方法，其特征在于：步骤S2中对每个原色通道的校正均对包括以下子步骤：

S21.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S22.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\mathrm{\&Sigma;}}}h\left(x\right)=\mathrm{\&lambda;}$

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\&Sigma;}}h\left(x\right)=1-\mathrm{\&lambda;}$

S23.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_w\left(t\right)}{3},$

S24.对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x′_b≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x′_b或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。