CN105931186A - 基于相机自动标定和颜色校正的全景视频拼接系统与方法 - Google Patents

Abstract

本发明公开了一种基于相机自动标定和颜色校正的全景视频拼接系统与方法，其系统包括相机自动标定模块和颜色在线校正模块；相机自动标定模块包括初始单应矩阵计算子模块、重叠区域计算子模块、重叠区域调整子模块、特征匹配子模块和单应矩阵修正子模块；颜色在线校正模块包括重叠区域颜色校正子模块和整图颜色校正子模块；其方法包括相机自动标定步骤S1、颜色在线校正步骤S2和全景图像拼接步骤S3。本发明在自动标定时通过缩放矩阵和偏移矩阵对待拼接图像间的单应矩阵进行修正，使其更加准确；在进行重叠区域的颜色校正时，利用连续三帧间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

Description

基于相机自动标定和颜色校正的全景视频拼接系统与方法

技术领域

本发明涉及一种基于相机自动标定和颜色校正的全景视频拼接系统与方法，

背景技术

目前，大量摄像机被安装在政府大楼、军事基地、银行、学校、商场、赛场，随着视频会议、远程教育、机器人导航等领域的兴起，单一相机由于视角限制不能记录下大场景下的所有目标，全景拼接技术的出现满足了各个领域对大视场的需求；当今社会激烈的竞争，人们平时都忙于工作，所以假日选择出游地点大部分依靠的是旅游景点的宣传，但传统的图片不能向游客全方位的展示景点，已经不能满足游客的需求，从而无法吸引游客的眼球；汽车展览时间往往是有限的，人们在网上查询时仅仅能获得汽车局部的图片展示，无法全方位的让人提前全面的了解，而要依靠汽车销售现场不停的解说；买房子时，人们除了要到销售中心看小区的整体布局之外，还要去看房子的内部构造，同时还需要销售人员不停的解说，所以如何全方位的展示目标场景是众多技术研究人员的研究热点。

虽然目前已经具有较为成熟的图片拼接技术，但是一张张独立的拼接图片仍然不能够满足人们的需求，相比之下，人们更倾向于汇聚声，乐，图等的高清全景视频；譬如汽车外部的全景展示，可以从每个角度观看汽车外观，可以在网上构建不落幕的车展；汽车内部的全景展示，可以展示汽车内饰和局部细节；可以让人实现轻松看车、买车。同时高清全景视频在监控领域也具有重要作用；众所周知，监控的运用是十分广泛的，例如交通、银行、企业、小区、地铁、火车和商店等；如果将高清全景视频的技术运动到球赛直播，那么就可以实现实时全景转播，让用户可以在有限的屏幕内一览广阔球场的每一个角落，这提高用户体验感。

但是传统的全景视频拼接技术通常会有不可避免的出现图形畸变和光照引起的同一帧内和帧间的色差问题；因此在拼接过程中我们需要对待拼接图像进行几何校正和颜色校正；传统的几何校正针对不同投影画面间存在的重叠区域，需要对对重叠区域进行几何对准，存在“画面分割”“重叠区域提取”“全局几何对准”“多图像边缘融合”等一系列关键问题，具有较大的工程难度；而且较好的几何校正效果依赖于识别重叠区域的准确性，进而依赖于相机标定的可靠性和相机参数的精确性，传统的相机标定依赖于准确的相机内参和棋盘格的一系列繁琐过程。对于相机参数存在较大误差的情况下，传统的相机标定不能得到较好的几何校正效果；传统的颜色校正采用的自动场景平衡算法倾向于调整曝光，以使得图像的平均颜色是中性灰色，这对于许多安防用途的消费者来说是可以接受的，但是对于球赛直播，看房和旅游类具有特定场景或者较高色彩保真要求的用户是不可接受的；例如，简单的平衡摄影ID图像以使得背景成为白色通常会使得对象的脸、头发和眼睛着色失真，会使得脸变亮，从而冲去特征；可替换地，在这样的场景中朝着中性灰色平衡可能会受对象衣服的着色的影响，并且产生有色背景；相似地，从天空、雪或冰场景中去掉了蓝色调，导致超出可接受水平的着色改变，对于具有暗阴影的图像也是如此；使阴影变亮或者改变阴影颜色可能会影响整个图像，因为使得阴影太亮或者因为不可接受地移动了图像的其它区域颜色；当进行颜色平衡以校正其它颜色的倾斜(skewing)时，会发生类似的不可接受的结果；并且，对于视频来说，传统的颜色校正只是对同一时刻的图像进行了颜色校正，但帧间图像由于拍摄时角度变化和光照不均匀会出现较大的颜色差异。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于相机自动标定和颜色校正的全景视频拼接系统与方法，在自动标定时通过缩放矩阵和偏移矩阵对待拼接图像间的单应矩阵进行修正，使其更加准确；在进行重叠区域的颜色校正时，利用连续三帧间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

本发明的目的是通过以下技术方案来实现的：基于相机自动标定和颜色校正的全景视频拼接系统包括相机自动标定模块和颜色在线校正模块；

相机自动标定模块包括初始单应矩阵计算子模块、重叠区域计算子模块、重叠区域调整子模块、特征匹配子模块和单应矩阵修正子模块；

初始单应矩阵计算子模块用于根据相机内外参数相机的内外参数计算待拼接的两幅相邻局部图像间的初始单应矩阵；重叠区域计算子模块用于根据初始单应矩阵计算待拼接的两幅相邻局部图像间重叠区域；重叠区域调整子模块用于对重叠区域进行缩放和平移的调整；特征匹配子模块用于对调整前后的重叠区域进行特征匹配切得偏移矩阵和缩放矩阵；单应矩阵修正子模块用于根据偏移矩阵和缩放矩阵对初始单应矩阵进行修正；

颜色在线校正模块包括重叠区域颜色校正子模块和整图颜色校正子模块；重叠区域颜色校正子模块用于对待拼接的两幅相邻局部图像重叠区域进行颜色校正，整图颜色校正子模块用于对当前帧图像中每一个像素点的像素值进行校正；

重叠区域颜色校正子模块包括初始转换矩阵计算单元、转换矩阵修正单元和重叠区域校正单元；初始转换矩阵计算单元用于通过修正后的单应矩阵计算重叠区域范围，提取重叠区域在两幅图像中的色彩直方图，进行直方图规定化，并计算出转换过程的初始转换矩阵；转换矩阵修正单元用于融入时间信息对初始转换矩阵进行校正；重叠区域校正单元用于根据修正后的矩阵对重叠区域的颜色进行校正。

所述的基于相机自动标定和颜色校正的全景视频拼接系统，还包括全景图像拼接模块，所述的全景拼接模块用于对通过相机标定模块和在线颜色校正模块处理后的全景图像通过光流法拼接成全景视频。

基于相机自动标定和颜色校正的全景视频拼接方法，对每一帧全景图像的处理，均包括相机自动标定步骤S1和颜色在线校正步骤S2：

所述的相机自动标定步骤S1包括以下子步骤：

S11.在当前帧全景图像中,对于任意两幅待拼接局部图像A、B,根据其对应的相机内外参数计算初始单应矩阵H：

S12.根据初始单应矩阵H进行坐标系变换，求出局部图像A和局部图像B的重叠区域；

S13.将重叠区域缩放到统一高度，扩大重叠区域范围；

S14.根据特征匹配算算将局部图像A和局部图像B的重叠区域进行特征匹配；得到准确的参数t_x、t_y、s_x、s_y；根据匹配结果求偏移矩阵M和缩放矩阵N：

$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right];$

$N=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right];$

式中，t_x表示重叠图像在x轴平移的坐标；t_y表示重叠图像在y轴平移的坐标；s_x表示重叠图像在x轴的缩放比例；s_y表示重叠图像在y轴的缩放比例；

具体地，这里采用SURF特征点匹配算法对局部图像A和局部图像B的重叠区域进行特征匹配，然后再利用匹配结果计算偏移矩阵和缩放矩阵。

S15.对初始单应矩阵H进行修正，得到修正后的单应矩阵H′：

H′＝M·H·N；

所述的颜色在线校正步骤S2包括以下子步骤：

S21.重叠区域颜色校正：求得当前帧重叠区域的颜色转换关系矩阵，并利用连续三帧间的图像信息对转换关系矩阵进行修正，再根据修正后的转换关系矩阵对重叠区域进行颜色校正；

S22.整幅图像的颜色校正:分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

所述的基于相机自动标定和颜色校正的全景视频拼接方法，还包括全景图像拼接步骤S3：运用光流法对视频每一帧全景图像进行拼接，获得了连续的全景图。

所述的步骤S11包括以下子步骤：

S111.将局部图像A的坐标系投影到世界坐标系得到单应矩阵H₁；

S112.将局部图像B的坐标系投影到世界坐标系,得到单应矩阵H₂；

S113.计算得到从局部图像A到局部图像B的初始单应矩阵：

$H=H_1\·H_2^{-1}.$

进一步地,H₁和H₂由相机的内外参数决定。

所述的步骤S21包括以下子步骤：

S211.利用步骤S15中计算得到的单应矩阵H′计算局部图像A和局部图像B重叠区域的范围；

S212.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S213.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；其转换关系矩阵R为：

$R={\[I_1^T{I}_1\]}^{-1}{I}_1^T{I}_2;$

I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；其中I₁、I₂分别是[n 3]的矩阵，n是图像的像素点个数，3表示RGB三原色；也就是说I₁、I₂均为n行3列的矩阵。

S214.融入时间信息对转换矩阵R进行修正：定义当前帧为T，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I₁′：

I₁′＝[I_T1 I_(T-1)1 I_(T-2)1]^T，

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；

同时对转换矩阵R中的I₂进行修正得到I₂′：

I₂′＝[I_T2 I_(T-1)2 I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；

计算修正后的转换矩阵R′为：

R′=[I′^T ₁I′₁]^-1I′^T ₁I′₂；

S215.利用修正后的矩阵R′对重叠区域进行颜色校正。

由于融入了时间信息，采用三帧连续间的图像信息对转换关系矩阵进行修正，在对重叠区域进行颜色校正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

步骤S22中对每个原色通道的校正均对包括以下子步骤：

S221.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，

并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S222.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\Σ}}h\left(x\right)=\mathrm{\λ}$

进一步地，λ可以认为是已知量，一般情况下，偏暗阈值λ＝0.01，偏亮阈值1-λ＝0.99。

进一步地，如果计算得到的x_b不是整数，则对x_b取整。

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\Σ}}h\left(x\right)=1-\mathrm{\λ}$

进一步地，如果计算得到的x_w不是整数，则对x_w取整。

S223.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\′}=\frac{\underset{T-2}{\overset{T}{\Σ}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\′}=\frac{\underset{T-2}{\overset{T}{\Σ}}{x}_w\left(t\right)}{3},$

进一步地，如果当前帧为第二帧，则x_b′和x_w′的修正只对第二帧和前一帧求均值，如果当前帧为第一帧，则不需要进行修正。

S224.对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x_b′≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x_b′或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。

进一步地，x_b′≤x≤x′_w时，a和b由(x_b′，λ*255)和(x′_w，255(1-λ))两个点带入F(x)＝a+bx来确定；

在0≤x＜x_b′时，c和d由(0,0)和(x_b′，λ*255)带入F(x)＝c+t(x/t)^d来确定，且d小于1；

在x′_w<x≤255时，c和d由(x′_w，255(1-λ))和(255,255)带入F(x)＝c+t(x/t)^d来确定，且d大于1。

本发明的有益效果是：(1)在自动标定时通过重叠区域的特征点匹配来求得缩放矩阵和偏移矩阵，进而修正得到待拼接图像间的单应矩阵，从而使得相机标定得到的单应矩阵更加准确。

(2)既进行了重叠区域的颜色校正，也进行了整幅图像的颜色校正，校正后的到的图像效果更好。

(3)在进行重叠区域颜色校正时，融入了时间信息，采用连续三帧间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

(4)在进行整幅图像的颜色校正时，分别统计当前帧全景图像中三原色通道图像的直方图,并对每个原色通道分别进行颜色校正，且在校正过程中，采用连续三帧图像对偏暗阈值对应的像素值和偏亮阈值对应的像素值进行修正；保持了同帧图像颜色的一致性，进一步加强了帧与帧间颜色变化的流畅性。

附图说明

图1为本发明的系统原理框图；

图2为本发明的方法流程图；

图3为重叠区域颜色校正的流程图；

图4为整幅图像中每个像素点的像素值校正示意图；。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，基于相机自动标定和颜色校正的全景视频拼接系统包括相机自动标定模块和颜色在线校正模块；

相机自动标定模块包括初始单应矩阵计算子模块、重叠区域计算子模块、重叠区域调整子模块、特征匹配子模块和单应矩阵修正子模块；

初始单应矩阵计算子模块用于根据相机内外参数相机的内外参数计算待拼接的两幅相邻局部图像间的初始单应矩阵；重叠区域计算子模块用于根据初始单应矩阵计算待拼接的两幅相邻局部图像间重叠区域；重叠区域调整子模块用于对重叠区域进行缩放和平移的调整；特征匹配子模块用于对调整前后的重叠区域进行特征匹配切得偏移矩阵和缩放矩阵；单应矩阵修正子模块用于根据偏移矩阵和缩放矩阵对初始单应矩阵进行修正；

颜色在线校正模块包括重叠区域颜色校正子模块和整图颜色校正子模块；重叠区域颜色校正子模块用于对待拼接的两幅相邻局部图像重叠区域进行颜色校正，整图颜色校正子模块用于对当前帧图像中每一个像素点的像素值进行校正；

重叠区域颜色校正子模块包括初始转换矩阵计算单元、转换矩阵修正单元和重叠区域校正单元；初始转换矩阵计算单元用于通过修正后的单应矩阵计算重叠区域范围，提取重叠区域在两幅图像中的色彩直方图，进行直方图规定化，并计算出转换过程的初始转换矩阵；转换矩阵修正单元用于融入时间信息对初始转换矩阵进行校正；重叠区域校正单元用于根据修正后的矩阵对重叠区域的颜色进行校正。

所述的基于相机自动标定和颜色校正的全景视频拼接系统，还包括全景图像拼接模块，所述的全景拼接模块用于对通过相机标定模块和在线颜色校正模块处理后的全景图像通过光流法拼接成全景视频。

如图2所示，基于相机自动标定和颜色校正的全景视频拼接方法，对每一帧全景图像的处理，均包括相机自动标定步骤S1和颜色在线校正步骤S2：

所述的相机自动标定步骤S1包括以下子步骤：

S11.在当前帧全景图像中,对于任意两幅待拼接局部图像A、B,根据其对应的相机内外参数计算初始单应矩阵H：

S12.根据初始单应矩阵H进行坐标系变换，求出局部图像A和局部图像B的重叠区域；

S13.将重叠区域缩放到统一高度，扩大重叠区域范围；

S14.根据特征匹配算算将局部图像A和局部图像B的重叠区域进行特征匹配；得到准确的参数t_x、t_y、s_x、s_y；根据匹配结果求偏移矩阵M和缩放矩阵N：

$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right];$

$N=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right];$

式中，t_x表示重叠图像在x轴平移的坐标；t_y表示重叠图像在y轴平移的坐标；s_x表示重叠图像在x轴的缩放比例；s_y表示重叠图像在y轴的缩放比例；

具体地，这里采用SURF特征点匹配算法对局部图像A和局部图像B的重叠区域进行特征匹配，然后再利用匹配结果计算偏移矩阵和缩放矩阵。

S15.对初始单应矩阵H进行修正，得到修正后的单应矩阵H′：

H′＝M·H·N；

所述的颜色在线校正步骤S2包括以下子步骤：

S21.重叠区域颜色校正：求得当前帧重叠区域的颜色转换关系矩阵，并利用连续三帧间的图像信息对转换关系矩阵进行修正，再根据修正后的转换关系矩阵对重叠区域进行颜色校正；

S22.整幅图像的颜色校正:分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

所述的基于相机自动标定和颜色校正的全景视频拼接方法，还包括全景图像拼接步骤S3：运用光流法对视频每一帧全景图像进行拼接，获得了连续的全景图，即全景视频。

所述的步骤S11包括以下子步骤：

S111.将局部图像A的坐标系投影到世界坐标系得到单应矩阵H₁；

S112.将局部图像B的坐标系投影到世界坐标系,得到单应矩阵H₂；

S113.计算得到从局部图像A到局部图像B的初始单应矩阵：

$H=H_1\&CenterDot;H_2^{-1}.$

进一步地,H₁和H₂由相机的内外参数决定。

如图3所示，所述的步骤S21包括以下子步骤：

S211.利用步骤S15中计算得到的单应矩阵H′计算局部图像A和局部图像B重叠区域的范围；

S212.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S213.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；其转换关系矩阵R为：

$R={\&lsqb;I_1^T{I}_1\&rsqb;}^{-1}{I}_1^T{I}_2;$

I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；其中I₁、I₂分别是[n 3]的矩阵，n是图像的像素点个数，3表示RGB三原色；

S214.融入时间信息对转换矩阵R进行修正：定义当前帧为T，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I₁′：

I₁′＝[I_T1 I_(T-1)1 I_(T-2)1]^T，

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；

同时对转换矩阵R中的I₂进行修正得到I₂′：

I₂′＝[I_T2 I_(T-1)2 I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；

计算修正后的转换矩阵R′为：

$R^{\&prime;}={\&lsqb;I_1^{\&prime;T}{I}_1^{\&prime;}\&rsqb;}^{-1}{I}_1^{\&prime;T}{I}_2^{\&prime;};$

S215.利用修正后的矩阵R′对重叠区域进行颜色校正。

由于融入了时间信息，采用三帧连续间的图像信息对转换关系矩阵进行修正，在对重叠区域进行颜色校正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。

步骤S22中对每个原色通道的校正均对包括以下子步骤：

S221.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，

并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S222.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\&Sigma;}}h\left(x\right)=\mathrm{\&lambda;}$

进一步地，λ可以认为是已知量，一般情况下，偏暗阈值λ＝0.01，偏亮阈值1-λ＝0.99。

进一步地，如果计算得到的x_b不是整数，则对x_b取整。

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\&Sigma;}}h\left(x\right)=1-\mathrm{\&lambda;}$

进一步地，如果计算得到的x_w不是整数，则对x_w取整。

S223.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_w\left(t\right)}{3},$

进一步地，如果当前帧为第二帧，则x_b′和x_w′的修正只对第二帧和前一帧求均值，如果当前帧为第一帧，则不需要进行修正。

S224.如图4所示，对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x_b′≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x_b′或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。

进一步地，x_b′≤x≤x′_w时，a和b由(x_b′，λ*255)和(x′_w，255(1-λ))两个点带入F(x)＝a+bx来确定；

在0≤x＜x_b′时，c和d由(0,0)和(x_b′，λ*255)带入F(x)＝c+t(x/t)^d来确定，且d小于1；

在x′_w<x≤255时，c和d由(x′_w，255(1-λ))和(255,255)带入F(x)＝c+t(x/t)^d来确定，且d大于1。

进一步地，在进行全景视频拼接的过程中，一般采用三台不同方位的摄像机进行图像数据采集，三台摄像机分别输入每一帧全景图像待拼接的左图、中图和右图；每一帧全景图像的拼接过程，实际上就是将左图、右图分别与中图拼接；左图与中图可以看作是两幅待拼接局部图像；右图与中图也可以看作是两幅待拼接局部图像；

在本申请中，可以将左图看作上述的局部图像A，中图看作上述的局部图像B，将其按照步骤S1进行相机自动标定，再按照步骤S21进行重叠区域的颜色校正。右图与中图重叠区域颜色校正同理，将其分别看作局部图像A和局部图像B，按照步骤S1进行相机自动标定，按照步骤S21进行重叠区域颜色校正即可。重叠区域颜色校正完成后，再按照步骤S22对整幅全景图像进行颜色校正。

Claims (7)

1.基于相机自动标定和颜色校正的全景视频拼接系统，其特征在于：包括相机自动标定模块和颜色在线校正模块；

相机自动标定模块包括初始单应矩阵计算子模块、重叠区域计算子模块、重叠区域调整子模块、特征匹配子模块和单应矩阵修正子模块；

初始单应矩阵计算子模块用于根据相机内外参数相机的内外参数计算待拼接的两幅相邻局部图像间的初始单应矩阵；重叠区域计算子模块用于根据初始单应矩阵计算待拼接的两幅相邻局部图像间重叠区域；重叠区域调整子模块用于对重叠区域进行缩放和平移的调整；特征匹配子模块用于对调整前后的重叠区域进行特征匹配切得偏移矩阵和缩放矩阵；单应矩阵修正子模块用于根据偏移矩阵和缩放矩阵对初始单应矩阵进行修正；

颜色在线校正模块包括重叠区域颜色校正子模块和整图颜色校正子模块；重叠区域颜色校正子模块用于对待拼接的两幅相邻局部图像重叠区域进行颜色校正，整图颜色校正子模块用于对当前帧图像中每一个像素点的像素值进行校正；

重叠区域颜色校正子模块包括初始转换矩阵计算单元、转换矩阵修正单元和重叠区域校正单元；初始转换矩阵计算单元用于通过修正后的单应矩阵计算重叠区域范围，提取重叠区域在两幅图像中的色彩直方图，进行直方图规定化，并计算出转换过程的初始转换矩阵；转换矩阵修正单元用于融入时间信息对初始转换矩阵进行校正；重叠区域校正单元用于根据修正后的矩阵对重叠区域的颜色进行校正。

2.根据权利要求1所述的基于相机自动标定和颜色校正的全景视频拼接系统，其特征在于：还包括全景图像拼接模块，所述的全景拼接模块用于对通过相机标定模块和在线颜色校正模块处理后的全景图像通过光流法拼接成全景视频。

3.基于相机自动标定和颜色校正的全景视频拼接方法，其特征在于：对每一帧全景图像的处理，均包括相机自动标定步骤S1和颜色在线校正步骤S2：

所述的相机自动标定步骤S1包括以下子步骤：

S11.在当前帧全景图像中,对于任意两幅待拼接局部图像A、B,根据其对应的相机内外参数计算初始单应矩阵H：

S12.根据初始单应矩阵H进行坐标系变换，求出局部图像A和局部图像B的重叠区域；

S13.将重叠区域缩放到统一高度，扩大重叠区域范围；

S14.根据特征匹配算算将局部图像A和局部图像B的重叠区域进行特征匹配；得到准确的参数t_x、t_y、s_x、s_y；根据匹配结果求偏移矩阵M和缩放矩阵N：

$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right];$

$N=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& 1\end{array}\right];$

式中，t_x表示重叠图像在x轴平移的坐标；t_y表示重叠图像在y轴平移的坐标；s_x表示重叠图像在x轴的缩放比例；s_y表示重叠图像在y轴的缩放比例；

S15.对初始单应矩阵H进行修正，得到修正后的单应矩阵H′：

H′＝M·H·N；

所述的颜色在线校正步骤S2包括以下子步骤：

S21.重叠区域颜色校正：求得当前帧重叠区域的颜色转换关系矩阵，并利用连续三帧间的图像信息对转换关系矩阵进行修正，再根据修正后的转换关系矩阵对重叠区域进行颜色校正；

S22.整幅图像的颜色校正:分别统计当前帧全景图像中R,G,B三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。

4.根据权利要求3所述的基于相机自动标定和颜色校正的全景视频拼接方法，其特征在于：还包括全景图像拼接步骤S3：运用光流法对视频每一帧全景图像进行拼接，获得了连续的全景图,即全景视频。

5.根据权利要求3所述的基于相机自动标定和颜色校正的全景视频拼接方法，其特征在于：所述的步骤S11包括以下子步骤：

S111.将局部图像A的坐标系投影到世界坐标系得到单应矩阵H₁；

S112.将局部图像B的坐标系投影到世界坐标系,得到单应矩阵H₂；

S113.计算得到从局部图像A到局部图像B的初始单应矩阵：

$H=H_1\&CenterDot;H_2^{-1}.$

6.根据权利要求3所述的基于相机自动标定和颜色校正的全景视频拼接方法，其特征在于：所述的步骤S21包括以下子步骤：

S211.利用步骤S15中计算得到的单应矩阵H′计算局部图像A和局部图像B重叠区域的范围；

S212.提取局部图像A中重叠区域的色彩直方图G₁和局部图像B中重叠区域的第二直方图G₂，并进行直方图规定化得到直方图G₃；

S213.利用直方图G₃对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1；其转换关系矩阵R为：

$R={\&lsqb;I_1^T{I}_1\&rsqb;}^{-1}{I}_1^T{I}_2;$

I₁表示局部图像B的像素信息；I₂表示图像A1的像素信息；

S214.融入时间信息对转换矩阵R进行修正：定义当前帧为T，T-1、T-2分别为前2帧；对转换矩阵R中的I₁进行修正得到I′₁：

I′₁＝[I_T1 I_(T-1)1 I_(T-2)1]^T，

I_T1表示当前帧局部图像B的像素信息，I_(T-1)1和I_(T-2)1分别表示前两帧局部图像B的像素信息；同时对转换矩阵R中的I₂进行修正得到I′₂：

I′₂＝[I_T2 I_(T-1)2 I_(T-2)2]^T，

式中，I_T2表示当前帧校正后的图像A1的像素信息；I_(T-2)2和I_(T-1)2分别表示前两帧校正后的图像A1的像素信息；

计算修正后的转换矩阵R′为：

$R^{\&prime;}={\&lsqb;I_1^{\&prime;T}{I}_1^{\&prime;}\&rsqb;}^{-1}{I}_1^{\&prime;T}{I}_2^{\&prime;};$

S215.利用修正后的矩阵R′对重叠区域进行颜色校正。

7.根据权利要求3所述的基于相机自动标定和颜色校正的全景视频拼接方法，其特征在于：步骤S22中对每个原色通道的校正均对包括以下子步骤：

S221.在当前通道的图像中，建立直方图：对于每个像素值x_i，统计其像素点个数为S(x_i)，并计算该像素值在图像中出现的概率h(x_i)：

$h\left(x_i\right)=\frac{S\left(x_i\right)}{n},$

得到直方图H(R)：

H(R)＝[h(x₁),h(x₂),…h(x_i)，…,h(x_s)]，

式中，n为图像中像素点总数；s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵坐标为该像素值在图像中出现的概率；

S222.定义当前通道图像的偏暗阈值为λ，偏亮阈值为1-λ，求偏暗阈值λ对应的像素值x_b：

$\underset{x_1}{\overset{x_b}{\&Sigma;}}h\left(x\right)=\mathrm{\&lambda;}$

求得偏亮阈值1-λ对应的像素值x_w：

$\underset{x_1}{\overset{x_w}{\&Sigma;}}h\left(x\right)=1-\mathrm{\&lambda;}$

S223.定义当前帧图像为第T帧的图像，T≥2，T-1、T-2帧的图像为前2帧图像，对x_b的值进行修正，得到修正后的偏暗阈值λ对应的像素值x_b′：

${x_b}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_b\left(t\right)}{3},$

对x_w的值进行修正，得到修正后的偏亮阈值1-λ对应的像素值x_w′：

${x_w}^{\&prime;}=\frac{\underset{T-2}{\overset{T}{\&Sigma;}}{x}_w\left(t\right)}{3},$

S224.对整幅图像中的每一个像素点的像素值x进行校正：

(1)如果像素点的像素值x满足x′_b≤x≤x′_w，则进行线性校正，该像素点校正后的像素值F(x)为：

F(x)＝a+bx，

(2)如果当前像素点的像素值x满足0≤x＜x′_b或者x′_w<x≤255，则该像素点校正后的像素值F(x)为：

F(x)＝c+t(x/t)^d；

式中，a,b,c,d为设定的校正参数，t＝255。