CN112017222B - 视频全景拼接与三维融合方法及装置 - Google Patents
视频全景拼接与三维融合方法及装置 Download PDFInfo
- Publication number
- CN112017222B CN112017222B CN202010933528.XA CN202010933528A CN112017222B CN 112017222 B CN112017222 B CN 112017222B CN 202010933528 A CN202010933528 A CN 202010933528A CN 112017222 B CN112017222 B CN 112017222B
- Authority
- CN
- China
- Prior art keywords
- image
- real
- adjacent
- matching
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title description 27
- 230000009466 transformation Effects 0.000 claims abstract description 70
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请实施例提供一种视频全景拼接与三维融合方法及装置，方法包括：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示；本申请能够有效解决视频不连续问题，增加视频可读性。
Description
技术领域
本申请涉及视频处理领域，具体涉及一种视频全景拼接与三维融合方法及装置。
背景技术
随着人们对生活和工作的环境的安全性要求的不断提高，建筑物的安全防范系统的重要性就越来越突出。其中，视频监控系统以其直观、方便、信息内容丰富的特点越来越受到人们的重视，由此视频成为安全防范系统的重要组成部分。
综上所述传统监控在重要卡口或者区域所体现出的缺陷，亟需要提出一种改善方式，而近年来随着计算机、网络、图像处理、计算机图形学以及传输技术的发展，视频监控技术也得到飞速发展。现在的许多监控依然是按照单个摄像机的方式以9宫格或者更多的小视频展示在屏幕上，虽然摄像机覆盖范围广，但是每个摄像机的画面存在不连贯，细节容易丢失，监控死角多、地理位置不明确等许多问题，因此给犯罪分子提供了可乘之机。
发明内容
针对现有技术中的问题，本申请提供一种视频全景拼接与三维融合方法及装置，能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种视频全景拼接与三维融合方法，包括：
获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
进一步地，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：
根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；
对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。
进一步地，所述对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：
对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；
对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。
进一步地，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：
根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
根据所述摄像机的数量和视频画面分辨率，建立全景图像；
对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。
进一步地，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：
确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
第二方面，本申请提供一种视频全景拼接与三维融合装置，包括：
图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
进一步地，所述图像预处理模块包括：
图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；
图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。
进一步地，所述变换关系确定模块包括：
特征提取单元，用于对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；
粗匹配单元，用于对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
精匹配单元，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
变换关系计算单元，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。
进一步地，所述全景图像生成模块包括：
色彩矫正单元，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
全景图像建立单元，用于根据所述摄像机的数量和视频画面分辨率，建立全景图像；
重叠优化单元，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。
进一步地，所述三维融合模块包括：
离散点对确定单元，用于确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
三维融合单元，用于根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的视频全景拼接与三维融合方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的视频全景拼接与三维融合方法的步骤。
由上述技术方案可知，本申请提供一种视频全景拼接与三维融合方法及装置，通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之一；
图2为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之二；
图3为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之三；
图4为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之四；
图5为本申请实施例中的视频全景拼接与三维融合方法的流程示意图之五；
图6为本申请实施例中的视频全景拼接与三维融合装置的结构图之一；
图7为本申请实施例中的视频全景拼接与三维融合装置的结构图之二；
图8为本申请实施例中的视频全景拼接与三维融合装置的结构图之三；
图9为本申请实施例中的视频全景拼接与三维融合装置的结构图之四；
图10为本申请实施例中的视频全景拼接与三维融合装置的结构图之五；
图11为本申请一具体实施例中的高斯滤波3x3模板的参数示意图；
图12为本申请一具体实施例中的某个场景相邻视频画面的特征匹配示意图；
图13为本申请一具体实施例中的某个场景相邻视频画面全景拼接的二维图像示意图；
图14为本申请一具体实施例中的实时视频全景拼接与三维融合的效果示意图之一；
图15为本申请一具体实施例中的实时视频全景拼接与三维融合的效果示意图之二；
图16为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到近年来随着计算机、网络、图像处理、计算机图形学以及传输技术的发展，视频监控技术也得到飞速发展。而现在的许多监控依然是按照单个摄像机的方式以9宫格或者更多的小视频展示在屏幕上，虽然摄像机覆盖范围广，但是每个摄像机的画面存在不连贯，细节容易丢失，监控死角多、地理位置不明确等许多问题，因此给犯罪分子提供了可乘之机的问题，本申请提供一种视频全景拼接与三维融合方法及装置，通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
为了能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值，本申请提供一种视频全景拼接与三维融合方法的实施例，参见图1，所述视频全景拼接与三维融合方法具体包含有如下内容：
步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
从上述描述可知，本申请实施例提供的视频全景拼接与三维融合方法，能够通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
在本申请的视频全景拼接与三维融合方法的一实施例中，参见图2，还可以具体包含如下内容：
步骤S201：根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；
步骤S202：对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。
可选的，由于前端视频采集装备的生产，安装以及周围环境等因素的影响，使得获取的视频图像质量存在差异，而图像质量的好坏直接影响后续图像特征提取以及特征匹配的效果，因此提前进行图像预处理是必要也是必不可少的步骤，具体为：图像降噪，图像灰度化。
具体为：由于自然界中大部分的事物在样本足够多的情况下分布都近似接近于高斯分布，而我们所获取的图像中的像素有成千上万且每个像素都相互独立，因此在图像降噪阶段，我们使用高斯滤波地方法。具体的高斯滤波的核函数可以分为一维，二维以至到多维，下面我们简单介绍一维和二维高斯滤波的核函数，
一维高斯滤波的密度函数，如下：
其中，μ是均值，σ是标准差
二维高斯滤波的核函数如下所示：
由于图像是二维的因此我们在进行图像降噪过程中，使用二维高斯核函数，一般地图像处理中我们选择方差为0。通俗地讲高斯滤波就是对整幅图像进行平均加权地过程，每一个像素点地值，都有其本身和领域内的其他像素点的值经过加权平均后得到。具体操作过程是：给定一个模板(或者称为卷积，掩膜)逐行逐列的扫描图像中的每一个像素，用模板确定的领域内的像素的加权平均值去替代模板中心像素点的值。在本发明中，我们使用卷积模板是正方形3x3的卷积。具体的模板设计如图11所示；
由于在特征提取阶段，需要灰度图，因此图像预处理的第二个阶段我们进行彩色图像的灰度化，。在这一步中我们直接使用OpenCV自带的函数cvtColor进行灰度化，得到每个视频画面的灰度图像。
在本申请的视频全景拼接与三维融合方法的一实施例中，参见图3，还可以具体包含如下内容：
步骤S301：对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；
步骤S302：对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
步骤S303：根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
步骤S304：根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。
可选的，对预处理后的图像，使用SIFT(Scale-invariant feature transform)和SURF(Speeded Up Robust Features)特征提取相结合的方法对图像进行特征点的提取，获取每幅图像的特征点以及对应的特征描述符；
在特征匹配阶段由于场景的复杂性以及外界的影响，本发明中对特征匹配设置两种匹配方式，分别是手动匹配和自动匹配。对于自动匹配，对上述得到的每幅图像的特征点进行第一次匹配得到粗匹配点，在本次匹配中我们使用暴力匹配算法，将每两个特征点按照描述符计算汉明距离；然后进行第二次精确匹配，在本发明中，使用的精确匹配的距离阈值设置为可选的，选择范围介于0.4到0.8之间。通过第二次的精确匹配，我们获得了相邻图像的精确匹配点。对于手动匹配，直接使用鼠标手动选择对应相邻图像的对应的特征点，进行匹配。
根据上述计算得到的相邻图像的匹配点，利用RANSAC(Random SampleConsensus)算法计算相邻图像之间的变换关系，并将变换关系矩阵保存到文件，方便下一次使用。
在本申请的视频全景拼接与三维融合方法的一实施例中，参见图4，还可以具体包含如下内容：
步骤S401：根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
步骤S402：根据所述摄像机的数量和视频画面分辨率，建立全景图像；
步骤S403：对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。
可选的，由于相邻相机会因为朝向以及自身感光元器件等因素导致所采集的图像会存在色差，如果直接进行拼接，会产生肉眼可见的拼接缝，严重影响拼接效果和用户的使用感受，因此本发明提出一种色差图像的自适应调整方法。首先计算相邻视频画面之间的色彩矫正参数，具体做法为：假设有n幅待拼接的图像P1，P2，…Pn,其中Pi和Pi+1是具有重叠区域的相邻两幅视频画面，而设与是相邻视频画面的重叠区域，则视频待拼接图像Pi的一个色彩通道的矫正参数，由以下公式计算得到：
公式(3)中：M：相邻视频画面的重叠区域；
Si(s)：第i幅图像中像素点s的像素值；
Si+1(s)：第i+1幅图像中像素点s的像素值；
γ：指定参数，通常设置为2.2；
同时为了避免图像过于饱和，本发明中有设定一个全局调节参数gc，用来调节整个拼接序列的色彩值。由于我们的视频图像一般都是R，G，B三通道的，则需要分别为每个通道计算色彩补偿值与色彩调节值，具体地色彩调节值的计算公式如下：
最后，由色彩矫正参数和全局调节参数对视频画面进行色彩矫正的公式如下：
Sc,i(s)＝(gcαc,i)1/γSc,i(s) (5)
其中，Sc,i(s)是指视频画面Pi在通道c∈{R,G,B}上的像素点的像素值。
S32、依据全景拼接相机的数量建立全景映射图像，本发明中的全景图像依据相机数量和每个相机的视频画面分辨率决定。假设全景拼接的相机有N个，每个独立相机的视频画面分辨率为：WxH，则生成的全景图像的分辨为：(WxN)xH。如果选择的拼接相机个数是奇数，则选择中间相机作的视频画面最为参考画面，此时中间相机到全景图像的映射关系是单位矩阵，平移矩阵中的x方向(也就是对应视频的宽)为视频画面的分辨率的大小，平移矩阵中的y方向(也就是对应的视频的高)为0；以一种情况具体说明一下全景图的生成过程：假设存在n(n为奇数)个相机，分别是P1,P2,P3…Pn,由上述计算得到的相邻相机视频画面之间的变换矩阵为：H1，H2，H3…Hn-1,变换矩阵的下标表示当前相机i和当前相机往右的相机i+1的变换关系。由以上的描述找到中间的相机编号为：(1+n)/2。设P(1+n)/2为参考相机，则参考相机到全景图像的变换为单位矩阵，设为I，平移矩阵设为T，则参考相机像素点到全景图像的变换公式如下：
Pp＝T*I*PR (6)
其中，Pp代表全景图中某一个像素的位置,为齐次坐标；
Pc代表参考图像中某一个像素的位置，为齐次坐标；
I，T分别代表旋转和平移矩阵，为3x3的矩阵；
进一步地，参考图像左边的图像，也就是序号：每幅图像像素点到全景图的变换关系由如下公式计算：
特别地，如果则公式(7)变为：
对于参考图像右边的图像，也就是：每个图像的像素点到全景图像的变换关系计算公式如下：
其中
特别地，如果则公式(9)变形为：
最后由以上公式(6)到(10)就可以将每一幅图像映射到全景图。
寻找相邻图像在全景图中的重合区域，优化全景图像中相邻图像重叠区域，生成全景图。如果不优化全景图中相邻图像的重叠区域，全景图中重叠区域会因为像素过于饱和失去一些细节，在全景图像中相邻视频画面重叠区域像素计算公式如下：
P(m,n+0)＝Pi,(m,n+0)*α+Pi+1,(m,n+0)*(1-α) (11)
P(m,n+1)＝Pi,(m,n+1)*α+Pi+1,(m,n+1)*(1-α) (12)
P(m,n+2)＝Pi,(m,n+2)*α+Pi+1,(m,n+2)*(1-α) (13)
α＝((width*ratio)-(n-s))/(width*ratio) (14)
其中，P(m,n+k)表示全景图像中第k(k＝0,1,2)个通道重叠区域位置(m,n)的像素值；
Pi,(m,n+k)，Pi+1,(m,n+k)分别表示图像i和图像i+1中第k(k＝0,1,2)个通道重叠区域位置(m,n)的像素值。
width表示相邻视频画面重叠区域宽度；
ratio表示相邻视频画面重叠区域重合比例；
s表示相邻视频画面重叠区域的起始位置；
通过上述步骤后，全景图像生成结束，接下来传到客户端进行配置显示。
在本申请的视频全景拼接与三维融合方法的一实施例中，参见图5，还可以具体包含如下内容：
步骤S501：确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
步骤S502：根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
可选的，为了精确确定全景视频的位置，首先选用一张静态全景图片作为参考进行编辑，分别在三维场景和对应的全景图片中选出多个二元组点对，每一个点对由一个三维场景点坐标和一个二维全景图栅格化坐标构成。
由于需要根据上述步骤中离散点对来插值求得整个全景图的映射关系，所以选择合适的插值方法对最终的全景映射结果至关重要，2具体为：
由于全景图像是二维的，如果直接在三维空间中对相应的三维选点进行插值会造成插值结果的透视畸变，因此本发明将屏幕空间作为插值空间，采用在屏幕空间中对三维选点进行插值，将三维空间中三维选点通过投影变换转为屏幕空间中的二维点。
通常的插值方法会以插值点到离散点的距离作为选择相邻离散点的判定依据，选取距离最近的几个点作为相邻离散点，然后根据相邻离散点的值计算插值点的值，这种方法对于离散点分布较为均匀的情况表现良好，但在离散点分布不均匀的情况通常会导致插值图像出现较大的扭曲，原因就是最近距离判定会导致多个插值点的相邻离散点重合，插值结果有交叠，同时在相邻离散点分布接近一条线的情况下也会导致插值结果扭曲，因此本发明采用德劳内三角剖分方法对所有离散点组成的空间域进行剖分，德劳内三角剖分具有最大化生成三角形内角的良好性质，从而有效避免狭长三角形的生成。
本发明采用基于重心坐标的三角形插值，以上述步骤中生成的三角形作为插值域，根据插值点与三角形三个顶点组成的三个三角形的面积确定重心坐标，用该重心坐标进行采样点插值。
虽然德劳内三角剖分方法比较稳定，但是在插值区域边缘仍然有可能会存在狭长的三角形，造成插值图像的扭曲，因此本发明提出一种无监督的狭长三角形自动消除算法，该算法先通过遍历当前三角剖分的所有三角形判断出最外围的一组三角形，根据狭长三角形的最长边与该边上高的比值确定是否符合狭长三角形的定义，如果存在狭长三角形则删除并在当前遍历结束后重新执行该遍历算法，直到当前遍历不再存在狭长三角形为止，算法终止。
根据上述步骤中插值得出的坐标对全景视频进行采样生成最终的全景视频三维融合。
为了能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值，本申请提供一种用于实现所述视频全景拼接与三维融合方法的全部或部分内容的视频全景拼接与三维融合装置的实施例，参见图6，所述视频全景拼接与三维融合装置具体包含有如下内容：
图像预处理模块10，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
变换关系确定模块20，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
全景图像生成模块30，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
三维融合模块40，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
从上述描述可知，本申请实施例提供的视频全景拼接与三维融合装置，能够通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
在本申请的视频全景拼接与三维融合装置的一实施例中，参见图7，所述图像预处理模块10包括：
图像降噪单元11，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；
图像灰度化单元12，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。
在本申请的视频全景拼接与三维融合装置的一实施例中，参见图8，所述变换关系确定模块20包括：
特征提取单元21，用于对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；
粗匹配单元22，用于对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
精匹配单元23，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
变换关系计算单元24，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。
在本申请的视频全景拼接与三维融合装置的一实施例中，参见图9，所述全景图像生成模块30包括：
色彩矫正单元31，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
全景图像建立单元32，用于根据所述摄像机的数量和视频画面分辨率，建立全景图像；
重叠优化单元33，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。
在本申请的视频全景拼接与三维融合装置的一实施例中，参见图10，所述三维融合模块40包括：
离散点对确定单元41，用于确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
三维融合单元42，用于根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
为了更进一步说明本方案，本申请还提供一种应用上述视频全景拼接与三维融合装置实现视频全景拼接与三维融合方法的具体应用实例，具体包含有如下内容：
一种视频全景拼接与三维融合技术方法与流程，包括：
S1、获取多个具有重叠区域的相邻摄像机的实时视频画面，并在所述的实时视频画面上通过图像处理技术进行预处理图像；
S2、对所述的实时视频画面利用特征提取与匹配技术，获取相邻视频画面的匹配特征点并根据匹配的特征点计算相邻视频画面图像的变换关系
S3、首先对S2中相邻视频画面进行色差优化，然后依据相邻视频画面的变换关系将视频画面进行变形，然后生成相应的全景图；
S4、客户端加载三维模型，并将S3中输出的全景图作为纹理，通过前述的三维融合技术实时地将全景图展示到模型对应位置。
本发明通过对多个具有重叠区域的相机视频画面进行无缝拼接并利用GPU加速图像处理，使得输出的全景画面流畅无卡顿，满足人眼观看的需求。最后将全景视频通过特殊手段利用GPU技术实时渲染到三维模型中，实现了虚拟模型与现实视频的完美融合与展示。
以下结合实施例对本发明的特征和性能作出进一步地详细描述：
S1、获取多个具有重叠区域的相邻摄像机的实时视频画面，并在所述的实时视频画面上通过图像处理技术进行预处理图像：
以新疆某地为例，首先打开全景生成配置软件，通过设备列表获取多个相邻且有重叠区域的摄像机获取实时监控画面，然后选择配置拼接参数，一般情况下默认即可，点击“开始”按钮，后台会自动按照我们的描述进行图像预处理，最终将匹配的特征展示到画面中。
S2、所述的实时视频画面利用特征提取与匹配技术，获取相邻视频画面的匹配特征点并根据匹配的特征点计算相邻视频画面图像的变换关系：
在全景拼接领域，特征点检测和匹配的鲁棒性，很大程度上影响着视频全景拼接的一致性。本例中所所测试的场景为新疆某地方。通过使用SURF和SIFT相结合的特征点方法以及后续的自动匹配，最终的得到相邻两幅图像的匹配点，如图12所示。可以明显看到正确匹配的数量占据大多数，为后续继续使用RANSAC算法计算相邻视频画面的之间的变换关系提供了强有力的基础。
S3、首先对S2中相邻视频画面进行色差优化。然后依据相邻视频画面的变换关系将视频画面进行变形，然后生成相应的全景图，生成的全景图如图13所示；
S4、客户端加载三维模型，并将S3中输出的全景图作为纹理，通过前述的三维融合技术实时地将全景图展示到模型对应位置，最终的显示效果如图14，图15所示。
有上述内容可知，本申请至少还可以实现如下技术效果：
1、本申请通过对获取的多个相机的实时视频画面进行图像预处理以及分情况分场所实现的手动和自动特征匹配，一方面提高了相邻视频画面的特征匹配准确性和速度，另一方面使得本应用的申请可以适应多种复杂环境，有效地改善了视频拼接的弊端。
2、本申请中采用选取中间相机视频画面作为参考，有效地改善了两端视频画面在全景图中的变形。同时采用局部分颜色通道和全局自适应地方法调节由于相机本身和外界环境影响造成地视频画面的色差问题，进一步地提高了图像拼接的质量以及用户的直观感受，最后设置相邻视频画面重叠区域像素计算方式以及相邻视频画面重叠比例，可以明显的降低由于相机的安装位置而造成的拼接画面的鬼影问题。
3、本申请通过屏幕空间上的编辑点进行插值，有效地改善了三维空间中直接插值造成的插值结果透视畸变，同时采用德劳内(Delaunay)三角剖分确定插值顶点，有效避免了狭长三角形带来的插值扭曲，最后对于插值边缘区域可能存在的狭长三角形，本申请提出了一种无监督自动消除算法，从而确保各种情况下最终生成的插值图像都不会出现明显的扭曲。
4、本申请的视频全景拼接与三维融合技术方法与流程适用于多种现实环境。本申请可以使得安保人员高效的把控监控区域的整体态势以及一旦发生危险可以迅速方便快捷定位到具体位置，实现了视频与地理位置的相结合，完美地解决的视频分散，发生危险定位困难地理位置不明确的特点。
从硬件层面来说，为了能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值，本申请提供一种用于实现所述视频全景拼接与三维融合方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现视频全景拼接与三维融合装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的视频全景拼接与三维融合方法的实施例，以及视频全景拼接与三维融合装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，视频全景拼接与三维融合方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图16为本申请实施例的电子设备9600的系统构成的示意框图。如图16所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图16是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，视频全景拼接与三维融合方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
从上述描述可知，本申请实施例提供的电子设备，通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
在另一个实施方式中，视频全景拼接与三维融合装置可以与中央处理器9100分开配置，例如可以将视频全景拼接与三维融合装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现视频全景拼接与三维融合方法功能。
如图16所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图16中所示的所有部件；此外，电子设备9600还可以包括图16中没有示出的部件，可以参考现有技术。
如图16所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的视频全景拼接与三维融合方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的视频全景拼接与三维融合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
步骤S102：对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
步骤S103：对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
步骤S104：通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种视频全景拼接与三维融合方法，其特征在于，所述方法包括：
获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：
根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理，给定一个模板逐行逐列的扫描图像中的每一个像素，用模板确定的领域内的像素的加权平均值去替代模板中心像素点的值，模板采用的是正方形3x3的卷积；
对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像，使用OpenCV自带的函数cvtColor进行灰度化，得到每个视频画面的灰度图像；
对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：
对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符，使用SIFT和SURF特征提取相结合的方法对图像进行特征点的提取，获取每幅图像的特征点以及对应的特征描述符；
对特征匹配设置两种匹配方式，分别是手动匹配和自动匹配；
对于自动匹配，对得到的每幅图像的特征点进行第一次匹配得到粗匹配点，在匹配中使用暴力匹配算法，对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
然后进行第二次精确匹配，使用的精确匹配的距离阈值设置为可选的，选择范围介于0.4到0.8之间，通过第二次的精确匹配，获得相邻图像的精确匹配点，根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存，保存是利用RANSAC算法计算相邻图像之间的变换关系，并将变换关系矩阵保存到文件；
对于手动匹配，直接使用鼠标手动选择对应相邻图像的对应的特征点，进行匹配；
对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：
根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
设有n幅待拼接的图像P1，P2，…Pn，其中Pi和Pi+1是具有重叠区域的相邻两幅视频画面，设与是相邻视频画面的重叠区域，则视频待拼接图像Pi的一个色彩通道的矫正参数，计算公式如下：
其中，M是相邻视频画面的重叠区域，Si(s)是第i幅图像中像素点s的像素值，Si+1(s)是第i+1幅图像中像素点s的像素值，γ是指定参数，设置为2.2；
设定一个全局调节参数gx调节整个拼接序列的色彩值，分别为R，G，B三通道中的每个通道计算色彩补偿值与色彩调节值，色彩调节值的计算公式如下：
最后，由色彩矫正参数和全局调节参数对视频画面进行色彩矫正的公式如下：
Sc,i(s)＝(gcαc,i)1/γSc,i(s)
其中，Sc,i(s)是指视频画面Pi在通道c∈{R,G,B}上的像素点的像素值；
根据所述摄像机的数量和视频画面分辨率，建立全景图像，设全景拼接的相机有N个，每个独立相机的视频画面分辨率为：WxH，则生成的全景图像的分辨为：(WxN)xH，当选择的拼接相机个数是奇数时，选择中间相机的视频画面作为参考画面，此时中间相机到全景图像的映射关系是单位矩阵，平移矩阵中的x方向为视频画面的分辨率的大小，平移矩阵中的y方向为0；设存在n个相机，n为奇数，分别是P1,P2,P3…Pn，计算得到的相邻相机视频画面之间的变换矩阵为：H1，H2，H3…Hn-1,变换矩阵的下标表示当前相机i和当前相机往右的相机i+1的变换关系，找到中间的相机编号为：(1+n)/2，设P(1+n)/2为参考相机，则参考相机到全景图像的变换为单位矩阵，设为I，平移矩阵设为T，则参考相机像素点到全景图像的变换公式如下：
Pp＝T*I*PR
其中，Pp代表全景图中某一个像素的位置,为齐次坐标，PR代表参考图像中某一个像素的位置，为齐次坐标，I和T分别代表旋转和平移矩阵，为3x3的矩阵；
参考图像左边的图像，也就是序号：每幅图像像素点到全景图的变换关系由如下公式计算：
若是则每幅图像像素点到全景图的变换关系计算公式变为：
对于参考图像右边的图像，也就是：每个图像的像素点到全景图像的变换关系计算公式如下：
其中，
若则每个图像的像素点到全景图像的变换关系计算公式变形为：
最后由以上公式就可以将每一幅图像映射到全景图；
对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像，寻找相邻图像在全景图中的重合区域，优化全景图像中相邻图像重叠区域，生成全景图，若是不优化全景图中相邻图像的重叠区域，全景图中重叠区域会因为像素过于饱和失去一些细节，在全景图像中相邻视频画面重叠区域像素计算公式如下：
P(x，y+0)＝Pi，(x，y+0)*a+Pi+1，(x，y+0)*(1-z)
P(x，y+1)＝Pi，(x，y+1)*a+Pi+1，(x，y+1)*(1-z)
P(x，y+2)＝Pi，(x，y+2)*a+Pi+1，(x，y+2)*(1-z)
z＝((width*ratio)-(y-s))/(width*ratio)
其中，P(x，y+k)表示全景图像中第k(k＝0,1,2)个通道重叠区域位置(x，y)的像素值，Pi，(x，y+k)，Pi+1，(x，y+k)分别表示图像i和图像i+1中第k(k＝0,1,2)个通道重叠区域位置(x，y)的像素值，width表示相邻视频画面重叠区域宽度，ratio表示相邻视频画面重叠区域重合比例，s表示相邻视频画面重叠区域的起始位置；
通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：
确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
选用一张静态全景图片作为参考进行编辑，分别在三维场景和对应的全景图片中选出多个二元组点对，每一个点对由一个三维场景点坐标和一个二维全景图栅格化坐标构成，将屏幕空间作为插值空间，采用在屏幕空间中对三维选点进行插值，将三维空间中三维选点通过投影变换转为屏幕空间中的二维点；
根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
2.一种视频全景拼接与三维融合装置，其特征在于，包括：
图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：图像降噪单元和图像灰度化单元；
图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理，给定一个模板逐行逐列的扫描图像中的每一个像素，用模板确定的领域内的像素的加权平均值去替代模板中心像素点的值，模板采用的是正方形3x3的卷积；
图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像，使用OpenCV自带的函数cvtColor进行灰度化，得到每个视频画面的灰度图像；
变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：特征提取单元、粗匹配单元、精匹配单元、变换关系计算单元和全景图像生成模块；
特征提取单元，用于对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符，使用SIFT和SURF特征提取相结合的方法对图像进行特征点的提取，获取每幅图像的特征点以及对应的特征描述符；
粗匹配单元，用于对得到的每幅图像的特征点进行第一次匹配得到粗匹配点，在匹配中使用暴力匹配算法，对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
精匹配单元，使用的精确匹配的距离阈值设置为可选的，选择范围介于0.4到0.8之间，通过第二次的精确匹配，获得相邻图像的精确匹配点，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
变换关系计算单元，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存，保存是利用RANSAC算法计算相邻图像之间的变换关系，并将变换关系矩阵保存到文件；
全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：色彩矫正单元、全景图像建立单元和重叠优化单元；
色彩矫正单元，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正，设有n幅待拼接的图像P1，P2，…Pn，其中Pi和Pi+1是具有重叠区域的相邻两幅视频画面，设与是相邻视频画面的重叠区域，则视频待拼接图像Pi的一个色彩通道的矫正参数，计算公式如下：
其中，M是相邻视频画面的重叠区域，Si(s)是第i幅图像中像素点s的像素值，Si+1(s)是第i+1幅图像中像素点s的像素值，γ是指定参数，设置为2.2；
设定一个全局调节参数gx调节整个拼接序列的色彩值，分别为R，G，B三通道中的每个通道计算色彩补偿值与色彩调节值，色彩调节值的计算公式如下：
最后，由色彩矫正参数和全局调节参数对视频画面进行色彩矫正的公式如下：
Sc,i(s)＝(gcαc,i)1/γSc,i(s)
其中，Sc,i(s)是指视频画面Pi在通道c∈{R,G,B}上的像素点的像素值；
全景图像建立单元，用于根据所述摄像机的数量和视频画面分辨率，建立全景图像，设全景拼接的相机有N个，每个独立相机的视频画面分辨率为：WxH，则生成的全景图像的分辨为：(WxN)xH，当选择的拼接相机个数是奇数时，选择中间相机的视频画面作为参考画面，此时中间相机到全景图像的映射关系是单位矩阵，平移矩阵中的x方向为视频画面的分辨率的大小，平移矩阵中的y方向为0；设存在n个相机，n为奇数，分别是P1,P2,P3…Pn，计算得到的相邻相机视频画面之间的变换矩阵为：H1，H2，H3…Hn-1,变换矩阵的下标表示当前相机i和当前相机往右的相机i+1的变换关系，找到中间的相机编号为：(1+n)/2，设P(1+n)/2为参考相机，则参考相机到全景图像的变换为单位矩阵，设为I，平移矩阵设为T，则参考相机像素点到全景图像的变换公式如下：
Pp＝T*I*PR
其中，Pp代表全景图中某一个像素的位置,为齐次坐标，PR代表参考图像中某一个像素的位置，为齐次坐标，I和T分别代表旋转和平移矩阵，为3x3的矩阵；
参考图像左边的图像，也就是序号：每幅图像像素点到全景图的变换关系由如下公式计算：
若是则每幅图像像素点到全景图的变换关系计算公式变为：
对于参考图像右边的图像，也就是：每个图像的像素点到全景图像的变换关系计算公式如下：
其中，
若则每个图像的像素点到全景图像的变换关系计算公式变形为：
最后由以上公式就可以将每一幅图像映射到全景图；
重叠优化单元，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像，寻找相邻图像在全景图中的重合区域，优化全景图像中相邻图像重叠区域，生成全景图，若是不优化全景图中相邻图像的重叠区域，全景图中重叠区域会因为像素过于饱和失去一些细节，在全景图像中相邻视频画面重叠区域像素计算公式如下：
P(x，y+0)＝Pi，(x，y+0)*a+Pi+1，(x，y+0)*(1-z)
P(x，y+1)＝Pi，(x，y+1)*a+Pi+1，(x，y+1)*(1-z)
P(x，y+2)＝Pi，(x，y+2)*a+Pi+1，(x，y+2)*(1-z)
z＝((width*ratio)-(y-s)"/(width*ratio)
其中，P(x，y+k)表示全景图像中第k(k＝0,1,2)个通道重叠区域位置(x，y)的像素值，Pi，(x，y+k)，Pi+1，(x，y+k)分别表示图像i和图像i+1中第k(k＝0,1,2)个通道重叠区域位置(x，y)的像素值，width表示相邻视频画面重叠区域宽度，ratio表示相邻视频画面重叠区域重合比例，s表示相邻视频画面重叠区域的起始位置；
三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：离散点对确定单元和三维融合单元；
离散点对确定单元，用于确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成，选用一张静态全景图片作为参考进行编辑，分别在三维场景和对应的全景图片中选出多个二元组点对，每一个点对由一个三维场景点坐标和一个二维全景图栅格化坐标构成，将屏幕空间作为插值空间，采用在屏幕空间中对三维选点进行插值，将三维空间中三维选点通过投影变换转为屏幕空间中的二维点；
三维融合单元，用于根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010933528.XA CN112017222B (zh) | 2020-09-08 | 2020-09-08 | 视频全景拼接与三维融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010933528.XA CN112017222B (zh) | 2020-09-08 | 2020-09-08 | 视频全景拼接与三维融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017222A CN112017222A (zh) | 2020-12-01 |
| CN112017222B true CN112017222B (zh) | 2024-08-02 |
Family
ID=73516557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010933528.XA Active CN112017222B (zh) | 2020-09-08 | 2020-09-08 | 视频全景拼接与三维融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017222B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734904A (zh) * | 2020-12-29 | 2021-04-30 | 中国船舶重工集团公司第七0九研究所 | 警用便携式快速图像拼接处理系统 |
| CN113271434A (zh) * | 2021-03-24 | 2021-08-17 | 北京潞电电气设备有限公司 | 一种监测系统及其方法 |
| CN113506218B (zh) * | 2021-07-09 | 2022-03-08 | 江苏金海星导航科技有限公司 | 一种用于多车厢超长车型的360°视频拼接方法 |
| CN113962859B (zh) * | 2021-10-26 | 2023-05-09 | 北京有竹居网络技术有限公司 | 一种全景图生成方法、装置、设备及介质 |
| CN113870101B (zh) * | 2021-12-02 | 2022-03-08 | 交通运输部公路科学研究所 | 一种铰接车全景环视图像拼接方法及装置 |
| CN114677274A (zh) * | 2022-03-16 | 2022-06-28 | 无锡安科迪智能技术有限公司 | 一种图像融合方法、装置及设备 |
| CN114845053A (zh) * | 2022-04-25 | 2022-08-02 | 国能寿光发电有限责任公司 | 一种全景视频生成方法及装置 |
| CN114863375B (zh) * | 2022-06-10 | 2023-06-30 | 无锡雪浪数制科技有限公司 | 一种基于3d视觉识别的加油站车辆多视角定位方法 |
| CN116309081B (zh) * | 2023-05-15 | 2023-08-04 | 民航成都电子技术有限责任公司 | 一种基于球形摄像机联动的视频全景拼接方法及系统 |
| CN116760963B (zh) * | 2023-06-13 | 2024-10-11 | 中影电影数字制作基地有限公司 | 视频全景拼接与三维融合装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383204A (zh) * | 2019-12-19 | 2020-07-07 | 北京航天长征飞行器研究所 | 视频图像融合方法、融合装置、全景监控系统及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516995A (zh) * | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
| CN106534780A (zh) * | 2016-11-11 | 2017-03-22 | 广西师范大学 | 三维全景视频监控装置及其视频图像处理方法 |
| CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN108616731B (zh) * | 2016-12-30 | 2020-11-17 | 艾迪普科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
| CN109493273B (zh) * | 2018-10-09 | 2023-07-11 | 珠海大轩信息科技有限公司 | 一种色彩一致性调节方法 |
| CN109697696B (zh) * | 2018-12-24 | 2019-10-18 | 北京天睿空间科技股份有限公司 | 用于全景视频的补盲方法 |
| CN110443771B (zh) * | 2019-08-16 | 2023-07-21 | 同济大学 | 车载环视相机系统中环视图亮度与颜色一致性调整方法 |
-
2020
- 2020-09-08 CN CN202010933528.XA patent/CN112017222B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383204A (zh) * | 2019-12-19 | 2020-07-07 | 北京航天长征飞行器研究所 | 视频图像融合方法、融合装置、全景监控系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017222A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017222B (zh) | 视频全景拼接与三维融合方法及装置 | |
| US11743416B2 (en) | Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images | |
| DE102018120304B4 (de) | Verfahren und System zur Bildverzerrungkorrektur für Bilder, die durch Verwenden einer Weitwinkellinse aufgenommen werden | |
| US11671712B2 (en) | Apparatus and methods for image encoding using spatially weighted encoding quality parameters | |
| KR102458339B1 (ko) | 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 | |
| US10235795B2 (en) | Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof | |
| DE202017104934U1 (de) | Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme | |
| CN103843329A (zh) | 用于立体图像对的有条件显示的方法和设备 | |
| CN114615480B (zh) | 投影画面调整方法、装置、设备、存储介质和程序产品 | |
| US20230179734A1 (en) | Video image display method and apparatus, multimedia device and storage medium | |
| CN115205164B (zh) | 图像处理模型的训练方法、视频处理方法、装置及设备 | |
| KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| US20240331202A1 (en) | Fisheye image compression method, fisheye video stream compression method and panoramic video generation method | |
| CN111556304B (zh) | 一种全景影像处理方法、装置及系统 | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| CN115278184A (zh) | 投影画面校正方法及装置 | |
| CN110062225B (zh) | 一种图片滤波的方法及装置 | |
| CN113379624A (zh) | 图像生成方法、图像生成模型的训练方法、装置及设备 | |
| CN112887695A (zh) | 一种全景图共享处理方法、系统以及终端 | |
| TWI855372B (zh) | 影像處理方法、裝置、電子設備及介質 | |
| US20230306698A1 (en) | System and method to enhance distant people representation | |
| CN116563106A (zh) | 图像处理方法、装置及电子设备 | |
| CN118869907A (zh) | 一种混合会议场景合成方法、系统、设备及介质 | |
| CN113837016A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |