CN108055423B - 一种多镜头视频同步偏移量计算方法 - Google Patents

Abstract

本发明涉及一种多镜头视频同步偏移量计算方法，本方案通过设计一组可以自动计时的时钟编码，在进行全景拍摄时，让工作人员或移动设备控制时钟编码绕全部镜头一圈，从而使得所有的镜头都记录下当前的时钟编码，最后将各镜头拍摄的画面中的时钟编码进行解码，获取每一个镜头的时间码，然后计算镜头的偏移量，从而调整多镜头拍摄的视频同步。

Description

一种多镜头视频同步偏移量计算方法

技术领域

本发明涉及全景拍摄技术领域，具体涉及一种多镜头视频同步偏移量计算方法。

背景技术

全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。在使用多个摄像机拍摄时，由于摄像机很难同时开始拍摄，所以每个摄像机拍摄的视频开始的时间各不相同，从而需要对视频进行同步，将视频按照实际的时间对齐，方便多个视频切换、编辑或者拼接。

目前多镜头视频同步技术有以下几种：（1）通过摄像机的时间码同步，需要硬件时钟同步，需要定制硬件。成本较高，而且对设备的限制比较多。（2）镜头打板，人工操作。很难应用在多镜头视频中，因为场记的画面不可能同时出现在所有镜头中，（3）人工编辑，手动同步。精度差，工作量大。（4）通过音频同步。例如现场拍一下手，各个摄像机录下声音，然后通过同步声音来同步视频。缺点是容易受到现场声音的干扰，从而无法计算机自动对齐。如果人工听声音或看波形对齐，效率较低。而且如果各个摄像机距离较远，导致各个摄像机的声音差别较大，会导致无法同步。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多镜头视频同步偏移量计算方法，不用定制硬件，成本低，自动同步，操作简便。

本发明的目的是通过以下技术方案来实现的：

一种多镜头视频同步偏移量计算方法，包括以下步骤：

S01：设计一组能让摄影机清晰拍到的时钟图形编码APP；

S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示该图形时钟编码；

S03：多镜头开始拍摄时，图形时钟编码开始计时，使移动设备显示端显示的时间码出现各个摄像机前；

S04：通过识别技术，解码出时间码；或者通过人工识别出时间码，记录时间码信息；

S05：计算各镜头偏移量并根据偏移量同步视频。

优选的，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。

优选的，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。

优选的，所述十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位。

优选的，所述十毫秒位的显示编码是图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。

优选的，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法。

优选的，所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理，然后利用二值化处理提取图形时钟编码。

优选的，所述移动设备显示端位于摄像机前拍摄时应保持稳定，避免晃动。

优选的，所述移动设备显示端可以是手机或平板电脑。

优选的，所述步骤S05的具体方法是根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。

本发明的有益效果是：本方案通过设计一组可以自动计时的时钟编码，在进行全景拍摄时，让工作人员或移动设备控制时钟编码绕全部镜头一圈，从而使得所有的镜头都记录下当前的时钟编码，最后将各镜头拍摄的画面中的时钟编码进行解码，获取每一个镜头的时间码，然后计算镜头的偏移量，从而调整多镜头拍摄的视频同步。

附图说明

图1是本发明图形时钟编码显示图；

图2是本发明定义的十毫秒位点位组合方式。

具体实施方式

下面结合附图1-2和具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

一种多镜头视频同步偏移量计算方法，包括以下步骤：

S01：设计一组能让摄影机清晰拍到的时钟图形编码APP；

S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示该图形时钟编码；

S03：多镜头开始拍摄时，图形时钟编码开始计时，使移动设备显示端显示的时间码出现各个摄像机前；

S04：通过识别技术，解码出时间码；或者通过人工识别出时间码，记录时间码信息；

S05：计算各镜头偏移量并根据偏移量同步视频。

优选的，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。

优选的，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码，如图1所示，十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位；该设计的原因在于，数字编码在显示器上进行显示时，由于镜头存在曝光时间，从而会拍下短时间内两个连续的运动画面，也就是我们所说的虚影，如图1所示，当下毫秒单位显示是37，而在摄像机的曝光下37的前一时间为36，因此出现6和7重叠的现象，使得时间统计出现误差，为了消除该误差，设计了一个单独显示毫秒位的数字编码，该数字编码显示0-9的所有数字串，从0开始一直显示到9，时间的推移通过数字字体的变化来实现，也就是说0-9这九个数字从0开始依次变大到9结束，然后进行循环，每循环完一次表示100毫秒，0-9分别表示0毫秒、10毫秒、20毫秒……90毫秒；通过数字字体的变化从而清晰的显示出当下的时刻，便于后续图像处理中对时间的识别，从而计算偏移量。

优选的，上述十毫秒位的显示编码是还可以设计成图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。

优选的，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法，在本实施例中定义如下：

0黑黑、1黑红、2黑绿、3黑蓝、4红红、5红绿、6红蓝、7绿绿、8绿蓝、9蓝蓝；分别用上述定义的颜色块表示十毫秒位的数值，其具体如图2所示。

优选的，所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理，然后利用二值化处理提取图形时钟编码。

将设计好的时钟编码，应用到时钟APP中。在开始拍摄时，开始计时。然后让每个摄像机拍摄时钟的画面。

实例操作如下：

将各个摄像机拍摄的视频，导入到视频编辑工具中，对视频中的时钟图像进行识别，依次包括以下操作。

区域分割：

依次获取每一个镜头图像数据，针对图像数据使用通用处理算法建立图像背景模型，并对图像的前景进行检测，最终得到包含前景和背景信息的灰度图像数据；然后对得到的各镜头灰度图像数据进行聚类得到聚类结果并记录各个聚类的上下边界点，针对各个聚类的的上下边界点，使用当前处理的上边界遍历查找上一个聚类的下边界，逐步遍历查找并合并上下边界。针对合并上下边界之后的聚类按照聚类内部点个数由大到小进行排序，得到聚类排序表。按照设置的最小阈值对聚类排序表进行过滤，留下大于最小阈值的聚类点，同时按照聚类点坐标值，按照左上角-右下角方式将当前聚类点生成图像上的矩形区域。接着针对生成的矩形区域按照有效阈值进行有效合并，得到剔除后的有效矩形区域。最后按照有效区间阈值对剔除后的有效矩形区域进行挑选和过滤，得到有效区间内的有效矩形区域灰度图。

处理有效区域：

将从上面得到的有效区域灰度图进行模糊处理，对模糊结果图像进行边缘检测，并对检测结果使用概率霍夫变换算法来检测直线，最终提取出多个区域的边缘直线。对检测出来的直线进行处理，计算各条线的水平夹角，得到多个不同角度的夹角类，然后对这些夹角类进行聚类，对每个聚类按照线段平移是否有公共部分再次进行聚类，得到夹角聚类集。再根据夹角聚类集形成的矩形计算两个矩形的公共部分，并提取公共部分附近的直线段，构成候选目标矩形，最终形成真正的矩形。最后根据这些矩形从灰度图中提取出时钟图像。

识别数字：

对得到的时钟灰度图像进行二值化处理，得到的二值化模型作为模板，对该二值化模型进行二值化点聚类，将得到的点聚类集合根据点坐标形成矩形区域。对这些矩形区域按照区域大小由大到小进行排序，得矩形区域有序表。紧接着对这个表进行过滤，剔除头部过大和尾部过小的矩形，得到有效矩形区域集合。对这些有效区域集合按照水平直线进行分割，分割后得到上下两个矩形区域集合，继续对这两个集合进行过滤，剔除头部过大和尾部过小的矩形区域，得到最终有效的上下两个矩形区域集合。使用上下两个有效矩形区域集合对时钟灰度图进行处理，将在有效区域内的灰度图像素值填成255，并提取有效区域内的数字图像。最后使用通用算法对提取的数字图像进行图像识别，得到真正的数字。最终，由这些数字形成同步视频所需要的时间码。

优选的，所述移动设备显示端位于摄像机前拍摄时应保持稳定，避免晃动，移动设备显示端可以是手机或平板电脑，时钟图形编码APP的背景色为白色。

优选的，所述步骤S05的具体方法是根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种多镜头视频同步偏移量计算方法，其特征在于包括以下步骤：

S01：设计一组能让摄影机清晰拍到的时钟图形编码APP，时钟图形编码APP的背景色为白色；

S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示出图形时钟编码，所述移动设备显示端位于摄像机前拍摄时保持稳定，避免晃动；

S03：多镜头开始拍摄时，图形时钟编码开始计时生成一个时间码，使移动设备显示端显示的时间码出现各个摄像机前，让每个摄像机拍摄时钟的画面，得到拍摄到的图形；

S04：通过灰度处理对拍摄到的图形进行识别，然后利用二值化处理提取图形时钟编码；或者通过人工对拍摄到的图形进行识别得出时间码，记录时间码信息；

S05：根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。

2.根据权利要求1所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。

3.根据权利要求2所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。

4.根据权利要求3所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位。

5.根据权利要求3所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述十毫秒位的显示编码是图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。

6.根据权利要求5所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法。

7.根据权利要求1所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述移动设备显示端可以是手机或平板电脑。

Images