CN106210535A - 全景视频实时拼接方法及装置 - Google Patents

Abstract

本发明公开了一种全景视频实时拼接方法及装置，所述方法包括接收多个图像采集单元拍摄得到的多路广角视频数据；对多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行融合拼接处理。本申请能够在全景相机中实现全景视频实时拼接，无需通过手机或计算机进行后期拼接处理，能够实现即时采集、即时拼接且拼接前后帧率一致，提高了全景视频拼接的实时性，且拼接成本低无需再投入其他硬件成本，简化操作、简单易用。

Description

全景视频实时拼接方法及装置

技术领域

本申请涉及图像处理技术，尤指一种全景视频实时拼接方法及装置。

背景技术

随着视觉图像技术和视频采集技术的发展，视频获取已经从获取普通视角的视频，发展到广角视频，进一步发展到水平方向360度、垂直方向360度的全景视频。

为了获取全景图像，需要使用两个或两个以上的镜头组成的全景相机拍摄多个方向的图像，再通过手机或PC将两个或两个以上镜头拍摄的多个方向的图像后期拼接为全景图像。

上述现有技术中通过全景相机拍摄图像后再通过手机或PC进行后期拼接处理得到全景图像的方式，存在实时性差、拼接成本高且操作复杂的缺陷。

发明内容

为了解决上述技术问题，本发明提供了一种全景视频实时拼接方法及装置，能够在全景相机内实现实时拼接，且拼接成本低、简单易用。

为了达到本发明目的，本申请提供了一种全景视频实时拼接方法，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述方法包括：

接收多个图像采集单元拍摄得到的多路广角视频数据；

对所述多路广角视频数据进行同步处理；

将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；

对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

本申请还提供了一种全景视频实时拼接装置，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述装置包括：

一输入单元，用于接收多路图像采集单元拍摄得到的多路广角视频数据；

一同步单元，用于对所述输入单元接收的多路广角视频数据进行同步处理；

一存储控制单元，用于将所述同步单元同步后的每一路广角视频数据写入存储器；

一全景拼接单元，用于展开广角视频数据实现畸变校正，并对展开后的多路广角视频数据进行重叠区域的融合拼接处理。

与现有技术相比，本申请包括接收多个图像采集单元拍摄得到的多路广角视频数据；对多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行融合拼接处理。本申请能够在全景相机中实现全景视频实时拼接，无需通过手机或计算机进行后期拼接处理，能够实现即时采集、即时拼接且拼接前后帧率一致，提高了全景视频拼接的实时性，且拼接成本低无需再投入其他硬件成本，简化操作、简单易用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例提供的全景视频实时拼接方法的流程图；

图2为本申请另一实施例提供的全景视频实时拼接装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如CPU、专用图像处理芯片等中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在现有的全景视频拼接方法中，需要通过手机或PC对全景相机拍摄的视频进行后期的拼接融合处理，这种方式的拼接实时性差、拼接成本高且操作复杂。针对该问题，本申请提供了一种解决方案，主要原理是：由拍摄终端的多个图像采集单元拍摄外界图像，得到多路广角视频数据，拍摄终端接收每一路广角视频数据，对多路广角视频数据进行同步处理，完成同步处理后，将同步后的每一路广角视频数据写入存储器，并进行展开实现畸变校正，最后，对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

由于本申请中在拍摄终端中完成全景视频的拼接融合处理，因此，在拍摄得到多路广角视频数据后，无需再使用手机或PC进行后期拼接融合处理，提高了全景视频拼接的实时性。并且，采用一台设备完成从广角视频拍摄到图像拼接融合的全部工作，由于无需在后期再投入其他硬件成本，大大降低了图像处理的成本，并且简化了用户的操作、更加简单易用。

以下结合附图详细说明本申请各实施例提供的技术方案。

本申请的全景视频实时拼接方法应用于拍摄终端中。在实际应用中，为了获得全景图像、全景视频，出现了全景拍摄终端，例如全景相机、全景摄像机等。这些全景拍摄终端中包括至少两个图像采集单元，图像采集单元包括一个广角镜头(如鱼眼镜头)和一个摄取由该广角镜头形成的图像的图像传感器。至少两个图像采集单元背向设置，保证采集到水平和垂直各360°的全景图像。拍摄终端通过将各图像采集单元摄取的图像结合在一起获得立体角弧度为4π的图像。

图1为本申请一实施例提供的全景视频实时拼接方法的流程图。如图1所示，该方法包括：

步骤101：接收多个图像采集单元拍摄得到的多路广角视频数据；

步骤102：对多路广角视频数据进行同步处理；

步骤103：将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；

步骤104：对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

在实际应用中，为获得全景内容，需要由包含多个图像采集单元的拍摄终端各拍摄超过180度范围的图像，再进行拼接融合得到全景内容。本实施例提供的方法可用于在拍摄终端中将各路超过180度范围的图像拼接融合为全景图像、全景视频。优选的，本方法可用于包含两个图像采集单元的拍摄终端，将两路超过180度范围的图像拼接融合为全景图像、全景视频。

值得说明的是，本实施例的方法并不仅限定在对超过180度范围的图像拼接融合为全景图像、全景视频，可选的，对于多幅非广角镜头拍摄的图像也可以采用本实施例提供的方法拼接为全景图像、全景视频，但并不限于此。

为了得到全景图像或全景视频，拍摄终端需要首先使用图像采集单元拍摄外界图像，得到多路广角视频数据，两图像采集单元拍摄的图像需保证有部分重叠区域。拍摄终端接收多路广角视频数据，以对多路广角视频数据进行拼接融合处理，得到全景图像、全景视频。

由于多路图像采集单元相互独立，采集到的图像有先后时间差异，即使采用同步控制电路进行控制，也无法保证拍摄得到的多路广角视频数据精确同步。因此，在得到多路广角视频数据后，需要对这多路广角视频数据先进行同步处理。

具体的，对这多路广角视频数据先进行同步处理，包括：将多路广角视频数据分别写入缓存，经过一指定时间阈值的延迟后在同一时刻将多个缓存中的广角视频数据读出，经过同步处理后的多路广角视频数据完全同步。

同步后的多路广角视频数据保证在时间域上精确一致，避免视频出现抖动和时间不一致等现象。

广角镜头，尤其是鱼眼镜头，其视角力求达到或超出人眼所能看到的范围。因此，广角镜头在成像过程中存在较大的畸变，畸变图像不符合人眼的观看习惯，所以畸变图像需要进行校正。

基于此，在对多路广角视频数据进行同步处理后，需要对每一路广角视频数据进行畸变校正，本实施例提供的方法中，通过对每一路广角视频数据展开实现广角视频数据的畸变校正。本实施例中，将同步后的每一路广角视频数据写入存储器中，并完成展开，以便后续进一步对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

上述对广角视频数据的展开是指根据成像模型，将多个图像采集单元拍摄的多幅不同视角图像统一到同一坐标系中。本实施例的方法中预先对拍摄终端的广角镜头进行标定，得到每个广角镜头各自对应的用于畸变校正的图像坐标信息。图像展开时，根据图像坐标信息进行坐标寻址，读取出广角视频数据中的像素点，相当于将各路广角视频数据统一到同一个坐标系中，完成了图像的展开，实现了图像的畸变校正，这种方式极大的简化了实时处理的复杂度。

在本实施例的方法中，将同步后的每一路广角视频数据写入存储器中，可以是为每一路广角视频数据分别配置一个一一对应的存储器，用于在图像采集单元开始拍摄广角视频数据后，将得到的广角视频数据写入相对应的存储器，并且，预先将对应的广角镜头的图像坐标信息存储到对应的存储器中，以便根据存储器中存储的图像坐标信息对写入该存储器的广角视频数据进行展开。

可选的，也可以对一个存储器划分出多个分区，每个分区配置给一路对应的广角视频数据，在图像采集单元开始拍摄广角视频数据后，将得到的广角视频数据写入到对应的分区中，并且，预先将对应的图像坐标信息存储到相应分区中。

图像坐标信息可以采用查找表的方式表示，在展开图像时，通过读取查找表的方式获得坐标，再根据坐标读取出广角视频数据中的像素点。

基于上述，以为每一路广角视频数据分别配置一个一一对应的存储器为例，将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正，包括：

将同步后的每一路广角视频数据逐帧的写入为这一路广角视频数据配置的相对应的存储器中，其中，对应的存储器中已预先存储相应的图像坐标信息，用于对写入该图像坐标信息所在存储器的广角视频数据进行畸变校正；

在逐帧将广角视频数据写入对应的存储器的同时，从对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点从而展开广角视频数据，实现广角视频数据的畸变校正。

每一路的广角视频数据均是逐帧写入到对应的存储器中，在写入图像的过程中，可以同时读取该存储器中存储的图像坐标信息中的坐标，根据坐标读取已写入存储器的广角视频数据的像素点，从而展开已写入该存储器中的广角视频数据，实现畸变校正。

在得到展开后的广角视频数据后，就可以进行重叠区域的拼接融合处理，得到全景图像，对于视频拍摄即可得到全景视频。但是，在图像展开的过程中需要进行存储器操作，这就限制了图像实时展开的效率，可能导致拼接后得到的全景图像的帧率与图像采集单元采集的视频的帧率不同，造成图像帧率下降、无法保证实时拼接的问题。

本实施例提供的方法中，为避免拼接前后的帧率不同，采用如下方法：将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，以及在逐帧将广角视频数据写入对应的存储器的同时，从广角视频对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点，包括：

针对同步后的每一路广角视频数据，在当前写入帧的行场有效时间内，执行将帧数据写入对应的存储器的操作，在当前写入帧的行场消隐区间内，读取坐标，并根据坐标读取已写入所述存储器的当前写入帧的上一帧中的像素点，在同时完成当前写入帧的写入和所述上一帧的读取后，将下一帧作为当前写入帧写入相应的存储器更替已被读取的帧数据，并依次循环完成广角视频数据的展开。

本实施例提供的方法中，针对同步后的每一路广角视频数据均是逐帧写入各自对应的存储器，因此，将当前要写入到存储器的图像帧称为当前写入帧。图像帧中包含行场有效信号和行场无效信号，行场有效信号标记出图像帧的行场有效时间，行场无效信号标记出图像帧的行场消隐区间(或称行场无效时间)。本申请实施例中，在当前写入帧的行场有效时间内，执行帧数据的写入，在当前写入帧的行场无效时间内，执行上一帧的像素点的读取，能够高效利用存储器带宽，保证了拼接前后的帧率一致，即保证了拼接的实时性。

换句话说，也就是使当前写入帧写入存储器的写操作使能信号与当前写入帧行场有效信号保持一致，使读取上一帧像素点操作的读使能信号与当前写入帧的行场无效信号保持一致。

本实施例提供的方法中，在当前写入帧的行场有效时间到来后，向存储器中写入当前帧的有效图像数据，完成有效图像数据的写入后，行场有效时间结束，继而行场消隐区间到来，在该段时间内，读取坐标，并根据坐标读取已写入存储器的当前写入帧的上一帧中的像素点，至此完成了一个读写周期，并以此往复，在完成当前写入帧的写入和当前写入帧的上一帧的展开后，将当前写入帧的下一帧作为下一个当前写入帧写入存储器，刷新更替已被读取的上一帧，此时刚刚被写入存储器的图像帧将作为上一帧被展开。

基于上述，由于本实施例中是逐帧写入存储器，因此，在向存储器写入第一帧时，也就是写入同步后的每一路广角视频数据第一帧时，存储器中还没有数据，因此，对于对同步后的每一路广角视频数据的第一帧，在第一帧的行场有效时间内，执行将该第一帧写入对应的存储器的操作；在第一帧的行场消隐区间内，不执行读取操作。在完成第一帧的写入后，将第二帧作为当前写入帧时，按照在当前写入帧的行场有效时间内，执行帧数据的写入，在当前写入帧的行场无效时间内，执行上一帧的像素点的读取。

本实施例提供的方法中，在将每一路广角视频数据展开后，对展开后的多路广角视频数据的重叠区域进行拼接融合处理，得到全景图像或全景视频。

融合的方法如采用小波融合、加权平均融合等。例如，对双镜头的拍照终端拍摄的两路广角视频数据，对两个展开后的视频图像进行重叠区域的融合处理，两个视频图像经融合后合二为一，形成拼接好的全景视频图像。

进一步，本实施例提供的方法中，在对多路广角视频数据的重叠区域进行拼接融合处理得到全景图像或全景视频后，还将拼接后的全景视频或全景图像编码压缩为标准的数据格式，并将压缩后的全景视频或全景图像传输给后端设备进行存储或显示。例如，可以通过USB接口、wifi接口等数据传输接口传输压缩后的全景视频或全景图像。

如图2所示，本申请还提供了一种全景视频实时拼接装置，应用于拍摄终端中，该拍摄终端包含多个图像采集单元，所述装置包括：

一输入单元，用于接收多路图像采集单元拍摄得到的多路广角视频数据；

一同步单元，用于对所述输入单元接收的多路广角视频数据进行同步处理；

一存储控制单元，用于将所述同步单元同步后的每一路广角视频数据写入存储器；

一全景拼接单元，用于展开广角视频数据实现畸变校正，并对展开后的多路广角视频数据进行重叠区域的融合拼接处理。

进一步，存储控制单元，具体用于将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，所述对应的存储器中预先存储有用于对相应广角视频数据进行畸变校正的图像坐标信息；

所述全景拼接单元，具体用于在所述存储控制单元逐帧将广角视频数据写入对应的存储器的同时，从对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点从而展开广角视频数据，实现广角视频数据的畸变校正。

进一步，所述存储控制单元，具体用于针对同步后的每一路广角视频数据，在当前写入帧的行场有效时间内，执行将帧数据写入对应的存储器的操作；

所述全景拼接单元，具体用于在当前写入帧的行场消隐区间内，读取坐标，并根据坐标读取已写入所述存储器的所述当前写入帧的上一帧中的像素点；

在完成当前写入帧的写入和所述上一帧的读取后，将下一帧作为当前写入帧写入相应的存储器更替已被读取的帧数据，并依次循环完成广角视频数据的展开。

进一步，所述存储控制单元，具体用于对同步后的每一路广角视频数据的第一帧，在第一帧的行场有效时间内，执行将该第一帧写入对应的存储器的操作；

所述全景拼接单元，具体用于在第一帧的行场消隐区间内，不执行读取操作。

进一步，所述同步单元对所述多路广角视频数据进行同步处理，包括：

将所述多路广角视频数据分别写入缓存，在延迟一指定时间阈值后，在同一时刻将多路广角视频数据读出，实现所述多路广角视频数据的同步。

另外，在本申请的一可选实施例中，该全景视频实时拼接装置，还包括一视频压缩单元，用于将所述全景拼接单元拼接后的全景视频图像编码压缩为标准的视频数据。

在本申请的另一可选实施例中，该全景视频实时拼接装置，还包括一输出单元，用于将所述视频压缩单元压缩后的视频数据传输给后端设备进行存储或者显示。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种全景视频实时拼接方法，其特征在于，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述方法包括：

接收多个图像采集单元拍摄得到的多路广角视频数据；

对所述多路广角视频数据进行同步处理；

将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；

对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

2.根据权利要求1所述的方法，其特征在于，所述将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正，包括：

将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，所述对应的存储器中预先存储有用于对相应广角视频数据进行畸变校正的图像坐标信息；

在逐帧将广角视频数据写入对应的存储器的同时，从对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点从而展开广角视频数据，实现广角视频数据的畸变校正。

3.根据权利要求2所述的方法，其特征在于，所述将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，以及在逐帧将广角视频数据写入对应的存储器的同时，从广角视频数据对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点，包括：

针对同步后的每一路广角视频数据，在当前写入帧的行场有效时间内，执行将帧数据写入对应的存储器的操作，在当前写入帧的行场消隐区间内，读取坐标，并根据坐标读取已写入所述存储器的所述当前写入帧的上一帧中的像素点，在同时完成当前写入帧的写入和所述上一帧的读取后，将下一帧作为当前写入帧写入相应的存储器更替已被读取的帧数据，并依次循环完成广角视频数据的展开。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对同步后的每一路广角视频数据的第一帧，在第一帧的行场有效时间内，执行将该第一帧写入对应的存储器的操作；在第一帧的行场消隐区间内，不执行读取操作。

5.根据权利要求1～4任意之一所述的方法，其特征在于，所述对所述多路广角视频数据进行同步处理，包括：

将所述多路广角视频数据分别写入缓存，在延迟一指定时间阈值后，在同一时刻将多路广角视频数据读出，实现所述多路广角视频数据的同步。

6.一种全景视频实时拼接装置，其特征在于，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述装置包括：

一输入单元，用于接收多路图像采集单元拍摄得到的多路广角视频数据；

一同步单元，用于对所述输入单元接收的多路广角视频数据进行同步处理；

一存储控制单元，用于将所述同步单元同步后的每一路广角视频数据写入存储器；

一全景拼接单元，用于展开广角视频数据实现畸变校正，并对展开后的多路广角视频数据进行重叠区域的融合拼接处理。

7.根据权利要求6所述的装置，其特征在于：

所述存储控制单元，具体用于将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，所述对应的存储器中预先存储有用于对相应广角视频数据进行畸变校正的图像坐标信息；

所述全景拼接单元，具体用于在所述存储控制单元逐帧将广角视频数据写入对应的存储器的同时，从对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点从而展开广角视频数据，实现广角视频数据的畸变校正。

8.根据权利要求7所述的装置，其特征在于：

所述存储控制单元，具体用于针对同步后的每一路广角视频数据，在当前写入帧的行场有效时间内，执行将帧数据写入对应的存储器的操作；

所述全景拼接单元，具体用于在当前写入帧的行场消隐区间内，读取坐标，并根据坐标读取已写入所述存储器的所述当前写入帧的上一帧中的像素点；

在完成当前写入帧的写入和所述上一帧的读取后，将下一帧作为当前写入帧写入相应的存储器更替已被读取的帧数据，并依次循环完成广角视频数据的展开。

9.根据权利要求8所述的装置，其特征在于：

所述存储控制单元，具体用于对同步后的每一路广角视频数据的第一帧，在第一帧的行场有效时间内，执行将该第一帧写入对应的存储器的操作；

所述全景拼接单元，具体用于在第一帧的行场消隐区间内，不执行读取操作。

10.根据权利要求6～9任意之一所述的装置，其特征在于，所述同步单元对所述多路广角视频数据进行同步处理，包括：

将所述多路广角视频数据分别写入缓存，在延迟一指定时间阈值后，在同一时刻将多路广角视频数据读出，实现所述多路广角视频数据的同步。