CN115209079A - 一种适用于高速摄像机长时间存储数据的方法和设备 - Google Patents

Abstract

本发明提出一种适用于高速摄像机长时间存储数据的方法和设备，属于图像处理技术领域。方法包括如下步骤：S1：获取高速摄像机获取的视频数据；S2：获取视频数据的每一帧画面；S3：对每一帧画面进行网格化，获得多个网格数据；S4：针对每一个网格数据进行编码压缩；S5：将经过编码压缩后的网格数据存储至外部存储介质。设备包括视频画面帧抽取模块、视频编码器处理能力获取模块、画面网格化处理模块、网格数据分发模块、外部存储介质以及解码播放模块。本发明的技术方案可以有效长时间保存高速摄像机采集的高帧率图像数据而不需要配置专用存储和处理设备，降低了硬件成本。

Description

一种适用于高速摄像机长时间存储数据的方法和设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种适用于高速摄像机长时间存储数据的方法和设备、实现所述方法的计算机设备以及存储介质。

背景技术

高速摄像机是一种以极高帧率拍摄连续图像的设备，由于其拍摄帧率极高，从而导致其单位时间内产生的数据量远高于普通摄像机。

另一方面，如果原始的视频数据不经压缩，其数据量是非常大的，例如对于一个4K的摄像机，其拍摄得到一帧画面的分辨率是3840x2160。如果以原始RGB形式存储图像，则每个像素对应3个字节的数据，对应一帧画面的数据量是3840x2160x3＝24883200字节，约为23.73MB，普通摄像机每秒拍摄的帧数是25帧，那么每秒的数据量就是23.73*25≈593MB，如果用一块500GB的硬盘存储未经压缩的视频，只能存储14分钟左右。此外还要考虑常见硬盘的I/O速度远远达不到593MB/s，因此视频通常需要进行压缩编码后再存储。以常用的H264编码器为例，能将4K视频压缩到2MB/s左右，从而降低了对硬盘I/O速度的要求，并且可以存储更长时间的视频数据。

对于高速摄像机来说，其拍摄帧率可以达到1000帧/秒或者更高，那么同样分辨率下，高速摄像机产生数据的速度就是普通摄像机的40倍以上。如果数据不进行编码压缩，其数据输出速度可达23.73GB，这一速度目前没有商用存储器可以达到。因此高速摄像机普遍采用的存储方式是使用计算机内存进行存储。这一方式存在两个问题：

1.内存的存储空间远远小于硬盘，无法长时间保存数据。以上述摄像机为例，256GB的内存只能保存10.78秒的数据。

2.数据存储装置不能断电，断电数据就会丢失。

针对上述问题，现有技术提出的方案技术效果不佳。

发明内容

为解决上述技术问题，本发明提出一种适用于高速摄像机长时间存储数据的方法和设备、实现所述方法的计算机设备以及存储介质。

在本发明的第一个方面，提出一种适用于高速摄像机长时间存储数据的方法，所述方法包括如下步骤S1-S5：

S1：获取高速摄像机获取的视频数据；

S2：获取所述视频数据的每一帧画面；

S3：对所述每一帧画面进行网格化，获得多个网格数据；

S4：针对每一个网格数据进行编码压缩；

S5：将经过编码压缩后的网格数据存储至外部存储介质。

其中，作为网格化的一种实现方式，所述步骤S3具体包括：

针对每一帧视频画面，将其平均切分为M×N的网格画面，其中，每个网格在单位时间内包含的数据量不超过视频编码器的实时处理能力，M、N为大于2的正整数。

其中，作为编码压缩处理的一种具体实现方式，所述步骤S4具体包括：

将每一个网格数据发送到至少一个视频编码器进行编码压缩处理；

所述视频编码器的数量不低于所述网格的数量。

为了实现后续的解码播放正常，所述步骤S3还包括：

针对同一帧的视频画面获得多个网格画面，并在每个网格画面中插入时间戳，所述时间戳的精度为毫秒、微妙或者纳秒级；

所述步骤S4还包括：

将每个插入时间戳的网格画面数据发送到至少一个视频编码器进行编码压缩处理。

作为进一步的网格化方法改进，本发明还可以采用其他非平均化的网格化方法，此时，需要采用其他方法确定网格大小和网格数目。

作为具体的实现方式，可在所述步骤S2之后，在所述步骤S3之前执行如下步骤：

S21：获取当前已有的每个视频编码器的实时处理能力；

S22：基于所述实时处理能力，确定将当前的帧画面进行网格化的网格规格，网格规格包括要切分的网格数目和每个网格的大小；

可以理解，本步骤中，不同网格的大小可以相同，也可以不同，具体取决于已有的每个视频编码器的实时处理能力。

为了实现高速摄像机的数据在长时间传送存储后，能够正常解码播放，在所述步骤S5之后，所述方法还包括：S6：将存储后的网格数据解码播放。

解码播放具体采用如下步骤：

S601：读取编码压缩后的每个网格数据；

S602：对每个网格数据进行解码，找到相同时间戳的网格数据；

S603：将相同时间戳的网格数据按照各自在整体帧画面中的位置拼接；

S604：将拼接后的画面展现给用户。

为实现第一个方面所述的方法，在本发明的第二个方面，提供一种适用于高速摄像机长时间存储数据的设备，所述设备连接高速摄像机阵列。

在具体结构上，所述设备包括：

视频画面帧抽取模块，用于抽取每个高速摄像机拍摄的视频数据中的画面帧；

视频编码器处理能力获取模块，用于获取已有的每个视频编码器的实时处理能力信息；

画面网格化处理模块，用于基于所述视频编码器处理能力获取模块获取的每个视频编码器的实时处理能力信息，确定网格规格，并基于所述网格规格对当前画面帧进行网格化处理，得到多个网格数据；

网格数据分发模块，用于将每个网格数据分发至对应的视频编码器进行编码压缩处理；

外部存储介质，用于存储经过编码压缩处理后的每个网格数据；

解码播放模块，用于将存储后的网格数据解码播放。

与解码播放相对应的，所述画面网格化处理模块还包括时间戳生成子模块；

所述时间戳生成子模块为每一个网格数据生成时间戳，并将所述时间戳插入到网格数据中得到所述多个网格数据。

所述解码播放模块将存储后的网格数据解码播放，具体包括如下步骤：

S901：读取编码压缩后的每个网格数据；

S902：对每个网格数据进行解码，找到相同时间戳的网格数据；

S903：将相同时间戳的网格数据按照各自在整体帧画面中的位置拼接；

S904：将拼接后的画面展现给用户。

作为进一步的改进，为了提高编码压缩处理的效率以及与后续的解码播放进程匹配，每个所述视频编码器具有唯一编码识别符；

所述网格数据分发模块将每个网格数据分发至对应的视频编码器进行编码压缩处理，具体包括：

网格数据分发模块将每个网格数据的位置识别符与所述对应的视频编码器的唯一编码识别符关联后，再将每个网格数据分发至对应的视频编码器进行编码压缩处理。

本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。

因此，在本发明的第三个方面，本发明可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，实现第一个方面所述的一种适用于高速摄像机长时间存储数据的方法。

同样的，在本发明的第四个方面，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述适用于高速摄像机长时间存储数据的方法的全部或者部分步骤。

本发明的技术方案可以有效长时间保存高速摄像机采集的高帧率图像数据而不需要配置专用存储和处理设备，降低了硬件成本。具体表现为：

1-通过对高速摄像机拍摄的高帧率视频进行分帧网格后编码压缩传输，可以使得普通存储设备即可长时间存储高帧率视频；

2-基于已有编码器的空闲处理能力动态更新每次网格化的使用的网格规格，确保每次编码压缩处理不存在延迟和数据堵塞；

3-在编码压缩之前针对同一帧的网格数据加入时间戳，可以确保或许解码播放拼接的画面与原始视频画面准确对应，提到了数据处理效率的同时降低了硬件成本。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种适用于高速摄像机长时间存储数据的方法的主体流程示意图；

图2是实现图1所述方法的进一步优选实施例的流程示意图；

图3是执行图1所述方法后实现高速摄像机视频解码播放的整体流程图；

图4是实现图1-图3所述方法的一种适用于高速摄像机长时间存储数据的设备的模块组成示意图；

图5是图4所述设备实现高速摄像机视频存储后的解码播放原理图。

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参照图1，图1是本发明一个实施例的一种适用于高速摄像机长时间存储数据的方法的主体流程示意图。

图1所述一种适用于高速摄像机长时间存储数据的方法的步骤S1-S5，各个步骤具体实现如下：

S1：获取高速摄像机获取的视频数据；

S2：获取所述视频数据的每一帧画面；

S3：对所述每一帧画面进行网格化，获得多个网格数据；

S4：针对每一个网格数据进行编码压缩；

S5：将经过编码压缩后的网格数据存储至外部存储介质。

本实施例所述步骤S3对所述每一帧画面进行网格化，获得多个网格数据，其首先需要确定网格化的网格规格，包括将每一帧画面切分成多少个子网格，以及每个子网格的大小。

作为一个总的原则，首先将完整的视频画面进行网格化，网格大小依据是每个网格产生的数据速度可以被一个视频编码器所处理。

作为一种实现方式，可以采用平均切分的方式，该实施方式如下：

针对每一帧视频画面，将其切分为M×N(M、N均为大于2的正整数)的网格画面，其中，每个网格在单位时间内包含的数据量不超过视频编码器的实时处理能力。

作为更具体的例子，已知现有的商用编码器可以实时编码4K分辨率，每秒25帧的视频。也就是说其实时编码能力为3840x2160x25＝207360000像素/秒。

我们可以把该视频网格化为5x8的网格，每个网格尺寸为480x432。

对于每秒1000帧的摄像机来说，每个网格产生的数据量为

480x432x1000＝207360000像素/秒，不超过编码器的实时处理能力。对于帧率更高的摄像机，可以采用小的网格分割方式或者采用更高处理能力的编码器实现这一方法。

处理设备内部包含不少于网格数量的编码器，这些编码器各自对一个网格的视频数据进行编码压缩。以上述例子来计算，每个网格编码后的数据量约为2MB/s，所有网格产生的数据量约为80MB/s，现有很多商用存储设备的I/O速度完全可以满足这一要求。

作为另一种实现方式，采用其他非平均化的网格化方法，此时，需要采用其他方法确定网格大小和网格数目。

作为具体的实现方式，可在所述步骤S2之后，在所述步骤S3之前执行如下步骤：

S21：获取当前已有的每个视频编码器的实时处理能力；

S22：基于所述实时处理能力，确定将当前的帧画面进行网格化的网格规格，网格规格包括要切分的网格数目和每个网格的大小；

具体实现时，本步骤中不同网格的大小可以相同，也可以不同，具体取决于已有的每个视频编码器的实时处理能力。

需要注意的是，上述步骤是针对每一帧当前画面进行，也就是每一帧画面的切分方式(网格规格)不一定相同，而是动态变化的，因为当前已有的每个视频编码器的实时处理能力都在变化，之前空闲的视频编码器，可能在下一帧时处于忙碌，而之前忙碌的视频编码器，可能在下一帧时处于空闲。

在上述切分之后，所述步骤S4具体包括：将每一个网格数据发送到至少一个视频编码器进行编码压缩处理。

作为一个优选，在切分时，确保所述视频编码器的数量不低于所述网格的数量，以避免数据发生等待。

为了实现高速摄像机的数据在长时间传送存储后，能够正常解码播放，在所述步骤S5之后，所述方法还包括：S6：将存储后的网格数据解码播放。

基于上述介绍，可得到图2所述方法的进一步实施例如下：

S1：获取高速摄像机获取的视频数据；

S2：获取所述视频数据的每一帧画面；

S21：获取当前已有的每个视频编码器的实时处理能力；

S22：基于所述实时处理能力，确定将当前的帧画面进行网格化的当前网格规格；

S3：基于所述当前网格规格对所述每一帧画面进行网格化，获得多个网格数据；

S4：针对每一个网格数据进行编码压缩；

S5：将经过编码压缩后的网格数据存储至外部存储介质；

S6：将存储后的网格数据解码播放。

进一步的，为了实现高速摄像机的数据在长时间传送存储后，能够正常解码播放，所述步骤S3还包括：

针对同一帧的视频画面获得多个网格画面，并在每个网格画面中插入时间戳，所述时间戳的精度为毫秒、微妙或者纳秒级；

具体的，为了使属于同一帧的网格数据能够在时间上对齐，网格输入到编码器的一格未压缩图像数据都加上该帧的时间信息(根据帧率不同，时间戳的精度需要达到毫秒、微秒或纳秒级)。

所述步骤S4还包括：

将每个插入时间戳的网格画面数据发送到至少一个视频编码器进行编码压缩处理。

所述步骤S5中，这些编码器编码后的视频都会带有网格坐标信息和每一帧的时间戳信息，然后将它们存储到外部存储介质上(例如硬盘)。

存储时各个网格的视频数据可以分为不同的文件存储，也可以按照一定的格式保存到一个文件内。如果采用单文件存储模式，可以采用自定义格式，或者支持多轨道视频存储的文件格式，例如MP4格式，MPEG-TS格式。

上述整个针对视频的每一帧进行处理和播放的过程可参见图3所述的训练判断流程，所述流程采用计算机程序指令的形式实现，其伪代码流程语言如下：

获取高速摄像机获取的视频数据；

获取视频数据的当前帧画面；

获取当前已有的每个视频编码器的实时处理能力；

确定将当前的帧画面进行网格化的当前网格规格；

基于所述确定的当前网格规格对当前的帧画面进行网格化，获得多个当前网格画面数据；

在每个当前网格画面数据中插入时间戳；

将每个每个当前网格画面数据发送到视频编码器进行编码压缩处理；

将经过编码压缩后的当前网格画面数据存储至外部存储介质；

判断是否存在下一帧，如果不存在，则进入解码和播放处理步骤；

否则，将下一帧画面作为当前帧画面，返回“获取视频数据的当前帧画面”的步骤。

上述方法中，解码和播放处理步骤可以概括为：

1.从存储介质上将编码后的各个网格的视频数据读取出来。

2.对这些网格视频解码，找到相同时间戳的网格帧画面。

3.将这些网格帧画面按照各自在整体帧画面中的位置拼接到一起。

4.将拼接得到的画面展现给用户。

基于上述流程可以明确看到，每次切分网格都是针对每一帧当前画面进行，网格规格是动态变化的，因为当前已有的每个视频编码器的实时处理能力都在变化，之前空闲的视频编码器，可能在下一帧时处于忙碌，而之前忙碌的视频编码器，可能在下一帧时处于空闲。

图4是实现图1-图3所述方法的一种适用于高速摄像机长时间存储数据的设备的模块组成示意图；

所述设备连接高速摄像机阵列。

在具体结构上，所述设备包括：

视频画面帧抽取模块，用于抽取每个高速摄像机拍摄的视频数据中的画面帧；

视频编码器处理能力获取模块，用于获取已有的每个视频编码器的实时处理能力信息；

画面网格化处理模块，用于基于所述视频编码器处理能力获取模块获取的每个视频编码器的实时处理能力信息，确定网格规格，并基于所述网格规格对当前画面帧进行网格化处理，得到多个网格数据；

网格数据分发模块，用于将每个网格数据分发至对应的视频编码器进行编码压缩处理；

外部存储介质，用于存储经过编码压缩处理后的每个网格数据；

解码播放模块，用于将存储后的网格数据解码播放。

与解码播放相对应的，所述画面网格化处理模块还包括时间戳生成子模块；

所述时间戳生成子模块为每一个网格数据生成时间戳，并将所述时间戳插入到网格数据中得到所述多个网格数据。

作为进一步的改进，为了提高编码压缩处理的效率以及与后续的解码播放进程匹配，每个所述视频编码器具有唯一编码识别符；

所述网格数据分发模块将每个网格数据分发至对应的视频编码器进行编码压缩处理，具体包括：

网格数据分发模块将每个网格数据的位置识别符与所述对应的视频编码器的唯一编码识别符关联后，再将每个网格数据分发至对应的视频编码器进行编码压缩处理。

图5是图4所述设备实现高速摄像机视频存储后的解码播放原理图。

从所述外部存贮介质获取存储帧数据后，解码播放模块执行如下步骤：

S901：读取编码压缩后的每个网格数据；

S902：对每个网格数据进行解码，找到相同时间戳的网格数据；

S903：将相同时间戳的网格数据按照各自在整体帧画面中的位置拼接；

S904：将拼接后的画面展现给用户。

本发明的上述实施例，通过对高速摄像机拍摄的高帧率视频进行分帧网格后编码压缩传输，可以使得普通存储设备即可长时间存储高帧率视频；基于已有编码器的空闲处理能力动态更新每次网格化的使用的网格规格，确保每次编码压缩处理不存在延迟和数据堵塞；在编码压缩之前针对同一帧的网格数据加入时间戳，可以确保或许解码播放拼接的画面与原始视频画面准确对应，提到了数据处理效率的同时降低了硬件成本。

需要注意的是，本发明可以解决上述问题或者达到相应的技术效果，但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果，单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。

本发明的上述技术方案可以通过计算机设备，基于计算机程序指令自动化实现。同样的，本发明还可以表现为一种计算机程序产品，所述程序产品承载于计算机存储介质，通过处理器执行所述程序，从而实现上述技术方案。

因此更多的实施例包括一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机可执行程序，所述处理器被配置为执行上述方法的各个步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (10)

1.一种适用于高速摄像机长时间存储数据的方法，其特征在于，

所述方法包括如下步骤：

S1：获取高速摄像机获取的视频数据；

S2：获取所述视频数据的每一帧画面；

S3：对所述每一帧画面进行网格化，获得多个网格数据；

S4：针对每一个网格数据进行编码压缩；

S5：将经过编码压缩后的网格数据存储至外部存储介质。

2.如权利要求1所述的一种适用于高速摄像机长时间存储数据的方法，其特征在于，

所述步骤S3具体包括：

针对每一帧视频画面，将其切分为M×N的网格画面，其中，每个网格在单位时间内包含的数据量不超过视频编码器的实时处理能力。

3.如权利要求1所述的一种适用于高速摄像机长时间存储数据的方法，其特征在于，

所述步骤S4具体包括：

将每一个网格数据发送到至少一个视频编码器进行编码压缩处理；

所述视频编码器的数量不低于所述网格的数量。

4.如权利要求1所述的一种适用于高速摄像机长时间存储数据的方法，其特征在于，

所述步骤S3还包括：

针对同一帧的视频画面获得多个网格画面，并在每个网格画面中插入时间戳，所述时间戳的精度为毫秒、微妙或者纳秒级；

所述步骤S4还包括：

将每个插入时间戳的网格画面数据发送到至少一个视频编码器进行编码压缩处理。

5.如权利要求1所述的一种适用于高速摄像机长时间存储数据的方法，其特征在于，在所述步骤S2之后，在所述步骤S3之前，所述方法还包括：

S21：获取当前已有的每个视频编码器的实时处理能力；

S22：基于所述实时处理能力，确定将当前的帧画面进行网格化的网格规格。

6.如权利要求1-5任一项所述的一种适用于高速摄像机长时间存储数据的方法，其特征在于，在所述步骤S5之后，所述方法还包括：

S6：将存储后的网格数据解码播放。

7.一种适用于高速摄像机长时间存储数据的设备，所述设备连接高速摄像机阵列，其特征在于，所述设备包括：

视频画面帧抽取模块，用于抽取每个高速摄像机拍摄的视频数据中的画面帧；

视频编码器处理能力获取模块，用于获取已有的每个视频编码器的实时处理能力信息；

画面网格化处理模块，用于基于所述视频编码器处理能力获取模块获取的每个视频编码器的实时处理能力信息，确定网格规格，并基于所述网格规格对当前画面帧进行网格化处理，得到多个网格数据；

网格数据分发模块，用于将每个网格数据分发至对应的视频编码器进行编码压缩处理；

外部存储介质，用于存储经过编码压缩处理后的每个网格数据；

解码播放模块，用于将存储后的网格数据解码播放。

8.如权利要求7所述的一种适用于高速摄像机长时间存储数据的设备，其特征值在于：

所述画面网格化处理模块还包括时间戳生成子模块；

所述时间戳生成子模块为每一个网格数据生成时间戳，并将所述时间戳插入到网格数据中得到所述多个网格数据。

9.如权利要求8所述的一种适用于高速摄像机长时间存储数据的设备，其特征值在于：

所述解码播放模块将存储后的网格数据解码播放，具体包括如下步骤：

S901：读取编码压缩后的每个网格数据；

S902：对每个网格数据进行解码，找到相同时间戳的网格数据；

S903：将相同时间戳的网格数据按照各自在整体帧画面中的位置拼接；

S904：将拼接后的画面展现给用户。

10.如权利要求7所述的一种适用于高速摄像机长时间存储数据的设备，其特征值在于：

每个所述视频编码器具有唯一编码识别符；

所述网格数据分发模块将每个网格数据分发至对应的视频编码器进行编码压缩处理，具体包括：

网格数据分发模块将每个网格数据的位置识别符与所述对应的视频编码器的唯一编码识别符关联后，再将每个网格数据分发至对应的视频编码器进行编码压缩处理。

Images