CN114245133A - 视频分块编码方法、编码传输方法、系统和设备 - Google Patents
视频分块编码方法、编码传输方法、系统和设备 Download PDFInfo
- Publication number
- CN114245133A CN114245133A CN202210164367.1A CN202210164367A CN114245133A CN 114245133 A CN114245133 A CN 114245133A CN 202210164367 A CN202210164367 A CN 202210164367A CN 114245133 A CN114245133 A CN 114245133A
- Authority
- CN
- China
- Prior art keywords
- video
- picture
- block
- encoder
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出视频分块编码方法、编码传输方法、系统和设备,属于视频传输处理技术领域。方法包括:S100:获取视频画面;S200:确定视频画面分割方式;S300:获取编码器的实时处理能力;S400:根据编码器的实时处理能力,确定视频画面分割数目;S500:对视频画面进行分割,得到多个分块画面数据。设备包括处理器和存储器,存储器上存储有计算机可执行程序指令,通过处理器执行可执行程序指令,用于实现所述方法。本发明提出对原始画面先分块后编码的方法,实现了采用多个较低成本的视频编码器对高分辨率视频内容的压缩编码。此外在客户端配合专用的软件或硬件解码器,可以实现对编码后的高分辨率视频进行解码、重组和呈现。
Description
技术领域
本发明属于视频传输处理技术领域,尤其涉及一种视频分块编码方法、编码传输方法、实现所述编码传输方法的计算机设备、系统以及存储介质。
背景技术
随着图像传感器分辨率的不断提高,单个图像传感器能产生的像素越来越多,目前已经出现高达1亿像素以上的视频传感器,如果原始的视频数据不经压缩,其数据量是非常大的,因此往往需要进行编码压缩,常用的视频编码算法包括MPEG-2,H.264,H.265等,它们能根据压缩质量的不同,提供几十倍至几百倍的压缩比。
由于视频编码器设计复杂度较高,数据吞吐量极大,因此常见的商用编码器往往不会处理过高分辨率的图像,目前常见的商用视频编码器一般能对4K大小(3840x2160)的视频进行实时编码。而对于更高分辨率的视频,则需要更为专用的编码器,这意味着更高的价格和使用门槛。
另一方面,由于目前常用的视频编码算法在编码和解码端具有不对称性,从而导致解码器的处理能力往往数倍于编码器,或者对同等分辨率的视频处理能力下,其价格远低于编码器。
如何在已有的常规商用视频解码器的基础上实现高分辨率视频图像的快速传输以及正常解码播放,同时不增加硬件成本,成为本领域亟待解决的技术问题。
发明内容
为解决上述技术问题,本发明提出一种视频分块编码方法、编码传输方法、实现所述编码传输方法的计算机设备、系统以及存储介质。
在本发明的第一个方面,提出一种视频分块编码的方法,所述方法包括如下步骤:
S100:获取视频画面;
S200:根据视频画面尺寸,确定视频画面分割方式;
S300:获取编码器的实时处理能力;
S400:根据编码器的实时处理能力,确定视频画面分割数目;
S500:基于确定的视频画面分割方式和视频画面分割数目对视频画面进行分割,得到多个分块画面数据;
S600:将每个分块画面数据分配至对应的编码器执行压缩编码。
作为进一步的改进,为了配合后续的解码播放过程,所述步骤S500还包括:
为每个分块画面数据生成时间戳信息和位置戳信息;
将所述时间戳信息和位置戳信息插入到所述每个分块画面数据中。
此时,在所述步骤S600之后,所述方法还包括:
S700:将执行所述压缩编码后的每个分块画面数据传输至传输到客户端用于视频直播。
基于前述的编码压缩所使用的时间戳和位置戳,执行解码播放的所述步骤S700具体包括:
S701:客户端接收画面分块描述信息构建出视频画布 ;
S702:客户端将收到的每个分块画面数据进行解码,解码后的分块画面数据包含该分块画面数据的时间戳信息和位置戳信息;
S703:将时间戳信息相同的分块画面数据,基于所述位置戳信息放置到所述视频画布的对应位置;
S704:在客户端的可视化界面上显示由多个分块画面数据拼接得到的视频画面。
上述步骤S701中,所述画面分块描述信息包括视频画面分割方式和视频画面分割数目。
作为再一个改进,所述步骤S400具体包括:
根据编码器的实时处理能力,确定当前空闲的编码器的数量以及每个空闲编码器的实时处理能力;
基于所述空闲的编码器的数量和每个空闲编码器的实时处理能力,确定视频画面分割数目。
第一个方面所述的方法是从整体上以单帧画面数据为基础,介绍本发明针对每一个单帧画面数据的编码压缩传输以及解码播放基础。
实际应用中,视频数据由多帧组成,每一帧画面数据均需要按需进行传输,对此,在本发明的第二个方面,提出一种视频分块编码传输的方法,所述方法包括如下步骤:
SS1:获取当前视频画面的尺寸和当前编码器的实时处理能力;
SS2:确定当前视频画面的画面分割方式和视频画面分割数目;
SS3:基于确定的视频画面分割方式和视频画面分割数目对当前视频画面进行分割,得到多个当前分块画面数据;
SS4:将每个当前分块画面数据分配至对应的编码器执行压缩编码;
SS5:将执行所述压缩编码后的每个当前分块画面数据传输至传输到客户端;
SS6:获取下一个视频画面,将下一个视频画面作为当前视频画面,返回步骤SS1。
作为进一步的改进,所述步骤SS3还包括:针对每一个当前分块画面数据进行边缘扩展。
在本发明的第三个方面,为实现第一个方面或者第二个方面所述的方法,提出一种视频分块编码传输系统,所述系统包括:
视频帧获取模块,所述视频帧获取模块用于获取亿级像素视频的每一帧画面;
视频尺寸获取模块,所述视频尺寸获取模块用于获取所述每一帧画面的尺寸;
编码器能力探测模块,所述编码器能力探测模块用于探测每个编码器的实时处理能力;
画面帧分割模块,所述画面帧分割模块基于每一帧画面的尺寸和每个编码器的实时处理能力,确定每一帧画面的分割方式和分割数据,并基于所述分割方式和分割数据对每一帧画面进行分割,得到多个分块画面数据;
编码压缩模块,所述编码压缩模块将每个分块画面数据分发至对应的至少一个编码器执行编码压缩处理;
分块传输模块,所述分块传输模块将执行编码压缩处理之后的每个分块画面数据传输至客户端。
本发明的上述技术方案可以通过计算机设备或者系统,基于计算机程序指令自动化实现。
具体的,在本发明的第四个方面,提供一种视频分块编码传输设备,所述设备包括处理器和存储器,所述存储器上存储有计算机可执行程序指令,通过所述处理器执行所述可执行程序指令,用于实现前述第一个方面或者第二个方面所述的方法。
进一步的,在本发明的第五个方面,本发明可以实现为一种计算机介质,计算机介质上存储有计算机程序指令,通过执行所述程序指令,前述第一个方面或者第二个方面所述的方法。
同样的,在本发明的第六个方面,本发明还可以表现为一种计算机程序产品,所述程序产品承载于计算机存储介质,通过处理器执行所述程序,从而实现前述第一个方面或者第二个方面所述的方法。
可以看到,本发明通过提出一种对原始画面先分块后编码的方法,实现了采用多个较低成本的视频编码器对高分辨率视频内容的压缩编码。此外在客户端配合专用的软件或硬件解码器,可以实现对采用本文描述的编码方法编码后的高分辨率视频进行解码、重组和呈现。因此,本发明的技术方案还可以概括为是一种高分辨率视频图像的分块编码传输和解码播放的方法和设备。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种高分辨率视频图像的分块编码传输和解码播放的方法的完整流程示意图;
图2(a)-图2(c)是图1所述方法中确定视频画面分割方式的示意图;
图3(a)-图3(b)是针对图2(a)网格化分块方式的四个边缘均向外扩展的方式示意图;
图3(c)-图3(f)是针对图2(b)、图2(c)网格化分块方式的边缘扩展的方式示意图;
图4是实现图1所述方法的优选实施例示意图;
图5是本发明一个实施例的高分辨率视频图像的分块编码传输和解码播放的方法的循环执行的优选实施例示意图;
图6是执行图1-图5所述方法的步骤的服务器、客户端的系统原理图;
图7是执行图1-图5所述方法的步骤的设备的模块架构原理图。
具体实施方式
下面,结合附图以及具体实施方式,对发明做出进一步的描述。
参照图1,图1是本发明一个实施例的一种高分辨率视频图像的分块编码传输和解码播放的方法的完整流程示意图。
图1所述方法包括步骤S100-S700;其中,步骤S100-S600完成了视频分块、压缩编码的过程,步骤S700则完成了客户端解码播放。
因此,事实上,图1所述步骤S100-S600可实现为一种视频分块编码的方法,步骤S100-S700则完成体现了一种视频分块编码传输的方法。
具体的, 各个步骤实现如下:
S100:获取视频画面;
S200:根据视频画面尺寸,确定视频画面分割方式;
S300:获取编码器的实时处理能力;
S400:根据编码器的实时处理能力,确定视频画面分割数目;
S500:基于确定的视频画面分割方式和视频画面分割数目对视频画面进行分割,得到多个分块画面数据;
S600:将每个分块画面数据分配至对应的编码器执行压缩编码;
S700:将执行所述压缩编码后的每个分块画面数据传输至传输到客户端用于视频直播。
接下来,本步骤介绍涉及本发明改进点的相关子步骤的具体实现方式。
参见图2(a)-图2(c)示出了图1所述方法中确定视频画面的多种分割方式的示意图,即步骤S200的具体实现方式。
在实际分各种,可根据画面大小和宽高比的不同,可以采用不同的画面分割方式,包括水平分割,垂直分割或者网格化分割。
例如对于常见的16:9或4:3的画面,可以采用网格化分割,如图2(a)所示。
对于水平尺寸远大于垂直尺寸的画面,可以采用水平分割,如图2(b)所示。
对于垂直尺寸远大于水平尺寸的画面,可以采用垂直分割方式,如图2(c)所示。
可以理解,这里的“远大于”,是指其中一个尺寸为另一个尺寸的N倍,N>5。
确定分割方式之后,还需要确定分割数据,即将当前画面分割成多少个子网格。
对此,执行步骤S300-S400,即获取编码器的实时处理能力后,根据编码器的实时处理能力,确定视频画面分割数目。
具体的,所述步骤S400具体包括:
根据编码器的实时处理能力,确定当前空闲的编码器的数量以及每个空闲编码器的实时处理能力;
基于所述空闲的编码器的数量和每个空闲编码器的实时处理能力,确定视频画面分割数目。
以图2(a)所述的网格化分割为例,已知现有的商用编码器可以实时编码4K分辨率,每秒25帧的视频。也就是说其实时编码能力为3840x2160x25=207360000像素/秒。
我们可以把该视频网格化为5x8的网格,每个网格尺寸为480x432。
对于每秒1000帧的摄像机来说,每个网格产生的数据量为480x432x1000=207360000像素/秒,不超过编码器的实时处理能力。对于帧率更高的摄像机,可以采用小的网格分割方式或者采用更高处理能力的编码器实现这一方法。
处理设备内部包含不少于网格数量的编码器,这些编码器各自对一个网格的视频数据进行编码压缩。以上述例子来计算,每个网格编码后的数据量约为2MB/s,所有网格产生的数据量约为80MB/s,现有很多商用存储设备的I/O速度完全可以满足这一要求。
因此,可执行步骤S500,即基于确定的视频画面分割方式和视频画面分割数目对视频画面进行分割,得到多个分块画面数据。
作为进一步的改进,参见图3(a)-图3(f),在得到每个分块画面数据之后,所述方法还包括:针对每一个分块画面数据进行边缘扩展。
具体的,在以上分割的基础上进行进一步处理,从每个分块的边缘处向外多取n个(n≥0)像素,得到一个比原分块更大的分块。网格四个边向外多取的像素数量可以是相同的,也可以是不完全相同的。
例如原分块的大小是200x200像素,那么四个边各向外多取8个像素后,得到的新分块大小是216x216像素。
经过扩展后,各个分块与其相邻分块之间会存在一些重叠区域。如图3(a)所示,暗色网格是原始图像分割后的样子,单线框则表示经过扩展后新的分块所占据的区域。
从图3(a)可见,对于位于图像边缘的分割块,在进行边缘外扩之后,分块中会包含一些原来图像中所不包含的区域,这些新增区域如图3(b)中的边缘框线部分所示,我们称这些区域为图像边缘扩展区域。这些区域的像素取值可以根据需求自定义取值,例如取固定值,或者与其扩展方向上最邻近的原始图像像素值相同。
图3(a)-图3(b)是针对前述图2(a)所述网格化分块方式的四个边缘均向外扩展的方式,称为标准扩展方式。
针对图2(b)、图2(c)所述的水平分割或者垂直分割方式,也可以采取类似的边缘扩展,具体介绍如下:
对图2(a)水平分割方法,除了采用标准扩展方式外,还可以采用图3(c)方式,即仅在水平方向进行扩展,从而降低数据处理量。对于原始图像两边的边缘分块,也仅需分别向左右两边扩展相应的边缘,如图3(d)所示。
对图2(b)垂直分割方法,考虑到其特殊性,也可以采用图3(e)方式,即仅在垂直方向进行扩展,从而降低数据处理量。对于两边的边缘分块,也仅需分别向上下两边扩展相应的边缘,如图3(f)所示。
在确定分割方式和边缘扩展方式之后,即可得到图像分块信息描述。
具体而言,图像分块信息中必须包含足够的信息,从而确保根据这些信息可以将分块后的视频画面重新组合起来,举例如下:
设原始图像分辨率为7680x4320,首先分割为10x10个块,每个块的大小为768x432,然后将每个块分别向四周扩展8个像素,则得到100个784x448大小的分块,整个图像由于边缘扩展,大小变为7696x4336。我们记录图像分块信息如下:
{
"splitMode": "grid", // 网格化切分
"originWidth": 7680, // 原始图像宽度
"originHeight": 4320, // 原始图像高度
"blockWidth": 768, // 分块宽度
"blockHeight": 432, // 分块高度
"leftPadSize": 8, // 各分块向左外延宽度数
"rightPadSize": 8, //各分块向右外延宽度数
"upPadSize": 8, //各分块向上外延宽度数
"downPadSize": 8 //各分块向下外延宽度数
}
基于以上描述,我们可以很容易得到图像的分块方式和各个分块的大小。
以上仅对网格化分块方式进行了举例,对于水平或垂直分块方式,我们可以写出类似的分块描述信息。
为了后续视频解码播放能够正常,所述步骤S500还包括:
为每个分块画面数据生成时间戳信息和位置戳信息;
将所述时间戳信息和位置戳信息插入到所述每个分块画面数据中。
在对各个视频分块进行编码时,要在编码输出的视频数据中包含该分块在整个画面中的位置戳信息,以及每一帧画面的时间戳信息。这些信息将用于后面的视频重组。
位置戳信息可以以各种方式保存,只要跟前述描述的图像分块信息能对应起来即可。例如对于网格化分块方式,我们可以以坐标形式保存各个分块的信息,例如坐标(0,0)表示图像左上角的分块。
时间戳信息则要求处于同一个画面的各个分块的子画面具有相同的时间戳信息。时间戳的精度必须足够区分不同时刻的画面。例如以毫秒、微秒或纳秒为单位,或者以视频传输系统中常用的1/90000秒为单位等。
对分块好的视频帧数据进行压缩编码,编码算法可以采用常用的各种算法,例如H.264,H.265,MPEG-2等,采用何种视频编码算法不在本发明的讨论范围之内,本发明对此也不做约束。
接下来, 执行步骤S700:将执行所述压缩编码后的每个分块画面数据传输至传输到客户端用于视频直播。
具体的,是将视频分块信息和各个分块视频编码后的数据直接传输到客户端,可以用于视频直播。
在传输过程中要首先将图像的分块描述信息传输过去,然后再将各个视频分块的视频帧流传输过去,分块视频流中要包含自己在整体画面中的位置信息和每一帧的时间戳信息。
传输信道和传输协议可以采用多种方式,例如MPEG2-TS,RTP,WebSocket等,本发明不对此进行约束。
将分块信息和编码后的视频流保存到电脑文件中,文件可以是自定义的格式,也可以基于现有的一些标准,例如MP4格式。同样需要在文件中保存图像的分块信息,各个视频分块的位置信息和各帧的时间戳信息。
客户端可以读取电子文件,解析这些信息后将画面重组并播放出来。
具体的,步骤700执行5视频解码和重组具体包括:
S701:客户端接收画面分块描述信息构建出视频画布 ;
S702:客户端将收到的每个分块画面数据进行解码,解码后的分块画面数据包含该分块画面数据的时间戳信息和位置戳信息;
S703:将时间戳信息相同的分块画面数据,基于所述位置戳信息放置到所述视频画布的对应位置;
S704:在客户端的可视化界面上显示由多个分块画面数据拼接得到的视频画面。
上述过程可以概括为:
客户端首先接收到画面分块描述信息,可以据此构建出一个视频画布。
然后客户端将收到的各个视频分块的视频流进行解码,解码后的视频画面包含了各自的位置信息、帧时间戳和画面数据。
客户端找到时间戳相同的画面数据,然后根据位置信息将它们放到视频画布的不同位置,同时将各个分块边缘外延的多余部分裁剪掉。
客户端将最终画面呈现到屏幕上。
基于上述改进,图4给出优选的实施例流程如下:
执行步骤S100-S400之后,图4所述方法继续执行:
基于确定的视频画面分割方式和视频画面分割数目对视频画面进行分割,得到多个分块画面数据;
为每个分块画面数据生成时间戳信息和位置戳信息;
将所述时间戳信息和位置戳信息插入到所述每个分块画面数据中;
将每个分块画面数据分配至对应的编码器执行压缩编码;
客户端接收画面分块描述信息构建出视频画布;
客户端将收到的每个分块画面数据进行解码;
将时间戳信息相同的分块画面数据,基于所述位置戳信息放置到所述视频画布的对应位置;
在客户端的可视化界面上显示由多个分块画面数据拼接得到的视频帧画面。
图1或图4的方法是从整体上以单帧画面数据为基础,介绍本发明针对每一个单帧画面数据的编码压缩传输以及解码播放基础。
实际应用中,视频数据由多帧组成,每一帧画面数据均需要按需进行传输,对此,图5是本发明一个实施例的高分辨率视频图像的分块编码传输和解码播放的方法的循环执行的优选实施例示意图。
所述方法包括如下步骤:
SS1:获取当前视频画面的尺寸和当前编码器的实时处理能力;
根据编码器的实时处理能力,可确定当前空闲的编码器的数量以及每个空闲编码器的实时处理能力,从而确定每个可用的编码器的数量以及处理能力;
SS2:确定当前视频画面的画面分割方式和视频画面分割数目;
SS3:基于确定的视频画面分割方式和视频画面分割数目对当前视频画面进行分割,得到多个当前分块画面数据;
SS4:将每个当前分块画面数据分配至对应的编码器执行压缩编码;
SS5:将执行所述压缩编码后的每个当前分块画面数据传输至传输到客户端;
SS6:获取下一个视频画面,将下一个视频画面作为当前视频画面,返回步骤SS1。
需要指出的是,图5所述实施例在图1或者图4的基础上有进一步的改进,即图1或图4中,仅根据视频画面尺寸即可确定视频画面分割方式,仅根据编码器的实时处理能力即可确定视频画面分割数目;
而在图5中,由于是循环执行的过程,因此,不再仅仅由视频画面尺寸确定视频画面分割方式或者仅仅由编码器的实时处理能力确定视频画面分割数目,而是在每一步中针对每一帧,获取当前视频画面的尺寸和当前编码器的实时处理能力的两个因素,同时确定当前视频画面的画面分割方式和视频画面分割数目。
可以理解的是,每次切分网格都是针对每一帧当前画面进行,网格规格(视频画面分割方式和视频画面分割数目)是动态变化的,因为当前已有的每个视频编码器的实时处理能力都在变化,之前空闲的视频编码器,可能在下一帧时处于忙碌,而之前忙碌的视频编码器,可能在下一帧时处于空闲。
此外,前述图1或图4提出的分割方式、边缘扩展等手段,同样适用于图5实施例的相应步骤,
即所述步骤SS3还包括:针对每一个当前分块画面数据进行边缘扩展。
所述步骤SS2中所述视频画面分割方式包括水平分割、垂直分割、网格化分割;
当然,由于是动态变化,步骤SS2中所述视频画面分割方式包括水平分割、垂直分割、网格化分割之一或者其任意组合。
图6是执行图1-图5所述方法的步骤的服务器、客户端的系统原理图;
图6中,视频源是指未经编码压缩的原始视频画面,该视频画面来自高清亿级像素摄像机,后续的处理步骤说明如下:
1.画面分块
本步骤分为两步:画面分割和边缘扩展。
1.1画面分割
根据画面大小和宽高比的不同,可以采用不同的画面分割方式,包括水平分割,垂直分割或者网格化分割,具体可参见图2(a)-图2(c)。
1.2 边缘扩展
我们在以上分割的基础上进行进一步处理,从每个分块的边缘处向外多取n个(n≥0)像素,得到一个比原分块更大的分块。网格四个边向外多取的像素数量可以是相同的,也可以是不完全相同的。
例如原分块的大小是200x200像素,那么四个边各向外多取8个像素后,得到的新分块大小是216x216像素。
对于位于图像边缘的分割块,在进行边缘外扩之后,分块中会包含一些原来图像中所不包含的区域,我们称这些区域为图像边缘扩展区域。这些区域的像素取值可以根据需求自定义取值,例如取固定值,或者与其扩展方向上最邻近的原始图像像素值相同。
其他方式不再赘述,参见图3(a)-图3(f)。
1.3图像分块信息描述
图像分块信息中必须包含足够的信息,从而确保根据这些信息可以将分块后的视频画面重新组合起来,举例如下:
设原始图像分辨率为7680x4320,首先分割为10x10个块,每个块的大小为768x432,然后将每个块分别向四周扩展8个像素,则得到100个784x448大小的分块,整个图像由于边缘扩展,大小变为7696x4336。我们记录图像分块信息如下:
{
"splitMode": "grid", // 网格化切分
"originWidth": 7680, // 原始图像宽度
"originHeight": 4320, // 原始图像高度
"blockWidth": 768, // 分块宽度
"blockHeight": 432, // 分块高度
"leftPadSize": 8, // 各分块向左外延宽度数
"rightPadSize": 8, //各分块向右外延宽度数
"upPadSize": 8, //各分块向上外延宽度数
"downPadSize": 8 //各分块向下外延宽度数
}
基于以上描述,我们可以很容易得到图像的分块方式和各个分块的大小。
以上仅对网格化分块方式进行了举例,对于水平或垂直分块方式,我们可以写出类似的分块描述信息。
2.分块视频编码
对前一步骤中分块好的视频数据进行压缩编码,编码算法可以采用常用的各种算法,例如H.264,H.265,MPEG-2等,采用何种视频编码算法不在本发明的讨论范围之内,本发明对此也不做约束。
在对各个视频分块进行编码时,要在编码输出的视频数据中包含该分块在整个画面中的位置信息,以及每一帧画面的时间戳信息。这些信息将用于后面的视频重组。
位置信息可以以各种方式保存,只要跟1.3部分描述的图像分块信息能对应起来即可。例如对于网格化分块方式,我们可以以坐标形式保存各个分块的信息,例如坐标(0,0)表示图像左上角的分块。
时间戳信息则要求处于同一个画面的各个分块的子画面具有相同的时间戳信息。时间戳的精度必须足够区分不同时刻的画面。例如以毫秒、微秒或纳秒为单位,或者以视频传输系统中常用的1/90000秒为单位等。
3.视频传输
这种方式是将视频分块信息和各个分块视频编码后的数据直接传输到客户端,可以用于视频直播。
在传输过程中要首先将图像的分块描述信息传输过去,然后再将各个视频分块的视频流传输过去,分块视频流中要包含自己在整体画面中的位置信息和每一帧的时间戳信息。
传输信道和传输协议可以采用多种方式,例如MPEG2-TS,RTP,WebSocket等,本发明不对此进行约束。
4.数据存储和读取
我们也可以将分块信息和编码后的视频流保存到电脑文件中,文件可以是自定义的格式,也可以基于现有的一些标准,例如MP4格式。同样需要在文件中保存图像的分块信息,各个视频分块的位置信息和各帧的时间戳信息。
客户端可以读取电子文件,解析这些信息后将画面重组并播放出来。
5.视频解码和重组
客户端首先接收到画面分块描述信息,可以据此构建出一个视频画布。
然后客户端将收到的各个视频分块的视频流进行解码,解码后的视频画面包含了各自的位置信息、帧时间戳和画面数据。
客户端找到时间戳相同的画面数据,然后根据位置信息将它们放到视频画布的不同位置,同时将各个分块边缘外延的多余部分裁剪掉。
客户端将最终画面呈现到屏幕上。
基于图6的架构,参见图7,是执行图1-图5所述方法的步骤的设备的模块架构原理图。
图7中,示出一种视频分块编码传输系统,所述系统包括:
视频帧获取模块,所述视频帧获取模块用于获取亿级像素视频的每一帧画面;
视频尺寸获取模块,所述视频尺寸获取模块用于获取所述每一帧画面的尺寸;
编码器能力探测模块,所述编码器能力探测模块用于探测每个编码器的实时处理能力;
画面帧分割模块,所述画面帧分割模块基于每一帧画面的尺寸和每个编码器的实时处理能力,确定每一帧画面的分割方式和分割数据,并基于所述分割方式和分割数据对每一帧画面进行分割,得到多个分块画面数据;
编码压缩模块,所述编码压缩模块将每个分块画面数据分发至对应的至少一个编码器执行编码压缩处理;
分块传输模块,所述分块传输模块将执行编码压缩处理之后的每个分块画面数据传输至客户端。
本发明的上述技术方案可以通过计算机设备,基于计算机程序指令自动化实现。同样的,本发明还可以表现为一种计算机程序产品,所述程序产品承载于计算机存储介质,通过处理器执行所述程序,从而实现上述技术方案。
因此更多的实施例包括一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机可执行程序,所述处理器被配置为执行上述方法的各个步骤。
本发明通过提出一种对原始画面先分块后编码的方法,实现了采用多个较低成本的视频编码器对高分辨率视频内容的压缩编码。此外在客户端配合专用的软件或硬件解码器,可以实现对采用本文描述的编码方法编码后的高分辨率视频进行解码、重组和呈现。因此,本发明的方法还可以概括为是一种高分辨率视频图像的分块编码传输和解码播放的方法和设备。
需要注意的是,本发明可以解决多个技术问题或者达到相应的技术效果,但是并不要求本发明的每一个实施例均解决所有技术问题或者达到所有的技术效果,单独解决某一个或者某几个技术问题、获得一个或多个改进效果的某个实施例同样构成单独的技术方案。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
本发明未特别明确的部分模块结构,以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分,用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
Claims (10)
1.一种视频分块编码的方法,其特征在于,所述方法包括如下步骤:
S100:获取视频画面;
S200:根据视频画面尺寸,确定视频画面分割方式;
S300:获取编码器的实时处理能力;
S400:根据编码器的实时处理能力,确定视频画面分割数目;
S500:基于确定的视频画面分割方式和视频画面分割数目对视频画面进行分割,得到多个分块画面数据;
S600:将每个分块画面数据分配至对应的编码器执行压缩编码。
2.如权利要求1所述的一种视频分块编码的方法,其特征在于:
所述步骤S500还包括:
为每个分块画面数据生成时间戳信息和位置戳信息;
将所述时间戳信息和位置戳信息插入到所述每个分块画面数据中。
3.如权利要求2所述的一种视频分块编码的方法,其特征在于,在所述步骤S600之后,所述方法还包括:
S700:将执行所述压缩编码后的每个分块画面数据传输至传输到客户端用于视频直播。
4.如权利要求3所述的一种视频分块编码的方法,其特征在于,所述步骤S700具体包括:
S701:客户端接收画面分块描述信息构建出视频画布 ;
S702:客户端将收到的每个分块画面数据进行解码,解码后的分块画面数据包含该分块画面数据的时间戳信息和位置戳信息;
S703:将时间戳信息相同的分块画面数据,基于所述位置戳信息放置到所述视频画布的对应位置;
S704:在客户端的可视化界面上显示由多个分块画面数据拼接得到的视频画面。
5.如权利要求1所述的一种视频分块编码的方法,其特征在于:
所述步骤S200中所述视频画面分割方式包括水平分割、垂直分割、网格化分割。
6.如权利要求1所述的一种视频分块编码的方法,其特征在于:
所述步骤S400具体包括:
根据编码器的实时处理能力,确定当前空闲的编码器的数量以及每个空闲编码器的实时处理能力;
基于所述空闲的编码器的数量和每个空闲编码器的实时处理能力,确定视频画面分割数目。
7.一种视频分块编码传输的方法,其特征在于,所述方法包括如下步骤:
SS1:获取当前视频画面的尺寸和当前编码器的实时处理能力;
SS2:确定当前视频画面的画面分割方式和视频画面分割数目;
SS3:基于确定的视频画面分割方式和视频画面分割数目对当前视频画面进行分割,得到多个当前分块画面数据;
SS4:将每个当前分块画面数据分配至对应的编码器执行压缩编码;
SS5:将执行所述压缩编码后的每个当前分块画面数据传输至传输到客户端;
SS6:获取下一个视频画面,将下一个视频画面作为当前视频画面,返回步骤SS1。
8.如权利要求7所述的一种视频分块编码传输的方法,其特征在于,
所述步骤SS3还包括:针对每一个当前分块画面数据进行边缘扩展。
9.一种视频分块编码传输系统,其特征在于,所述系统包括:
视频帧获取模块,所述视频帧获取模块用于获取亿级像素视频的每一帧画面;
视频尺寸获取模块,所述视频尺寸获取模块用于获取所述每一帧画面的尺寸;
编码器能力探测模块,所述编码器能力探测模块用于探测每个编码器的实时处理能力;
画面帧分割模块,所述画面帧分割模块基于每一帧画面的尺寸和每个编码器的实时处理能力,确定每一帧画面的分割方式和分割数据,并基于所述分割方式和分割数据对每一帧画面进行分割,得到多个分块画面数据;
编码压缩模块,所述编码压缩模块将每个分块画面数据分发至对应的至少一个编码器执行编码压缩处理;
分块传输模块,所述分块传输模块将执行编码压缩处理之后的每个分块画面数据传输至客户端。
10.一种视频分块编码传输设备,所述设备包括处理器和存储器,所述存储器上存储有计算机可执行程序指令,通过所述处理器执行所述可执行程序指令,用于实现权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210164367.1A CN114245133A (zh) | 2022-02-23 | 2022-02-23 | 视频分块编码方法、编码传输方法、系统和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210164367.1A CN114245133A (zh) | 2022-02-23 | 2022-02-23 | 视频分块编码方法、编码传输方法、系统和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114245133A true CN114245133A (zh) | 2022-03-25 |
Family
ID=80747736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210164367.1A Pending CN114245133A (zh) | 2022-02-23 | 2022-02-23 | 视频分块编码方法、编码传输方法、系统和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114245133A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101242537A (zh) * | 2002-04-26 | 2008-08-13 | 松下电器产业株式会社 | 编码方法 |
CN101404770A (zh) * | 2008-11-13 | 2009-04-08 | 杭州华三通信技术有限公司 | 一种视频编码的方法和系统 |
CN101977313A (zh) * | 2010-09-20 | 2011-02-16 | 中国科学院计算技术研究所 | 视频信号编码装置和方法 |
CN103152550A (zh) * | 2013-02-22 | 2013-06-12 | 华为技术有限公司 | 一种电子云台的实现方法、前端设备和接收装置 |
US20140044198A1 (en) * | 2012-08-13 | 2014-02-13 | Hulu Llc | Splicing of Video for Parallel Encoding |
CN104159063A (zh) * | 2013-05-14 | 2014-11-19 | 杭州海康威视数字技术股份有限公司 | 实时转码、解码方法及其装置 |
CN104602008A (zh) * | 2015-01-14 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置和系统 |
CN106060582A (zh) * | 2016-05-24 | 2016-10-26 | 广州华多网络科技有限公司 | 视频传输系统、方法及装置 |
CN107197295A (zh) * | 2017-05-18 | 2017-09-22 | 北京数码视讯科技股份有限公司 | 一种编码系统和方法 |
CN112346845A (zh) * | 2021-01-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 编码任务的调度方法、装置、设备及存储介质 |
CN113949865A (zh) * | 2021-10-15 | 2022-01-18 | 中航航空电子有限公司 | 图像编码方法、装置、计算机设备、存储介质和解码方法 |
CN114079779A (zh) * | 2022-01-12 | 2022-02-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
-
2022
- 2022-02-23 CN CN202210164367.1A patent/CN114245133A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101242537A (zh) * | 2002-04-26 | 2008-08-13 | 松下电器产业株式会社 | 编码方法 |
CN101404770A (zh) * | 2008-11-13 | 2009-04-08 | 杭州华三通信技术有限公司 | 一种视频编码的方法和系统 |
CN101977313A (zh) * | 2010-09-20 | 2011-02-16 | 中国科学院计算技术研究所 | 视频信号编码装置和方法 |
US20140044198A1 (en) * | 2012-08-13 | 2014-02-13 | Hulu Llc | Splicing of Video for Parallel Encoding |
CN103152550A (zh) * | 2013-02-22 | 2013-06-12 | 华为技术有限公司 | 一种电子云台的实现方法、前端设备和接收装置 |
CN104159063A (zh) * | 2013-05-14 | 2014-11-19 | 杭州海康威视数字技术股份有限公司 | 实时转码、解码方法及其装置 |
CN104602008A (zh) * | 2015-01-14 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置和系统 |
CN106060582A (zh) * | 2016-05-24 | 2016-10-26 | 广州华多网络科技有限公司 | 视频传输系统、方法及装置 |
CN107197295A (zh) * | 2017-05-18 | 2017-09-22 | 北京数码视讯科技股份有限公司 | 一种编码系统和方法 |
CN112346845A (zh) * | 2021-01-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 编码任务的调度方法、装置、设备及存储介质 |
CN113949865A (zh) * | 2021-10-15 | 2022-01-18 | 中航航空电子有限公司 | 图像编码方法、装置、计算机设备、存储介质和解码方法 |
CN114079779A (zh) * | 2022-01-12 | 2022-02-22 | 深圳传音控股股份有限公司 | 图像处理方法、智能终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102627189B1 (ko) | 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치 | |
US10567784B2 (en) | Description of image composition with HEVC still image file format | |
KR100974177B1 (ko) | 랜덤 필드 모델을 사용한 사진 및 비디오 압축과 프레임레이트 업 변환을 개선시키는 방법 및 장치 | |
US5508750A (en) | Encoding data converted from film format for progressive display | |
EP0818930B1 (en) | Video coding method | |
US20190110081A1 (en) | Image data encapsulation with referenced description information | |
KR102118265B1 (ko) | 보조 프레임을 지원하는 비디오 코딩 포맷으로 비디오 스트림을 인코딩하기 위한 방법 및 인코더 | |
CN108063976B (zh) | 一种视频处理方法及装置 | |
CN111566702A (zh) | 图像处理装置和方法 | |
KR20200003715A (ko) | 오버레이로 비디오를 인코딩하기 위한 방법 및 시스템 | |
CA2441473C (en) | Method for compressing and decompressing video data | |
WO2008088752A2 (en) | System and method for encoding scrolling raster images | |
US20230186522A1 (en) | 3d scene transmission with alpha layers | |
FI117845B (fi) | Videokuvan prosessointi | |
US20230379495A1 (en) | A method and apparatus for encoding mpi-based volumetric video | |
CN114125448A (zh) | 视频编码方法、解码方法及相关装置 | |
CN113497963B (zh) | 视频处理方法、装置及设备 | |
US11743502B2 (en) | Compact description of region-wise packing information | |
CN114245133A (zh) | 视频分块编码方法、编码传输方法、系统和设备 | |
KR102768259B1 (ko) | 비디오 코딩에서의 널 타일 코딩 | |
CN112567739B (zh) | 用于视觉媒体编码和解码的平面预测模式 | |
CN111343475B (zh) | 数据处理方法和装置、直播服务器及存储介质 | |
JP3822821B2 (ja) | 画像再生表示装置 | |
CN112261441A (zh) | 一种视频数据的处理方法、系统、设备及存储介质 | |
RU2339998C1 (ru) | Контурный способ сжатия графических файлов |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220325 |
|
RJ01 | Rejection of invention patent application after publication |