[go: up one dir, main page]

CN113259712B - 一种视频处理方法和相关装置 - Google Patents

一种视频处理方法和相关装置 Download PDF

Info

Publication number
CN113259712B
CN113259712B CN202010090517.XA CN202010090517A CN113259712B CN 113259712 B CN113259712 B CN 113259712B CN 202010090517 A CN202010090517 A CN 202010090517A CN 113259712 B CN113259712 B CN 113259712B
Authority
CN
China
Prior art keywords
video
video frames
mask
frames
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010090517.XA
Other languages
English (en)
Other versions
CN113259712A (zh
Inventor
郭晓彬
王海亮
林晓鑫
高原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010090517.XA priority Critical patent/CN113259712B/zh
Publication of CN113259712A publication Critical patent/CN113259712A/zh
Application granted granted Critical
Publication of CN113259712B publication Critical patent/CN113259712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种视频处理方法和相关装置,该方法通过获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;根据所述N个合并视频帧生成待融合视频。

Description

一种视频处理方法和相关装置
技术领域
本申请涉及数据处理领域,特别是涉及一种视频处理方法和相关装置。
背景技术
随着视频处理技术的发展,可以将用户个性化信息融合到已有视频中,在播放融合后的视频时,可以展示用户个性化信息,提高用户代入感。
目前一种相关技术中,主要采用遮罩这一技术手段实现用户个性化信息与已有视频的融合。为了支持融合效果而增加了遮罩文件,通过遮罩文件将融合所需的遮罩纹理放置在一起,但由于视频是逐帧进行解码的,需要频繁读取遮罩文件,因此给播放带来了不小的麻烦。
如果一次性读取所有的遮罩文件会带来内存上涨的问题,如果做区域解码则会带来中央处理器(Central Processing Unit,CPU)和输入/输出(Input/Output,I/O)负担。
发明内容
为了解决上述技术问题,本申请提供了一种视频处理方法,能够降低对于CPU和内存的消耗,提高处理视频的工作效率。
有鉴于此,本申请实施例公开了如下技术方案:
第一方面,本申请实施例提供了一种视频处理方法,该方法包括:
获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
根据所述N个合并视频帧生成待融合视频。
第二方面,本申请实施例提供了一种视频处理装置,该装置包括:
所述获取单元,用于获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
所述合并单元,用于根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
所述生成单元,用于根据所述N个合并视频帧生成待融合视频。
第三方面,本申请实施例提供了一种用于视频处理设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述第一方面所述视频处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面所述视频处理方法。
由上述技术方案可以看出,通过获取待处理视频以及对应的遮罩纹理,根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧,并根据该N个合并视频帧生成待融合视频。由于合并视频帧中包括每个视频帧对应的遮罩纹理,因此,根据合并视频帧得到的待融合视频中携带有遮罩纹理,而不需要遮罩文件单独存储该视频的遮罩纹理,从而不需要利用CPU对遮罩文件进行处理,降低了对于CPU和内存的消耗。基于此,利用图形处理器(Graphic Processing Unit,GPU)进行一次硬件解码,就可以得到该视频每个视频帧需要的遮罩纹理,用于个性化信息融合,提高了视频解码效率,同时提高了视频处理过程的工作效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理方法的应用场景示意图;
图2为本申请实施例提供的一种视频处理方法的流程示意图;
图3为本申请实施例提供的另一种视频处理方法的流程示意图;
图4为本申请实施例提供的一种生成融合视频的方法的流程示意图;
图5为本申请实施例提供的一种应用视频处理方法的场景示意图;
图6为本申请实施例提供的视频处理装置的结构示意图;
图7为本申请实施例提供的一种服务器结构示意图;
图8为本申请实施例提供的终端相关的部分结构的框图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
在相关技术中,视频个性化信息融合是将待处理视频的N个视频帧对应的遮罩纹理全部放在同一张大纹理中,形成一个遮罩文件。在对视频进行个性化信息融合时,针对每个视频帧,都需要从遮罩文件中获取对应的遮罩纹理。一种可行的方式是,利用CPU一次性读取遮罩文件,并从读取的所有遮罩纹理中选出与每个视频帧对应的遮罩纹理。基于此种方式,CPU一次需要读取大量的数据,内存占用率增加,一定程度上会影响CPU同时间处理其他任务的性能。另一种可行的方式是,利用CPU对上述大纹理进行区域解码,以此获取与每个视频帧对应的遮罩纹理,这会给CPU以及I/O带来一定的负担。
为了提高视频处理效率,本申请实施例提供了一种视频处理方法,该方法不需要遮罩文件,而是将每个视频帧与其对应的遮罩纹理进行合并,利用合并得到的多个合并视频帧生成待融合视频,用于个性化信息融合,提高了视频融合个性化信息的处理效率。
本申请实施例提供的视频处理方法可以应用于具有视频处理能力的视频处理设备,例如终端设备或服务器,该方法可以通过终端设备独立执行,也可以通过服务器独立执行,也可以应用于终端设备和服务器通信的网络场景,通过终端设备和服务器配合执行。其中,终端设备可以为手机、台式计算机、便携式计算机等;服务器可以理解为是应用服务器,也可以为Web服务器,在实际部署时,该服务器可以为独立服务器,也可以为集群服务器。
下面结合附图对可以应用本申请实施例提供的视频处理方法的应用场景进行介绍。在本应用场景中,视频处理设备具体为终端设备。
参考图1,图1为本申请实施例提供的视频处理方法的应用场景示意图。如图1所示,在该应用场景中,包括:终端设备101,用于视频处理。
终端设备101首先获取待处理视频和该视频对应的遮罩纹理。其中,遮罩纹理是用来遮挡部分图像内容,并显示特定区域的图像内容的图片。
在图1所示的应用场景中,终端设备101获取待处理视频的N个视频帧,相应的,终端设备101获取该视频每个视频帧对应的遮罩纹理,例如,终端设备101获取目标视频帧和该目标视频帧对应的遮罩纹理。
终端设备101将N个视频帧分别与其对应的遮罩纹理进行纹理合并,得到N个合并视频帧。其中,纹理合并就是将视频帧与遮罩纹理拼接在一张纹理中。也就是说,以视频帧作为纹理合并的处理对象,对每个视频帧与其对应的遮罩纹理进行合并,区别于将所有遮罩纹理放在同一个遮罩文件中。
如图1所示,针对目标视频帧,终端设备101将目标视频帧和其对应的遮罩纹理进行纹理合并,得到合并视频帧,该合并视频帧包括:目标视频帧和遮罩纹理。终端设备按照相同地处理过程,对N个视频帧进行批量处理,得到N个合并视频帧。
由于合并视频帧中包括与视频帧对应的遮罩纹理,因此,不需要遮罩文件存储视频的遮罩纹理。基于此,后续对视频进行个性化信息融合时,不需要CPU读取遮罩文件,降低了对CPU和内存的消耗。
终端设备101对上述N个合并视频帧进行编码,生成待融合视频,基于该待融合视频进行个性化信息融合时,可以利用GPU对该待融合视频做一次解码处理,通过对解码后的待融合视频进行个性化纹理融合处理,实现了视频的个性化融合,提高了解码效率以及视频处理的工作效率。
下面通过实施例对本申请提供的视频处理方法进行具体介绍。
参见图2,图2为本申请实施例提供的一种视频处理方法的流程示意图。结合图3,图3为本申请实施例提供的另一种视频处理方法的流程示意图。为了方便描述,以终端设备作为视频处理方法的执行主体,对该视频处理方法进行介绍。如图2所示,该视频处理方法包括以下步骤:
S201:获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧。
由于普通视频中只包括视频帧数据,终端设备无法直接对视频帧数据进行处理,将个性化信息融合进视频中。因此,终端设备在获取待处理视频的同时,还需要获取其对应的遮罩纹理,该遮罩纹理用以遮挡视频帧中特定区域的内容,并用于显示待融合的个性化信息,从而实现能够在视频中融合个性化信息。
终端设备每获取一个视频帧,对应地获取该视频帧中包含的遮罩纹理。其中,遮罩纹理可以是任意形状的图像数据,每个视频帧对应的遮罩纹理可以包括多个遮罩信息。如图3所示,针对目标视频帧,其对应的遮罩纹理包括:文字遮罩,头像遮罩1和头像遮罩2。在这里对于每个视频帧对应的遮罩纹理的数量及形状不做任何限定,可以根据实际需求设定。
终端设备获取到待处理视频中包括的N个视频帧数据,以及N个视频帧对应的遮罩纹理信息,基于此,终端设备可以在对该视频进行后续的个性化信息融合处理。
S202:根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的。
由于将待处理视频对应的所有遮罩纹理放在同一个遮罩文件中,利用CPU读取时,会造成CPU和内存的消耗,影响视频处理的效率。因此,本申请提供了一种可行的实施方式,以待处理视频每个视频帧对应的遮罩纹理作为处理对象进行处理。
针对每个视频帧,终端设备可以根据视频帧与遮罩纹理的对应关系,将该视频帧与该视频帧对应的遮罩纹理进行纹理合并,得到合并视频帧。若待处理视频包括N个视频帧,对这个N个视频帧分别进行纹理合并后,得到N个合并视频帧。
其中,将视频帧与遮罩纹理进行纹理合并可以理解为,将视频帧与遮罩纹理拼接在一起,得到一张纹理,该纹理就是上述合并视频帧。合并视频帧包括:视频帧以及该视频帧对应的遮罩纹理。
由于合并视频帧中含有视频帧需要的遮罩纹理,因此,对视频融合个性化信息时,可以对每个合并视频帧进行个性化信息融合。基于上述N个合并视频帧,能够实现对该N个合并视频帧进行个性化信息融合,从而实现对待处理视频进行个性化信息融合。
上述针对视频帧及遮罩纹理进行纹理合并的过程,本申请实施例还提供了另一种可行的方式。如图3所示,以目标视频帧为例,终端设备可以执行以下步骤:
S301:获取所述目标视频帧的颜色像素图像和透明度像素图像;
S302:对所述透明度像素图像进行数据压缩;
S303:根据所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理进行纹理合并,得到所述目标视频帧对应的合并视频帧。
终端设备分别获取目标视频帧的颜色像素图像和透明度像素图像,其中,颜色像素图像是目标视频帧原图,透明度像素图像看作该目标视频帧的透明度掩膜。遮罩纹理可以看作是视频帧的一种掩膜,将遮罩纹理置于视频帧上,可以实现对视频帧的切割融合。其中,遮罩纹理可以放在视频帧的相同位置。
上述颜色像素图像可以是RGB像素图像,透明度像素图像可以是ALPHA像素图像。ALPHA像素图像的ALPHA值的取值范围一般为0-255,当ALPHA=0时,透明度像素图像完全不显示;当ALPHA=255时,透明度像素图像完全显示;当0<ALPHA<255时,透明度像素图像带有透明度,能够显示下一图层图像的内容。终端设备可以通过调整透明度像素图像的ALPHA值,将颜色像素图像和具有不同ALPHA值的透明度像素图像进行融合,得到不同融合效果视频帧图像。
经过实验研究发现,肉眼对于图像中ALPHA通道的数据变化不敏感。因此,终端设备对透明度像素图像进行适当地压缩处理,也不会影响肉眼的观看效果。一般情况下,可以将透明度像素图像压缩到原图像的0.5倍。基于此,利用压缩后的透明度像素图像与颜色像素图像进行融合,也不会导致原目标视频帧图像的视觉效果。
终端设备基于上述得到的合并视频帧包括:颜色像素图像和压缩后的透明度像素图像,以及目标视频帧对应的遮罩纹理。如图3所示,针对目标视频帧,得到的合并视频帧。基于此,在不影响视频的视觉效果的前提下,对透明度像素图像进行压缩处理,有效地节省了内存的占用。
一般地,视频是将多个视频帧进行数据压缩处理得到的,现有的视频压缩编码标准包括:JPEG标准、H.264标准、AVS标准等,因此,以不同标准获取的待处理视频具有不同的视频格式,在此对待处理视频的格式不做任何限定。由于对视频帧进行压缩编码处理过程中,存在视频质量损失的问题,导致在视频帧中设置遮罩纹理时,会出现边缘效应。也就是说,视频帧中放置遮罩纹理的突变位置会出现其他遮罩带来的噪声,这在一定程度上会影响观看视频的视觉效果。
在一种可行的方式中,以目标视频帧为例,可以将目标视频帧对应的合并视频帧中的遮罩纹理所在位置的周围,预留空白像素区域。也就是,在合并视频帧中,将遮罩纹理周围对应的视频帧图像像素值设置为255。
若像素值为0,即图像表征为黑色,在遮罩纹理中表示为全隐藏,因此,在遮罩纹理的边缘位置即使存在黑色的噪声,也不会造成图像颜色的混叠,反而使视频帧图像与遮罩纹理边缘过渡更加平滑。
S203:根据所述N个合并视频帧生成待融合视频。
基于上述S202,终端设备得到待处理视频的N个合并视频帧,对N个合并视频帧进行编码,生成待融合视频。该待融合视频中包括:待处理视频的视频帧数据,以及每个视频帧对应的遮罩纹理信息。若需要将个性化信息融进该待处理视频中,终端设备可以利用视频处理后得到的待融合视频,进行个性化信息融合,克服了无法对视频进行个性化信息融合的问题。
可以理解的是,根据不同的个性化需求,随着视频的播放,不同视频帧中设置的遮罩纹理可能不同。例如,不同视频帧中包括的遮罩纹理不同;相同的遮罩纹理设置在不同视频帧的位置,或者大小不同。
在一种可行的方式中,终端设备可以针对上述N个合并视频帧,确定出对应的配置文件。其中,配置文件包括每个合并视频帧对应的遮罩纹理配置信息,根据该配置信息在每个视频帧中设置对应的遮罩纹理。进而,终端设备利用该配置文件以及N个合并视频帧生成待融合视频。
待融合视频可以以文件的形式存储,例如,可以以mp4压缩编码标准将待融合视频存储在VAP类型的文件中,从而,可以在VAP文件中扩展一个vapc box,用以增加配置信息。在实际应用中,可以根据不同需求存储在不同类型的文件中,在此不作任何限定。
在另一种可行的方式中,终端设备还可以获取待处理视频对应的音频数据,根据该音频数据和上述N个合并视频帧生成待融合视频,用以个性化信息融合。将音频数据增加到待融合视频中,增强待融合视频的播放效果,提升视频的观赏度。
由于待融合视频中包括配置信息以及遮罩纹理信息,终端设备利用一个待融合视频文件就可以进行个性化信息融合,不需要遮罩文件单独存储遮罩纹理,也不需要配置文件单独存储配置信息,降低了终端设备对于文件的管理复杂度。
上述实施例提供的一种视频处理方法,通过获取待处理视频以及对应的遮罩纹理,根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧,并根据该N个合并视频帧生成待融合视频。由于合并视频帧中包括每个视频帧对应的遮罩纹理,因此,根据合并视频帧得到的待融合视频中携带有遮罩纹理,而不需要遮罩文件单独存储该视频的遮罩纹理,从而不需要利用CPU对遮罩文件进行处理,降低了对于CPU和内存的消耗。基于上述提供的视频处理方法得到待融合视频后,下面对利用待融合视频进行个性化信息融合进行介绍。
参见图4,图4为本申请实施例提供的一种生成融合视频的方法的流程示意图。为了便于描述,以终端设备作为执行主体,对视频进行个性化信息融合过程进行介绍。在图4中,该方法包括以下步骤:
S401:对所述待融合视频进行视频解码,获取所述N个合并视频帧。
基于上述S203得到的待融合视频,该待融合视频没有携带个性化信息,因此,需要对待融合视频进行处理,得到带有个性化信息的视频。
由于待融合视频中携带有原始视频的视频帧数据以及遮罩纹理信息,且是以合并视频帧的形式生成的,因此,终端设备可以对上述待融合视频进行解码处理,获得N个合并视频帧。基于每个合并视频帧,终端设备可以对每个合并视频帧进行个性化信息融合。
在实际应用中,终端设备获取VAP文件,可以利用GPU对以mp4格式存储的待融合视频进行解封装,获取对应的视频信息。基于上述,若VAP文件中包括配置信息,音频数据,则终端设备进行解码处理后,还可以得到对应的音频信息以及配置信息。
终端设备只需要利用GPU对待融合视频进行一次解码处理,就可以得到解码后的N个视频帧、对应的遮罩纹理,以及配置信息和音频信息,简化了对于多路流数据的处理,提高了视频处理的速度,同时减少了对于CPU读取数据的需求。
S402:将获取的个性化纹理融合到所述N个合并视频帧中,得到融合视频。
终端设备将个性化纹理融合到上述N个合并视频帧中,可以理解为,终端设备根据每个合并视频帧中的遮罩纹理,将与遮罩纹理对应的个性化纹理叠加设置在该遮罩纹理在该合并视频帧中所在的位置。例如,一个合并视频帧中包括文字遮罩,则终端设备将获取的个性化文字纹理设置在该文字遮罩在合并视频所在的位置。
融合了个性化信息的合并视频帧中,包括:视频帧,遮罩纹理以及个性化纹理,因此,终端设备对这N个合并视频帧进行处理,可以得到包括个性化信息的融合视频。
S403:根据所述融合视频进行视频播放。
融合视频携带有个性化信息,因此,播放该融合视频可以观看到带有个性化设计的视觉效果。
上述实施例提供了一种视频个性化融合方法,该方法基于本申请实施例提供的视频处理方法,通过对待融合视频进行解码,将个性化纹理融合到解码后的N个合并视频帧中,生成融合视频。由于融合视频中携带有个性化信息,因此,播放该融合视频可以获得期待的个性化播放效果。
基于上述,参见图5,图5为本申请实施例提供的一种应用视频处理方法的场景示意图。
终端设备对获取的待处理视频和遮罩纹理进行提取,每提取到一个视频帧,例如,图5所示的一张PNG图像,同时获取该PNG图像对应的遮罩纹理。其中,待处理视频包括N个视频帧。
如图5所示,终端设备提取出PNG图像的RGB像素图像和ALPHA像素图像以及该PNG图像对应的遮罩纹理后,将RGB像素图像、ALPHA像素图像和遮罩纹理进行纹理合并,并对三者在同一张大纹理中的布局位置进行计算,从而可以得到合并了三者信息的PNG图像。基于此,终端设备对待处理视频中的每个视频帧进行批量处理,即对每个视频帧都进行上述提取、合并以及计算操作。进而,终端设备将合并得到的N个PNG图像,和获取的音频数据以及配置文件配置在同一个VAP文件中,生成mp4格式的待融合视频。
终端设备对上述VAP文件以mp4格式进行解封装,读取VAP文件中包括的音视频信息以及vap配置信息。进而,解析待处理视频携带的信息(例如,对H.264格式的待处理视频进行解析),利用GPU对待处理视频进行解码,获取待处理视频中的N个视频帧。终端设备将从外部获取的个性化纹理,例如用户头像纹理,文字纹理等,和N个视频帧以及配置信息送入渲染管线,在ALPHA通道进行合成,同时融合纹理切割与混融,生成个性化融合视频,通过上屏播放。
在实际应用中,终端设备利用GPU解码待融合视频后,可以利用开放图形库(OpenGraphic Library,OpenGL)直接在每个视频帧的绘制过程中加入用户的属性,通过自定义动画脚本,实现视频动画与用户属性的融合。
下面给出分别以本申请实施例提供的视频处理方法(本方案)和用遮罩文件(旧方案)实现视频个性化信息融合方法的测试数据,对这两个方案进行对比,用以说明本申请实施例提供的视频处理方法具有的有益效果。
测试参数包括:
(1)测试设备:手机;
(2)待测试视频:帧数为20,分辨率为672*1504;
(3)每个视频帧对应的遮罩数量:4个;
本方案与传统方案参数比对如表1所示:
表1方案参数比对
方案 文件大小 文件数 内存占用 CPU占用
本方案 2.4M 1 18M 13%
旧方案 5.9M 7 28M 89%
比较两个方案的文件大小数据可知,本申请实施例提供的视频处理方法需要读取的数据量更小,视频处理速度更快。经分析可知,本申请可以对根据视频帧提取的透明度像素图像进行压缩处理,在不影响视频视觉效果的前提下,减少了视频携带的数据。
比较两个方案的文件数量参数可知,本申请实施例的文件数1个远远少于旧方案的文件数量。由于本申请是将遮罩信息、配置信息以及音频信息等多个素材编码进一条流中,得到一个文件,相对于旧方案中需要多个文件存储不同的素材,减少了素材管理的复杂程度。
比较两个方案的CPU和内存占用参数可知,本方案对应的CPU和内存占用远远小于旧方案。由于待融合视频中携带有遮罩信息,不需要遮罩文件单独存储遮罩信息,因此,不需要在CPU中处理遮罩纹理,只需要一次硬件解码便可得到所有视频帧需要的固定纹理,提高了视频解码效率和性能,同时降低了对CPU和内存的消耗,从而提高了对于视频的处理效率。
针对上文描述的视频处理方法,本申请实施例还提供了对应的视频处理的装置。
参见图6,图6为本申请实施例提供的视频处理装置的结构示意图。如图6所示,该视频处理装置600包括获取单元601,合并单元602和生成单元603;其中,
所述获取单元601,用于获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
合并单元602,用于根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
生成单元603,用于根据所述N个合并视频帧生成待融合视频。
可选的,所述合并单元602还用于:
获取所述目标视频帧的颜色像素图像和透明度像素图像;
对所述透明度像素图像进行数据压缩;
根据所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理进行纹理合并,得到所述目标视频帧对应的合并视频帧。
可选的,所述目标视频帧对应的合并视频帧中,遮罩纹理周围预留有空白像素区域。
可选的,所述装置还包括:确定单元;
所述确定单元,用于确定对应所述N个合并视频帧对应的配置文件;
所述生成单元,具体用于:
根据所述N个合并视频帧和所述配置文件生成待融合视频。
可选的,所述获取单元还用于:
获取所述待处理视频对应的音频数据;
所述生成单元,还用于:
根据所述N个合并视频帧和所述音频数据生成待融合视频。
可选的,所述装置还包括:解码单元,融合单元和播放单元;
所述解码单元,用于对所述待融合视频进行视频解码,获取所述N个合并视频帧;
所述融合单元,用于将获取的个性化纹理融合到所述N个合并视频帧中,得到融合视频;
所述播放单元,用于根据所述融合视频进行视频播放。
针对上述实施例提供的视频处理方法,本申请实施例还提供了一种执行视频处理方法的服务器和终端设备,下面结合附图对视频处理设备进行介绍。
参见图7,图7是本申请实施例提供的一种服务器结构示意图,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)1422(例如,一个或一个以上处理器)和存储器1432,一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1422可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458,和/或,一个或一个以上操作系统1441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器结构。
其中,CPU 1422用于执行如下步骤:
获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
根据所述N个合并视频帧生成待融合视频。
可选的,CPU 1422还可以执行本申请实施例中视频处理方法任一具体实现方式的方法步骤。
参见图8,图8为本申请实施例提供的一种视频处理终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称:PersonalDigital Assistant,英文缩写:PDA)等任意终端设备:
图8示出的是与本申请实施例提供的终端相关的部分结构的框图。参考图8,该终端包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(英文全称:wirelessfidelity,英文缩写:WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图8中示出的视频处理终端设备结构并不构成对视频处理终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍:
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而实现终端的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1580是终端的控制中心,利用各种接口和线路连接整个平板电脑的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行平板电脑的各种功能和处理数据。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。
在本申请实施例中,该终端所包括的存储器1520可以存储程序代码,并将所述程序代码传输给所述处理器。
该终端所包括的处理器1580可以根据所述程序代码中的指令执行上述实施例提供的视频处理的方法。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行上述实施例提供的视频处理方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory,缩写:ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种视频处理方法,其特征在于,所述方法包括:
获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
根据所述N个合并视频帧生成待融合视频,所述待融合视频中未携带个性化信息;
对所述待融合视频进行视频硬件解码,获取所述N个合并视频帧;
根据所述N个合并视频帧中的遮罩纹理,将与所述遮罩纹理对应的个性化纹理融合到所述N个合并视频帧中,得到融合视频,所述融合视频携带有个性化信息;
其中,针对所述目标视频帧,所述根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧,包括:
获取所述目标视频帧的颜色像素图像和透明度像素图像;
对所述透明度像素图像进行数据压缩;
根据所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理进行纹理合并,得到所述目标视频帧对应的合并视频帧;
所述目标视频帧对应的合并视频帧中,遮罩纹理周围预留有空白像素区域;所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理,各自位于所述目标视频帧对应的合并视频帧中的不同区域。
2.根据权利要求1所述的方法,其特征在于,在所述根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧之后,所述方法还包括:
确定对应所述N个合并视频帧对应的配置文件;
所述根据所述N个合并视频帧生成待融合视频,包括:
根据所述N个合并视频帧和所述配置文件生成待融合视频。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述待处理视频对应的音频数据;
所述根据所述N个合并视频帧生成待融合视频,包括:
根据所述N个合并视频帧和所述音频数据生成待融合视频。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述融合视频进行视频播放。
5.一种视频处理装置,其特征在于,所述装置包括获取单元,合并单元、生成单元、解码单元和融合单元:
所述获取单元,用于获取待处理视频和对应的遮罩纹理;所述待处理视频包括N个视频帧;所述N个视频帧中的任意一个为目标视频帧;
所述合并单元,用于根据视频帧与遮罩纹理的对应关系,对视频帧与遮罩纹理进行纹理合并得到N个合并视频帧;所述目标视频帧对应的合并视频帧是通过所述目标视频帧和所述目标视频对应的遮罩纹理合并得到的;
所述生成单元,用于根据所述N个合并视频帧生成待融合视频,所述待融合视频中未携带个性化信息;
所述解码单元,用于对所述待融合视频进行视频硬件解码,获取所述N个合并视频帧;
所述融合单元,用于根据所述N个合并视频帧中的遮罩纹理,将与所述遮罩纹理对应的个性化纹理融合到所述N个合并视频帧中,得到融合视频,所述融合视频携带有个性化信息;
所述合并单元还用于:
获取所述目标视频帧的颜色像素图像和透明度像素图像;
对所述透明度像素图像进行数据压缩;
根据所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理进行纹理合并,得到所述目标视频帧对应的合并视频帧;所述目标视频帧对应的合并视频帧中,遮罩纹理周围预留有空白像素区域;所述颜色像素图像、压缩后的透明度像素图像和所述目标视频帧对应的遮罩纹理,各自位于所述目标视频帧对应的合并视频帧中的不同区域。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:确定单元;
所述确定单元,用于确定对应所述N个合并视频帧对应的配置文件;
所述生成单元,具体用于根据所述N个合并视频帧和所述配置文件生成待融合视频。
7.根据权利要求5所述的装置,其特征在于,
所述获取单元,还用于获取所述待处理视频对应的音频数据;
所述生成单元,具体用于根据所述N个合并视频帧和所述音频数据生成待融合视频。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括播放单元;
所述播放单元,用于根据所述融合视频进行视频播放。
9.一种视频处理设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至4任意一项所述的方法。
CN202010090517.XA 2020-02-13 2020-02-13 一种视频处理方法和相关装置 Active CN113259712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090517.XA CN113259712B (zh) 2020-02-13 2020-02-13 一种视频处理方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090517.XA CN113259712B (zh) 2020-02-13 2020-02-13 一种视频处理方法和相关装置

Publications (2)

Publication Number Publication Date
CN113259712A CN113259712A (zh) 2021-08-13
CN113259712B true CN113259712B (zh) 2023-07-14

Family

ID=77219850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090517.XA Active CN113259712B (zh) 2020-02-13 2020-02-13 一种视频处理方法和相关装置

Country Status (1)

Country Link
CN (1) CN113259712B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371274A (zh) * 2005-12-30 2009-02-18 意大利电信股份公司 视频序列的分割中的边缘比较
CN105357466A (zh) * 2015-11-20 2016-02-24 小米科技有限责任公司 视频通信方法及装置
CN106780642A (zh) * 2016-11-15 2017-05-31 网易(杭州)网络有限公司 迷雾遮罩贴图的生成方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643032B2 (en) * 2004-11-02 2010-01-05 Microsoft Corporation Texture-based packing, such as for packing 8-bit pixels into two bits
CN108124170A (zh) * 2017-12-12 2018-06-05 广州市动景计算机科技有限公司 一种视频播放方法、装置和终端设备
CN107995440B (zh) * 2017-12-13 2021-03-09 北京奇虎科技有限公司 一种视频字幕贴图生成方法、装置、计算机可读存储介质及终端设备
GB2578354B (en) * 2018-10-12 2021-12-29 Adobe Inc Video inpainting via confidence-weighted motion estimation
CN110675310B (zh) * 2019-07-02 2020-10-02 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371274A (zh) * 2005-12-30 2009-02-18 意大利电信股份公司 视频序列的分割中的边缘比较
CN105357466A (zh) * 2015-11-20 2016-02-24 小米科技有限责任公司 视频通信方法及装置
CN106780642A (zh) * 2016-11-15 2017-05-31 网易(杭州)网络有限公司 迷雾遮罩贴图的生成方法及装置

Also Published As

Publication number Publication date
CN113259712A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US10777231B2 (en) Embedding thumbnail information into video streams
CN110544289B (zh) 在中排序架构中利用帧间相干性
US20090002368A1 (en) Method, apparatus and a computer program product for utilizing a graphical processing unit to provide depth information for autostereoscopic display
CN115908644A (zh) 动画处理方法和装置
US20140139524A1 (en) Depth Buffering
US9754345B2 (en) Compression and decompression of graphics data using pixel region bit values
US9251731B2 (en) Multi-sampling anti-aliasing compression by use of unreachable bit combinations
US20150187125A1 (en) Culling Using Masked Depths for MSAA
WO2014204703A1 (en) Subset based compression and decompression of graphics data
CN104737198B (zh) 在输入几何对象粒度上记录可见度测试的结果
US20140168244A1 (en) Color Buffer Caching
US9245324B2 (en) Lossy color merge for multi-sampling anti-aliasing compression
US10290110B2 (en) Video overlay modification for enhanced readability
US9262841B2 (en) Front to back compositing
CN113259712B (zh) 一种视频处理方法和相关装置
CN113625923B (zh) 基于远程云桌面的鼠标处理方法、装置、存储介质及设备
HK40052720B (zh) 一种视频处理方法和相关装置
US10484640B2 (en) Low power video composition using a stream out buffer
CN111064986B (zh) 带透明度的动画数据发送方法、播放方法和计算机设备
HK40052720A (zh) 一种视频处理方法和相关装置
CN116868225A (zh) 处理多图层图像的方法、装置及终端设备
US20250118337A1 (en) Video processing method and apparatus
CN116824007A (zh) 动画播放方法、动画生成方法、装置及电子设备
CN112837211B (zh) 一种图片处理方法、装置、电子设备及可读存储介质
CN116932490A (zh) 图片加载方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052720

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant