[go: up one dir, main page]

CN112565887A - 一种视频处理方法、装置、终端及存储介质 - Google Patents

一种视频处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN112565887A
CN112565887A CN202011368232.4A CN202011368232A CN112565887A CN 112565887 A CN112565887 A CN 112565887A CN 202011368232 A CN202011368232 A CN 202011368232A CN 112565887 A CN112565887 A CN 112565887A
Authority
CN
China
Prior art keywords
super
resolution
processed
video stream
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011368232.4A
Other languages
English (en)
Other versions
CN112565887B (zh
Inventor
胡均浩
葛维
李振中
戴婵媛
李倩茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisoc Chongqing Technology Co Ltd
Original Assignee
Unisoc Chongqing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisoc Chongqing Technology Co Ltd filed Critical Unisoc Chongqing Technology Co Ltd
Priority to CN202011368232.4A priority Critical patent/CN112565887B/zh
Publication of CN112565887A publication Critical patent/CN112565887A/zh
Application granted granted Critical
Publication of CN112565887B publication Critical patent/CN112565887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Television Systems (AREA)

Abstract

本申请实施例提出了一种视频处理方法、装置、终端及存储介质，该方法包括：获取待处理视频流，并对所述待处理视频流进行特征提取；根据提取的视频特征信息选取超分辨率策略；按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。通过本申请实施例，可以自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。

Description

一种视频处理方法、装置、终端及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频处理方法、装置、终端及存储介质。
背景技术
超分辨率技术(Super-Resolution,SR)是指利用观测到的低分辨率图像重建出相应的高分辨率图像。随着SR技术以及电视芯片技术的发展，SR技术也应用到了智能电视中。配置SR技术的智能电视可以在视频播放的过程中，将低分辨率图像重建成高分辨率图像。但目前只会在智能电视中设置一种SR方案，由于固定的SR方案能达到的效果有限，无法满足复杂的场景的实时需求，如面对复杂多变的场景，应用一种SR方案无法更好的平衡硬件开销和图像视觉效果，这样会导致重建的高分辨率图像通常无法达到最佳的效果。
发明内容
本发明实施例提供了一种视频处理方法、装置、终端及存储介质，可以自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
一方面，本发明实施例提供了一种视频处理方法，所述方法包括：
获取待处理视频流，并对所述待处理视频流进行特征提取；
根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述根据提取的视频特征信息选取超分辨率策略，包括：
检测提取的视频特征信息是否满足指定条件；
若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；
若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
可选地，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；
根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；
按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；
利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；
利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；
根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
可选地，所述至少两种超分辨率方式包括第一超分辨率方式、第二超分辨率方式和第三超分辨率方式；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，包括：
利用所述第一超分辨率方式和所述第二超分辨率方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的亮度值；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理，包括：
利用所述第三超分辨率方式对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的色度值。
可选地，所述视频特征信息包括分辨率，所述根据提取的视频特征信息选取超分辨率策略，包括：
若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；
所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；
针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；
利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
另一方面，本发明实施例提供了一种视频处理装置，所述装置包括：
获取单元，用于获取待处理视频流，并对所述待处理视频流进行特征提取；
处理单元，用于根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
处理单元，还用于按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述处理单元，具体用于：
检测提取的视频特征信息是否满足指定条件；
若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；
若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
可选地，所述处理单元，具体用于：
当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；
根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；
按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述处理单元，具体用于：
当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；
利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述处理单元，具体用于：
针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；
利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；
根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
可选地，所述处理单元，具体用于：
若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；
所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
可选地，所述处理单元，具体用于：
确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；
针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；
利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
再一方面，本发明实施例提供了一种智能终端，该智能终端包括处理器、通信接口和存储器，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用于执行上述一种视频处理方法所涉及到的操作。
相应地，本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述处理器执行上述一种视频处理方法所涉及的程序。
相应地，本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一种视频处理方法。
本发明实施例通过获取待处理视频流，并利用对待处理视频流进行特征提取得到的视频特征信息来选取超分辨率策略，其中，当视频特征信息不满足指定条件时，选取单一超分辨率策略；当视频特征信息满足指定条件时，选取融合超分辨率策略；视频特征信息包括的分辨率小于等于预设分辨率阈值，选取融合超分辨率策略；最后利用选取的超分辨率策略的指示对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。通过本申请实施例，可以根据视频特征信息自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频处理系统的架构示意图；
图2为本发明实施例提供的一种视频处理方法的流程示意图；
图3为本发明实施例提供的一种基于神经网络模型的超分辨率方式的模型结构示意图；
图4为本发明实施例提供的一种基于插值法的超分辨率方式的示意图；
图5为本发明实施例提供的另一种基于插值法的超分辨率方式的示意图；
图6为本发明实施例提供的一种融合超分辨率策略的示意图；
图7为本发明实施例提供的另一种融合超分辨率策略的示意图；
图8为本发明实施例提供的一种分辨率配置的界面示意图；
图9为本发明实施例提供的一种视频处理装置的结构示意图；
图10为本发明实施例提供的一种智能终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
如图1所示，本申请实施例提供了一种视频处理系统，该视频处理系统具体可以集成在电子设备中，该电子设备可以是终端或服务器等设备。比如，该视频处理系统可以集成在终端中。终端可以是手机、平板电脑、笔记本电脑、台式计算机、个人计算机(PC，PersonalComputer)、电视或者其他智能播放装置，本申请对此不作限定。又比如，该视频处理系统可以集成在服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content DeliveryNetwork)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可以理解的是，本实施例的视频处理方法可以是在终端上执行的，也可以是在服务器上执行的，还可以是由终端和服务器共同执行的。
在一个实施例中，以终端执行视频处理方法为例。视频处理系统包括终端101和服务器102，终端101与服务器102之间通过网络连接，比如，通过无线网络连接等。终端101通过网络获取服务器102发送的待处理视频流，并对待处理视频流的图像帧进行特征提取，根据提取到的视频特征信息选取单一超分辨率策略或融合超分辨率策略，并利用选取的超分辨率策略对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，使得可以根据视频特征信息自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
在一个实施例中，超分辨率方式包括第一超分辨率方式、第二超分辨率方式、第三超分辨率方式、第四超分辨率方式和第五超分辨率方式，其中，第一超分辨率方式、第二超分辨率方式、第三超分辨率方式、第四超分辨率方式和第五超分辨率方式分别为基于最近邻插值(Nearest neighbor interpolation)的超分辨率方式、基于双线性插值(Bilinearinterpolation)的超分辨率方式、基于双三次插值(Bicubicinterpolation)的超分辨率方式和基于神经网络模型的超分辨率方式中的任一种。
可以理解的是，本申请实施例描述的系统的架构示意图是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
在一个实施例中，如图2所示，是本发明实施例基于图1的视频处理系统提供的一种视频处理方法。以终端是图1中提及的终端101为例。以下结合图2对本发明实施例的所述方法进行说明。
S201、获取待处理视频流，并对所述待处理视频流进行特征提取。
在一个实施例中，待处理视频流是服务器通过网络发送到终端，在终端播放的视频数据，终端可以是手机、平板电脑、笔记本电脑、台式计算机、个人计算机(PC，PersonalComputer)、电视或者其他智能播放装置，本申请对此不作限定。本发明实施例以终端是智能电视为例，当用户通过智能电视观看视频节目时，可以获取视频节目中在任意时间的一张或多张图像帧，并对该图像帧进行后续的特征提取，提取到的视频特征信息可以用于确定图像帧的亮度变化、像素差异、视频帧内包括的对象的类别中的一种或多种，特征提取的方法可以根据实际需求确定，本申请对此不作限定。
在一个实施例中，视频特征信息可以根据设定的指定条件按实际需求进行进一步确定，本申请对此不作限定。
S202、根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略。
在一个实施例中可以根据提取得到的视频特征信息判定是否满足指定条件，例如，图像帧中出现明显的亮度变化，图像帧中包括动物、建筑或连续的多张图像帧中包括的对象出现多次移动和变化等，可以认为图像帧为复杂场景，则满足指定条件，选取融合超分辨率策略；又例如，图像帧中只出现天空、地面等，可以认为图像帧为简单场景，不满足指定条件，选取单一超分辨率策略；或者根据视频特征信息中的分辨率选取对应的超分辨率策略。
其中，单一超分辨率策略利用一种超分辨率方式对视频流中的图像帧进行超分辨率重建，融合超分辨率策略利用至少两种超分辨方式对视频流中的图像帧进行超分辨率重建。
S203、按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，可以通过间隔一段时间来获取待处理视频流中的图像帧，通过选取的该段时间内的图像帧确定超分辨率策略，从而对该段时间内的视频流中的每张图像帧按照选取的超分辨率策略进行超分辨率处理；也可以对每张图像帧进行特征提取，根据每张图像帧的视频特征信息从而选取相应的超分辨率策略进行超分辨率重建，本申请对此不作限定。
在本申请实施例中，通过获取待处理视频流，并利用对待处理视频流进行特征提取得到的视频特征信息来选取超分辨率策略，利用选取的超分辨率策略的指示对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，使得可以根据视频特征信息自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
在一个实施例中，所述根据提取的视频特征信息选取超分辨率策略，包括：检测提取的视频特征信息是否满足指定条件；若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
在一个实施例中，根据提取的视频特征信息判断是否满足指定条件，从而根据是否满足指定条件来确定视频流的超分辨率策略，指定条件可以根据实际应用和需求确定，本申请对此不作限定。
在一个实施例中，根据提取得到的视频特征信息确定图像帧的亮度变化、视频帧内包括的对象的类别中的一种或多种，然后根据图像帧的亮度变化、视频帧内包括的对象的类别中的一种或多种确定图像帧是否是属于复杂场景，例如视频帧中包括多个对象、图像帧中包括的对象之间的亮度变化明显等，判定图像帧为复杂场景，当判定图像帧为复杂场景时，则认为满足指定条件，选择融合超分辨率策略，相反，则认为不满足指定条件，选择单一超分辨率策略。图像帧是否是复杂场景可以根据实际需求和应用进行判断，本申请对此不作限定。
在一个可能的实施例中，对待处理视频流中获取得到的图像帧进行检测，例如边缘检测、绝对误差和等，获取图像帧中的目标区域和背景区域，并确定图像帧与图像帧中背景区域之间的像素差异，如果像素差异大于等于像素差异阈值，选择融合超分辨率策略中的一种或多种超分辨率策略分别对目标区域和背景区域进行超分辨率重建。
在一个实施例中，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，当选取的超分辨率策略为单一超分辨率策略时，获取视频流中的图像帧的视频特征信息，根据视频特征信息确定视频流的视频类型，从而根据视频类型选取不同的超分辨率方式进行超分辨率重建。
在一个实施例中，可以根据待处理视频流中的图像帧确定视频类型，按视频类型进行复杂度划分，如视频源是棋类比赛时，可以认为待处理图像帧的复杂度为简单，采用基于最近邻插值的超分辨率方式或基于双线性插值的超分辨率方式对待处理视频流中的图像帧进行超分辨率重建；视频源是音乐频道时，可以认为待处理图像帧的复杂度为一般，采用基于双三次插值的超分辨率方式对待处理视频流中的图像帧进行超分辨率重建；视频源是电影频道或体育频道时，可以认为待处理图像帧的复杂度为复杂，采用基于神经网络模型的超分辨率方式对待处理视频流中的图像帧进行超分辨率重建。具体的，待处理视频流的图像帧确定的视频类型的复杂度可以根据实际需求进行划分，本申请对此不作限定。
在一个实施例中，可以利用图像识别技术识别待处理视频流中的图像帧中包括的对象类别，然后将对象类别按复杂度进行划分，例如当待处理视频流中的图像帧中的对象类别为天空、路、草地、沙滩等或其它对分辨率要求不高的场景时，可以认为图像帧的复杂度为简单，采用基于最近邻插值的超分辨率方式或基于双线性插值的超分辨率方式对图像帧进行超分辨率重建；当待处理视频流中的图像帧中的对象类别包括如简笔画物体、字符等场景时，可以认为图像帧的复杂度为一般，采用基于双三次插值的超分辨率方式对图像帧进行超分辨率重建；当待处理视频流中的图像帧中的对象类别为多个字符、动物、人脸或建筑时，可以认为图像帧的复杂度为复杂，采用基于神经网络模型的超分辨率方式对待处理视频流中的图像帧进行超分辨率重建。具体的，待处理视频流中的图像帧包括的对象类别的复杂度可以根据实际需求进行划分，本申请对此不作限定。
在本申请实施例中，由于基于最近邻插值的超分辨率方式和基于双线性插值的超分辨率方式对静止、简单的场景应用时可得到流畅的效果，而基于双三次插值的超分辨率方式可以保留图像帧中更多的高频成分和更多的图像细节，同时基于神经网络模型的超分辨率方式可以更好地处理复杂多变的场景，因此针对不同的视频类型采用不同的超分辨率方式可以更好地提升视频流的视觉效果的同时平衡硬件开销。
在一个实施例中，待处理视频流中的任一图像帧为YUV颜色空间的图像，当然，除了YUV格式之外，可以采用超分辨率策略对任意彩色格式的待处理图像帧进行超分辨率重建，例如RGB和HSL，等等，本实施例对此不加以限制。
在一个实施例中，如图3所示，为本申请实施例提出的基于神经网络模型的超分辨率方式进行超分辨率重建的神经网络模型，在将低分辨率的图像帧输入神经网络模型之前，需要将RGB颜色空间的图像转换成YUV颜色空间的图像，并将YUV颜色空间的图像输入神经网络模型。本申请在神经网络模型中引入了深度可分离卷积，深度可分离卷积将输入图像的每个通道采用不同的卷积核进行操作运算，其运算步骤又可分为深度卷积(Depthwise)与点卷积(Pointwise)。由于标准卷积对输入信号的所有通道同时进行操作运算，因此深度可分离卷积相比于标准卷积结构，拥有更少的计算量，使得网络的训练速度变快，而且进一步提升了网络的宽度，使得更多的特征信息能够在网络中进行传播，提高了网络的重建质量。例如，假设其输入特征图的尺寸为d×d，通道为cd，卷积核的尺寸为k×k，通道为ck，输出特征图的尺寸与输入特征图尺寸一致，通道与卷积核通道一致。则其运算量为：
n＝k×k×d×d×ck×cd
进一步地，深度可分离卷积是将一步卷积运算拆分为深度卷积与点卷积两步，深度卷积的卷积核k×k，通道为cd，点卷积的卷积核1×1，通道为ck。则其运算量为：
ndsc＝k×k×d×d×cd+d×d×cd×ck
则与标准卷积相比其运算量减少
Figure BDA0002805176230000111
其中，神经网络模型中还包括残差块，在残差块中同样引入了深度可分离卷积，其深度卷积的卷积核为1×5。并采用像素重组(Pixel Shuffle)对特征图进行上采样，得到对图像帧进行超分辨率重建后的高分辨率图像帧。
在一个实施例中，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，当确定对待处理视频流中的图像帧使用融合超分辨率策略后，需要确定融合超分辨率策略所对应的至少两种超分辨率方式，利用至少两种超分辨率策略对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。其中，超分辨率方式包括基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式、基于神经网络模型的超分辨率方式等，本申请对此不作限定。
请参见图4，图4为基于插值法的超分辨率方式的示意图，基于最近邻插值的超分辨率方式将距离Pxp,yp最近的已知点Px,y的像素值直接赋给Pxp,yp。
在一个实施例中，基于双线性插值的超分辨率方式在X和Y两个方向通过相邻的两个点的像素值，以和目标点的距离作为权值求加权均值，以图3为例，具体算法如下述公式(1)所示：
Pxp,yp＝Wx,yPx,y+Wx+1,yPx+1,y+Wx,y+1Px,y+1+Wx+1,y+1Px+1,y+1 (1)
其中，Wx,y＝(xoffset-1)(yoffset-1)，
Wx+1,y＝-xoffset(yoffset-1)，
Wx,y+1＝-(xoffset-1)yoffset，
Wx+1,y+1＝xoffsetyoffset，
xoffset＝xp-x，
yoffset＝yp-y。
在一个实施例中，基于双三次插值的超分辨率方式是通过选取待求像素邻近的4×4个像素点，并通过选取插值基函数来拟合数据，如图5所示。由于邻近像素距离未知像素的距离各不相同，因此在计算中，距离较近的像素具有较高的权重。插值基函数如下述公式(2)所示：
Figure BDA0002805176230000121
对待插值的像素点(x,y)，取其附近的4×4邻域点(xi,yj),i,j＝0,1,2,3。按下述公式(3)进行插值。
Figure BDA0002805176230000122
其中，x,y是待插值的像素点行和列的位置。
在一个实施例中，基于神经网络模型的超分辨率方式需要便于硬件实现，例如使用深度卷积网络的图像超分辨率(image Super-Resolution using Deep ConvolutionalNetworks,SRCNN)、宽残差的高效超分辨率网络(Wide activation for efficient andaccurate image SuperResolution,WDSR)、基于生成对抗的超分辨率网络(photo—reMistic single image Super-Resolution using a Generative AdversarialNetwork,SRGAN)以及具有感知损耗的实时传输超分辨率网络(perceptual losses forReal-time style Transfer and SuperResolution,RTSR)等，本申请对此不作限定。
在一个实施例中，所述利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
在一个实施例中，至少两种超分辨率方式包括第一超分辨率方式、第二超分辨率方式和第三超分辨率方式，其中，第一超分辨率方式、第二超分辨率方式和第三超分辨率方式分别为基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式和基于神经网络模型的超分辨率方式中的任一种。
在一个实施例中，利用第一超分辨率方式和第二超分辨率方式分别对任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的亮度值；利用第三超分辨率方式对任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的色度值；根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
在一个实施例中，待处理视频流中的任一图像帧为YUV颜色空间的图像，任一图像帧中的像素点具有表示亮度值的亮度图像(Y)，还具有表示色度值的色度图像(UV)，例如，视频数据为YUV格式，Y表示亮度(Luminance或Luma)，即灰度值，UV表示色度(Chrominance或Chroma)，即Y通道下的像素点组成亮度图像，U通道、V通道下的像素点组成色度图像。当然，除了YUV格式之外，可以将待处理图像帧以任意彩色格式输入，例如RGB和HSL，等等，本实施例对此不加以限制。本实施例中优选采用YUV颜色空间的图像，当待处理图像帧为RGB颜色空间的图像时，转换的公式参考下述公式(4)-(6)：
Y＝0.2291R+0.5876G+0.104B (4)
U＝0.492(B-Y) (5)
V＝0.877(R-Y) (6)
其中，Y表示亮度图像，UV表示色度图像。
在一个实施例中，如图6所示，利用基于神经网络模型的超分辨率方式和基于插值法的超分辨率方式对亮度图像进行超分辨率重建，基于神经网络模型的超分辨率方式可以是任意便于硬件实现的神经网络模型，本申请对此不作限定，由于人眼对色度图像的敏感度较低，利用基于插值法的超分辨率方式对色度图像进行超分辨率重建，基于插值法的超分辨率方式可以为基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式中的一种或多种，将利用基于神经网络模型的超分辨率方式和基于插值法的超分辨率方式进行超分辨率重建后得到的亮度图像中的亮度值计算加权和得到合并后的亮度图像，并与利用基于插值法的超分辨率方式进行超分辨率重建后得到的包含色度值的色度图像按照时序格式匹配后进行合并，得到超分辨率处理后的图像帧，其中，为了便于进行超分辨率重建，亮度图像和色度图像的尺寸一致，例如，2K(2048×1556)或4K(4096×3102)。
在一个实施例中，所述视频特征信息包括分辨率，所述根据提取的视频特征信息选取超分辨率策略，包括：若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；在一实施方式中，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
具体的，第四超分辨率方式和第五超分辨率方式分别为基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式和基于神经网络模型的超分辨率方式中的任一种。利用第四超分辨率方式对视频流中的任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；然后利用第五超分辨率方式对参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据目标图像帧生成超分辨率处理后的视频流。
在本申请实施例中，主要利用基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式中的任一种对视频流中的任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；利用基于神经网络模型的超分辨率方式对参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据目标图像帧生成超分辨率处理后的视频流。
在另一实施方式中，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式，以及获取放大倍数；针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。其中，所述超分辨率处理后的视频流的分辨率是基于放大倍数选取的融合超分辨率策略确定的。
在一个实施例中，当待处理视频流的图像帧的分辨率低于预设分辨率阈值时，如720p(1280×720)或更低分辨率的图像，而放大倍数较大，即输出超高分辨率的情况，可以根据放大倍数的不同，而基于融合超分辨率策略选取不同方式的组合，例如，输入视频流的分辨率为480p(800×400)，输出分辨率需要2K，如图7所示，本发明可以采取基于插值法的超分辨率方式放大到中间分辨率，得到超分辨率处理后的参考图像帧，基于插值法的超分辨率方式可以为基于最近邻插值的超分辨率方式、基于双线性插值的超分辨率方式、基于双三次插值的超分辨率方式中的任一种，然后再采用基于神经网络模型的超分辨率方式对参考图像帧对应的中间像素进行处理，把分辨率提高到超高分辨率输出，得到超分辨率处理后的目标图像帧，从而得到更细腻的画面效果。
在一个实施例中，当输入视频流的分辨率为480P，输出分辨率大于2K时，可以对待处理视频流中的图像帧进行检测，获取待处理图像帧中的目标区域和背景区域。
具体的，可以利用图像分割或边缘检测获得图像帧的目标区域和背景区域，例如SPG-Net(Segmentation Prediction and Guidance Network,分割预测引导网络)、PAN(Path Aggregation Network,路径聚合网络)等对图像帧进行处理，以得到至少一个目标区域，本申请的目标区域可以是形状不规则区域，也可以是尺寸大小不一的矩形区域，本申请对目标区域的尺寸或形状不做限定。
进一步地，对图像帧中的目标区域采用基于神经网络模型的超分辨率方式进行超分辨率重建，得到超分辨率处理后的参考图像帧，再在参考图像帧与图像帧对应的背景区域采用基于插值法的超分辨率方式进行超分辨率重建，得到超分辨率处理后的目标图像帧。
在一个实施例中，当输入视频流的分辨率较高，如，输入视频流的分辨率为2K，而根据图像帧的视频特征信息判定视频流为简单场景时，可以采用单一超分辨率策略中的基于双三次插值的超分辨率方式进行超分辨率重建。
在一个实施例中，如图8所示，为一种分辨率配置界面，用户可以根据观赏喜好，灵活地进行配置模式切换。
在一个实施例中，可以根据预置的超分辨率放大系数，确定基于神经网络模型的超分辨率方式进行超分辨率重建的神经网络模型，从而利用神经网络模型对视频流进行超分辨率重建，例如超分辨率放大系数包括1、2、4等，利用大量的低分辨率图像与对应的超分辨率放大系数的高分辨率图像对神经网络模型进行训练，得到不同放大系数对应的神经网络模型。当超分辨率放大系数为1时，神经网络模型能够对进行超分辨率重建的图像帧进一步进行修复，提升观看效果。当用户在进行分辨率配置时，可以根据用户的设置确定对应的放大倍数的神经网络模型对视频流进行超分辨率重建。
如图9所示，图9是本申请实施例提供的一种视频处理装置的结构示意图，所述装置包括：
获取单元901，用于获取待处理视频流，并对所述待处理视频流进行特征提取；
处理单元902，用于根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
处理单元902，还用于按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理单元902，具体用于：
检测提取的视频特征信息是否满足指定条件；
若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；
若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
在一个实施例中，所述处理单元902，具体用于：
当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；
根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；
按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理单元902，具体用于：
当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；
利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理单元902，具体用于：
针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；
利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；
根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
在一个实施例中，所述处理单元902，具体用于：
利用所述第一超分辨率方式和所述第二超分辨率方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的亮度值；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理，包括：
利用所述第三超分辨率方式对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的色度值。
在一个实施例中，所述处理单元902，具体用于：
若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；
所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理单元902，具体用于：
确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；
针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；
利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
在本申请实施例中，通过获取待处理视频流，并利用对待处理视频流进行特征提取得到的视频特征信息来选取超分辨率策略，利用选取的超分辨率策略的指示对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，使得可以根据视频特征信息自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
如图10所示，图10是本申请实施例提供的一种智能终端的结构示意图，该智能终端内部结构如图10所示，包括：一个或多个处理器1001、存储器1002、通信接口1003、用户接口1004。上述处理器1001、存储器1002、通信接口1003和用户接口1004可通过总线1005或其他方式连接，本申请实施例以通过总线1005连接为例。
其中，处理器1001(或称CPU(Central Processing Unit，中央处理器))是智能终端的计算核心以及控制核心，其可以解析智能终端内的各类指令以及处理智能终端的各类数据，例如：CPU可以用于解析用户向智能终端所发送的开关机指令，并控制智能终端进行开关机操作；再如：CPU可以在智能终端内部结构之间传输各类交互数据，等等。通信接口1003可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等)，受处理器1001的控制用于收发数据。用户接口1004可以包括显示屏(Display)，可选用户接口1004还可以包括标准的有线接口、无线接口。存储器1002(Memory)是智能终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器1002既可以包括智能终端的内置存储器，当然也可以包括智能终端所支持的扩展存储器。
在一实施例中，处理器1001通过运行存储器1002中的可执行程序代码，执行如下操作：
获取待处理视频流，并对所述待处理视频流进行特征提取；
根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理器1001，具体用于：
检测提取的视频特征信息是否满足指定条件；
若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；
若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
在一个实施例中，所述处理器1001，具体用于：
当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；
根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；
按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理器1001，具体用于：
当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；
利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理器1001，具体用于：
针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；
利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；
根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
在一个实施例中，所述处理器1001，具体用于：
利用所述第一超分辨率方式和所述第二超分辨率方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的亮度值；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理，包括：
利用所述第三超分辨率方式对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的色度值。
在一个实施例中，所述处理器1001，具体用于：
若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；
所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
在一个实施例中，所述处理器1001，具体用于：
确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；
针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；
利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
在本申请实施例中，通过获取待处理视频流，并利用对待处理视频流进行特征提取得到的视频特征信息来选取超分辨率策略，利用选取的超分辨率策略的指示对待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，使得可以根据视频特征信息自适应地调整超分辨率策略对视频流进行超分辨率重建，有效提高视频质量。
本申请一个或多个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当其在计算机上运行时，使得计算机执行如本申请实施例所述的基于人工智能的图像处理方法，具体实现方式可参考前文描述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述文件管理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
本申请一个或多个实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法的实施例中所执行的步骤。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：
获取待处理视频流，并对所述待处理视频流进行特征提取；
根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
2.根据权利要求1所述的方法，其特征在于，所述根据提取的视频特征信息选取超分辨率策略，包括：
检测提取的视频特征信息是否满足指定条件；
若所述视频特征信息不满足所述指定条件，则选取所述单一超分辨率策略；
若所述视频特征信息满足所述指定条件，则选取所述融合超分辨率策略。
3.根据权利要求1或2所述的方法，其特征在于，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
当选取的超分辨率策略为单一超分辨率策略时，根据所述视频特征信息确定所述待处理视频流的视频类型；
根据所述视频类型从预设的多种超分辨率方式中选取一种超分辨率方式；
按照选取的超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
4.根据权利要求1或2所述的方法，其特征在于，所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
当选取的超分辨率策略为融合超分辨率策略时，确定所述融合超分辨率策略所对应的至少两种超分辨率方式；
利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
5.根据权利要求4所述的方法，其特征在于，所述利用所述至少两种超分辨率方式对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
针对所述待处理视频流中的任一图像帧，利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理；
利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理；
根据超分辨率处理后的亮度值和色度值确定超分辨率处理后的图像帧，并根据超分辨率处理后的图像帧生成超分辨率处理后的视频流。
6.根据权利要求5所述的方法，其特征在于，所述至少两种超分辨率方式包括第一超分辨率方式、第二超分辨率方式和第三超分辨率方式；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，包括：
利用所述第一超分辨率方式和所述第二超分辨率方式分别对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的亮度值；
所述利用所述至少两种超分辨率方式中的一种或者多种超分辨方式分别对所述任一图像帧中的像素点包括的色度值进行超分辨率处理，包括：
利用所述第三超分辨率方式对所述任一图像帧中的像素点包括的亮度值进行超分辨率处理，得到超分辨率处理后的色度值。
7.根据权利要求1或2所述的方法，其特征在于，所述视频特征信息包括分辨率，所述根据提取的视频特征信息选取超分辨率策略，包括：
若所述分辨率小于等于预设分辨率阈值，则选取所述融合超分辨率策略；
所述按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流，包括：
确定所述融合超分辨率策略所对应的第四超分辨率方式和第五超分辨率方式；
针对所述待处理视频流中的任一图像帧，利用所述第四超分辨率方式对所述任一图像帧进行超分辨率处理，得到超分辨率处理后的参考图像帧；
利用所述第五超分辨率方式对所述参考图像帧进行超分辨率处理，得到超分辨率处理后的目标图像帧，并根据所述目标图像帧生成超分辨率处理后的视频流。
8.一种视频处理装置，其特征在于，所述装置包括：
获取单元，用于获取待处理视频流，并对所述待处理视频流进行特征提取；
处理单元，用于根据提取的视频特征信息选取超分辨率策略，其中，选取的超分辨率策略为单一超分辨率策略或者为融合超分辨率策略；
处理单元，还用于按照选取的超分辨率策略的指示对所述待处理视频流中的图像帧进行超分辨率处理，得到超分辨率处理后的视频流。
9.一种智能终端，其特征在于，包括存储器、通信接口以及处理器，其中，所述存储器、所述通信接口和所述处理器相互连接，所述存储器存储有计算机程序代码，所述处理器调用所述存储器中存储的计算机程序代码，用于执行权利要求1～7任一项所述的视频处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的视频处理方法。
CN202011368232.4A 2020-11-27 2020-11-27 一种视频处理方法、装置、终端及存储介质 Active CN112565887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011368232.4A CN112565887B (zh) 2020-11-27 2020-11-27 一种视频处理方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011368232.4A CN112565887B (zh) 2020-11-27 2020-11-27 一种视频处理方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112565887A true CN112565887A (zh) 2021-03-26
CN112565887B CN112565887B (zh) 2023-06-20

Family

ID=75046607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011368232.4A Active CN112565887B (zh) 2020-11-27 2020-11-27 一种视频处理方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112565887B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724222A (zh) * 2021-08-30 2021-11-30 京东方科技集团股份有限公司 视频质量评价方法、装置、电子设备及存储介质
WO2023131111A1 (zh) * 2022-01-05 2023-07-13 京东方科技集团股份有限公司 图像处理方法及装置和系统、存储介质
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、系统、计算机设备及计算机可读存储介质
WO2024183810A1 (zh) * 2023-03-08 2024-09-12 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071383A (ja) * 2007-09-10 2009-04-02 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
CN106611405A (zh) * 2015-10-23 2017-05-03 展讯通信(天津)有限公司 图像插值方法及装置
US20180225807A1 (en) * 2016-12-28 2018-08-09 Shenzhen China Star Optoelectronics Technology Co., Ltd. Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction
CN108694700A (zh) * 2017-04-10 2018-10-23 三星电子株式会社 用于深度学习图像超分辨率的系统和方法
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN111402139A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111598779A (zh) * 2020-05-14 2020-08-28 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质
CN111800629A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 视频解码方法、编码方法以及视频解码器和编码器
CN111899167A (zh) * 2020-06-22 2020-11-06 武汉联影医疗科技有限公司 插值算法确定方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071383A (ja) * 2007-09-10 2009-04-02 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
CN106611405A (zh) * 2015-10-23 2017-05-03 展讯通信(天津)有限公司 图像插值方法及装置
US20180225807A1 (en) * 2016-12-28 2018-08-09 Shenzhen China Star Optoelectronics Technology Co., Ltd. Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction
CN108694700A (zh) * 2017-04-10 2018-10-23 三星电子株式会社 用于深度学习图像超分辨率的系统和方法
CN108848376A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备
CN111800629A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 视频解码方法、编码方法以及视频解码器和编码器
CN111402139A (zh) * 2020-03-25 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111598779A (zh) * 2020-05-14 2020-08-28 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质
CN111899167A (zh) * 2020-06-22 2020-11-06 武汉联影医疗科技有限公司 插值算法确定方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JI BIN; LIU HONGCHEN; GAO YANYING: "Rapid Hybrid Interpolation Method of Single Image", 《IEEE》 *
贺瑜飞; 高宏伟: "基于多层连接卷积神经网络的单帧图像超分辨重建", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724222A (zh) * 2021-08-30 2021-11-30 京东方科技集团股份有限公司 视频质量评价方法、装置、电子设备及存储介质
WO2023131111A1 (zh) * 2022-01-05 2023-07-13 京东方科技集团股份有限公司 图像处理方法及装置和系统、存储介质
WO2024183810A1 (zh) * 2023-03-08 2024-09-12 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、系统、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112565887B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
US11151690B2 (en) Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
WO2018161775A1 (zh) 一种用于图像处理的神经网络模型的训练方法、装置和存储介质
US8400523B2 (en) White balance method and white balance device
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
KR102261544B1 (ko) 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
CN112788235A (zh) 图像处理方法、装置、终端设备及计算机可读取存储介质
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
CN110868547A (zh) 拍照控制方法、拍照控制装置、电子设备及存储介质
US20240205376A1 (en) Image processing method and apparatus, computer device, and storage medium
CN109544441B (zh) 图像处理方法及装置、直播中的肤色处理方法及装置
CN106603885B (zh) 视频图像处理方法和装置
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111654747B (zh) 弹幕显示方法及装置
CN114092359A (zh) 花屏处理方法、装置和电子设备
CN113538304A (zh) 图像增强模型的训练方法及装置、图像增强方法及装置
CN115243073B (zh) 一种视频处理方法、装置、设备及存储介质
CN110996173A (zh) 一种图像数据处理方法、装置及存储介质
CN110796689A (zh) 一种视频处理方法、电子设备及存储介质
CN113453017B (zh) 视频处理方法、装置、设备及计算机程序产品
CN112788234B (zh) 一种图像处理方法及相关装置
CN116308996A (zh) 图形显示方法、装置、设备、存储介质及程序产品
US20240119637A1 (en) Image synthesis method and system
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant