[go: up one dir, main page]

CN112291563A - 一种视频编码方法、设备及计算机可读存储介质 - Google Patents

一种视频编码方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112291563A
CN112291563A CN202011136915.7A CN202011136915A CN112291563A CN 112291563 A CN112291563 A CN 112291563A CN 202011136915 A CN202011136915 A CN 202011136915A CN 112291563 A CN112291563 A CN 112291563A
Authority
CN
China
Prior art keywords
target
image
video
frame image
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011136915.7A
Other languages
English (en)
Inventor
刘俊彦
王�琦
潘兴浩
李康敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011136915.7A priority Critical patent/CN112291563A/zh
Publication of CN112291563A publication Critical patent/CN112291563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频编码方法、设备及计算机可读存储介质，涉及视频处理技术领域，以解决现有视频编码技术运算量大的问题。该方法包括：对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；基于所述目标对象的目标信息，确定所述当前帧图像的重要度；基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；利用所述目标码率，对所述视频图像进行编码。由于本发明实施例只需计算视频图像中当前帧图像的重要度和统计剩余码流容量，并基于当前帧图像的重要度和剩余码流容量，确定当前帧图像的目标码率，从而不仅可降低运算量，而且编码方式较为新颖。

Description

一种视频编码方法、设备及计算机可读存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种视频编码方法、设备及计算机可读存储介质。
背景技术
目前，视频编码技术主要有基于运动矢量间的运动残差编码方法等，该方式是通过计算目标运动矢量和对应预测运动矢量间的运动残差，来计算当前待编码视频帧的编码数据。然而，这种方案不仅需要计算每一帧图像中的每个像素点的运动矢量，而且需要在计算每一帧图像的运动矢量时，都需要依据前一帧图像的运动矢量来计算，因此，不管是在编码块级别还是在像素级别，运动矢量的计算量都是非常巨大的。
可见，现有视频编码技术存在运算量大的问题。
发明内容
本发明实施例提供一种视频编码方法、设备及计算机可读存储介质，以解决现有视频编码技术运算量大的问题。
第一方面，本发明实施例提供了一种视频编码方法，包括：
对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；
基于所述目标对象的目标信息，确定所述当前帧图像的重要度；
基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；
利用所述目标码率，对所述视频图像进行编码。
可选的，所述识别所述当前帧图像中的目标对象的目标信息，包括：
识别所述当前帧图像中的n类目标对象，n为大于0的整数；
确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
可选的，所述目标信息包括目标对象的优先度；所述确定每类目标对象的目标信息，包括：
基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
可选的，所述基于所述目标对象的目标信息，确定所述当前帧图像的重要度，包括：
基于每类目标对象的目标信息，计算每类目标对象的重要度；
将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
可选的，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
可选的，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
可选的，所述基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率，包括：
基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
可选的，所述基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，包括：
基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
可选的，所述基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，包括：
基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
可选的，所述利用所述目标码率，对所述视频图像进行编码，包括：
分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
分别利用每组视频图像的平均码率对该组视频图像进行编码。
第二方面，本发明实施例还提供一种视频编码设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器，用于读取存储器中的程序实现如前述任一项所述的视频处理方法中的步骤。
第三方面，本发明实施例还提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现如前述任一项所述的视频编码方法中的步骤。
在本发明实施例中，对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；基于所述目标对象的目标信息，确定所述当前帧图像的重要度；基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；利用所述目标码率，对所述视频图像进行编码。这样，由于本发明实施例只需计算视频图像中当前帧图像的重要度和统计剩余码流容量，并基于当前帧图像的重要度和剩余码流容量，确定当前帧图像的目标码率，而无需计算每一帧图像中每个像素点的运动矢量，也不需要依赖前后帧图像的运动矢量，从而相比现有技术不仅可降低运算量，而且编码方式较为新颖。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频编码方法的流程图；
图2是本发明实施例提供的输出当前帧图像中的目标对象检测信息的示意图；
图3是本发明实施例提供的优先度效果限定系数与目标对象数量的关系曲线示意图；
图4是本发明实施例提供的计算出的每帧图像的目标码率的示意图；
图5是本发明实施例提供的视频编码装置的结构图；
图6是本发明实施例提供的视频编码设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的视频编码方法的流程图，如图1所示，包括以下步骤：
步骤101、对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息。
在本发明实施例中，上述视频图像可以是任意需要进行编码的视频流，如体育赛事直播视频流、影视类视频流等。所述当前帧图像可以是指获取到的任一帧图像。
对于获取的每帧图像，可以识别其中包含的目标对象的目标信息，例如，可以通过图像分割和检测算法对每帧图像进行目标对象检测，得到每帧图像中的目标对象的检测信息。
其中，所述目标对象可以是预设类别的对象，所述目标信息可以是预设的信息，具体可以根据应用场景中的实际需要，预先设定哪些类别的对象为需要检测的目标对象，哪些信息为需要检测的对象信息。例如，对于足球比赛视频场景，目标对象可以是足球运动员、足球、球门、裁判等对象，目标信息可以是为确定图像的重要度需要参考或使用的信息，如类别、数量、像素占比、可信度等。
步骤102、基于所述目标对象的目标信息，确定所述当前帧图像的重要度。
上述重要度可以是用于指示每帧图像的重要程度或复杂程度的指标参数，重要度越高，表明该帧图像包含了用户较为关注的目标对象，也通常表明该帧图像越精彩。
本发明实施例中，可以基于所识别的当前帧图像中目标对象的目标信息，来确定所述当前帧图像的重要度，例如，某帧足球视频图像中包括足球运动员、足球和球门，可确定该帧图像具备较高的重要度，或者某帧足球视频图像中包括较多观众，可确定该帧图像的重要度不高。
且可以使用所述目标对象的目标信息，按照一定的公式具体计算出当前帧图像的重要度，以目标信息包括目标对象的数量、优先度、像素占比为例，对于当前帧图像，可以将该帧图像中每类目标对象的数量、优先度和像素占比的乘积之和作为该帧图像的重要度，或者，还可先对不同的目标信息使用不同的权重系数，再使用该方式来计算该帧图像的重要度。当然，还可以根据实际情况使用其他不同的计算方式，本发明实施例不作具体限定。
可选的，所述识别所述当前帧图像中的目标对象的目标信息，包括：
识别所述当前帧图像中的n类目标对象，n为大于0的整数；
确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
即需要识别的目标对象可以包括多种不同类别，当所述当前帧图像中包括多个不同类别的目标对象时，可以识别出其中的每类目标对象，并分别确定每类目标对象的目标信息，所述目标信息可以包括目标对象的数量信息、优先度和像素占比信息中的至少一项，其中，所述数量信息可以表示每类目标对象在当前帧图像中出现的次数；所述优先度可以表示每类目标对象在所述视频图像中的重要程度，例如，对于网球比赛视频场景，可定义网球运动员、球拍、球网、观众、裁判等多类目标对象，且这多类目标对象的优先度顺序可以是网球运动员>球拍>球网>裁判>观众，即网球运动员是该场景中最为重要的目标对象；所述像素占比信息可以表示每类目标对象的像素占当前帧图像总像素的比例，例如，对于某个运动员的特写镜头，该运动员在该镜头中的像素占比会比较大，对于比赛场中的远镜头，单个运动员在该镜头中的像素占比会则比较小。
同样地，可以通过图像分割和检测算法来识别每帧图像中的n类目标对象和每类目标对象的目标信息，具体地，可以预先设定应用场景中需要参考的若干类对象类别，将其作为训练图像分割和检测模型的类别数，然后通过收集大量标注有目标对象和目标对象的目标信息的图像作为训练数据，使用预设图像分割和检测算法训练对这些数据进行训练，可得到能够输出图像中的目标对象的目标信息的图像分割和检测模型。为保证识别的准确度，可使用深度学习中较为成熟的图像分割和检测算法，如掩码-区域卷积神经网络(MaskRegion CNN，Mask-RCNN)和YOLACT++等。
以YOLACT++图像分割和检测算法为例，当前帧图像经过该算法模型后，基本输出为[[index,label,bbox(x,y,w,h),mask,confidence],...]的列表，其中该列表中的子列表分别表示一个目标对象经过模型所输出的属性结果，index为检测到的目标对象的索引，如编号，label为该目标对象的类别，bbox为该目标对象在当前帧图像中的坐标，其中x和y表示该目标对象所在矩形区域的中心点坐标，w和h表示该目标对象所在矩形区域的宽和高，mask为该目标对象在当前帧图像中的掩码信息，confidence为该目标对象检测为该类别的可信度。例如，网球比赛视频场景中，模型输出结果可如图2所示，会在视频帧图像20中标注识别的目标对象，如框选识别的运动员和网球拍，并标注对象类别名和可信度。
其中，需说明的是，目标对象的数量信息可以基于输出中每个子列表的类别确定，如统计类别相同的目标对象数量，便可得到每类目标对象的数量；目标对象的像素占比信息可以基于目标对象在当前帧图像中的掩码信息确定，如依据掩码信息确定目标对象所占的像素点数，再除以当前帧图像的总像素点数，便可得到目标对象的像素占比信息，也可以调整模型使其直接输出每类目标对象的像素占比；目标对象的优先度可以不通过模型直接输出，具体可以通过预先设定的每类目标对象对应的优先度确定，或者通过其他方式计算得到。
这样，可以参考当前帧图像中每类目标对象的数量信息、优先度和像素占比信息中的至少一项，来确定当前帧图像的重要程度，例如，某类目标对象的数量越多、优先度越高或像素占比约高，则当前帧图像的重要程度越高。
进一步的，所述目标信息包括目标对象的优先度；所述确定每类目标对象的目标信息，包括：
基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
即该实施方式中，所述目标信息包括目标对象的优先度，当然还可以包括其他信息。这样，在确定每类目标对象的目标信息时，需要确定每类目标对象的优先度，具体地，可以有两种不同的确定方式，其一可以是通过预先设定当前场景中需要参考的各类目标对象对应的优先度，然后依据预先设定的优先度，确定当前帧图像中的每类目标对象的优先度。例如，预先设定了k类目标对象的优先度为(comp1,comp2,……,compk)，则可以当前帧图像中每类目标对象的类别，直接获得每类目标对象的优先度。
其二可以是通过统计当前视频场景中的目标对象信息计算得出，具体为基于每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数，来确定每类目标对象的优先度，例如，对于第i类目标对象，可以通过第i类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中包含第i类目标对象的帧数，计算第i类目标对象的优先度，其中，第i类目标对象为所述n类目标对象中的任一类。
具体地，可以通过一特定公式来计算每类目标对象的优先度，例如，优先度计算公式可以是
Figure BDA0002736997300000081
其中，compi表示当前帧图像中第i类目标对象的优先度，Ni表示当前帧图像中第i类目标对象的数量，N表示当前帧图像中所有类目标对象的总数量，T表示所述视频图像的总帧数，Ti表示所述视频图像中包含第i类目标对象的帧数，Ti+1是为了防止分母为0。这样，某类目标对象在当前帧图像中出现的数量越多，该类目标对象在当前帧图像中的优先度越高，而所述视频图像中包含某类目标对象的帧数越多，该类目标对象在当前帧图像中的优先度越低，但某类目标对象在当前帧图像中出现的数量对其优先度的影响，相比所述视频图像中包含某类目标对象的帧数对其优先度的影响更大。
也就是说，该方式中，每类目标对象的优先度可以是在对所述视频图像中的每帧图像均进行识别后确定的，在对所述视频图像中的每帧图像均进行识别后，可以统计所述视频图像中分别包含每类目标对象的帧数，以备在计算各类目标对象的优先度时使用。
这样，通过预先设定各类目标对象对应的优先度，可以帮助快速确定每帧图像中的每类目标对象的优先度，或者通过统计当前视频场景中的各类目标对象信息，计算每类目标对象的优先度，可使得无需预先设定优先度，且可保证计算出的优先度较符合真实场景中的优先度判定。
进一步的，所述步骤102包括：
基于每类目标对象的目标信息，计算每类目标对象的重要度；
将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
即在所述当前帧图像中包括n类目标对象的情况下，可通过分别计算每类目标对象的重要度，来得到所述当前帧图像的重要度，具体为分别基于每类目标对象的目标信息，相应计算每类目标对象的重要度，再对所述n类目标对象中的每类目标对象的重要度进行求和，得到当前帧图像的重要度。
可选的，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
即一种实施方式中，每类目标对象的目标信息可包括该类目标对象的数量信息、优先度、像素占比信息和可信度信息。
其中，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
也就是说，所述当前帧图像中包括mi个第i类目标对象时，所述第i类目标对象的可信度信息中包括每个第i类目标对象的可信度，所述第i类目标对象的像素占比信息中包括每个第i类目标对象的像素占比。
从而可基于每类目标对象的数量信息、优先度、可信度信息和像素占比信息，相应计算每类目标对象的重要度，再对所述n类目标对象中的每类目标对象的重要度进行求和，得到当前帧图像的重要度。
具体地，可以通过一重要度计算公式来计算所述当前帧图像的重要度，例如，该重要度计算公式可以是
Figure BDA0002736997300000091
Figure BDA0002736997300000092
其中，complexitys表示第s帧图像的重要度，mi表示第s帧图像中第i类目标对象的数量，compi表示第i类目标物体的优先度，confidencej表示第s帧图像中第j个第i类目标对象的可信度，
Figure BDA0002736997300000093
表示第s帧图像中第j个第i类目标对象的像素占比。也就是说，对于每个第i类目标对象，可分别依据这mi个第i类目标对象的可信度和像素占比，计算出第i类目标对象的mi个可信度和像素占比所对应的重要度部分
Figure BDA0002736997300000101
以及依据第i类目标对象的优先度和数量，计算出第i类目标对象的数量和优先度所对应的重要度部分
Figure BDA0002736997300000102
Figure BDA0002736997300000103
再将二者相乘，得到第i类目标对象的重要度，然后依次计算出每类目标对象的重要度，最后将n类目标对象的重要度求和，便可得到第s帧图像的重要度。
其中，
Figure BDA0002736997300000104
可以理解为优先度效果限定系数，其最大值不超过2，优先度效果限定系数与数量mi的关系可如图3所示，也就是说，当前帧图像中任一类别的目标对象可在各自优先度的基础上最多产生两倍的效果，这样，可避免某帧图像中因某类目标对象的数量较多而导致计算出的重要度很高，得到与实际不符的结果，如某帧图像包括数量众多的观众，但该帧图像的重要度不应该很高。
且可上述重要度计算公式可知，每帧图像中的重要度与该帧图像中n类目标对象的优先度、数量、每个目标对象的可信度和像素占比均存在正相关的关系，即优先度越高，数量越多，可信度越大，像素占比越高，计算得到的重要度也就越高。这样，当某帧图像中包含优先度较高的目标类目标对象，且该类目标对象的数量越多，可信度较高，像素占比也较大时，该帧图像的重要度也就越高。
这样，通过基于当前帧图像中每类目标对象的数量信息、优先度、可信度信息和像素占比信息，计算当前帧图像的重要度，可保证计算出的重要度较符合实际和较为可信。
步骤103、基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率。
上述剩余码流容量可以是总码流容量中去除所述当前帧图像之前的所有帧图像所分配的码流容量之后剩余的码流容量，例如，总码流容量为C，当前已分配的码流容量为C1，则剩余码流容量为C-C1。
本发明实施例中，可以基于已确定的每帧图像的重要度和当前剩余码流容量，确定每帧图像的目标码率，具体地，可以对重要度较高的视频帧图像，分配剩余码流容量中较高比例的码率，对重要度较低的视频帧图像，分配剩余码流容量中较低比例的码率，以保证重要度高的视频帧图像具备较高的码率，进而可使用户获得较好的观影体验，或者可以在不改变整体观影效果(重要的视频帧图像的码率较高)的前提下，降低视频流传输的整体容量，提高视频流的传输效率，在限速或低速带宽的场景下也可有效传输高清视频。
更具体地，还可以基于当前帧图像的重要度和当前剩余码流容量，计算出所述当前帧图像具体的目标码率。例如，可基于当前帧图像的重要度和当前剩余码流容量，确定分配系数，再将剩余码流容量乘以该分配系数，得到当前帧图像的目标码率，其中，重要度越高，或剩余码流容量越多，分配系数可以相应越高。当然，还可按照该思路，使用其他的计算方式来确定每帧图像的目标码率，本发明实施例不作具体限定。
可选的，所述步骤103包括：
基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
即可假设当前帧图像为第s帧图像，则可依据视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定当前剩余码流容量，例如，总码流容量为codeall，第l帧图像的码率为precodingl，前s-1帧图像所分配的码率为
Figure BDA0002736997300000111
剩余码流容量为
Figure BDA0002736997300000112
该实施方式中，可基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，来确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数，例如，总帧数为T，则当前剩余帧数为T-s+1。具体地，可基于当前剩余帧数、当前剩余码流容量和当前帧图像的重要度，确定当前帧图像的码率分配比例，再使用当前剩余码流容量乘以该码率分配比例，得到当前帧图像的目标码率，例如，可基于当前剩余码流容量和总码流容量，确定剩余码率比例，再将剩余码率比例除以剩余帧数，得到剩余分配系数，再将剩余分配系数乘以重要度指数，得到码率分配比例，重要度指数可以为
Figure BDA0002736997300000121
complexitys为第s帧图像的重要度。
这样，可保证依据每帧图像的重要度、剩余码流容量和剩余帧数，对每帧图像进行较为合理地码率分配，且可在大致平均分配的基础上对重要度较高的视频帧图像分配稍高的码率。
其中，所述基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，可以包括：
基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
即该实施方式中，可以基于当前剩余码流容量占总码流容量的比例和所述视频图像的剩余帧数，确定当前帧图像的码率分配系数，例如，码率分配系数可以等于所述比例除以所述剩余帧数，或者，也可以根据公式
Figure BDA0002736997300000122
Figure BDA0002736997300000123
计算码率分配系数，
Figure BDA0002736997300000124
为第s帧图像的码率分配系数，codeall为总码流容量，
Figure BDA0002736997300000125
为前s-1帧图像已分配的码流容量，这样，码率分配系数的取值在0至1之间，且剩余码流容量越多，码率分配系数越大，剩余码流容量越多，码率分配系数越小，也即对每帧图像的码率使用多剩余多使用，少剩余少使用的分配原则。
然后，可基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，具体地，可以将所述码率分配系数、所述重要度对应的重要度指数和所述剩余码流容量三者的乘积，确定为当前帧图像的目标码率，所述重要度指数可以等于
Figure BDA0002736997300000127
或
Figure BDA0002736997300000126
complexitys为第s帧图像的重要度，2∑i compi为所述视频图像中包括的各类目标对象的优先度之和。
这样，可使用码率计算公式来计算每帧图像的目标码率，例如，可通过公式
Figure BDA0002736997300000131
计算第s帧图像的目标码率precodings。
通过该实施方式，可对每帧图像的码率按重要度和剩余情况进行合理分配，保证重要度高的视频帧图像可获得较高的码率，进而保证用户的观影效果。
可选的，所述基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，包括：
基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
即该实施方式中，在设置有目标压缩比例的情况下，真正可用的总码流容量可以等于所述视频图像的总码流容量乘以目标压缩比例，剩余码流容量则等于所述视频图像的总码流容量乘以目标压缩比例后，减去前s-1帧图像所分配的码流容量。例如，目标压缩比例为μ，则剩余码流容量为
Figure BDA0002736997300000132
Figure BDA0002736997300000133
这样，可所述视频图像按照预设的目标压缩比例，对每帧图像按重要度进行码率分配，且分配后的所有帧图像的平均码率将等于原固有码率乘以目标压缩比例。
例如，按照本发明实施例中的方式，以0.8的压缩比例，在原有1.0的固定码率的基础上，对视频图像中每帧图像进行码率分配，可得到每帧图像的目标码率如图4所示(黑色部分)，所有视频帧图像的平均码率为原来的0.8。
步骤104、利用所述目标码率，对所述视频图像进行编码。
在确定每帧图像的目标码率后，可利用每帧图像的目标码率，对所述视频图像进行编码，且可以有多种不同的编码方式，下面对编码方式作具体介绍。
可选的，所述步骤104包括：
分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
分别利用每组视频图像的平均码率对该组视频图像进行编码。
即一种编码方式中，可以分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码，也就是说，可以实时地利用当前所确定的当前帧图像的目标码率对所述当前帧图像进行编码。这样，可保证对所述视频图像中的每帧图像按其重要度分别使用不同码率进行编码，可保证重要的视频帧图像具备较为清晰的呈现效果。
另一种编码方式中，为了降低设备编解码的资源开销，可以对所述视频图像进行片段或块划分，然后在视频片段或块的基础上进行编码，即可以将所述视频图像按预设帧数进行分组，如将每30帧或每50帧图像分为一组，共分为p组视频图像，p可以等于所述视频图像的总帧数除以预设帧数，当所述总帧数不能被整除时，p可以等于总帧数除以预设帧数的商加1，即将最后剩余的若干帧图像分为1组；然后可依据每组视频图像中每帧图像的目标码率，计算每组视频图像的平均码率，其中，每组视频图像的平均码率等于该组中所有帧图像的目标码率之和除以该组视频图像的总帧数；最后可分别利用每组视频图像的平均码率对该组视频图像进行编码。这样，可以使用一组的平均码率一次性对多帧图像进行编码，在解码时，也可以使用每组的平均码率对该组视频图像中的多帧图像进行快速解码，从而可在保证较好观影效果的基础上降低编解码带来的资源开销。
本发明实施例中的视频编码方案可以应用于体育赛事类视频场景中，在足球比赛的视频场景中，如认为当视频画面中出现足球运动员，足球，球门等类别的对象时，此帧画面就比较重要，并且各类别的对象在画面中的优先度有所不同，例如，对象优先度设定为足球运动员>足球>球门；在网球比赛的场景中，若定义网球运动员，球拍，球网，观众，裁判等物体为需要考虑的重要对象，则对象优先度设定为网球运动员>球拍>球网>裁判>观众。
如果在网球比赛的视频中出现如下类似场景：
1)帧图像中检测到一个占比很大的运动员，相当于近距离抓拍运动员；
2)帧图像中检测到多个运动员，相当于远距离拍摄整个球场；
3)帧图像中检测到观众；
4)帧图像中检测到裁判。
依据上述设定和本发明实施例中的方案，可以计算出上述四种场景的帧重要度排序顺序基本为1>2>4>3；在可使用剩余码流容量充足的情况下，帧码率的排序基本与帧重要度排序顺序一致。当然，在实际场景中，由于考虑到目标对象的类别数的差异，帧图像中检测到目标对象的差异，检测到物体掩码大小的差异，以及可使用剩余码流容量等的差异，都会造成计算出的待编码帧的码率的波动。
另外，本发明实施例中提出的编码方式并不会改变视频图像的尺寸，而是定义了一种常见的并且大众可以直观感知的图像重要度，并且提出了计算这种图像重要度的方法。本申请可以通过本发明实施例中提出的编码计算方法来控制帧编码或视频片段编码的码率，且在设置有目标压缩比例的情况下，本申请可以在不改变整体观影效果的前提下，降低视频流传输的整体容量。
本发明实施例相比于现有技术有以下特点：图像尺寸不改变，只改变码率；实时性，可直接对每一帧图像进行处理并计算，不需要保存上一帧或下一帧的视频图像，其中剩余码流容量只是基于每帧码率的统计结果，在计算开销上空间复杂度为1；使用了图像中对象的优先度，而且还定义了计算图像重要度的方法，这更符合真实场景中图像重要程度的判定，而且对象优先度这个概念在运动场景或其他场景的视频中具有一般性的规律，也是观众所能接受的一种方式；本发明实施例可使用图像分割和检测模型来处理帧图像，相对于图像整体像素级别的计算量，计算量可大幅降低。
本发明实施例的视频编码方法，对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；基于所述目标对象的目标信息，确定所述当前帧图像的重要度；基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；利用所述目标码率，对所述视频图像进行编码。这样，由于本发明实施例只需计算视频图像中当前帧图像的重要度和统计剩余码流容量，并基于当前帧图像的重要度和剩余码流容量，确定当前帧图像的目标码率，而无需计算每一帧图像中每个像素点的运动矢量，也不需要依赖前后帧图像的运动矢量，从而相比现有技术不仅可降低运算量，而且编码方式较为新颖。
本发明实施例还提供了一种视频编码装置。参见图5，图5是本发明实施例提供的视频编码装置的结构图。由于视频编码装置解决问题的原理与本发明实施例中视频编码方法相似，因此该视频编码装置的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，视频编码装置500包括：
识别模块501，用于对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；
第一确定模块502，用于基于所述目标对象的目标信息，确定所述当前帧图像的重要度；
第二确定模块503，用于基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；
编码模块504，用于利用所述目标码率，对所述视频图像进行编码。
可选的，识别模块501包括：
识别单元，用于识别所述当前帧图像中的n类目标对象，n为大于0的整数；
第一确定单元，用于确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
可选的，所述目标信息包括目标对象的优先度；所述第一确定单元用于基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
所述第一确定单元用于获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
可选的，第一确定模块502包括：
计算单元，用于基于每类目标对象的目标信息，计算每类目标对象的重要度；
第二确定单元，用于将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
可选的，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
可选的，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
可选的，第二确定模块503包括：
第三确定单元，用于基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
第四确定单元，用于基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
可选的，所述第四确定单元包括：
第一确定子单元，用于基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
第二确定子单元，用于基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
可选的，所述第三确定单元用于基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
可选的，编码模块504用于分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
编码模块504包括：
分组单元，用于将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
第五确定单元，用于基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
编码单元，用于分别利用每组视频图像的平均码率对该组视频图像进行编码。
本发明实施例提供的视频编码装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
本发明实施例的视频编码装置500，对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；基于所述目标对象的目标信息，确定所述当前帧图像的重要度；基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；利用所述目标码率，对所述视频图像进行编码。这样，由于本发明实施例只需计算视频图像中当前帧图像的重要度和统计剩余码流容量，并基于当前帧图像的重要度和剩余码流容量，确定当前帧图像的目标码率，而无需计算每一帧图像中每个像素点的运动矢量，也不需要依赖前后帧图像的运动矢量，从而相比现有技术不仅可降低运算量，而且编码方式较为新颖。
本发明实施例还提供了一种视频编码设备。由于视频编码设备解决问题的原理与本发明实施例中视频编码方法相似，因此该视频编码设备的实施可以参见方法的实施，重复之处不再赘述。如图6所示，本发明实施例的视频编码设备，包括：处理器600，用于读取存储器620中的程序，执行下列过程：
对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；
基于所述目标对象的目标信息，确定所述当前帧图像的重要度；
基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；
利用所述目标码率，对所述视频图像进行编码。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
识别所述当前帧图像中的n类目标对象，n为大于0的整数；
确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
可选的，所述目标信息包括目标对象的优先度；处理器600还用于读取所述计算机程序，执行如下步骤：
基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
基于每类目标对象的目标信息，计算每类目标对象的重要度；
将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
可选的，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
可选的，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
可选的，处理器600还用于读取所述计算机程序，执行如下步骤：
分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
分别利用每组视频图像的平均码率对该组视频图像进行编码。
本发明实施例提供的视频编码设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
此外，本发明实施例的计算机可读存储介质，用于存储计算机程序，所述计算机程序可被处理器执行实现以下步骤：
对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；
基于所述目标对象的目标信息，确定所述当前帧图像的重要度；
基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；
利用所述目标码率，对所述视频图像进行编码。
可选的，所述计算机程序可被处理器执行实现以下步骤：
识别所述当前帧图像中的n类目标对象，n为大于0的整数；
确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
可选的，所述目标信息包括目标对象的优先度；所述计算机程序可被处理器执行实现以下步骤：
基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
可选的，所述计算机程序可被处理器执行实现以下步骤：
基于每类目标对象的目标信息，计算每类目标对象的重要度；
将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
可选的，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
可选的，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
可选的，所述计算机程序可被处理器执行实现以下步骤：
基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
可选的，所述计算机程序可被处理器执行实现以下步骤：
基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
可选的，所述计算机程序可被处理器执行实现以下步骤：
基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
可选的，所述计算机程序可被处理器执行实现以下步骤：
分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
分别利用每组视频图像的平均码率对该组视频图像进行编码。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种视频编码方法，其特征在于，包括：
对于获取的视频图像中的当前帧图像，识别所述当前帧图像中的目标对象的目标信息；
基于所述目标对象的目标信息，确定所述当前帧图像的重要度；
基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率；
利用所述目标码率，对所述视频图像进行编码。
2.根据权利要求1所述的方法，其特征在于，所述识别所述当前帧图像中的目标对象的目标信息，包括：
识别所述当前帧图像中的n类目标对象，n为大于0的整数；
确定每类目标对象的目标信息，所述目标信息包括目标对象的数量信息、优先度和像素占比信息中的至少一项。
3.根据权利要求2所述的方法，其特征在于，所述目标信息包括目标对象的优先度；所述确定每类目标对象的目标信息，包括：
基于预先设定的每类目标对象对应的优先度，确定每类目标对象的优先度；或者
获取第一信息，并基于所述第一信息，计算每类目标对象的优先度；其中，所述第一信息包括每类目标对象在所述当前帧图像中的数量、所述n类目标对象在所述当前帧图像中的总数量、所述视频图像的总帧数和所述视频图像中分别包含每类目标对象的帧数。
4.根据权利要求2所述的方法，其特征在于，所述基于所述目标对象的目标信息，确定所述当前帧图像的重要度，包括：
基于每类目标对象的目标信息，计算每类目标对象的重要度；
将所述n类目标对象的重要度之和确定为所述当前帧图像的重要度。
5.根据权利要求4所述的方法，其特征在于，所述目标信息包括目标对象的数量信息、优先度、像素占比信息和可信度信息。
6.根据权利要求5所述的方法，其特征在于，第i类目标对象的数量为mi，mi为正整数；
所述第i类目标对象的可信度信息包括所述当前帧图像中的mi个第i类目标对象的可信度；
所述第i类目标对象的像素占比信息包括所述当前帧图像中的mi个第i类目标对象的像素占比；
其中，所述第i类目标对象为所述n类目标对象中的任一类，i为小于或等于n的正整数。
7.根据权利要求1所述的方法，其特征在于，所述基于所述重要度和剩余码流容量，确定所述当前帧图像的目标码率，包括：
基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，其中，所述当前帧图像为所述视频图像中的第s帧图像；
基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，其中，所述剩余帧数等于所述视频图像的总帧数减去所述前s-1帧后剩余的帧数。
8.根据权利要求7所述的方法，其特征在于，所述基于所述视频图像的剩余帧数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率，包括：
基于所述剩余码流容量占所述总码流容量的比例和所述视频图像的剩余帧数，确定码率分配系数；
基于所述码率分配系数、所述重要度和所述剩余码流容量，确定所述当前帧图像的目标码率。
9.根据权利要求7所述的方法，其特征在于，所述基于所述视频图像的总码流容量和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量，包括：
基于所述视频图像的总码流容量、目标压缩比例和所述视频图像中的前s-1帧图像所分配的码率，确定剩余码流容量。
10.根据权利要求1所述的方法，其特征在于，所述利用所述目标码率，对所述视频图像进行编码，包括：
分别利用所述视频图像中每帧图像的目标码率，对对应帧图像进行编码；或者
将所述视频图像按预设帧数进行分组，得到p组视频图像，p为大于1的整数；
基于每组视频图像中每帧图像的目标码率，确定每组视频图像的平均码率；
分别利用每组视频图像的平均码率对该组视频图像进行编码。
11.一种视频编码设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至10中任一项所述的视频编码方法中的步骤。
12.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的视频编码方法中的步骤。
CN202011136915.7A 2020-10-22 2020-10-22 一种视频编码方法、设备及计算机可读存储介质 Pending CN112291563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011136915.7A CN112291563A (zh) 2020-10-22 2020-10-22 一种视频编码方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011136915.7A CN112291563A (zh) 2020-10-22 2020-10-22 一种视频编码方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112291563A true CN112291563A (zh) 2021-01-29

Family

ID=74423497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011136915.7A Pending CN112291563A (zh) 2020-10-22 2020-10-22 一种视频编码方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112291563A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338843A (zh) * 2021-12-30 2022-04-12 咻享智能(深圳)有限公司 一种无线通讯协议的智能编码系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164281A (zh) * 2011-03-30 2011-08-24 武汉大学 一种基于视觉显著度模型的视频编码码率控制方法
CN105208390A (zh) * 2014-06-30 2015-12-30 杭州海康威视数字技术股份有限公司 视频编码的码率控制方法及其系统
CN106534211A (zh) * 2016-12-29 2017-03-22 四川九洲电器集团有限责任公司 一种数据传输方法及电子设备
WO2018145561A1 (zh) * 2017-02-07 2018-08-16 腾讯科技（深圳）有限公司 一种码率控制的方法、电子设备以及计算机可读存储介质
CN111385571A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 一种超长图像组码率控制方法及装置
CN111629212A (zh) * 2020-04-30 2020-09-04 网宿科技股份有限公司 一种对视频进行转码的方法和装置
CN111787318A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 一种视频码率控制方法、装置、设备以及存储装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164281A (zh) * 2011-03-30 2011-08-24 武汉大学 一种基于视觉显著度模型的视频编码码率控制方法
CN105208390A (zh) * 2014-06-30 2015-12-30 杭州海康威视数字技术股份有限公司 视频编码的码率控制方法及其系统
CN106534211A (zh) * 2016-12-29 2017-03-22 四川九洲电器集团有限责任公司 一种数据传输方法及电子设备
WO2018145561A1 (zh) * 2017-02-07 2018-08-16 腾讯科技（深圳）有限公司 一种码率控制的方法、电子设备以及计算机可读存储介质
CN111385571A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 一种超长图像组码率控制方法及装置
CN111629212A (zh) * 2020-04-30 2020-09-04 网宿科技股份有限公司 一种对视频进行转码的方法和装置
CN111787318A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 一种视频码率控制方法、装置、设备以及存储装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338843A (zh) * 2021-12-30 2022-04-12 咻享智能(深圳)有限公司 一种无线通讯协议的智能编码系统
CN114338843B (zh) * 2021-12-30 2024-04-02 咻享智能(深圳)有限公司 一种无线通讯协议的智能编码系统

Similar Documents

Publication Publication Date Title
US12307802B2 (en) Light weight multi-branch and multi-scale person re-identification
CN102541494B (zh) 一种面向显示终端的视频尺寸转换系统与方法
CN110392274B (zh) 一种信息处理方法、设备、客户端、系统及存储介质
US8605957B2 (en) Face clustering device, face clustering method, and program
CN112312231B (zh) 一种视频图像编码方法、装置、电子设备及介质
CN109902547B (zh) 动作识别方法和装置
WO2021129435A1 (zh) 视频清晰度评估模型训练方法、视频推荐方法及相关装置
CN110087081B (zh) 视频编码方法、装置、服务器及存储介质
CN101682765B (zh) 确定用于光场数据结构的图像分布的方法
Yang et al. An objective assessment method based on multi-level factors for panoramic videos
KR20170128771A (ko) 비디오 스트림들의 엔티티 기반 시간적 세그먼트화
CN110569773A (zh) 基于时空显著性行为注意力的双流网络行为识别方法
CN111479130A (zh) 一种视频定位方法、装置、电子设备和存储介质
CN112584232A (zh) 视频插帧方法、装置及服务器
CN112380960A (zh) 一种人群计数方法、装置、设备和存储介质
CN112261448A (zh) 视频播放时长的确定方法、装置、设备及介质
CN112584196A (zh) 视频插帧方法、装置及服务器
CN102938840A (zh) 应用于多视点视频编码系统的关键帧量化参数选择方法
US20240042281A1 (en) User experience platform for connected fitness systems
US20240161316A1 (en) Method and system of image processing with multi-skeleton tracking
CN113162895B (zh) 动态编码方法、流媒体质量确定方法及电子设备
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
CN112291563A (zh) 一种视频编码方法、设备及计算机可读存储介质
Balasubramanian et al. Prediction of discomfort due to egomotion in immersive videos for virtual reality
Liu et al. Spatio-temporal interactive laws feature correlation method to video quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129

RJ01 Rejection of invention patent application after publication