CN1285215C

CN1285215C - 视频通信系统的帧率调节方法

Info

Publication number: CN1285215C
Application number: CN 200410082336
Authority: CN
Inventors: 陈小敬; 庞潼川; 宗炜
Original assignee: Datang Microelectronics Technology Co Ltd
Current assignee: Datang Microelectronics Technology Co Ltd
Priority date: 2004-12-31
Filing date: 2004-12-31
Publication date: 2006-11-15
Anticipated expiration: 2024-12-31
Also published as: CN1633177A

Abstract

本发明公开了一种视频通信系统的帧率调节方法，视频通信系统包括进行视频图像数据传输的发送端和接收端，包括：(1)在接收端和发送端分别设定相同的若干帧率模式以及每一帧率模式对应的视频图像的量化方式；(2)接收端将本终端要求的帧率模式预先发送至发送端；(3)发送端根据接收到的帧率模式，对视频图像按照所述帧率模式对应量化方式进行编码后组织成码流发送至所述接收端，以便接收端接收码流，并还原出视频图像。本发明进行通信的视频通信终端通过预先设置若干帧率模式及对应的量化方式，然后接收端预先将本端需要的帧率要求预先发送至发送端，使得发送端根据接收端的需求压缩视频图像，不仅满足用户需求，而且也提高了资源利用率。

Description

视频通信系统的帧率调节方法

技术领域

本发明涉及视频通信系统，尤其涉及视频通信系统中帧频调节方法。

背景技术

随着网络技术及视频技术的发展，视频通信系统得到了迅猛发展。如将视频通信系统应用于多视频会议和视频点播(或交互式电视)等业务中，以提供视频会议、视频电话、远程教学和远程医疗等各种服务。

在视频通信系统中，至少包括若干视频通信终端及连接所述视频通信终端的网络。在可视通信过程中，其中一视频通信终端为视频图像数据的发送端，通常存在至少一视频通信终端为该视频图像数据的接收端。对于发送端而言，主要是将视频图像数据进行压缩、编码并组织码流后发送。对于接收端而言，主要是接收到的码流进行解码、解压缩后还原成视频图像，以达到视频回放的效果。

在上述视频通信过程中，视频图像的压缩率决定了视频图像的失真率。视频回放的帧率决定了视频中物体运动的连续性。并且，由上述两个方面共同决定观看视频的视觉感受的好坏程度。然而，在特定的信道带宽条件下，获得较高的视频帧率与较低的视频图像压缩率是相互矛盾的。即，在一定的信道条件下，若接收端想获得较佳的视觉效果，则发送端采用的视频图像压缩率低，同时视频帧率也低；若接收端要求快速获得视频图像，则发送端需采用较高的视频帧率，视频图像采用较高的压缩率进行压缩和编码。

但是，目前多数的视频通信系统中，发送端并未考虑到接收端对视频质量的要求，通常采用单一的视频帧率和压缩率处理视频，组织码流发送给接收端。这样做有时无法满足接收端用户的需求。比如，发送端采用的视频帧率较低，而接收端的用户希望能获得更快速视频图像，这样就无法满足接收端用户的需求，而且也过多的占用了发送端处理器的处理时间，浪费了网络资源。再比如，发送端采用的视频频率较高，而接收端用户更加偏爱较高的视频图像质量，这样也无法满足接收端用户的需求，进而可能需要发送端重新进行压缩、编码、组织码流等处理，由此造成资源浪费。

发明内容

本发明的目的在于提供一种视频通信系统的频率调节方法，视频通信的发送端能够针对接收端用户对视频帧率的要求，以相应的视频帧率组织码流，以解决现有技术中发送端决定视频帧率和压缩率处理视频，难以满足接收端用户的需求，进而造成资源浪费的技术问题。

为解决上述问题，本发明公开了一种视频通信系统的帧率调节方法，所述视频通信系统包括进行视频图像数据传输的发送端和接收端，包括：

(1)在所述接收端和发送端分别设定相同的若干帧率模式以及每一帧率模式对应的视频图像的量化方式，所述量化方式为图像编码过程中采用的预先设定的位平面层数进行量化编码/解码；

(2)接收端将本终端要求的帧率模式预先发送至发送端；

(3)发送端根据接收到的帧率模式，对视频图像按照所述帧率模式对应量化方式进行编码后组织成码流发送至所述接收端，以便接收端接收码流，并还原出视频图像。

步骤(1)中设置的帧率模式包括清晰模式和流畅模式，其中：

所述清晰模式对应的视频图像的量化方式为在图像编码过程中以最大位平面层数进行量化编码；

所述流畅模式对应的视频图像的量化方式为：根据发送端处理器每秒钟能够处理的最大视频图像帧率确定的图像编码过程中的位平面层数进行量化编码。

步骤(2)进一步包括：所述接收端先将用户选择的帧率模式写入控制命令字，然后将所述控制命令字发送至发送端。

步骤(3)发送端对视频图像按照所述帧率模式对应量化方式进行编码进一步包括：将视频图像先进行小波变换；并对变换化的小波系数预先设定的位平面层数进行SPIHT量化编码，从而得到二进制符号流。

所述根据处理器每秒钟能够处理的最大视频图像帧率确定的位平面层数具体为：确定处理器每秒钟能够处理的最大视频图像帧数为最大帧数；根据所述最大帧率和信道当前带宽计算每帧图像编码的码流长度；根据所述码流长度来选择编码的位平面层数。

步骤(1)中设置的帧率模式包括平衡模式，所述平衡模式对应的视频图像的量化方式为按照当前帧率和信道当前带宽计算每帧图像可编码最大码流长度，进而确定位平面层数，根据所述确定的位平面层数进行量化编码。

若选择平衡模式，则视频图像编码时根据预先确定的位平面层数进行SPIHT编码。

步骤(3)中还包括：所述接收端将根据接收到的码流和发送端视频图像的量化方式对应的方式进行解码，还原视频图像。

与现有技术相比，本发明具有以下优点：本发明中的视频通信终端预先设置若干帧率模式，针对每种帧率模式采用不同的量化编码方式。在视频通信过程中，接收端将本端需要的视频帧率要求预先发送至发送端，发送端则根据接收端的需求，对视频图像进行压缩编码。不仅满足了用户对视频帧率的要求，而且也充分的利用了信道带宽，提高了资源利用率，由此避免了下述两种情况的发生：(1)发送端采用的视频帧率较低，而接收端的用户更希望获得高帧率的视频图像，由此造成不仅无法满足接收端用户的需求，而且降低了发送端的处理器的处理效率，浪费了网络资源。(2)发送端采用的视频频率较高，图像画质相对较低，而接收端用户希望接收到较高画质的视频图像，由此造成无法满足用户的需求，进而可能使得发送端重新进行压缩、编码、组织码流等处理，由此造成资源浪费。

附图说明

图1为视频通信系统的原理结构示意图；

图2为本发明视频通信系统的帧率调节方法的流程图；

图3为采用帧率调节的一次通信的流程示意图；

图4为发送端的视频压缩过程的流程示意图。

具体实施方式

以下结合附图，具体说明本发明。

请参阅图1，视频通信系统的原理结构示意图。所述视频通信系统包括若干视频通信终端，所述视频通信终端通过网络11或其他通信通道建立传输连接。为了更好地说明本发明的帧率调节方法，本发明以一个可视通信过程为例。即，视频通信终端至少包括接收视频图像数据的视频通信终端12(简称为接收端)和发送视频图像数据的视频通信终端13(简称为发送端)。在实际的通信过程中，经常存在双向通信，即接收端也做为另一次通信的发送端，而发送端是该次通信的接收端。但是，每一次通信过程帧率调节方法是相同的，因此本发明是以一个通信过程为例来说明本发明的帧率调节方法。

请参阅图2，本发明视频通信系统的帧率调节方法流程图。该方法包括以下步骤：

S110：在所有视频通信终端上设定相同的若干帧率模式以及每一帧率模式对应的视频图像的量化方式，所述量化方式为图像编码过程中采用的预先设定的位平面层数进行量化编码/解码；

S120：接收端将本终端要求的帧率模式预先发送至发送端；

S130：发送端根据接收到的帧率模式，对视频图像按照所述帧率模式对应量化方式进行编码后，组织码流发送至所述接收端。

从上述步骤可知，发送端在进行视频编码时，预先获知接收端发送的帧率要求，然后选择对应的量化方式进行编码，使得接收端能够接收到满足本端用户预先设定的帧率要求的码流。

在步骤S110中，接收端和发送端需要预先设定若干帧率模式以及每一帧率模式对应的视频图像的量化方式。所述帧率模式即为用户期望收到的视频图像的帧率要求，针对用户不同的帧率要求设定不同的帧率模式。在本发明可以设置两种帧率模式：清晰模式和流畅模式，其中：

所述清晰模式为用户希望收到最佳的图像质量，则发送端需要以最小的量化误差进行视频图像的编程，使得接收端的用户获得最佳的图像质量。因此对应的视频图像的量化方式可以是发送端在图像编码过程中以最大位平面层数进行量化编码，而接收端采用同样的平面层数进行解码；

所述流畅模式是以视频编解码处理器的运算能力(每秒钟能够编解码图像的最大帧率)为标准选择量化级数进行视频编码，接收端采用相同的量化级数进行视频解码。所述流畅模式能够获得当前信道带宽条件下最高的帧率，即最大限度地利用处理器资源，进而使得接收端较快获得视频图像。流畅模式对应的视频图像的量化方式为：根据发送端处理器每秒钟能够处理的最大视频图像帧率确定的图像编码过程中的位平面数进行量化编码。

由上可知，清晰模式能使得接收端获得最佳的图像质量，流畅模式能使得接收端最快获得视频图像。在背景技术已阐明信道带宽受限的情况下，获得较高的视频帧率与低的视频图像压缩率是相互矛盾的。为此，可以在清晰模式和流畅模式之间还可以设置若干模式。该些模式的视频帧率是界于清晰模式和流畅模式之间的，同时图像质量也是界于清晰模式和流畅模式之间的。在本实施例中设置一平衡模式。所述平衡模式对应的视频图像的量化方式为按照当前帧率和信道当前带宽计算每帧图像编码码流长度，进而确定位平面层数，根据所述确定的位平面层数进行量化编码。需要重中的是，本发明并非局限于上述公开的两种帧率模式或三种帧率模式，首先设置的帧率模式的个数不受两种和三种的限制，其次，划分帧率模式的方式是不受限制。它可以在视频帧率界于清晰模式和流畅模式之间划分更多的帧率模式并设定对应的视频图像的量化方式。另外，设置的帧率模式也并非一定要包含清晰模式和流畅模式。发送端和接收端可以根据具体情况进行设定。

以下就以发送端和接收端设定三种帧率模式为例，并且以视频压缩编码采用基于小波变换、SPIHT编码的压缩方式来具体说明帧率调节过程。请参阅图3，其为采用帧率调节的一次通信的流程示意图。

S210：每一次需要发送端发送视频图像数据至接收端时，发送端预先将本终端要求的帧率模式发送至发送端。比如，接收端可以先将用户选择的帧率模式写入控制命令字，然后通过所述控制命令字发送至发送端。

S220：发送端接收到所述控制命令字，从中获得帧率模式，然后找到对应的量化方式，并对视频图像进行压缩后发送至接收端。

以下以图4为例，具体说明发送端的视频压缩过程。

首先进行步骤S310：将视频图像的每一帧进行格式转换，转换成YUV三个分量，并进行小波变换。小波变换图像编码过程为使用一组滤波器族对原始图像序列进行滤波处理。首先将图像中每行像素用低通滤波器和高通滤波器进行滤波，对滤波器的输出结果进行隔点采样，得到中间图像L和H。L是原始图像经过低通滤波器，并在水平方向隔点采样；H是原始图像经过高通滤波器，并在水平方向隔点采样。接下来，对这两个新产生的图像的每一列像素进行低通(Ly)和高通(Hy)滤波。并且进行隔点采样。得到四个子图像(LL、LH、HL、HH)。这四个子图像包含了原始图像的全部信息，但是通过上述的滤波分解，每个子图像包含的信息重要程度各不相同。对LL子图像继续施加上述操作，又将得到四个子图像。

然后进行步骤S320，对变换化的小波系数进行SPIHT量化编码，从而得到二进制符号流。用SPIHT算法对变换后的小波系数进行量化编码，从而得到二进制符号流。图像信息的损失(称为量化误差)主要发生在SPIHT量化编码阶段。分层树集合分割排序SPIHT(Set Partitioning in Hierarchical Trees)的编码量化算法，利用小波变换的系数分布特性，对小波系数进行逐次逼近的量化，量化过程中采用一个门限序列T₀，T₁，……T_N-1，来依次确定量化门限值，其中，2T₀＞＝|Xmax|，Xmax是小波变换系数中的最大绝对值，门限序列值以2的倍数依次递减。两个门限区间之内的量化区间称作一个位平面。所述SPIHT编码的位平面数是指从最大量化门限开始，依次递减量化门限对小波系数进行量化的次数。例如，对位平面数为“5”进行SPIHT量化时，首先以T0为量化门限值进行第一层位平面的量化；然后再以T1为量化门限进行第二层位平面的量化；……量化过程一直进行到第五层位平面，即量化门限取到T4。由此可知，五层位平面的量化门限依次为：T0、T1、T2、T3、T4。通常，视频通信终端预先设置最大位平面层数。

若接收到的帧率模式是清晰模式，则以最大位平面层数进行SPIHT编码后得到二进制符号流；

若是流畅模式，则以根据处理器每秒钟能够处理的最大视频图像帧率确定的位平面层数进行SPIHT编码后得到二进制符号流；

事实上，在设置清晰模式、流畅模式和平衡模式时，通常设置好对应的视频图像的量化方式。在本实施例中，设置好对应的视频图像的量化方式是指设置各模式对应的编解码过程的位平面层数。其中：

清晰模式将本端支持的最大位平面层数作为在本模式下编解码过程的位平面层数；

流畅模式是根据以上步骤确定在本模式下编解码过程的位平面层数：

(a)确定处理器每秒钟能够处理的最大视频图像帧数为最大帧数；

(b)根据所述最大帧率和信道当前带宽计算每帧图像可以编码的最大码流长度；

(c)根据所述编码最大码流长度来选择SPIHT编码的位平面层数。

以下举个应用例，说明上述(a)(b)(c)三个步骤具体是如何确定位平面层数。

步骤(a)：对一帧图像进行编码，在图像编码算法、图像分辨率确定的情况下，处理器所需的计算指令数是可以确定的。因此，当处理器主频也确定时，可以通过图像编码源程序估算出编码时间，也可以通过在程序中设置硬件定时器来测量处理器编码一帧图像的耗时。

“流畅模式”下，帧频(Hz)＝1÷编码一帧图像耗时；

步骤(b)：视频通信的连接建立过程中，通信双方的modem通过协商检测信道状况，返回信道当前带宽。

每帧图像可以编码的最大码流长度(bits)＝信道当前带宽(bits/s)÷帧频(Hz)

步骤(c)：图像编码算法可以通过改变图像编码的量化级数来调整一帧图像的编码码流长度。因此，执行完成(a)、(b)步骤之后，即确定了满足帧频和信道带宽条件下的图像编码最大码流长度，根据“编码最大码流长度”，调整图像编码的量化级数(SPHIT算法中的位平面数)，使得图像编码码流长度满足要求。

所述平衡模式是按照当前帧率和信道当前带宽计算每帧图像编码码流长度，进而确定位平面层数。

“平衡模式”是在图像质量和图像帧频之间采取的一种折中的方案。平衡模式下的编码最大码流长度的确定也需要两个参数：信道当前带宽(bits/s)和帧频(Hz)。

“平衡模式”的“帧频”小于“流畅模式”，帧频的具体值地确定首先需要根据编码图像质量做出主观和客观两方面的评估。

图像质量的主观评估需要不同的观察者对图像质量做评估，“平衡模式”下，图像质量应当使评估者感觉较为满意。客观评估需要对图像的信噪比(PSNR)进行统计，本系统规定不低于20dB。

通过主观和客观两方面的评估，可以定义“平衡模式”下的帧频。

“清晰模式”下的编码最大码流长度的确定较为简单，直接根据SPIHT量化编码的最高位平面数对图像进行量化编码。用这种情况下的编码码流解码重构的图像质量最佳。

最后进行步骤S330：经SPIHT编码后的二进制符号流按照码流格式组织成码流发送至接收端。

S230：所述接收端将接收到的码流根据和发送端视频图像的量化方式对应的解码方式进行解码，还原视频图像。即接收端根据选择的帧率模式对应的位平面层数进行解码。

选择的帧率模式若是清晰模式，则采用最大位平面层数解码后进行小波变换，以便还原成视频图像；

选择的帧率模式若是流畅模式，则采用预先根据处理器能够处理最大视频图像帧数设定的位平面层数解码后进行小波变换，以便还原成视频图像；

选择的帧率模式若是平衡模式，则采用预先设定的位平面层数解码后进行小波变换，以便还原成视频图像。

以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域人员能思之的变化都应落在本发明的保护范围内。

Claims

1、一种视频通信系统的帧率调节方法，所述视频通信系统包括进行视频图像数据传输的发送端和接收端，其特征在于，包括：

(2)接收端将本终端要求的帧率模式预先发送至发送端；

2、如权利要求1所述的视频通信系统的帧率调节方法，其特征在于，步骤(1)中设置的帧率模式包括清晰模式和流畅模式，其中：

3、如权利要求1或2所述的视频通信系统的帧率调节方法，其特征在于，步骤(2)进一步包括：所述接收端先将用户选择的帧率模式写入控制命令字，然后将所述控制命令字发送至发送端。

4、如权利要求1或2所述的视频通信系统的帧率调节方法，其特征在于，步骤(3)发送端对视频图像按照所述帧率模式对应量化方式进行编码进一步包括：

将视频图像先进行小波变换；

并对变换化的小波系数预先设定的位平面层数进行SPIHT量化编码，从而得到二进制符号流。

5、如权利要求2所述的视频通信系统的帧率调节方法，其特征在于，所述根据处理器每秒钟能够处理的最大视频图像帧率确定的位平面层数具体为：

确定处理器每秒钟能够处理的最大视频图像帧数为最大帧数；

根据所述最大帧率和信道当前带宽计算每帧图像编码的码流长度；

根据所述码流长度来选择编码的位平面层数。

6、如权利要求4所述的视频通信系统的帧率调节方法，其特征在于，所述根据处理器每秒钟能够处理的最大视频图像帧率确定的位平面层数具体为：

根据所述码流长度来选择编码的位平面层数。

7、如权利要求2所述的视频通信系统的帧率调节方法，其特征在于，步骤(1)中设置的帧率模式包括平衡模式，所述平衡模式对应的视频图像的量化方式为按照当前帧率和信道当前带宽计算每帧图像可编码最大码流长度，进而确定位平面层数，根据所述确定的位平面层数进行量化编码。

8、如权利要求4所述的视频通信系统的帧率调节方法，其特征在于，步骤(1)中设置的帧率模式包括平衡模式，所述平衡模式对应的视频图像的量化方式为按照当前帧率和信道当前带宽计算每帧图像可编码最大码流长度，进而确定位平面层数，根据所述确定的位平面层数进行量化编码。

9、如权利要求7所述的视频通信系统的帧率调节方法，其特征在于，包括：若选择平衡模式，则视频图像编码时根据预先确定的位平面层数进行SPIHT编码。

10、如权利要求8所述的视频通信系统的帧率调节方法，其特征在于，包括：若选择平衡模式，则视频图像编码时根据预先确定的位平面层数进行SPIHT编码。

11、如权利要求2所述的视频通信系统的帧率调节方法，其特征在于，步骤(3)中还包括：所述接收端将根据接收到的码流和发送端视频图像的量化方式对应的方式进行解码，还原视频图像。

12、如权利要求7所述的视频通信系统的帧率调节方法，其特征在于，步骤(3)中还包括：所述接收端将根据接收到的码流和发送端视频图像的量化方式对应的方式进行解码，还原视频图像。

13、如权利要求8所述的视频通信系统的帧率调节方法，其特征在于，步骤(3)中还包括：所述接收端将根据接收到的码流和发送端视频图像的量化方式对应的方式进行解码，还原视频图像。