CN102811367A - 基于预测的无线信道状态的自适应视频编码 - Google Patents

Abstract

本发明提供了基于预测的无线信道状态的自适应视频编码。基于视频传输无线信道的可用吞吐量的多个发送侧指标中的至少一个，编码器速率自适应机制生成不同工作条件下无线信道的可支持吞吐量的估值。随后基于所估计的吞吐量值改变编码参数，例如编码器比特率。在一个示例中，发送侧吞吐量指标用于生成视频传输中可使用的多个潜在PHY数据率/信道MCS选择的目标编码器比特率。在预计到或者紧接着一个这种PHY数据率/MCS选择的转换，根据相关联的目标比特率改变编码器比特率。在另一模式中，平均传输队列等待时间信息用于进一步调整编码器比特率。

Description

基于预测的无线信道状态的自适应视频编码

相关申请的交叉引用

本申请要求于2011年5月31日提交的美国临时专利申请61/491,838、2011年9月25日提交的美国实用专利申请13/244,584的优先权，其全部内容结合于此作为参考。

技术领域

本发明总体涉及无线通信系统；更具体地，涉及自适应视频编码，用于适应基于分组的有损通信信道上的视频传输。

背景技术

已提出了用于提高视频错误鲁棒性/隐藏的多种方法，这些方法可基本分成两组。第一组涉及网络层解决方案，尝试通过为视频解码器提供无误差A/V流而恢复分组层的错误/丢包。这些解决方案通常要求有冗余码和进行重传。第二组涉及视频层解决方案，特别是后处理，其会接受遭破坏的视频流，并尝试减小解码视频帧中的间隙和失配。

可理解，这两组（网络层解决方案和视频层解决方案）都具有自身的优点和缺点。具体地，高度受保护的网络层可非常强健，并且对于错误可复原，但通常这是通过减小信道的恒定吞吐量和/或增加信道的有效等待时间而实现的。对于视频层，其中一个主要考虑因素是整体用户体验（例如，用户的感性体验）。即使在可变的网络状态下，视频也应流畅自然。在可变的信道状态下，提供可接受的用户体验对实时（或准实时）视频流特别具有挑战性，因为丢包和信道延迟可对感知的视频质量产生有害影响（例如，阻塞或模糊印象、视频冻结或抖动，以及音频/视频同步问题）。

更具体地，在实时视频编码和传输期间，大于帧间隔的分组传输增量延迟可能会产生与掉包或丢包相同的后果。视频解码器一般需要在相对较短的时间内解码并呈现每个视频帧。因此，如果分组在网络上延迟过多，将不可能及时完成帧解码以用于显示。如果延迟帧或丢弃帧也是其他帧的基准帧，可能会发生多个帧的解码错误。特别是在无线通信的情况下，现有技术没有提供用以将媒体相关内容的通信以强健、可靠、永久可接受的方式进行的适当方法。

附图说明

图1为根据本发明实施方式的视频网络100的框图图示。

图2为示出根据本发明实施方式的通过无线接入装置进行视频流编码和通信的功能框图。

图3为示出根据本发明实施方式的信道吞吐量估计和编码器比特率调整的功能框图。

图4为示出根据本发明实施方式的视频自适应编码方法的运行流程图。

图5为示出根据本发明实施方式的编码器比特率自适应调整方法的流程图。

图6为示出根据本发明实施方式的基于平均传输队列等待时间的编码器比特率自适应调整方法的流程图。

图7为示出根据本发明实施方式的编码器比特率自适应减小方法的流程图。

图8为示出根据本发明实施方式的编码器比特率自适应增加方法的流程图。

图9为示出根据本发明实施方式的采用传输排队模型的信道状态预测方法的流程图。

图10为根据本发明实施方式的各个视频流转换调度方法的图示。

具体实施方式

本文提供了一种用于优化基于分组的有损通信介质/信道上的视频传输的新型方法，以提高终端用户体验。新型方法涉及信道状态预测估计与自适应视频编码的结合，使得例如在用于分组网络传输的实时视频编码期间实现更佳的错误隐藏、错误恢复和带宽利用。

本发明总体涉及数字视频压缩，一般适用于视频压缩标准、协议和/或推荐实践（例如，MPEG-4 Part 2、H.264(AVC)、WMV、AVS、RealVideo和Quicktime等）。本文提出的新型方法通常在示例性实施方式中采用基于分组的无线传输（例如，UDP/IP），但各个方面和院里及其等同物也可被广泛扩展至任何有损或可变的通信信道上的网络传输（无论采用哪种特定类型的通信介质，例如，有线、无线、光学介质等）。

具体如图所示，图1为根据本发明实施方式的视频网络100的框图图示。网络104将诸如视频内容108的信息从视频源102分配给无线接入装置106，以在一个或多个无线信道上无线传输给无线视频装置，例如，视频装置110和移动视频装置112。视频内容108可包括电影、电视节目、商业广告或其他广告、教育内容、视频游戏内容、商业信息或其他节目内容，并且可选地包括与这种节目内容有关的附加数据，包括但不限于：数字版权管理数据、控制数据、节目信息、附加图形数据和与节目内容相关的可传输的其他数据。视频内容108可包括具有或不具有相关音频内容的视频。视频内容108可作为广播视频、流媒体视频、视频点播和准视频点播节目和/或其他格式发送。

网络104可为将视频内容108从多个视频源（包括视频源102）向广泛地理区域内的多个无线接入装置和（可选的）有线装置分配的专用视频分配网络，例如，直接广播卫星网络或有线电视网络。可替代地，网络104可为包括通用网络的一个或多个分段的异构网络，该通用网络例如为因特网、城域网、广域网、局域网或其它网络，以及（可选的）其他网络，例如，因特网协议（IP）电视网络。在给定网络的各个部分，视频内容108可根据各种公认协议作为模拟和/或数字信号传输。

无线接入装置106可包括在无线局域网（WLAN）（例如，802.11a,b,g,n、WIMAX或其他WLAN网络）、或蜂窝网络（例如，UMTS、EDGE、3G、4G或其他蜂窝数据网络）上向一个或多个视频用户提供视频内容108的基站或接入点。另外，无线接入装置106可包括家庭网关、专用视频分配网络内的视频分配点，或用于将视频内容108单独地或与其他数据、信号或服务一起无线传输给视频装置110和/或移动视频装置112的其他无线网关。

移动视频装置112可包括可看视频的无线智能手机或能显示视频内容的其他手持通信装置。视频装置110包括可为移动式或非移动式的其他视频显示装置，包括与无线接收器耦合的电视机、能通过无线数据卡、无线调谐器、WLAN调制解调器或其他无线链路进行无线连接的计算机，或能单独或与其他装置一起从无线接入装置106接收视频内容108并为用户显示和/或存储视频内容108的装置。

网络104、无线接入装置106、视频装置110和/或移动视频装置112包括本发明的一个或多个特征，下文将结合图2至图5对这些特征进行详细说明。

图2为示出根据本发明实施方式的通过无线接入装置进行视频流编码和通信的功能框图。如图所示，编码器数据率（encoder rate，编码器速率）自适应功能或层200与编码器204一起，或作为编码器204的一部分由无线接入装置106用于在无线信道226上向视频装置110/移动视频装置112提供编码视频流202。一般来说，当考虑视频数据以无线方式从一个位置或子系统向另一个位置或子系统传输的通信系统时，视频数据编码可被视为在无线信道226的发送侧进行，视频数据解码一般可被视为在无线信道226的接收侧进行。

在所示实施方式中，视频内容由视频源102提供给无线接入装置106，以进行编码（或进一步编码或转码）和传输。视频内容108可通过各种手段（means）/网络，例如，上述手段/网络向无线接入装置106传输。在一实施方式中，视频源102包括通过标准化互连线/接口212与无线接入装置106耦合的游戏机、电缆或卫星机顶盒、媒体服务器等。标准化互连线/接口212可包括，例如，音频/视频电缆，例如，HDMI电缆（这种情况下，无线接入装置106可为无线电子狗（dongle）的形式）、能传输未压缩、标准或高清视频内容的高带宽无线链路（例如，符合WiGig或WirelessHD的链路），或这些技术的各种组合。

无线接入装置106包括接收视频内容并对其编码的视频编码器204，用于在无线信道226上（以编码视频流202的形式）由网络接口206进行传输。如以下参照图3更详细地描述的，编码器数据率自适应层200与视频编码器204通信，包括用于自适应地改变视频编码器204的编码比特率和/或其他运行参数的信号。编码器数据率自适应层200还能从网络接口206接收信息。这种信息可用于由编码器数据率自适应层200根据本发明生成变化状态下无线信道226的吞吐量估值。

来自编码器204的编码视频内容提供给网络接口206，以向视频装置110/移动视频装置112（下文统称为，或可替代地称为视频装置110）传输。在所公开的实施方式中，网络接口206包括媒体访问控制（MAC）层208和物理层（PHY）210电路或功能。MAC 208的主要用途在于分配无线信道226的带宽，并在多个视频装置110/112等共享信道时协调访问。除了其他功能，PHY 210建立和终止与无线信道226的连接。在所公开的实施方式中，PHY 210生成并在无线信道226上传输包含编码视频流202的调制射频信号。如上文，MAC 208和PHY 210可根据各种基于分组的通信协议，例如，符合IEEE 802.11的网络而运行。

在所示视频装置110中，网络接口214（在无线信道202上）接收包含编码视频流202的射频信号。PHY 218与MAC 216协作，随后对这些射频信号进行解调和降频转换，以提取编码视频流202。随后，解码器220对来自所提取的视频流202的视频数据进行操作，以生成解码视频流，用于在视频显示器222上显示。

可使用可选的互连线/接口224（包括，例如，上文公开的与互连线/接口212有关的各个实施方式）为例如高清电视或投影系统提供解码视频内容。在这样的实施方式以及其他实施方式中，视频显示器222可为视频装置110的一部分或为与其分离的部件。进一步地，视频装置110可作为其他（移动）视频装置的中继器。

所公开的实施方式中的网络接口214还为无线接入装置106提供各种传输，包括，例如，根据确认（ACK/NACK）协议232的信令、与PHY 218的运行有关的状态信息（例如，错误校正之前的误码率，或信噪比（SNR）），以及解码器排队信息234。这种接收器信息/反馈230可与发送侧信道吞吐量指标302一起用于生成各种运行状态下的当前和/或预期信道吞吐量的估值。

在下文中，术语“ACK”、“确认（acknowledgement）”和“BA”均意味着包括ACK或BA（块确认）及等同物。例如，即使仅特别提及ACK或BA的其中之一，这些实施方式也可同样适用于ACK或BA任何其中之一及等同物。根据本发明的视频编码的优点之一可为：大大降低无线接入装置106接收的NACK的数量。但是，应注意的是，例如在ACK是无线信道226接收侧的成功错误校正的结果时，ACK可不提供信道状态的即时指标。

视频编码器204和编码器数据率自适应层200可在硬件、软件或固件中实施。在特定实施方式中，视频编码器204和编码器数据率自适应层200可利用一个或多个微处理器、微型计算机、中央处理器、现场可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路和/或基于存储模块中存储的操作指令操作信号（模拟和/或数字）的任何装置来实施。视频编码器204或编码器数据率自适应层200执行的功能、步骤和过程可分到不同装置中，以提供更快计算速度和/或效率。相关存储模块可为单个存储装置或多个存储装置。这种存储装置可为只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、闪存、高速缓存和/或存储数字信息的任何装置。应注意的是，当视频编码器204和/或编码器数据率自适应层200通过状态机、模拟电路、数字电路和/或逻辑电路实施其一个或多个功能时，存储对应操作指令的存储模块可嵌入包括状态机、模拟电路、数字电路和/或逻辑电路的电路中，或设于其外部。

进一步地，在无线接入装置106和视频装置110/移动视频装置112中，可对其中的各个部件、块、功能块、电路等进行任何期望的集成或组合，可替代地，只要不脱离本发明的范围和主旨，也可进行其他分界和分组。例如，网络接口206内的所有部件都可包括在第一处理模块或集成电路中，网络接口214内的所有部件都可包括在第二处理模块或集成电路中。同样，尽管被示为与视频源102分开，但编码器204和编码器数据率自适应层200也可结合到视频源102内或网络100的其他网络单元内。进一步，编码器数据率自适应层200可整体或部分地结合到编码器204内。

图3为示出根据本发明实施方式的信道吞吐量估计和编码器比特率调整的功能框图。在所公开的实施方式中，编码器数据率自适应层200进行操作，以响应于基于至少一个吞吐量指标302的无线信道吞吐量估值而自适应地对编码器204的编码参数进行改变。信道状态预测估值和自适应视频编码的结合提高了错误隐藏、错误恢复、满足无线等待时间要求的能力，以及例如在用于分组网络传输的实时视频编码期间的带宽利用。

如上，基于分组的网络可提供高吞吐量，但通常无法保证“有噪”信道状态下同时实现低传输延迟、恒定吞吐量和低程度网络数据丢失。信道状态可受到多种因素影响，包括信号强度、模式噪声（例如，微波爆发）、其他载体的干扰，以及特定节点上的网络拥堵。瞬时脉冲噪声还可对无线信道的可用带宽产生短期不利影响。实际上，有利地，应解决这种脉冲噪声，以将编码参数的不必要调整降到最少。

术语“信道吞吐量”在本文中一般用于指代无线信道226上的平均有效比特率（包括链路层协议开销）。对于实时流，例如，实时视频流，相关吞吐量值可能会受到等待时间的限制（有效同步吞吐量），并且其典型值小于总吞吐量。吞吐量一般以比特/秒（bps）或兆比特/秒（Mbps）为测量单位，但也可采用数据包/秒或数据包/时间间隔。许多因素（一般由吞吐量指标302和接收器信息330表示）可对信道吞吐量产生影响并/或可根据本发明用于生成信道吞吐量的指标。这些因素包括PHY特性（例如，工作频率/频段）、所选调制编码方案（MCS）、MAC协议数据单元（MPDU）的尺寸和包聚合的使用、传输协议的被支持PHY数据率、信道带宽（例如，20/40MHz）、保护间隔（GI）、相关传输确认策略（例如，普通ACK/NACK、B-ACK（块确认）或聚合确认、No-ACK）、编码流内的平均数据量（例如，MPDU）、信道负荷、传输流的数量等。这些信道/传输特性可进一步包括原始误码率、误包率、功率模式信息、信噪比（SNR）、包重传率，以及各种接收参数或描述射频信道向视频装置110有效发送编码视频流202的能力的其他量度。根据本发明各个实施方式的信道吞吐量估计可利用上述信道特征的一个或多个指标。使用相对较大数量的指标可增加信道吞吐量估计模型的精度。

在所示编码器数据率自适应层200中，各个吞吐量指标302由信道吞吐量估计300功能进行聚集和分析。信道吞吐量估计300利用接收的吞吐量指标302生成信道吞吐量估值。这些估值可包括，例如，多个被支持PHY数据率（PHY率）的预期可支持吞吐量，或基于吞吐量指标302的变化而修改的给定PHY率的吞吐量估值。来自信道吞吐量估计300处理的输出被提供给编码器比特率调整304功能，用于自适应地改变编码器204的一个或多个编码参数（例如，比特率）。

吞吐量指标302可包括与信道带宽/GI 314、确认策略参数316、打包器参数318、信道负荷320、来自例如多变量公用滤波器的增益估值322等中的一个或多个相关的状态信息。尽管有用估计可通过利用相对较小数量的输入（例如，如上文所列出的）而实现，但使用大量输入通常可增加模型的精度。

所示吞吐量指标302一般可从网络接口206本身获得，但根据特定实施方式的信道估计也可利用各种接收器信息/反馈330。例如，信道吞吐量估计300处理中可使用来自接收装置（例如，视频装置110或移动视频装置112）的原始误码率信息或其他短期反馈。来自接收装置的信息例如可在周期动作帧内或通过其他帧类型/子类型进行传输。

在图3所示的实施方式中，可选地包括了平均排队延迟监控器312，以将来自MAC数据队列310的传输队列延迟信息提供给编码器比特率调整器304。参照图5至图9的示例性实施方式将会理解，传输队列延迟信息可单独使用，或与吞吐量指标302、接收器信息/反馈330、估计吞吐量表306和/或PHY率308一起使用，以自适应地调整编码器204的一个或多个编码参数（例如，比特率）。

根据所示实施方式的编码器比特率调整器304可利用信道吞吐量估计300处理生成的一个或多个估计吞吐量表306。示例性估计吞吐量表306（表1）如下所示。在该实施方式中，为无线接入装置106支持的多种调制和编码方案（MCS）计算估计目标吞吐率（Tr）。被支持的MCS可包括由给定通信标准（例如，IEEE 802.11n）规定的所有或一部分MCS。与特定MCS对应的估计Tr的值一般反映了无线信道226的吞吐率的估计上限，为了减敏（desensitization）的目的，可能会降低，一般小于相关关联的最大PHY率。Tr值可受到多个吞吐量指标302的影响，包括但不限于，信道带宽、ACK策略、聚合参数、信道负荷（可能包括相关BSS测量的信道负荷）等。

MCS	估计目标吞吐率（Tr）
		0	10Mbps
1	20Mbps
		2	30Mbps
3	40Mbps
		4	55Mbps
5	65Mbps
		6	68Mbps
7	70Mbps
		8	22Mbps
9	40Mbps
		10	52Mbps
11	62Mbps
		12	68Mbps
13	100+Mbps
		14	100+Mbps
15	100+Mbps

表1.估计吞吐量表

在图3所示的实施方式中，估计吞吐量表306或等同物可为构成表的吞吐量指标302和/或接收器反馈330保持为固定值的静态表，或为随一个或多个吞吐量指标302的变化而更新的动态表。触发估计吞吐量表306的Tr值更新的事件可包括，例如，以下事件的一个或多个：MPDU聚合的启用/禁用；最大聚合数量或聚合密度的变化；新的或修改的确认策略（例如，新的块确认窗口尺寸）；工作频率/频段的变化；新的信道带宽（例如，20/40MHz）和/或保护间隔；编码视频流202的平均数据量（MPDU）的变化；信道负荷或传输流数量的浮动等。估计吞吐量表306可由编码器比特率调整器304用于对编码器204的编码比特率进行一个或多个调整，包括增量调整或逐步调整，使其更紧密地支持与当前或预期PHY率/MCS值相关的估计目标吞吐率（Tr）。PHY率可由PHY率选择算法/处理（未单独显示）以自适应方式选择。利用估计吞吐量表306的编码器比特率调整器的一个示例性实施方式如图5所示。

图4为示出根据本发明实施方式的用于视频流自适应编码以在无线信道上传输的方法的运行流程图。如步骤400所示，该方法包括：接收可用于未决（pending）或持续的视频流传输可用的无线信道的吞吐量的至少一个指标。接下来，在步骤402中，至少部分地基于所接收的吞吐量指标生成无线信道的未来吞吐量的一个或多个估值。随后，在步骤404中利用未来吞吐量估值调整编码器对视频流的编码参数。编码参数可包括，例如，为了与各种运行条件和PHY率下的预期信道吞吐量更好匹配而改变的编码比特率或帧速率。在改变帧速率的情况下，考虑其他编码器参数可改善结果。尽管本文公开了根据本发明的多种实施方式，但只要不脱离本发明的范围和主旨，可对其进行改变，可采用其他替代实施方式和等同物。

现参照图5，示出了根据本发明实施方式的用于自适应地调整视频流的编码器比特率的方法。如步骤500所示，使用无线信道的可用吞吐量的发送侧指标生成一个或多个目标编码器数据率（Tr），每个Tr值对应于无线信道的被支持PHY数据率选择。多个Tr值例如可列在估计吞吐量表306中，以通过编码器比特率调整功能快速存取。

在步骤502中（例如，根据标准化通信协议或独立的PHY数据率选择处理）对无线信道的新的或未决PHY数据率（Pr）/MCS选择进行检测之后，方法进入步骤504，为目标Pr值识别估计的目标编码器数据率Tr。应注意的是，在Tr值的初始确定之后可省略步骤502。如步骤506所示，该方法接下来将所识别的Tr值与当前编码器比特率（Er）（在所示实施方式中以Mbps为计算单位）相比较。

如果当前编码器比特率（Er）大于Tr值，在步骤508中降低编码器比特率，从而有效增加视频流的压缩比，以提高无线信道的预期吞吐量的利用率。一个或多个调整，例如，增量调整或逐步调整可降低编码器比特率。

如果在步骤506中确定当前编码器比特率Er不大于Tr值，则编码器比特率保持不变，或者，可替代地，增加其值，如步骤510所示。增加编码器比特率以更接近Tr值将有效地降低视频流的压缩比，通常可提高无线信道中任何过度可用吞吐量的利用率。

一个或多个调整，例如，增量调整或逐步调整可增加编码器比特率。根据本发明的对信道恶化和/或预期PHY率的预测可被有利地用于例如在PHY数据率（data rate，数据速率）实际变化之前修改编码器比特率，从而潜在地避免视频数据过度缓冲。

在根据本发明的一实施方式中，估计的吞吐量表306或等同物以动态方式计算，通常如步骤512所示。步骤512可在所示方法的其他点处进行，在步骤512中，估计的目标编码器速率在图3所示的一个或多个吞吐量指标302的变化之后被更新。在所公开的实施方式中，在步骤512中更新Tr值之后，重复步骤504。因此，在该实施方式中，对编码器比特率的调整可在新的或未决PHY数据率选择之后，或在可用吞吐量的指标改变之后进行。

除编码器比特率参数之外，或代替编码器比特率参数，可使用估计的信道吞吐量信息来调整其他视频编码参数，例如，帧速率或不同帧类型的使用。例如，对于低于特定阈值的估计的信道吞吐量或预期PHY数据率，视频编码过程中帧内预测的使用可能会受到限制。对于这种估计的信道吞吐量或PHY数据率，可指示视频编码器更充分利用帧间预测，以提高信道利用率。其他这样的实施方式稍后结合图10进行描述。

图6示出了根据本发明实施方式的基于平均传输队列等待时间的编码器比特率自适应调整方法的实施方式。在具有相对恒定编码比特率的视频流传输期间使用所公开的方法（步骤600）。在这种视频流传输期间，传输装置的MAC传输队列长度/等待时间通常随着信道容量的降低而增加。尽管所示方法对单个视频流进行操作，但本方法同样也适用于将多个视频流传输给一个或多个接收装置。在这些实施方式中，传输队列长度可按视频流和/或按装置进行跟踪。进一步，图6所示的方法可单独使用，和/或与其他自适应编码方法和系统（包括上文的新型方法）结合使用。

现参照步骤602，对MAC传输数据队列进行监控，以生成/保持用于一部分视频流的平均传输队列等待时间的表示。步骤602的示例性实施方式如图9所示。接下来，在步骤604中，将平均传输队列等待时间（或其表示）与预定阈值相比较。预定阈值可反映（例如）最大容许队列长度，最大容许队列长度之外的视频数据在特定信道状态下可能会丢失或出现不能接受的延迟。同样，预定阈值可反映最小容许队列长度（可能表示无线信道吞吐量未充分利用）或平均容许队列长度。

如果在步骤604中确定平均传输队列等待时间超过预定阈值，在步骤606中调整编码比特率（或相关编码参数）。例如，编码比特率可根据需要降低或提高，以将传输队列长度减小或增加到期望水平。如果在步骤604中确定平均传输队列等待时间没有超过预定阈值，或在步骤606之后，方法返回到步骤602，以持续监控传输数据队列。

在本方法的一实施方式中，如果在步骤606中对视频流的编码比特率进行了调整，则可选地，在步骤608中将平均传输队列等待时间的先前指标齐平（flush）。可考虑步骤608例如还可通过发送侧信道吞吐量指标和/或来自接收视频流的装置的反馈的变化而触发。

图7为示出根据本发明实施方式的编码器比特率自适应减小方法的流程图。如步骤700所示，首先确定平均传输队列等待时间值。接下来，在步骤702中，将该值与预定最大容许延迟阈值相比较。

如果平均传输队列等待时间值小于预定最大容许延迟阈值，不对编码器比特率（Er）进行调整，如步骤708所示。如果发现平均传输队列等待时间值超过预定最大容许延迟阈值，本方法通过计算（或者，在有预定Er数据的情况下，检索）可能减小传输队列等待时间的新编码器比特率（Er'）而继续进行。随后，在步骤706中，调整用于视频流的编码器比特率，以与新的编码器比特率Er'匹配，从而有效降低视频流的比特率，以减少平均传输队列等待时间。

图8为示出根据本发明实施方式的编码器比特率自适应增加方法的流程图。如步骤800所示，首先确定平均传输队列等待时间值。接下来，在步骤802中，将该值与预定最小容许延迟阈值相比较。

如果平均传输队列等待时间值大于预定最小容许延迟阈值，不对编码器比特率（Er）进行调整，如步骤808所示。如果发现平均传输队列等待时间值小于预定最小容许延迟阈值，本方法通过计算（或者，在有预定Er数据的情况下，检索）可能增加传输队列等待时间的新编码器比特率（Er'）而继续进行。随后，在步骤806中，调整用于视频流的编码器比特率，以与新的编码器比特率Er'匹配，从而有效增加编码视频的比特率，提高视频流的典型质量，并增加平均传输队列等待时间，以更充分利用相关无线信道的带宽。

图7和图8的方法中的Er'的值可被选择，例如，从而将传输队列等待时间与最大和最小容许队列延迟阈值之间的“平均容许延迟”阈值相匹配。另外，平均传输队列等待时间的统计信息可按访问类别和/或业务ID或等同物而保留。进一步，为了将使用率振荡的可能性或频率降到最低，可实施所公开的方法，使编码参数仅允许进行周期性变化。

图9为示出根据本发明实施方式的采用传输排队模型的信道状态预测方法的流程图。可在步骤602（监控MAC传输数据队列，以生成用于一部分视频流的平均传输队列等待时间的表示）的示例性实施方式中使用所示方法。

首先参照步骤900，编码视频流中的单个或聚合视频包被用时间的表示进行标记，在该时间处各个包被生成或被提交，以在无线信道上传输。在一实施方式中，例如，MAC协议数据单元（MPDU）等被用报头的传输描述符部分的附加字段进行标记，以跟踪帧提交时间。帧提交时间用于计算帧提交与传输完成/确认之间的延迟（包括，例如，帧间间隔、任何重传时间、B/ACK持续时间和保护持续时间）。

随后，在步骤902中，视频包（包括被标记的视频包）在无线信道上传输，以由视频装置接收。接下来，方法进入步骤904，通过将帧提交时间与相关的传输确认表示（指标）相比较来计算被标记的视频包的传输延迟。计算出的传输延迟随后用于步骤906中，以生成和/或保持与一个或多个视频流相关的平均传输队列延迟信息。可对未成功传输（例如，包终止之前或尝试最大次数的重传之后没有收到确认）的包自动分配延迟值。延迟值例如可与相关的媒体帧持续时间相对应。

除自适应编码数据率调整和前述的本发明的替代实施方式（例如，改变帧速率或预测帧的使用/频率）之外，可考虑根据本发明的信道吞吐量估计可被用于额外或替代目的。例如，根据本发明的信道吞吐量估计可用于控制或修改无线服务质量（QoS）参数、CDMA的使用或其他编码开销，安排解码器配置的变化（例如，随编码器比特率的变化或预测帧的使用而变化），限制视频编码处理中帧间/帧内预测的使用，自适应地改变显示模式配置等。

现参照图10，示出了响应于例如编码器比特率的未决变化而调度视频流转换的各种示例性方法。这种调度可用于将编码参数、传输参数等的变化产生的视觉影响降到最低。在所示实施方式中，调度操作在识别（步骤1000）新的或未决PHY数据率选择和/或改变编码器参数之后进行。可替代地，步骤1000可包括单独检验诸如文中所述的固定和/或可变的阈值。

如果时间允许，对视频流转换进行调度可包括评估各种可用传输方法和配置，诸如下述的传输方法和配置。可替代地，转换可被立即调度，并且可包括对应丢弃的先前传输的视频包的识别（假定相关解码器无法进行该确定）。

具体如步骤1002所示，传输装置（可能与接收装置结合使用）确定用于转换的调度（时间安排）的相关视频流的适当时间或位置。如框1004和1006所示，这种调度可包括检验接收装置缓冲器和/或至少部分基于信道恶化/改善率。

调度视频流转换以适应运行条件的变化可通过各种方法或方法组合来实现，例如，框1008、1010、1012和1014所示的方法。在框1008的示例性实施方式中，转换视频流包括选择性地向接收装置传输或强加内帧（intra-frame）/流，以在例如编码处理、传输参数等的变化可造成视频流临时中断时改进解码处理。应注意的是，帧内预测和帧间预测之间的切换一般可根据步骤的功能而进行。在其他实施方式中，这些各运行模式之间的切换可通过一系列的逐步、逐渐变化而递增式进行，以达到转换的预期平滑度。运行模式之间切换的各种示例方法在作为参考纳入本文的一些文件中有所描述。

在其他实施方式中，接收装置的解码功能可用于传输最后接收的内帧，直到接收到下一个内帧，或开始其他可用错误隐藏动作。可替代地，或组合地，传输装置可对视频流的选择部分进行重传。在该实施方式中，优选地，接收装置的解码功能可进一步丢弃视频流的特定接收部分（例如，以减少转换期间可能产生的解码错误的可能传输）或进行其他可用错误隐藏动作。

如框1010所示，调度视频流转换可包括改变传输装置的传输队列的特性和/或内容。例如，排队视频包的传输可临时中止。可替代地，可识别特定视频包（例如，与内帧对应的视频包），以进行重传，可能情况下，用于代替传输队列中的其他视频包。

在框1012的实施方式中，视频流的转换可包括对视频包重新编码或转码，以在转换期间传输。例如，可对编码视频流中的所选运动补偿信息进行重新编码或转码，以补偿可能丢失、丢弃或延迟的包。

在另一实施方式中，如框1014所示，转换过程可包括转换与用于现用或默认视频流的源视频相关的单独视频流。该单独视频流例如可包括源视频的以高于或低于现用视频流的分辨率编码的相关部分。

应注意的是，本文的各个模块和/或电路（例如，编码模块和/或电路、解码模块和/或电路、编码器比特率自适应模块和/或电路等）可为单个处理装置或多个处理装置。这种处理装置可为微处理器、微控制器、数字信号处理器、微型计算机、中央处理器、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路、模拟电路、数字电路，和/或基于操作指令操作信号（模拟和/或数字）的任何装置。操作指令可存储于存储器内。存储器可为单个存储装置或多个存储装置。这种存储装置可为只读存储器（ROM）、随机存取存储器（RAM）、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存，和/或存储数字信息的任何装置。应注意的是，处理模块通过状态机、模拟电路、数字电路和/或逻辑电路实施其一个或多个功能时，存储对应操作指令的存储器可嵌入包括状态机、模拟电路、数字电路和/或逻辑电路的电路中。在该实施方式中，存储器存储并且与其耦合的处理模块执行与本文所示和/或所述的至少某些步骤和/或功能对应的操作指令。

还应注意的是，任何图中的，或本文所述的各个模块、电路、功能块、部件、装置等之间的任何连接或耦合可在不同实施方式中以不同方式实施。例如，在一实施方式中，这种连接或耦合可为其间的直接连接或直接耦合。在另一实施方式中，这种连接或耦合可为其间的间接连接或间接耦合（例如，通过其间的一个或多个中介部件间接连接或间接耦合）。当然，一些其他实施方式可将其中的这种连接或耦合进行某种组合，使某些连接或耦合为直接的，而其他为间接的。只要不脱离本发明的范围和主旨，模块、电路、功能块、部件、装置等之间的通信耦合可以不同方式实现。

上文通过图解特定功能的执行及其关系的方法步骤对本发明的各个方面进行了说明。本文对这些功能组成框和方法步骤的边界和顺序随机定义，以便于说明。只要特定功能和关系以适当方式执行，可定义替代边界和顺序。因此，任何这种替代边界或顺序都未脱离本发明的范围和主旨。

上文通过图解特定重要功能的功能组成框对本发明的各个方面进行了说明。这些功能组成框的边界随机定义，以便于说明。只要特定重要功能以适当方式执行，可定义替代边界。同样，本文还可随机定义流程图框，以对特定重要功能进行图解。在被使用的程度上，流程图框的边界和顺序可以以其他方式定义，并仍执行特定重要功能。因此，功能组成框与流程图框和顺序的这种替代定义并未脱离本发明的范围和主旨。

本领域普通技术人员还应理解的是，本文所述的功能组成框和其他图解框、模块和部件，可按所示方式实施，或通过离散部件、专用集成电路、适当处理器执行软件等，或其任何组合来实施。

另外，本文通过上述实施方式对本发明的各个方面进行了详细说明，以达到简明和理解的目的，但本发明并不限于这些实施方式。本领域普通技术人员应理解的是，只要不脱离附加权利要求的范围所限制的本发明的主旨和范围，可进行各种改变和修改。

Claims (22)

1.一种用于对无线信道上传输的视频数据进行自适应编码的方法，包括：

接收无线信道的可用吞吐量的至少一个发送侧指标；

基于所述指标生成所述无线信道的未来吞吐量的估值；并且

响应于所述估值来改变至少一个编码参数。

2.根据权利要求1所述的方法，其中，所述编码参数为编码器比特率。

3.根据权利要求1所述的方法，其中，所述无线信道的可用吞吐量的指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。

4.根据权利要求3所述的方法，其中，生成所述无线信道的未来吞吐量的估值包括：为多个被支持的调制和编码方案（MCS）中的每个生成所述无线信道的吞吐量的估值，每个MCS具有相关联的PHY数据率。

5.根据权利要求4所述的方法，其中，为多个被支持的MCS中的每个生成所述无线信道的吞吐量的估值由至少一个所述指标的变化触发。

6.根据权利要求4所述的方法，其中，生成所述无线信道的未来吞吐量的估值包括：生成用于至少一个MCS/PHY数据率的目标编码器比特率。

7.根据权利要求6所述的方法，其中，改变至少一个编码参数的步骤包括：当所述无线信道正在使用或即将使用所述至少一个MCS/PHY数据率时，将当前编码器比特率与至少一个MCS/PHY数据率的目标编码器比特率相比较。

8.根据权利要求7所述的方法，进一步包括：如果当前编码器比特率大于目标编码器比特率，降低当前编码器比特率，或者，如果当前编码器比特率小于目标编码器比特率，提高当前编码器比特率。

9.根据权利要求1所述的方法，其中，基于所述发送侧指标生成所述无线信道的未来吞吐量的估值的步骤还利用来自接收所述无线信道上的编码视频数据的装置的反馈信息。

10.根据权利要求1所述的方法，进一步包括：

识别所述至少一个编码参数的新的或未决改变；并且

利用所述至少一个编码参数的改变来调度所述视频数据的编码的转换，所述转换包括：修改所述视频数据的编码和/或传输，以减轻改变的视觉影响。

11.根据权利要求10所述的方法，其中，所述转换包括：修改帧内编码或帧间编码的使用。

12.一种用于对无线信道上传输的视频流进行自适应编码的方法，包括：

以第一PHY数据率接收所述无线信道的可用吞吐量的至少一个发送侧指标；

利用所接收的指标生成第二PHY数据率下的所述无线信道的吞吐量的估值；

识别所述第二PHY数据率下运行的无线信道的转换或未决转换；并且

基于所述估值改变所述视频流的编码参数。

13.根据权利要求10所述的方法，其中，所述编码参数为编码器比特率。

14.根据权利要求13所述的方法，其中，所述视频流的所述编码比特率的改变先于以所述第二PHY数据率进行视频流传输。

15.根据权利要求12所述的方法，其中，所述无线信道的可用吞吐量的至少一个发送侧指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。

16.根据权利要求15所述的方法，其中，利用所接收的指标生成所述第二PHY数据率下的所述无线信道的吞吐量的估值包括：生成用于所述第二PHY数据率的目标编码器比特率，并且

其中，改变所述视频流的编码参数的步骤包括：当所述无线信道正在使用或即将使用所述第二PHY数据率时，将当前编码器比特率与目标编码器比特率相比较，如果所述当前编码器比特率大于所述目标编码器比特率，则降低所述当前编码器比特率。

17.一种设备，包括：

用于支持无线信道上的视频流传输的网络接口；

用于对提供给所述网络接口的视频流进行编码的编码器；以及

能够用于自适应地调节所述编码器的编码比特率的编码器比

特率自适应电路，其中，所述编码比特率基于通过无线信道吞吐量的至少一个发送侧指标获得的无线信道吞吐量的估值来调整。

18.根据权利要求17所述的设备，其中，无线信道吞吐量的至少一个发送侧指标包括信道带宽信息、确认策略参数、打包器参数、信道负荷信息和信道增益估值中的至少一个。

19.根据权利要求18所述的设备，其中，无线信道吞吐量的估值还通过来自接收所述无线信道上的编码视频数据的装置的反馈信息而获得，所述反馈信息包括误码率或信噪比数据中的至少一个。

20.根据权利要求17所述的设备，其中，无线信道吞吐量的估值用于生成目标编码器比特率，自适应地调节所述编码器的编码比特率包括：将当前编码器比特率与所述目标编码器比特率相比较，如果所述当前编码器比特率大于所述目标编码器比特率，降低所述当前编码器比特率。

21.根据权利要求17所述的设备，其中，所述设备包括无线电子狗，所述设备还包括用于向用于编码的所述编码器提供视频流数据的标准化音频/视频接口。

22.根据权利要求21所述的设备，其中，所述标准化音频/视频接口符合HDMI标准。

Images