CN104813633B - 用于传输视频流的方法 - Google Patents

Abstract

一种用于在网络(5)中传输视频流的方法，所述方法由视频传输设备(3)执行并且包括：‑从源通信终端(2)接收第一视频流(V_IN)；‑确定所述第一视频流(V_IN)的质量等级(Q)，以及‑将基于所述第一视频流(V_IN)的第二视频流(V_OUT)传输至目的地通信终端(4)，其中：‑如果所述质量等级(Q)高于预先确定的阈值，则所述第二视频流(V_OUT)的帧包括所述第一视频流(V_IN)的帧，以及‑如果所述质量等级(Q)低于所述预先确定的阈值，则所述方法包括确定所述第一视频流(V_IN)的帧的满足质量标准的部分，所述第二视频流(V_OUT)的帧包括所述部分和第三视频流(V_SUB)的帧。

Description

用于传输视频流的方法

技术领域

本发明涉及网络中的视频流的传输领域。

背景技术

在网络中传输视频流时，当不能再保证预期的等级时，多种用来确保质量等级或做出反应的技术方案是公知的。例如，在多媒体子系统(IMS)或LTE网络中，在呼叫建立期间，编解码器被协商(SDP协商)以在终端用户和网络之间达成协议。在媒体服务器(MRF网络单元、IMS的媒体资源功能)内或最终用户终端自身中，已知的一些同步机制、预测或校正算法可被用于维护期望的质量等级。例如使用实时控制协议(RTCP)以及包丢失隐藏(PLC)的音频和视频同步。然而，这些不同的技术方案受到所述网络的物理能力的限制。

假如视频流的质量是不足的，可能的反应为取消该视频流的传输(并且仅传输音频)或用预先确定的视频流代替该视频流，例如替身(avatar)。然而，在该情况下，所述用户没有关于所述视频流的信息。

发明内容

因此，本发明的实施例的一个目的是提出一种用于在网络中传输视频流的改进的方法，其未显示出现有技术方法的内在缺点。

依据本发明的实施例，该目的通过一种用于在网络中传输视频流的方法来达成，所述方法由视频传输设备执行并且包括：

-从源通信终端接收第一视频流，

-确定所述第一视频流的质量等级，以及

-将基于所述第一视频流的第二视频流传输至目的地通信终端，其中：

-如果所述质量等级高于预先确定的阈值，则所述第二视频流的帧包括所述第一视频流的帧，

-如果所述质量等级低于所述预先确定的阈值，则所述方法包括确定所述第一视频流的帧的满足质量标准的部分，所述第二视频流的帧包括所述部分和第三视频流的帧。

相应地，本发明的实施例涉及视频传输设备，所述视频传输设备包括：

-用于从源通信终端接收第一视频流的装置，

-用于确定所述第一视频流的质量等级的装置，

-用于将基于所述第一视频流的第二视频流传输至目的地通信终端的装置，以及

-用于确定所述第一视频流的帧的满足质量标准的部分的装置，如果所述质量等级低于所述预先确定的阈值，则该装置被激活，其中

-如果所述质量等级高于预先确定的阈值，则所述第二视频流的帧包括所述第一视频流的帧，

-如果所述质量等级低于所述预先确定的阈值，则所述第二视频流的帧包括所述部分和第三视频流的帧。

以这样的方法，当质量足够时，所述第一视频流可被传输至所述目的地通信终端而无需修改。相反，当质量不足时，所述第一视频流仅有一部分——与替代视频流结合——被传输至所述目的地通信终端。由于被选择的部分满足质量标准，可以向目的地通信终端的用户(至少部分地)隐藏质量的降级。此外，由于向所述用户提供了替代视频流，用户的注意力可以从所述部分P相对于原视频减小的尺寸转移。因此，即使在质量降级时，用户仍然可以享受流畅的满意的视觉体验。

在实施例中，所述第一视频流包括第一图像数据和第二图像数据，其中所述第一图像数据包含帧的完整区域的数据，所述第二图像数据包含相对于前一帧的帧的区域的改变的数据，如果对于预先确定的时间段已经接收到用于一个区域的第二图像数据，那么该区域满足所述质量标准。

如果所述质量等级低于所述预先确定的阈值，则所述第二视频流的帧可包括在由所述第三视频流的元数据所指定的位置的所述部分。

如果所述质量水平低于所述预先确定的阈值，则所述第二视频流的帧可包括在通过所述第三视频流的分析而确定的位置的所述部分。

如果所述质量等级低于所述预先确定的阈值，则所述第二视频流的帧包括在预先确定的位置的所述部分。

在上述三个示例中，所述部分可位于感兴趣的区域。

第三视频流可包括广告。

在实施例中，可根据源通信终端或目的地通信终端的标识符来确定所述第三视频流。相应地，提供个性化。

例如，可根据从社交网络服务可得(available from)的与所述标识符相关的数据来确定所述第三视频流。

在实施例中，对于所述第一视频流的连续帧，重复地确定所述第一视频流中的帧的满足质量标准部分。相应地，对于连续帧，被确定的部分可随时间变化。

实施例涉及视频会议。相应地，所述方法可包括：

-从各个通信终端接收多个第一视频流；

-为所述第一视频流中的至少一个确定质量等级；

-将基于所述第一视频流的第二视频流传输至所述通信终端，其中：

-如果所述质量等级高于预先确定的阈值，则所述第二视频流的帧包括所述所述第一视频流中所述至少一个的帧，并且

-如果所述质量等级低于所述预先确定的阈值，则所述方法包括确定所述至少一个的第一视频流的帧满足质量标准的部分，所述第二视频流的帧包括所述部分以及第三视频流的帧。

例如，第二视频流可以是基于所述第一视频流的拼接(mosaic)。在另一实施例中，第二视频流可通过选择所述第一视频流中的一个来确定，例如，选择参与者中说话最大声的那个。

本发明的实施例还涉及计算机程序，例如在计算机可读介质上的计算机程序，其包括当计算机执行所述程序时，用于依据本发明的实施例执行方法的指令。

附图说明

通过参阅实施例的下列描述并结合附图，以上所述以及本发明的其他目的和特征将更加明显并且本发明自身将被更好的理解，其中：

图1为系统原理图，其中依据本发明的实施例用于传输视频流的方法可被实现；

图2为依据本发明的实施例用于传输视频流的方法的流程图；

图3、4和5示出了视频流的部分与替代视频流相结合的多个示例；

图6为系统原理图，其中可实现依据本发明的实施例用于传输视频流的方法；

图7示出了在图6的所述系统中视频流的一部分与替代视频流相结合的示例。

具体实施方式

需注意图中所示多种单元的功能可以通过使用专用硬件或能执行软件的硬件结合适当的软件来提供。当由处理器提供时，提供该功能的处理器可能是单独的专用处理器、单独的共享处理器或部分独立处理器被共享的多个独立处理器。此外，术语“处理器”或“控制器”的明确使用不应被理解为涉及排除能执行软件的硬件，并且应理解为其包括但不限于数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用来存储软件的只读存储器(ROM)、随机存储器(RAM)以及非易失存储器。其余常规和/或定制硬件设备也可能包括在内。它们的功能可能通过对程序逻辑的操作来执行，也可能通过专用逻辑器件、或通过程序控制与专用逻辑器件的交互作用、甚至手动来进行执行，具体实现方式可以由实施者依照其个人对上下文的理解来进行选择。

需要进一步指出，对于本领域技术人员来说本文中任意的方框图描绘的是体现本发明原理的电路的概念性视图。类似地，需要指出所有流程图表、流程图、状态转移图、伪码及类似物均表述了实质上位于计算机可读媒体中上并可以被计算机或处理器执行的各种程序，而不论此类计算机或处理器是否明确地被表露。

图1为系统1的原理图，其中依据本发明的实施例用于传输视频流的方法可被实施。所述系统1包括由网络5连接的通信终端2、视频传输设备3和通信终端4。所述系统1还可包括替代视频服务器6和视频质量评估设备7。

所述系统1允许经由视频传输设备3通过网络5从通信终端2(其作为源终端)传输源视频流V_S至通信终端4(其作为目的地终端)。可使用会话发起协议(SIP)在IP多媒体子系统中发起视频流V_S的传输。但是，本发明的实施例并不仅限于该示例。

通信终端2可为存储可由用户请求的多个视频流的多媒体服务器。通信终端2还可作为用户终端，例如，能够为视频通信捕获视频并通过网络发送所捕获的视频的终端，例如PC或智能手机。

通信终端4可为能够接收将被显示的视频流的用户终端，例如PC、智能手机和机顶盒。

视频传输设备3位于通信终端2和通信终端4之间的网络5中。由视频传输设备3接收的视频流V_IN可能不同于源视频流V_S，例如因为在网络5中的包丢失或延迟。也就是说，网络5中可用的视频流V_IN可能是失真的，即，质量可能是降低的。

为了考虑到可能的质量降级，传输设备3确定视频流V_IN的质量等级Q。在实施例中，视频传输设备3自己评估质量等级Q。在另一实施例中，如图1中由虚线所示，视频传输设备3通过咨询视频质量评估设备7来确定质量等级Q，所述视频质量评估设备7被配置用于评估视频流V_IN的质量并且将质量等级Q提供至视频传输设备3。

可通过任意适当的视频质量评估方法来评估质量等级Q。在实施例中，其中基于I-片(I-Slice)(其包含帧的完整区域的数据)和P-片(P-Slice)(其包含相对于前一帧的帧的区域的改变的数据)来编码源视频流V_S，如果对于预先确定的持续时间用于帧的每个区域的P-片已经被接收，那么质量等级Q可以反映出足够的质量，否则可以反映出不足的质量。

从视频传输设备3传输至通信终端4的视频流V_OUT取决于被确定的质量等级Q：

-如果质量等级Q高于预先确定的质量阈值Q₀，则视频流V_OUT以其整体包括视频流V_IN(例如，视频流V_OUT等同于视频流V_IN)。

-如果质量等级Q低于所述质量阈值Q₀，则视频传输设备3通过将视频流V_IN中满足质量标准的部分与替代视频流V_SUB相结合来组成视频流V_OUT。用于该结合的多种可能将随后参考图3、4和5进行描述。

替代视频流V_SUB可以是存储在视频传输设备3中的视频。在由图1中的虚线示出的另一实施例中，替代视频流V_SUB被替代视频服务器6提供给视频传输设备3。

替代视频流V_SUB可包含广告。所述广告取决于通信终端2或通信终端4的用户的ID。例如，替代视频服务器6基于表明被选择的广告适合于该用户的配置信息(profileinformation)来选择广告。替代视频流V_SUB还可包括以类似于个性化回铃音功能(PersonalRing Back Tone function)的视频化方式由通信终端2或通信终端4的用户所预先选择的视频。替代视频流V_SUB还可以包括根据从社交网络服务可得的与通信终端2或4的用户相关的数据来确定的视频。例如，如果通信终端2的用户已经在社交网络服务上分享了视频，则该视频可以被包括在替代视频流V_SUB中。

图2为由视频传输设备3执行的用于传输视频流的方法的流程图。

视频传输设备3从通信终端2接收视频流V_IN(步骤S1)，并且确定视频流V_IN的质量等级Q(步骤S2)。被确定的质量等级Q与阈值Q₀相比较(步骤S3)。

如果Q>Q₀(或者Q≥Q₀)，那么视频传输设备3将视频流V_IN作为输出视频流V_OUT来使用(步骤S4)。

相反，如果Q<Q₀(或Q≤Q₀)，那么视频传输设备3确定至少视频流V_IN中满足质量标准的一部分P(步骤S5)，并且通过将所述部分P与替代视频流V_SUB相结合来组成视频流V_OUT(步骤S6)。

在这两种情况下，视频流V_OUT均被传输至通信终端4(步骤S7)。

如图2中从步骤S7至步骤S1的箭头所示，在传输视频流的同时，步骤S1至S7被连续不断地执行。因此，整个视频流的传输可由V_IN的质量是令人满意的(Q≥Q₀)并且V_OUT等同于V_IN的时间段和V_IN的质量是不令人满意的(Q≤Q₀)并且V_OUT是V_IN的部分与替代视频流V_SUB的结合的结果的其他时间段来组成。

当基于I-片(包含帧的完整区域的数据)和P-片(包含相对于前一帧的帧的区域的改变的数据)编码源视频流时，用于确定视频流V_IN的部分P的质量标准可如下所述：如果在某一时间T，自可配置的并且小于两个完整的图像(I-片)之间的时间间隔的数毫秒以来，用于某区域的P-片已经被周期性地接收，那么帧的该区域被选择作为满足质量标准的部分P。在已接收到用于多个区域的P-片的情况下，可以选择最大的区域。当然，可以使用其他的质量标准。

图3示出了通过将视频流V_IN的部分与替代视频流V_SUB相结合来组成视频流V_OUT的第一示例。图3示出了视频流V_IN的帧F1，其中两个区域R1和R2满足质量标准。最大的一个(该示例中的R1)被选择作为将被包括于视频流V_OUT中的部分P。图3示出了替代视频流V_SUB的帧F2，其至少包括感兴趣的区域A。区域A例如可由包括于所述替代视频流V_SUB中的元数据指定。在另一示例中，区域A可由视频传输设备3通过分析替代视频流V_SUB来确定，例如基于视频流V_IN的运动矢量。最后，图3示出了通过在区域A的位置在帧F2上叠置帧F1的P部分而组成的视频流V_OUT的帧F3。如果区域A与部分P具有不同的尺寸，则这可能包含增大或减小部分P的尺寸。

对于连续的帧，该结合被重复。对于每一帧，可分别地确定所述部分P。因此，包括在视频流V_OUT之中的视频流V_IN的部分P可能随着时间变化。例如，如果停止接收用于区域R1的P-片，但是没有停止用于区域R2的P-片，那么可以选择区域R2来代替区域R1作为部分P并且包括在视频流V_OUT之中。

图4示出了通过将视频流V_IN的部分与替代视频流V_SUB相结合来组成视频流的第二示例。图4示出了视频流V_IN的帧F4，其具有被选择包括在视频流V_OUT之中的部分P。图4示出了替代视频流V_SUB的帧F5。最后，图4示出了通过在例如黑色背景的背景上添加帧F4的部分P和帧F5而组成的视频流V_OUT的帧F6。在该示例中，部分P与帧F5在帧F6中部分地重叠，但是他们可以相邻而没有任何重叠。取决于帧F5和F6的相对尺寸，帧F5的尺寸可被减小至适合帧F6同时为部分P保留足够的空间。

图5示出了通过将视频流V_IN的部分与替代视频流V_SUB相结合来组成视频流V_OUT的第三示例。图5示出了视频流V_IN的帧F7，其具有被选择包括在视频流V_OUT之中的部分P。在这种情况下，部分P覆盖了除未被选择的部分P’之外的帧F7的大部分。图5示出了替代视频流V_SUB的帧F8。最后，图5示出了通过由帧F8代替帧F7的未被选择的部分P’而组成的视频流V_OUT的帧F9。取决于未被选择的部分P’和帧F8的相对尺寸，帧F8的尺寸可以被增大或减小以适应所述未被选择的部分P’。

已经参考个别的帧对图3至5的每一个示例进行了描述。需理解在视频流V_IN质量降级时(Q<Q₀)，以类似的方式组成视频流V_OUT的连续帧。

在系统1中，当质量足够(Q>Q₀)时，视频流V_IN被传输至用户终端4而无需修改。相反，当质量不足够(Q<Q₀)时，视频流V_IN仅有一部分与替代视频流V_SUB相结合并被传输至通信终端4。因为被选择的部分满足质量标准，所以可以向通信终端4的用户(至少部分地)隐藏质量的降级。此外，由于向用户提供了替代视频流，用户的注意力被从相对于源视频尺寸被减小的部分P转移。因此，即使在质量降低时，通信终端4的用户仍可享受流畅的令人满意的观影体验。

到此为止，已经描述了从通信终端2至通信终端4的视频流的传输。在通信终端2与通信终端4都是能够传输和接收例如双向视频会议的视频流的用户终端的情况下，视频传输设备3可施加如上描述的相同的方法至从通信网络4接收的视频流，以便确定将被传输至通信终端2的视频流。

已经通过两个通信终端之间的通信描述了图1中的系统1。然而，如图6中所示出的，本发明的实施例还可适用于多个(即多于2个)通信终端之间的通信。在图6中，与图1中相同的引用指相同的或相似的组件。

图6中的系统1包括经由视频传输设备3通过网络5连接的多个通信终端2a、2b、2c、2d。

每个通信终端2a、2b、2c、2d发送各自的源视频流V_Sa、V_Sb、V_Sc、V_Sd至视频传输设备3。由于例如网络5中的包丢失和延迟，由视频传输设备3所接收的视频流V_INa、V_INb、V_INc、V_INd可不同于源视频流V_Sa、V_Sb、V_Sc、V_Sd，换句话说，质量可能是降级的。

视频传输设备3充当视频会议服务器并且传输视频流V_{OUT_M}至每个通信终端2a、2b、2c、2d。

在一个实施例中，通过例如基于哪个的参与者说话最大声选择视频流V_INa、V_INb、V_INc、V_INd中的一个，并施加图2中的方法至被选择的视频流来确定视频流V_{OUT_M}。

在图6的实施例中，视频传输设备3传输相同的视频流V_{OUT_M}至每个通信终端2a、2b、2c、2d。然而，在另一实施例中，可以传输不同的视频流至每个通信终端2a、2b、2c、2d。

在另一实施例中，如图7中示出的，通过将图2的方法施加至视频流V_INa、V_INb、V_INc、V_INd中的至少一个，并且随后通过将获得的视频流拼接(mosaic)来确定视频流V_{OUT_M}。优选地，并行地施加图2中的方法至视频流V_INa、V_INb、V_INc、V_INd中的每一个。因此，在图7的示例中，视频流V_INa、V_INc和V_INd的质量等级被判定为足够的，而视频流V_INb的质量等级被判定为不足够的。因此，视频流V_{OUT_M}的拼接包括视频流V_INa、V_INc和V_INd中每一个的完整帧和视频流V_INb的帧的一部分与替代视频流的帧相结合。该结合的执行可以例如如上参考图3至5中的一个所述。

可借助于专用的硬件和/或软件或两者的任意组合来执行所述方法的实施例。

虽然上文结合特定的装置对本发明的原理进行了描述，需充分理解该描述仅作为举例来说而非对如所附权利要求所定义的本发明的领域的限制。

Claims (11)

1.一种用于在网络(5)中传输视频流的方法，所述方法由视频传输设备(3)执行并且包括：

-从源通信终端(2；2a、2b、2c、2d)接收(S1)第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)，其中所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)可能不同于从所述源通信终端(2；2a、2b、2c、2d)发送的源视频流(V_S),

-确定(S2)所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的质量等级(Q)，

-将基于所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的第二视频流(V_OUT)传输(S7)至目的地通信终端(4；2a、2b、2c、2d)，其中：

-如果所述质量等级(Q)高于预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的帧(F3、F6、F9)包括所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)，

-如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述方法包括确定(S5)所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)的满足质量标准的部分(P)，所述第二视频流(V_OUT)的帧(F3、F6、F9)包括所述部分(P)和第三视频流(V_SUB)的帧(F2、F5、F8)。

2.如权利要求1所述的方法，其中所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)包括第一图像数据和第二图像数据，其中所述第一图像数据包含帧的完整区域的数据，所述第二图像数据包含相对于前一帧的帧的区域的改变的数据，如果对于预先确定的时间段已经接收到用于区域(R1、R2)的第二图像数据，则所述区域(R1、R2)满足所述质量标准。

3.如权利要求1和2中任一项所述的方法，其中，如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的帧(F3)包括在由所述第三视频流(V_SUB)的元数据指定的位置的所述部分(P)。

4.如权利要求1和2中任一项所述的方法，其中，如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的所述帧(F3)包括在通过所述第三视频流(V_SUB)的分析而确定的位置的所述部分(P)。

5.如权利要求1和2中任一项所述的方法，其中，如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的所述帧(F3、F6)包括在预先确定的位置的所述部分(P)。

6.如权利要求1和2中任一项所述的方法，其中，根据所述源通信终端(2；2a、2b、2c、2d)或目的地通信终端(4；2a、2b、2c、2d)的标识符来确定所述第三视频流(V_SUB)。

7.如权利要求6所述的方法，其中，根据从社交网络服务可得的与所述标识符有关的数据来确定所述第三视频流(V_SUB)。

8.如权利要求1和2中任一项所述的方法，其中，对于所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的连续的帧，重复地确定(S5)所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)的满足质量标准的部分(P)。

9.如权利要求1和2中任一项所述的方法，包括：

-从各个通信终端(2a、2b、2c、2d)接收多个第一视频流(V_INa、V_INb、V_INc、V_INd)；

-确定所述第一视频流(V_INa、V_INb、V_INc、V_INd)中的至少一个的质量等级(Q)；

-将基于所述第一视频流(V_INa、V_INb、V_INc、V_INd)的第二视频流(V_{OUT_M})传输(S7)至所述通信终端(2a、2b、2c、2d)，其中：

-如果所述质量等级(Q)高于预先确定的阈值(Q₀)，则所述第二视频流(V_{OUT_M})的帧(F3、F6、F9)包括所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)中的所述至少一个的帧(F1、F4、F7)，

-如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述方法包括确定所述至少一个第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)的满足质量标准的部分(P)，所述第二视频流(V_{OUT_M})的帧(F3、F6、F9)包括所述部分(P)和第三视频流(V_SUB)的帧(F2、F5、F8)。

10.如权利要求9所述的方法，其中，所述第二视频流(V_{OUT_M})是基于所述第一视频流(V_INa、V_INb、V_INc、V_INd)的拼接。

11.一种视频传输设备(3)，包括：

-用于从源通信终端(2；2a、2b、2c、2d)接收第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的装置，其中所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)可能不同于从所述源通信终端(2；2a、2b、2c、2d)发送的源视频流(V_S)，

-用于确定所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的质量等级(Q)的装置，以及

-用于将基于所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的第二视频流(V_OUT)传输至目的地通信终端(4；2a、2b、2c、2d)的装置，以及

-用于确定(S5)所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)的满足质量标准的部分(P)的装置，如果所述质量等级(Q)低于预先确定的阈值(Q₀)，则该装置被激活，其中，

-如果所述质量等级(Q)高于所述预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的帧(F3、F6、F9)包括所述第一视频流(V_IN；V_INa、V_INb、V_INc、V_INd)的帧(F1、F4、F7)，

-如果所述质量等级(Q)低于所述预先确定的阈值(Q₀)，则所述第二视频流(V_OUT)的帧(F3、F6、F9)包括所述部分(P)和第三视频流(V_SUB)的帧(F2、F5、F8)。