CN101198067A

CN101198067A - 多画面视频显示处理方法

Info

Publication number: CN101198067A
Application number: CNA2006101611506A
Authority: CN
Inventors: 沈灿; 刘继年; 陈重奋; 张建强; 王志英; 文海龙; 陈军
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-12-07
Filing date: 2006-12-07
Publication date: 2008-06-11

Abstract

本发明涉及一种多画面视频显示处理方法，利用服务网络控制移动终端进行多画面视频显示处理，包括以下具体步骤：A)服务网络通过无线通道发送多个实时视频流和其对应的各自显示窗口端点位于移动终端显示屏中的坐标数据；B)移动终端接收所述视频流和坐标数据、并依该坐标数据在对应的显示窗口中显示对应的视频流内容。这种多画面视频显示处理方法，通过服务网络在对应多个画面的多个视频流中发送的各自对应显示窗口端点坐标数据控制移动终端多画面显示，实现多画面业务和图文与视频共同显示，尤其适合在移动广播网络中使用。

Description

多画面视频显示处理方法

技术领域

本发明涉及移动多媒体广播或手机电视技术领域，特别涉及一种移动多媒体多画面视频显示处理方法。

背景技术

移动多媒体广播是近年来兴起的一种多媒体播放技术。通过手持的终端，在高速移动的情况下，可以观看电视。终端通过无线协议，接收到节目单，并可以选择自己有权利收看的频道，从而可以接受选择频道的多媒体数据，实现在移动终端上看电视。

移动多媒体广播服务网络发射的空中数据，被分成不同的频道，通过复用技术来分别传输，终端可以接收相关的数据，通过终端上的播放器，实现电视的正常播放。

对于同一个频道，需要发送视频数据、音频数据，视频数据被分割成一个个视频单元，视频数据可以包括1个或多个画面，从而终端可以显示多画面。

现有的实现多画面的方法有2种：

第一，把多个画面合成为一个画面，把合成后的一个画面用1个视频流传送给终端。

第二，把多个画面用多个视频流送给终端，由终端在不同的位置显示出多画面，现有的方法都是由终端决定如何显示多画面。

另外，在单画面显示一般是全屏显示或根据终端选择决定如何显示多画面，也不利于服务网络主动发送视频信息同时又不影响终端用户当前使用时的应用，如上网、浏览电子书等。

发明内容

本发明需要解决的技术问题是提供一种移动多媒体多画面视频显示处理方法，能够由服务网络控制终端进行多画面视频显示处理。

本发明的上述技术问题这样解决，提供一种多画面视频显示处理方法，其特征在于，利用服务网络控制移动终端进行多画面视频显示处理，包括以下具体步骤：

A)服务网络通过无线通道发送多个实时视频流和其对应的各自显示窗口端点位于移动终端显示屏中的坐标数据；

B)移动终端接收所述视频流和坐标数据、并依该坐标数据在对应的显示窗口中显示对应的视频流内容。

其中，所述坐标数据是用数据定义的显示窗口控制信息，在移动终端显示屏内安排若干位置大小设定的显示窗口，包括但不限制于以下两种：

(一)其中，所述端点可以是左上角和右下角。

(二)其中，所述端点也可以是右上角和左下角。

其中，所述步骤A)还发送与所述视频流对应的显示优先级。

其中，所述坐标数据和显示优先级是控制信令，由移动终端直接接收。

其中，所述视频流是多路同时发送和接收，各自的视频数据共同封装在一个频道数据中，所述坐标数据包含在所述频道数据内，通过所述无线通道中数据通道传输，移动终端接收该频道数据并对应解开取出该坐标数据。

其中，所述频道数据包括包头、视频数据、语音数据和同步数据，所述包头包括所述坐标数据；所述视频数据包括视频包头与N个视频单元，所述视频包头包括用于标识视频单元所属视频流的视频流编号和视频单元的长度，所述视频包头不包括所述坐标数据。

其中，所述频道数据包括包头、视频数据、语音数据和同步数据，所述包头不包括所述坐标数据；所述视频数据包括视频包头与N个视频单元，所述视频包头包括所述坐标数据、用于标识视频单元所属视频流的视频流编号和视频单元的长度。

其中，所述数据通道可以是一个或多个，这样可以有效满足多视频带宽要求。

本发明提供的移动多媒体多画面视频显示处理方法，通过服务网络在对应多个画面的多个视频流中发送的各自对应显示窗口端点坐标数据控制移动终端多画面显示，实现多画面业务和图文与视频共同显示，尤其适合在移动广播网络中使用。

附图说明

下面结合附图和具体实施例进一步对本发明进行详细说明。

图1是本发明频道数据传输数据格式示意图。

图2是本发明1个视频流时的对应显示模式1的示意图。

图3是本发明1个视频流时的对应显示模式2的示意图。

图4是本发明1个视频流时的对应显示模式3的示意图。

图5是本发明1个视频流时的对应显示模式4的示意图。

图6是本发明1个视频流时的对应显示模式5的示意图。

图7是本发明1个视频流时的对应显示模式6的示意图。

图8是本发明2个视频流时的对应显示模式21的示意图。

图9是本发明2个视频流时的对应显示模式22的示意图。

图10是本发明2个视频流时的对应显示模式23的示意图。

图11是本发明2个视频流时的对应显示模式24的示意图。

图12是本发明2个视频流时的对应显示模式25的示意图。

图13是本发明3个视频流时的对应显示模式31的示意图。

图14是本发明3个视频流时的对应显示模式32的示意图。

图15是本发明3个视频流时的对应显示模式33的示意图。

图16是本发明3个视频流时的对应显示模式34的示意图。

图17是本发明3个视频流时的对应显示模式35的示意图。

图18是本发明3个视频流时的对应显示模式36的示意图。

图19是本发明3个视频流时的对应显示模式37的示意图。

图20是本发明3个视频流时的对应显示模式38的示意图。

图21是本发明3个视频流时的对应显示模式39的示意图。

图22是本发明4个视频流时的对应显示模式41的示意图。

图23是本发明4个视频流时的对应显示模式42的示意图。

图24是本发明4个视频流时的对应显示模式43的示意图。

图25是本发明4个视频流时的对应显示模式44的示意图。

图26是本发明4个视频流时的对应显示模式45的示意图。

图27是本发明终端显示多画面视频的流程一示意图。

图28是本发明2个视频流分别通过坐标实现多画面显示的示意图。

图29是本发明终端显示多画面视频的流程二示意图。

具体实施方式

本发明多画面视频显示处理方法应用于终端多画面显示，属于现有的第二种方法：把多个画面用多个视频流送给终端，由终端在不同的位置显示出多画面，本发明与现有的同类方法不同的是，本发明是由服务网络通知终端显示多画面，而不是由终端自己决定，可以让终端在接收到视频后，能在不同位置显示多个画面，具体包括以下二种方法：

(一)显示模式：编码器编出多个码流，把多个码流发送给终端，同时告诉终端用什么模式显示各个视频流，终端接收到这些视频数据后，就在不同位置显示这些画面。

该方法包括以下几个方面：

(1)1个频道的数据是由包头、视频数据、音频数据组成的。

(2)视频数据包括：视频包头与多个视频单元，视频包头包括每个视频单元的视频流编号等信息，视频流编号是用来标识这个视频单元属于哪一个视频流。

(3)在包头或视频包头中传送一个多画面显示模式参数，用来指示不同视频流在屏幕上的显示位置。

(4)终端根据多画面显示模式参数，在屏幕的不同位置显示多个画面。

这种方法是通过把多个视频流封装在一个频道中，用多画面显示模式参数来标识不同视频流在屏幕上的显示的位置，可以实现1个视频流、2个视频流或2个以上的视频流同时在一个屏幕上的不同位置上显示。

本发明还提供另一种在移动广播系统中实现多画面的方法，让终端能接收到视频后，能在不同位置显示多个画面。

(二)窗口坐标：编码器编出多个码流，把多个码流发送给终端，同时告诉终端在什么位置显示各个视频流，终端接收到这些视频数据后，就在不同位置显示这些画面。

该方法包括以下几个方面：

(1)1个频道的数据是由包头、视频数据、音频数据组成的。

(3)在包头或视频包头中为每一个视频流发送一组多画面显示的坐标参数与显示优先级参数，用左上角、左下角、右上角或右下角在屏幕上的坐标之一来标识这个视频流的显示的位置。

(4)终端收到每个视频流数据及相应的显示坐标后，在屏幕的不同位置显示多个画面。

(5)显示优先级参数表示视频窗口如何覆盖，值越大优先级越高，0的优先级最低，优先级越高的图像窗口是可见的。

这种方法是通过把多个视频流封装在一个频道中，用多画面各自的显示窗口的对应坐标参数来标识不同视频流在屏幕上的显示的位置，可以实现1个视频流、2个视频流或2个以上的视频流同时在一个屏幕上的不同位置上显示。

下面分别就(一)显示模式和(二)窗口坐标作进一步详细说明：

本发明将多路视频数据封装在一个频道数据中，该频道数据，如图1所示，由包头10、视频数据11、语音数据12、同步数据13所组成。视频数据11包括：视频包头110与N个视频单元111。

视频包头110要包括对N个视频单元111的描述信息，包括：每个视频单元111的长度、视频单元111的视频流编号等信息，视频流编号是用来标识这个视频单元111属于哪一个视频流。

(一)本发明对应上述(一)显示模式的实现方法是通过显示模式参数来实现多画面，在包头10或视频包头110中传送一个多画面显示模式参数，用来指示不同视频流在屏幕上的显示位置。

如图2-7所示，给出了1个视频流时的不同显示模式，从模式1到模式6。其中，模式1是最通用的全屏幕显示模式，模式2、3、4、5与6都是采用一个小窗口显示的方法，可在屏幕上的其他空间显示字幕、图片，实现图文与视频共同显示的效果，能提供业务导航的功能。

如图8-12所示，给出了2个视频流时的不同显示模式，从模式21到模式25；如图13-21所示，给出了3个视频流时的不同显示模式，从模式31到模式39；如图22-25所示，给出了4个视频流时的不同显示模式，从模式41到模式45。这些图中的模式可以继续定义与扩展，以满足显示的需要。

该方法中终端显示多画面的流程，如图27所示，包括以下：

2701)空中接收到N个视频流的数据，根据每个视频单元的编号，分解成不同的视频流的数据。

2702)每个视频流的数据解码后，组成1路视频画面。

2703)根据多画面显示模式与视频流的编号，在屏幕的不同位置显示不同的视频流。

在上述步骤中，如果视频流的大小与显示模式给出的屏幕大小不同，视频显示的时候可以通过缩放的方法来适应屏幕的显示空间。

(二)本发明对应上述(二)窗口坐标的实现方法，如图28所示，该方法与前面方法不同的是，本发明是通过显示窗口屏幕坐标281与显示优先级来实现多画面的方法，由系统设备通知终端不同画面在屏幕上显示的位置，而不是由终端自己决定。

在包头10或视频包头110中，为每一个画面提供一个显示坐标参数与显示优先级参数，包括了左上角在屏幕上的坐标281，如图28所示，给出了2个视频流分别在屏幕上实现多画面显示的示意图，A1、B1表示视频1的左上角的坐标，S1表示视频1的显示优先级，A2、B2表示视频2的左上角的坐标，S2表示视频2的显示优先级。由于S1大于S2，所以视频1的窗口可以部分覆盖视频2的窗口。

通过坐标的方式，可以灵活地表示多个视频流的任意显示位置，可是在屏幕上的其他空间显示字幕、图片，实现图文与视频共同显示的效果，能提供业务导航的功能。

该方法终端显示多画面的流程，如图29所示，包括以下步骤：

2901)空中接收到N个视频流的数据，根据每个视频单元的编号，分解成不同的视频流的数据。

2902)每个视频流的数据解码后，组成1路视频画面。

2903)根据每个视频流在屏幕上的左上角的坐标与显示优先级，在屏幕的不同位置显示不同的视频流。

以下通过一个具体实例对本发明做进一步描述：在本实例中，每个数据通道有128Kbit/s的速率，1个频道包括了2个数据通道，可以有256Kbit/s的速率。

这个频道的总长度是32K字节，其中：包头长122字节，其中多画面显示模式为21，视频数据共有26.5K字节，其中第一视频流的带宽是20.5K，第2个视频流流的带宽是6K，音频数据长4K，同步数据1K，共有32K，对于不足32K字节的部分，可以填充全0。

按照第一种方法，这样一个电视频道，可以满足1个QVGA分辨率、25帧的H264或AVS-M的视频数据的传输，和一个QCIF、12帧的H264或AVS-M的视频数据的传输，显示如图3中的模式21的多画面效果，可以给用户提供相当满意质量的双视频流的移动广播电视节目。

按照第二种方法，这样一个电视频道，可以满足1个QVGA分辨率、25帧的H264或AVS-M的视频数据的传输，和一个QCIF、12帧的H264或AVS-M的视频数据的传输，终端根据2个视频流的显示坐标，可以显示如图7中的多画面效果，可以给用户提供相当满意质量的双视频流的移动广播电视节目。

Claims

1.一种多画面视频显示处理方法，其特征在于，利用服务网络控制移动终端进行多画面视频显示处理，包括以下具体步骤：

2.根据权利要求1所述视频处理方法，其特征在于，所述端点是左上角和右下角。

3.根据权利要求1所述视频处理方法，其特征在于，所述端点是右上角和左下角。

4.根据权利要求1所述视频处理方法，其特征在于，所述步骤A)还发送与所述视频流对应的显示优先级。

5.根据权利要求1或4所述视频处理方法，其特征在于，所述坐标数据和显示优先级是控制信令，由移动终端直接接收。

6.根据权利要求1所述视频处理方法，其特征在于，所述视频流是多路同时发送和接收，各自的视频数据(11)共同封装在一个频道数据中，所述坐标数据包含在所述频道数据内，通过所述无线通道中数据通道传输。

7.根据权利要求6所述视频处理方法，其特征在于，所述视频流中的视频数据(11)包括视频包头(110)与N个视频单元(111)，所述视频包头(110)包括视频单元的长度和所述坐标数据。

8.根据权利要求6所述视频处理方法，其特征在于，所述频道数据还包括包头(10)、语音数据(12)和同步数据(13)，所述包头(10)包括所述坐标数据。

9.根据权利要求6所述视频处理方法，其特征在于，所述频道数据中的视频数据(11)包括视频包头(110)与N个视频单元(111)，所述视频数据的视频包头(110)包括所述坐标数据、用于标识视频单元所属视频流的视频流编号和视频单元的长度。

10.根据权利要求6所述视频处理方法，其特征在于，所述数据通道可以是一个或多个。