CN1937609B - 流媒体平台支持多音轨内容的方法、系统及流媒体服务器 - Google Patents
流媒体平台支持多音轨内容的方法、系统及流媒体服务器 Download PDFInfo
- Publication number
- CN1937609B CN1937609B CN2006101120839A CN200610112083A CN1937609B CN 1937609 B CN1937609 B CN 1937609B CN 2006101120839 A CN2006101120839 A CN 2006101120839A CN 200610112083 A CN200610112083 A CN 200610112083A CN 1937609 B CN1937609 B CN 1937609B
- Authority
- CN
- China
- Prior art keywords
- data
- language
- media server
- user
- streaming media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010025 steaming Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种流媒体平台支持多音轨内容的方法及系统，用以解决现有技术中存在由于使用多个编码器处理多音轨内容造成的浪费严重以及维护困难的问题；该方法包括：由一个直播编码器将处理后的数据流发送到流媒体服务器，该数据流包含一路视频数据和对应的多路音频数据，其中所述直播编码器通过音轨的顺序号或标签指定音轨和语言的对应关系；所述流媒体服务器通过用户指定的语言所对应的音轨的顺序号或标签选择一路音频数据，复制该一路音频数据和所述视频数据并将其发送给用户。本发明同时公开一种流媒体服务器和流媒体平台支持多音轨内容的处理系统。
Description
技术领域
本发明涉及流媒体技术领域，尤其涉及关于流媒体平台支持多音轨内容的方法、系统及流媒体服务器。
背景技术
目前，手机等终端设备可以基于如GPRS(General Packet Radio Service，通用分组无线业务)、EDGE(Enhanced Data rates for Global Evolution，GSM演进增强数据速率)、WCDMA(Wide-band Code Division Multiple Access，宽带码分多址接入系统)、CDMA2000(Code Division Multiple Addressing 2000，码分多址接入系统2000)、TD-SCDMA(TD-SCDMA：Time Division SynchronizedCode Division Multiple Access，时分同步CDMA系统)、DVB-H(Digital VideoBroadcasting-Handhelds，数字电视网络)、DMB(Digital MultimediaBroadcasting，数字多媒体广播)、ISDB-T(Integrated Services DigitalBroadcasting-Terra，地面综合服务数字广播)等无线网络自由的上网，通过网络观看电影、电视等流媒体内容。
参阅图1A所示，基于无线网络的流媒体处理系统包括：直播编码器100、流媒体服务器101、门户网站102、无线网络103及终端设备104。
所述直播编码器100将输入的模拟数据转换成数字数据，并进行压缩，以及将压缩后的数据流实时的发送给流媒体服务器101；所述输入的模拟数据包括一路音频和一路视频，其中，图示虚线箭头表示该一路音频数据，实线箭头表示该一路视频数据，下同。
所述直播编码器100生成SDP(Session Descriptor Protocol，会话描述协议)文件，并将该文件发送给流媒体服务器101；所述SDP文件中包括直播编码器将压缩后的数据流发送到流媒体服务器101的端口数据以及该数据流的视音频描述信息。下面给出SDP文件的一个具体的例子：
v＝0
//协议版本“v＝”字段给出了会话描述协议的版本，不包括次版本号。
o＝-2631350701 1507213 IN IP4 192.168.18.101
//会话起源；o＝<username><session id><version><network type><address type><address>；具体到本例是：Username＝-；Session id＝2631350701；Version＝1507213；Networktype＝IN；Address type＝IP4；Address＝192.168.18.101
s＝b314
//会话名称，s＝<session name>
c＝IN IP4 236.130.128.182/1
//连接数据；c＝<network type><address type><connection address>
t＝00
//时间信息：t＝<start time><stop time>；start time和stop time的值为十进制的NTP(Network Time Protocol)时间，如果都为0，则表示持久会话。
m＝video 8686 RTP/AVP 96
//媒体信息都以″m＝″域开始；m＝<media><port><transport><fmt list>；media指明媒体类型，比如video代表视频，audio为音频，port指明发送媒体流的端口，transport指明传输协议，比如RTP/AVP，即指the IETF′s Realtime Transport Protocol using the Audio/Video profile
carried over UDP
b＝AS:1920
//″b＝″域描述流的带宽：b＝<modifier>:<bandwidth-value>；modifier指明带宽特性，可有两种取值AS(Application-Specific Maximum)、CT(Conference Total)；bandwidth-value的单位为kbps
a＝rtpmap:96H264/90000
//媒体属性描述域″a＝″；a＝<attribute>或者a＝<attribute>:<value>；“rtpmap”属性描述RTP有效载荷的类型、编码方式、采样时钟频率、编码参数；a＝rtpmap:<payload type><encodingname>/<clock rate>[/<encoding parameters>]；“fmtp”属性给出了特殊RTP有效载荷的类型的参数；a＝fmtp:<format><format specific parameters>
a＝fmtp:96profile-level-id＝4D3015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，aO88gA＝＝；packetization-mode＝1
//进一步给出载荷类型96的参数
a＝cliprect:0，0，576，352
//描述画面坐标左到右0-576，上到下0-352
a＝framerate:25.
//描述帧率.每秒25帧
a＝mpeg4-esid:201
//对应于编号为201的流(视频文件可能包含多个视频流和音频流，每个流给出一个编号，本例中该音频流编号为201)
a＝x-envivio-verid:0002229A
//描述envivio编码器的版本id
m＝audio 8688 RTP/AVP 97
//开始音频媒体信息描述。音频媒体数据将发送到8688端口，发送协议是基于UDP的RTP协议，格式为97(动态RTP载荷类型)
b＝AS:32
//带宽为32kbps
a＝rtpmap:97mpeg4-generic/16000/2
//对载荷类型97进行说明，为mpeg4-generic编码方式，采样时钟为16000HZ
a＝fmtp:97 profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3
//进一步给出载荷类型97的参数为“profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3”
a＝mpeg4-esid:101
//对应于编号为101的流(视频文件可能包含多个视频流和音频流，每个流给出一个编号，本例中该音频流编号为101)
a＝lang:eng
//描述输入语音的标识
a＝x-envivio-verid:0002229A
//描述envivio编码器的版本id
所述终端设备104通过无线网络103上网后，通过访问门户网站102获得流媒体内容的路径URL(Uniform Resource Locator，统一资源定位符)，并根据该路径URL向流媒体服务器101发起访问请求。
所述流媒体服务器101接收到终端设备104的访问请求后，解析对应的SDP文件以获得接收直播编码器数据流的端口；所述流媒体服务器101通过监听所述端口，获得直播编码器100发送的数据流，并将其复制一份后发送给终端设备，由终端设备进行解码和播放。
参阅图1B所示，由于直播编码器100仅支持单路视频数据和单路音频数据的输入输出，流媒体服务器101仅支持单路视频数据和单路音频数据通过无线网络103向终端设备104输出，终端设备104也仅支持单路视频数据和单路音频数据的输入、解压和播放，而许多流媒体内容是多语言的，即由一路视频数据和多路音频数据组成，因此在处理时，需要将一路视频数据通过视频复制器105复制后和多路音频数据进行匹配，再通过多个直播编码器100进行模/数转换和压缩。图1B中，门户网站102未示出，其功能同前所述。上述处理对直播编码器的数量要求很大，而目前直播编码器的价格很高，因此导致无线流媒体平台的成本大幅上升，而且也不便于后续的维护。
发明内容
本发明提供一种流媒体平台支持多音轨内容的方法、系统及流媒体服务器，用以解决现有技术中存在由于使用多个编码器处理多音轨内容造成的浪费严重以及维护困难的问题。
本发明提供以下技术方案：
一种流媒体平台支持多音轨内容的方法，该方法包括步骤：
由一个直播编码器将处理后的数据流发送到流媒体服务器，该数据流包含一路视频数据和对应的多路音频数据，其中所述直播编码器通过音轨的顺序号或标签指定音轨和语言的对应关系；
所述流媒体服务器通过用户指定的语言所对应的音轨的顺序号或标签选择一路音频数据，复制该一路音频数据和所述视频数据并将其发送给用户。
根据上述方法：
所述直播编码器在发送给流媒体服务器的会话描述协议SDP文件中指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，所述流媒体服务器通过监听这些端口接收所述数据流。
所述直播编码器预先指定或在编码时指定音轨和语言的对应关系。
所述流媒体服务器通过用户上报的用户身份标识查询用户属性数据库以获取用户指定的语言所对应的音轨的顺序号或标签，并通过该音轨的顺序号或标签选择音频数据。
所述用户指定的语言由用户设定其优先级；所述流媒体服务器通过查询优先级高的语言所对应的音轨的顺序号或标签选择音频数据。
所述用户指定的语言由用户通过门户网站设置或者由流媒体服务器从用户设备获取，其所对应的音轨的顺序号或标签保存于所述用户属性数据库中。
所述用户指定的语言所对应的音轨的顺序号或标签以语言参数的形式设置于终端设备对流媒体服务器的访问路径中；所述流媒体服务器通过解析该访问路径获取用户指定的语言所对应的音轨的顺序号或标签，并通过该音轨的顺序号或标签选择音频数据。
若所述用户指定的语言所对应的音轨不包含音频数据，则所述流媒体服务器从接收到的数据流中任选一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
一种流媒体服务器，包括：
接收单元，用于接收直播编码器输出的一路视频数据和对应的多路音频数据；
选择单元，用于根据用户指定的语言所对应的音轨的顺序号或标签从所述多路音频数据中选择一路音频数据；
复制单元，用于复制所述一路音频数据和视频数据；
发送单元，用于发送复制后的所述一路音频数据和视频数据。
一种流媒体平台支持多音轨内容的处理系统，包括：
直播编码器，用于对输入的一路模拟视频信号和多路模拟音频信号进行转换和压缩处理，并输出包含一路视频数据和对应的多路音频数据的数据流；
流媒体服务器，与所述直播编码器连接，用于接收所述直播编码器输出的数据流，以及根据用户指定的语言所对应的音轨的顺序号或标签选择一路音频数据，复制并发送该一路音频数据和所述视频数据；
用户属性数据库，用于存储用户指定的语言所对应的音轨的顺序号或标签，并提供给所述流媒体服务器查询。
所述系统还包括：
门户网站，用于提供对所述流媒体服务器中数据流的访问路径，用户通过该访问路径访问所述流媒体服务器。
本发明有益效果如下：
1、本发明通过一个直播编码器将处理后的包含一路视频数据和对应的多路音频数据数据流发送到流媒体服务器，由流媒体服务器根据用户指定的语言选择该语言对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给用户，无需使用视频复制器和过多的直播编码器即能实现用户对数据流的正常接收、解压和播放，节约了网络资源，降低了成本，且设备维护相对简单。
2、本发明的处理方法不受系统的限制，可以运用于GPRS、EDGE、WCDMA、CDMA2000、TD-SCDMA、DVB-H、DMB、ISDB-T等无线网络的流媒体平台系统，并且在移动网络中终端设备也可以通过单播或组播方式使用该方法，因此，本发明具有适应性强的优点。
附图说明
图1A为背景技术中处理一路视频数据和一路音频数据的流媒体处理系统的结构示意图；
图1B为背景技术中处理一路视频数据和多路音频数据的流媒体处理系统的结构示意图；
图2为本发明实施例一中流媒体平台支持多音轨内容的处理系统结构示意图；
图3为本发明实施例一中流媒体服务器的结构示意图；
图4为本发明实施例一中由用户设置喜好语言时的系统处理流程图；
图5为本发明实施例一中由流媒体服务器读取用户设备的语言属性时的系统处理流程图；
图6为本发明实施例二中流媒体平台支持多音轨内容的处理系统结构示意图；
图7为本发明实施例二中流媒体平台支持多音轨内容的处理流程图。
具体实施方式
本发明通过一个直播编码器将处理后的包含一路视频数据和对应的多路音频数据数据流发送到流媒体服务器，由流媒体服务器根据用户指定的语言选择该语言对应的一路音频数据输出，以此支持多音轨内容。
实施例一
本实施例以流媒体服务器向用户属性数据库查询用户指定的语言来选择该语言所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备为例进行说明。
参阅图2所示，本实施例中的一种流媒体平台支持多音轨内容的处理系统包括：直播编码器200、用户属性数据库201、流媒体服务器202、无线网络203、终端设备204；所述处理系统还包括门户网站，用于向终端设备发送流媒体内容的路径URL，该门户网站在图2中未标出。
所述直播编码器200，用于将输入的模拟数据进行模/数转换和压缩，并将压缩后的数据流实时的发送给流媒体服务器202，以及生成SDP文件并发送给流媒体服务器202；所述输入的模拟数据包括一路视频数据和多路音频数据；所述SDP文件指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，并包括该数据流的视音频描述信息。
所述视音频描述信息包括和音轨数目相同数量的音频描述信息用以标识不同的音轨，如：
v＝0
o＝-2631350701 1507213 IN IP4 192.168.18.101
s＝b3 14
c＝IN IP4 236.130.128.182/1
b＝RR:0
t＝00
m＝video 8686 RTP/AVP 96
b＝AS:1920
a＝rtpmap:96H264/90000
a＝fmtp:96 profile-level-id＝4D3015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，aO88gA＝＝；packetization-mode＝1
a＝cliprect:0，0，576，352
a＝framerate:25.
a＝mpeg4-esid:201
a＝x-envivio-verid:0002229A
m＝audio 8688RTP/AVP 97
b＝AS:32
a＝rtpmap:97mpeg4-generic/16000/2
a＝fmtp:97 profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3
a＝mpeg4-esid:101
a＝lang:eng//描述输入语音的标识
a＝x-envivio-verid:0002229A
m＝audio 8690RTP/AVP 14
b＝AS:48
a＝rtpmap:14MPA/48000/2
a＝mpeg4-esid:102
a＝lang:fra //描述输入语音的标识
a＝x-envivio-verid:0002229A
所述直播编码器200预先指定语言和音轨的对应关系，该对应关系可通过音轨顺序号来指定，如指定第一个音轨是英语，第二个音轨是中文，第三个音轨是粤语，第四个音轨是法语等，参阅表1所示，其中语言ID值为包含所对应的语言的音轨顺序号；所述对应关系也可以通过直播编码器200在编码时为每个音轨增加不同的标签来指定，参阅表2所示，标签为English、Chinese、German、French，该标签并不一定代表具体语言，可以根据需要用其他语言替换，如需要粤语时，可以用German的标签代表粤语。
表1语言和音轨顺序号的对应关系表
| 序号 | 语言ID | 语言描述 |
| 1 | 001 | 英语 |
| 2 | 002 | 国语 |
| 3 | 003 | 粤语 |
| 4 | 004 | 法语 |
| …… | …… | …… |
表2语言和音轨标签的对应关系表
| 序号 | 标签 | 语言描述 |
| 1 | English | 英语 |
| 2 | Chinese | 国语 |
| 3 | German | 粤语 |
| 4 | French | 法语 |
| …… | …… | …… |
所述用户属性数据库201，用于根据用户身份标识分类存储用户喜好语言所对应的音轨的顺序号或标签，或根据用户身份标识分类存储用户设备的语言属性所对应的语言的音轨顺序号或标签；所述用户身份标识可以为用户的手机号码、MSN(Message Switching Network，消息交换网)、ISDN(Integrated ServicesDigital Network，综合业务数字网)号等；所述用户喜好语言可以由用户访问门户网站时设置，其所对应的音轨的顺序号或标签保存于所述用户属性数据库中；所述用户设备的语言属性可以由流媒体服务器从用户设备获取，其所对应的语言的音轨顺序号或标签保存于所述用户属性数据库中；所述音轨的顺序号或标签为一个或多个，并指示不同的优先级；所述用户属性数据库201可以是目前主流的数据库，如Oracle(一种数据库)、SQLServer(Structured QueryLanguage Server，结构化查询语言服务器)、DB2(DataBase 2，一种数据库)等。
如表3所示为用户喜好语言为3种的情况，并且语言1的优先级大于语言2的优先级，语言2的优先级大于语言3的优先级，在应用中，可根据实际情况对用户喜好的语言数目及优先级进行调整。
表3用户喜好的语言表
| 序号 | 用户身份标识 | 语言1_ID | 语言2_ID | 语言3_ID |
| 1 | 13800138000 | 001 | 002 | 003 |
| 2 | 13800138004 | 002 | 001 | 003 |
| 3 | 13800138007 | 003 | 001 | 004 |
| 4 | 13800138002 | 001 | 002 | 003 |
表3所示的用户喜好语言表是以音轨的顺序号来标识用户喜好的语言，这里也可以用音轨标签来标识用户喜好的语言。
所述流媒体服务器202，用于接收直播编码器的SDP文件和实时数据流，该实时数据流包括一路视频数据和多路音频数据；以及用于通过查询用户属性数据库来选择用户指定的语言所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
所述流媒体服务器202在接收到终端设备的访问请求后，解析该访问请求所对应的SDP文件以获得接收直播编码器实时数据流的端口，该端口为多个，对应于所述一路视频数据和多路音频数据；所述流媒体服务器202通过监听该多个端口，获得直播编码器200发送的实时数据流。
所述流媒体服务器202从接收到的终端设备访问请求中提取出用户身份标识，并根据该用户身份标识生成SQL(Structured Query Language，结构化查询语言)；所述流媒体服务器202通过与用户属性数据库的接口使用所述结构化查询语言SQL查询用户设定的喜好语言ID，所述流媒体服务器202与用户属性数据库的接口可以为ODBC(Open DataBase Connectivity开放数据库互连)、ADO(Active Data Object，活动数据对象)、JDBC(Java DataBase ConnectivityJava，数据库连接)等标准接口，该接口可根据流媒体服务器202自身代码的实现方式选定。
所述流媒体服务器202根据查询结果，选择最高优先级的用户喜好语言ID所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备；若所述最高优先级的用户喜好语言ID所对应的音轨不包含音频数据，则由所述流媒体服务器202将下一优先级的用户喜好语言ID所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备；若所有用户喜好语言ID所对应的音轨均不包含音频数据，则在接收到的多个音频数据中任选一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
参阅图3所示，所述流媒体服务器202包括：接收单元300、选择单元301、复制单元302、发送单元303；所述接收单元300，用于接收所述直播编码器输出的数据流，该数据流包含一路视频数据和对应的多路音频数据；所述选择单元301，用于通过查询用户属性数据库来选择用户指定的语言所对应的一路音频数据；所述复制单元302，用于复制所述一路音频数据和视频数据；所述发送单元303，用于将复制后的所述一路音频数据和视频数据发送给用户。
所述无线网络203，用于终端设备204与门户网站之间、终端设备204与流媒体服务器202之间的无线连接。
所述终端设备204，用于设定用户喜好语言列表，并向所述流媒体服务器202请求实时数据流，该实时数据流包括一路视频数据和一路音频数据，以及在接收到该实时数据流后解压播放。
用户通过无线网络203登陆到门户网站后，设定喜好的语言所对应的语言ID的数目及优先级，并将喜好语言列表保存到所述用户属性数据库201中；用户通过访问门户网站获得流媒体内容的路径URL，并通过所述终端设备204根据该路径向流媒体服务器202发起访问请求；所述终端设备204在接收到流媒体服务器202通过查询用户属性数据库201得到的包含一路视频数据和一路音频数据的实时数据流后，将该数据流解压并播放。
参阅图4所示，以图2所示的系统结构为例，流媒体平台支持多音轨内容的处理流程如下：
步骤400、直播编码器将接收到的模拟数据进行模/数转换和压缩，并将压缩后的数据流实时的发送给流媒体服务器；以及生成SDP文件并发送给流媒体服务器；所述接收到的模拟数据包括一路视频数据和多路音频数据；所述SDP文件指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，并包括该数据流的视音频描述信息。
步骤401、终端设备访问门户网站时设置用户喜好语言并将其保存到用户属性数据库中。
步骤402、终端设备向门户网站请求流媒体内容的路径链接URL；门户网站响应终端设备的请求，向终端设备返回流媒体内容的路径链接URL。
步骤403、终端设备根据所述流媒体内容的路径链接URL向流媒体服务器发起访问请求。
步骤404、流媒体服务器根据所述访问请求解析对应的SDP文件，获得实时接收包含一路视频数据和多路音频数据的数据流的端口数据，并通过监听对应的多个端口，获得包含一路视频数据和多路音频数据的实时数据流。
步骤405、所述流媒体服务器从终端设备的访问请求中提取用户身份标识以生成结构化查询语言SQL，使用该语言向用户属性数据库查询用户设定的喜好语言。
步骤406、所述流媒体服务器根据所述喜好语言选择一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
步骤407、终端设备接收所述数据流，并进行解压和播放。
在图4所示流程中，由用户通过终端设备在访问门户网站时设定用户喜好语言并将其保存到用户属性数据库中，这里也可以由流媒体服务器从终端设备获取终端设备的语言属性并将其保存到用户属性数据库中，参阅图5所示，处理流程如下：
步骤500、直播编码器将接收到的模拟数据进行模/数转换和压缩，并将压缩后的数据流实时的发送给流媒体服务器；以及生成SDP文件并发送给流媒体服务器；所述接收到的模拟数据包括一路视频数据和多路音频数据；所述SDP文件指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，并包括该数据流的视音频描述信息。
步骤501、流媒体服务器获取终端设备的语言属性。
步骤502、流媒体服务器将该语言属性保存到用户属性数据库中。
步骤503、终端设备向门户网站请求流媒体内容的路径链接URL；门户网站响应终端设备的请求，向终端设备返回流媒体内容的路径链接URL。
步骤504、终端设备根据所述流媒体内容的路径链接URL向流媒体服务器发起访问请求。
步骤505、流媒体服务器根据所述访问请求解析对应的SDP文件，获得实时接收包含一路视频数据和多路音频数据的数据流的端口数据，并通过监听对应的多个端口，获得包含一路视频数据和多路音频数据的实时数据流。
步骤506、所述流媒体服务器从终端设备的访问请求中提取用户身份标识以生成结构化查询语言SQL，使用该语言向用户属性数据库查询终端设备的语言属性。
步骤507、所述流媒体服务器根据所述语言属性所对应的语言选择一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
步骤508、终端设备接收所述数据流，并进行解压和播放。
实施例二
本实施例以在终端设备向流媒体服务器发起的访问请求URL路径中增加语言参数来选择用户指定语言所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备为例进行说明。
参阅图6所示，本实施例中的一种流媒体平台支持多音轨内容的处理系统包括：直播编码器600、流媒体服务器601、无线网络602、终端设备603；所述流媒体平台多音轨处理系统还包括门户网站，用于向终端设备发送流媒体内容的路径URL，该门户网站在图6中未标出。
所述直播编码器600，用于将输入的模拟数据进行模/数转换和压缩，并将压缩后的数据流实时的发送给流媒体服务器601，以及生成SDP文件并发送给流媒体服务器601；所述输入的模拟数据包括一路视频数据和多路音频数据；所述SDP文件指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，并包括该数据流的视音频描述信息。
所述视音频描述信息包括和音轨数目相同数量的音频描述信息用以标识不同的音轨，同实施例一中所述；所述直播编码器600预先指定语言和音轨的对应关系，该对应关系可通过音轨顺序号来指定，也可以通过直播编码器600在编码时为每个音轨增加不同的标签来指定，同实施例一中直播编码器200所述。
所述流媒体服务器601，用于接收直播编码器的SDP文件和实时数据流，该实时数据流包括一路视频数据和多路音频数据；以及用于通过解析终端设备603的访问请求URL路径获得语言参数，并根据该语言参数选择用户指定语言所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备603。
所述流媒体服务器601在接收到终端设备603的访问请求后，解析该访问请求所对应的SDP文件以获得接收直播编码器实时数据流的端口，该端口为多个，对应于所述一路视频数据和多路音频数据；所述流媒体服务器601通过监听该多个端口，获得直播编码器600发送的实时数据流。
用户通过无线网络602登陆到门户网站后指定想要接收的语言，由URL路径中的语言参数指示用户指定语言所对应的的音轨顺序号，参阅表4所示。
表4URL路径中的语言参数指示不同音轨顺序号
| Sex and City(中文) | RTSP://stream_ip/TV.SDP？audiotraceid＝1 |
| Sex and City(英文) | RTSP://stream_ip/TV.SDP？audiotraceid＝2 |
| Sex and City(粤语) | RTSP://stream_ip/TV.SDP？audiotraceid＝3 |
| Sex and City(法文) | RTSP://stream_ip/TV.SDP？audiotraceid＝4 |
参阅表5所示，所述URL路径中的语言参数也可以指示用户指定语言所对应的音轨标签。
表5URL路径中的语言参数指示不同的音轨标签
| Sex and City(中文) | RTSP://stream_ip/TV.SDP？language＝chinese |
| Sex and City(英文) | RTSP://stream_ip/TV.SDP？language＝english |
| Sex and City(粤语) | RTSP://stream_ip/TV.SDP？language＝german |
| Sex and City(法文) | RTSP://stream_ip/TV.SDP？language＝franch |
例如，若所述流媒体服务器601接收到的终端设备603访问请求URL路径的格式为：Rtsp://stream_ip/tv.sdp？audiotraceid＝3，则解析出用户需要的是第三个音轨的音频数据；若所述流媒体服务器601接收到的终端设备603访问请求URL路径的格式为：Rtsp://stream_ip/tv.sdp？audiotraceid＝Chinese，则解析出用户需要的是标签为中文的音频数据。
若所述流媒体服务器601解析得到的用户指定的音轨的顺序号或标签所对应的音轨不包含音频数据，则所述流媒体服务器从接收到的数据流中任选一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备603。
所述流媒体服务器601的结构与实施例一中流媒体服务器202的结构相同，此时，所述选择单元301，用于通过解析终端设备603的访问请求URL路径获得语言参数，并根据该语言参数选择用户指定语言所对应的一路音频数据；所述接收单元300、复制单元302、发送单元303的功能与实施例一中相同。
所述无线网络602，用于终端设备603与门户网站之间、终端设备603与流媒体服务器601之间的无线连接。
所述终端设备603，用于设定URL路径中的语言参数，并向所述流媒体服务器601请求实时数据流，该实时数据流包括一路视频数据和一路音频数据，以及在接收到该实时数据流后解压播放。
用户通过访问门户网站获得流媒体内容的URL路径，并通过终端设备603设定所述URL路径中的语言参数，用以指示不同的音轨顺序号或标签，向流媒体服务器601发起访问请求；所述终端设备603在接收到流媒体服务器601根据解析出的URL路径中的语言参数得到的包含一路视频数据和一路音频数据的实时数据流后，将该数据流解压并播放。
参阅图7所示，以图6所示的系统结构为例，流媒体平台支持多音轨内容的处理流程如下：
步骤700、直播编码器将接收到的模拟数据进行模/数转换和压缩，并将压缩后的数据流实时的发送给流媒体服务器；以及生成SDP文件并发送给流媒体服务器；所述接收到的模拟数据包括一路视频数据和多路音频数据；所述SDP文件指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，并包括该数据流的视音频描述信息。
步骤701、终端设备向门户网站请求流媒体内容的URL路径；门户网站响应终端设备的请求，向终端设备返回流媒体内容的URL路径。
步骤702、终端设备设定所述流媒体内容的URL路径中的语言参数用以指示不同的语言或音轨。
步骤703、终端设备根据所述流媒体内容的URL路径向流媒体服务器发起访问请求。
步骤704、流媒体服务器根据所述访问请求解析对应的SDP文件，获得实时接收包含一路视频数据和多路音频数据的数据流的端口数据，并通过监听对应的多个端口，获得包含一路视频数据和多路音频数据的实时数据流。
步骤705、所述流媒体服务器从接收到的终端设备访问请求中解析出URL路径中的语言参数，根据该URL路径中的语言参数选择用户指定语言所对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
步骤706、终端设备接收所述数据流，并进行解压和播放。
在上述两个实施例中，流媒体服务器根据用户指定的语言选择该语言对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给一个终端设备，这里也可以通过组播的方式，如DVB-H、DMB、MBMS(MultimediaBroadcast Multicast Service，多媒体广播组播服务)、BCMCS(Broadcast andMulticast Services，广播多播业务)等将所述音频数据和视频数据发送给多个终端用户。
从上述实施例可知，本发明通过一个直播编码器将处理后的包含一路视频数据和对应的多路音频数据数据流发送到流媒体服务器，由流媒体服务器根据用户指定的语言选择该语言对应的一路音频数据，复制该一路音频数据和所述视频数据并将其发送给用户，无需使用视频复制器和过多的直播编码器即能实现用户对数据流的正常接收、解压和播放，节约了网络资源，降低了成本，且设备维护相对简单；另外，本发明的处理方法不受系统的限制，可以运用于GPRS、EDGE、WCDMA、CDMA2000、TD-SCDMA、DVB-H、DMB、ISDB-T等无线网络的流媒体平台系统，并且在移动网络中终端设备也可以通过点到点(单播技术)方式或组播方式使用该方法，因此，本发明具有适应性强的优点。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种流媒体平台支持多音轨内容的方法，其特征在于，该方法包括步骤：
由一个直播编码器将处理后的数据流发送到流媒体服务器，该数据流包含一路视频数据和对应的多路音频数据，其中所述直播编码器通过音轨的顺序号或标签指定音轨和语言的对应关系；
所述流媒体服务器通过用户指定的语言所对应的音轨的顺序号或标签选择一路音频数据，复制该一路音频数据和所述视频数据并将其发送给用户。
2.如权利要求1所述的方法，其特征在于，所述直播编码器在发送给流媒体服务器的会话描述协议SDP文件中指示接收所述一路视频数据的端口和接收所述多路音频数据的多个端口，所述流媒体服务器通过监听这些端口接收所述数据流。
3.如权利要求1所述的方法，其特征在于，所述直播编码器预先指定或在编码时指定音轨和语言的对应关系。
4.如权利要求3所述的方法，其特征在于，所述流媒体服务器通过用户上报的用户身份标识查询用户属性数据库以获取用户指定的语言所对应的音轨的顺序号或标签，并通过该音轨的顺序号或标签选择音频数据。
5.如权利要求4所述的方法，其特征在于，所述用户指定的语言由用户设定其优先级；所述流媒体服务器通过查询优先级高的语言所对应的音轨的顺序号或标签选择音频数据。
6.如权利要求4所述的方法，其特征在于，所述用户指定的语言由用户通过门户网站设置或者由流媒体服务器从用户设备获取，其所对应的音轨的顺序号或标签保存于所述用户属性数据库中。
7.如权利要求3所述的方法，其特征在于，所述用户指定的语言所对应的音轨的顺序号或标签以语言参数的形式设置于终端设备对流媒体服务器的访问路径中；所述流媒体服务器通过解析该访问路径获取用户指定的语言所对应的音轨的顺序号或标签，并通过该音轨的顺序号或标签选择音频数据。
8.如权利要求3至7任一项所述的方法，其特征在于，若所述用户指定的语言所对应的音轨不包含音频数据，则所述流媒体服务器从接收到的数据流中任选一路音频数据，复制该一路音频数据和所述视频数据并将其发送给终端设备。
9.一种流媒体服务器，其特征在于，包括：
接收单元，用于接收直播编码器输出的一路视频数据和对应的多路音频数据；
选择单元，用于根据用户指定的语言所对应的音轨的顺序号或标签从所述多路音频数据中选择一路音频数据；
复制单元，用于复制所述一路音频数据和视频数据；
发送单元，用于发送复制后的所述一路音频数据和视频数据。
10.一种流媒体平台支持多音轨内容的处理系统，其特征在于，包括：
直播编码器，用于对输入的一路模拟视频信号和多路模拟音频信号进行转换和压缩处理，并输出包含一路视频数据和对应的多路音频数据的数据流；
流媒体服务器，与所述直播编码器连接，用于接收所述直播编码器输出的数据流，以及根据用户指定的语言所对应的音轨的顺序号或标签选择一路音频数据，复制并发送该一路音频数据和所述视频数据；
用户属性数据库，用于存储用户指定的语言所对应的音轨的顺序号或标签，并提供给所述流媒体服务器查询。
11.如权利要求10所述的系统，其特征在于，所述系统还包括：
门户网站，用于提供对所述流媒体服务器中数据流的访问路径，用户通过该访问路径访问所述流媒体服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101120839A CN1937609B (zh) | 2006-08-29 | 2006-08-29 | 流媒体平台支持多音轨内容的方法、系统及流媒体服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2006101120839A CN1937609B (zh) | 2006-08-29 | 2006-08-29 | 流媒体平台支持多音轨内容的方法、系统及流媒体服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1937609A CN1937609A (zh) | 2007-03-28 |
| CN1937609B true CN1937609B (zh) | 2010-10-06 |
Family
ID=37954878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006101120839A Expired - Fee Related CN1937609B (zh) | 2006-08-29 | 2006-08-29 | 流媒体平台支持多音轨内容的方法、系统及流媒体服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1937609B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437149B (zh) * | 2007-11-12 | 2010-10-20 | 华为技术有限公司 | 一种提供多语种节目的方法、系统及装置 |
| CN101895406B (zh) * | 2010-06-23 | 2014-12-10 | 中兴通讯股份有限公司 | 一种移动流媒体的直播服务提供方法及系统 |
| CN103093776B (zh) * | 2011-11-04 | 2016-01-20 | 腾讯科技（深圳）有限公司 | 网络视听中多音轨内容播放方法及系统 |
| CN105791971A (zh) * | 2014-12-26 | 2016-07-20 | 深圳Tcl数字技术有限公司 | 切换流媒体音频的方法及装置 |
| CN104768052A (zh) * | 2015-04-02 | 2015-07-08 | 无锡天脉聚源传媒科技有限公司 | 一种根据语言提取音频及字幕的方法及装置 |
| CN105025319B (zh) * | 2015-07-09 | 2019-03-12 | 无锡天脉聚源传媒科技有限公司 | 一种视频推送方法和装置 |
| CN105392028B (zh) * | 2015-10-12 | 2019-05-24 | 天脉聚源(北京)传媒科技有限公司 | 一种数据的传输方法及装置 |
| CN105263032B (zh) * | 2015-10-12 | 2018-06-19 | 天脉聚源(北京)传媒科技有限公司 | 一种节目获取方法及装置 |
| CN105263033B (zh) * | 2015-10-12 | 2018-09-25 | 天脉聚源(北京)传媒科技有限公司 | 一种音视频数据的发送方法、接收方法及装置 |
| CN106488297B (zh) * | 2016-10-21 | 2019-01-22 | 广州酷狗计算机科技有限公司 | 一种显示图像数据的方法和装置 |
| CN108810575B (zh) * | 2017-05-04 | 2021-10-29 | 杭州海康威视数字技术股份有限公司 | 一种发送目标视频的方法和装置 |
| CN108737845B (zh) * | 2018-05-22 | 2019-09-10 | 北京百度网讯科技有限公司 | 直播处理方法、装置、设备以及存储介质 |
| WO2019227308A1 (zh) * | 2018-05-29 | 2019-12-05 | 华为技术有限公司 | 一种从音视频文件中选择音轨的方法及装置 |
| CN113709509A (zh) * | 2021-08-05 | 2021-11-26 | 中移（杭州）信息技术有限公司 | 音视频数据的传输方法、装置以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706309A (en) * | 1992-11-02 | 1998-01-06 | Fraunhofer Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Process for transmitting and/or storing digital signals of multiple channels |
| CN1325189A (zh) * | 2000-05-18 | 2001-12-05 | 德国汤姆森-布兰特有限公司 | 根据要求提供音频翻译数据的接收机和接收方法 |
| CN1411280A (zh) * | 2002-11-21 | 2003-04-16 | 北京中科大洋科技发展股份有限公司 | 一种制作和发送及接收广播式准视频点播节目的装置 |
| CN2724334Y (zh) * | 2004-08-27 | 2005-09-07 | 马晨阳 | 手机视频图像监控装置 |
-
2006
- 2006-08-29 CN CN2006101120839A patent/CN1937609B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5706309A (en) * | 1992-11-02 | 1998-01-06 | Fraunhofer Geselleschaft Zur Forderung Der Angewandten Forschung E.V. | Process for transmitting and/or storing digital signals of multiple channels |
| CN1325189A (zh) * | 2000-05-18 | 2001-12-05 | 德国汤姆森-布兰特有限公司 | 根据要求提供音频翻译数据的接收机和接收方法 |
| CN1411280A (zh) * | 2002-11-21 | 2003-04-16 | 北京中科大洋科技发展股份有限公司 | 一种制作和发送及接收广播式准视频点播节目的装置 |
| CN2724334Y (zh) * | 2004-08-27 | 2005-09-07 | 马晨阳 | 手机视频图像监控装置 |
Non-Patent Citations (3)
| Title |
|---|
| US 5706309 A,全文. |
| 说明书第17页第2段, 第18页第2段. |
| 说明书第2页第2-10行. |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1937609A (zh) | 2007-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1937609B (zh) | 流媒体平台支持多音轨内容的方法、系统及流媒体服务器 | |
| CN100479528C (zh) | 一种支持多音轨的方法、系统及流媒体服务器 | |
| CN100544439C (zh) | 一种支持多种编码格式的媒体数据的方法及系统 | |
| KR100626665B1 (ko) | 아이피 기반의 디지털 멀티미디어 방송 데이터 변환 장치및 그 방법과 그를 이용한 디지털 멀티미디어 방송 수신시스템 | |
| KR100878534B1 (ko) | Ｄａｂ 시스템에서 ｉｐｄｃ 서비스를 제공하는 장치 및방법 | |
| RU2496256C2 (ru) | Способ и устройство для предоставления руководства по услуге в мобильной широковещательной системе | |
| CN102104762B (zh) | Ims视频会议媒体录制方法及其设备和系统 | |
| EP1708392B1 (en) | Apparatus and method for delivering a stream in a mobile broadcast system | |
| CN112468846B (zh) | 广播信号发送方法和装置以及广播信号接收方法和装置 | |
| CN103188522A (zh) | 提供与传送复合浓缩串流的方法以及系统 | |
| CN1610283A (zh) | 提供区域专用附加信息广播业务的数字广播系统及方法 | |
| US20130318213A1 (en) | Auxiliary Content Handling Over Digital Communication Systems | |
| CN103503439A (zh) | 在数字广播系统中发送/接收广播服务的方法和装置及其系统 | |
| CN100442774C (zh) | 在微波接入全球互通系统中提供组播业务的方法及系统 | |
| CN101455013A (zh) | 用于将信道标识符映射到分组标识符的服务发现段 | |
| CN105872579A (zh) | 流媒体直播方法、发布端、客户端及系统 | |
| EP2466840B1 (en) | Evolved multimedia broadcast multicast service system and method for performing statistical multiplexing for services with different quality of service class identifiers | |
| KR100609147B1 (ko) | Ｔｐｅｇ 교통/여행자 정보 제공 시스템 및 그 방법과,ｔｐｅｇ 교통/여행자 정보를 수신하기 위한 디엠비 방송수신 장치 및 그 방법 | |
| EP1134978A3 (en) | User request processing method and apparatus using upstream channel in interactive multimedia contents service | |
| DE60302640D1 (de) | Nachrichtenrundfunksystem in einem Funkkommunikationsnetz | |
| CN109302384B (zh) | 一种数据的处理方法和系统 | |
| CN101321293B (zh) | 一种实现多路节目复用的装置和方法 | |
| CN101771948A (zh) | 一种mbms业务中头压缩方式的配置方法 | |
| CN101193105A (zh) | 一种媒体流的传送/切换方法 | |
| CN100442699C (zh) | 一种发现oma bcast业务指南的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101006 Termination date: 20120829 |