[go: up one dir, main page]

CN118509423B - 一种融合通信音视频传输方法 - Google Patents

一种融合通信音视频传输方法 Download PDF

Info

Publication number
CN118509423B
CN118509423B CN202410961307.1A CN202410961307A CN118509423B CN 118509423 B CN118509423 B CN 118509423B CN 202410961307 A CN202410961307 A CN 202410961307A CN 118509423 B CN118509423 B CN 118509423B
Authority
CN
China
Prior art keywords
server
terminal
video
multiple terminals
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410961307.1A
Other languages
English (en)
Other versions
CN118509423A (zh
Inventor
孙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nelda Technology Co ltd
Original Assignee
Beijing Nelda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nelda Technology Co ltd filed Critical Beijing Nelda Technology Co ltd
Priority to CN202410961307.1A priority Critical patent/CN118509423B/zh
Publication of CN118509423A publication Critical patent/CN118509423A/zh
Application granted granted Critical
Publication of CN118509423B publication Critical patent/CN118509423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/76Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种融合通信音视频传输方法,其步骤包括:服务器采集终端的设备信息,并选取带宽占比最小的编码标准为终端对应的适配编码标准。服务器基于拥塞控制技术动态分配终端的带宽,并根据终端的请求信息推送对应的适配编码标准的流。服务器还采集用户标签,并对终端进行加权评估;当服务器检测到网络拥塞时,基于加权评估的结果暂停终端的媒体服务;当媒体服务的内容与用户标签的相关性超出阈值时,服务器对终端进行二次加权评估,并暂停或恢复终端的媒体服务。本发明通过服务器同源多流推送的方式,结合拥塞控制技术,最大利用网络带宽,为各参与终端的用户提供优质的音视频通信体验,减少在具体通讯系统中硬件投资,避免资源浪费。

Description

一种融合通信音视频传输方法
技术领域
本发明属于通讯技术领域,具体涉及一种融合通信音视频传输方法。
背景技术
现阶段融合通信技术普遍应用于各种领域。其主要形式为视频会议,通过音视频同步传输,保证参与人员通过各自的终端设备能实时参与线上会议,特别地,在紧急事件出现时,通过融合通信指挥调度平台实现前、后方协调指挥,协同协调业务部署,并迅速启动混合音视频会议,实现全员对事件信息的共享互通。
由于融合通信具备较强的时效性,且网络环境在紧急事件情况下不能得到很好的保证;因此,对其具体实施方法进行传输优化,可对调度效果以及成本起至关重要作用。
目前,市面上的音视频传输优化方案常见的是基于网页视频语音实时通讯协议(以下简称:WebRTC)自带的优化方案,从而有如下弊端:
(1)不能有效的利用网络带宽和解决弱网下的丢包、延时问题;
(2)不能有效的适配各个终端的解码要求,从而增加基础设施的投资和资源的浪费;
(3)发生网络拥塞时,不能进行网络带宽有效调节,造成网络资源浪费,且影响会议质量。
由此,需要针对融合通信音视频传输技术提出新型方案,以便最大化利用网络带宽,提供优质的音视频通信体验。
发明内容
本发明提供一种融合通信音视频传输方法,以解决上述问题。
本发明采用以下技术方案:
一种融合通信音视频传输方法,其主要步骤包括:
服务器与多个终端建立连接,且所述服务器采集所述多个终端的设备信息;
所述服务器基于所述设备信息列出所述多个终端中每一个终端对应的支持的编码标准,并由所述服务器分别选取所述对应的支持的编码标准中带宽占比最小的编码标准为所述多个终端中每一个终端对应的适配编码标准;
所述服务器基于拥塞控制技术动态分配所述多个终端的带宽;
所述服务器根据所述多个终端的请求信息及所述多个终端的带宽,由所述服务器向所述多个终端推送所述对应的适配编码标准的流;
所述服务器采集所述多个终端中每一个终端的每一个用户的用户标签,并由所述服务器对所述用户标签提取特征信息;所述服务器计算所述特征信息的权重;
所述服务器基于所述权重对所述多个终端中每一个终端进行加权评估;
当所述服务器检测到网络拥塞时,所述服务器基于所述加权评估的结果暂停所述多个终端中至少一个终端的媒体服务;
所述加权评估中还设有动态权重;所述服务器检测到网络拥塞时,当所述服务器推送的所述媒体服务的内容与所述用户标签的相关性超出阈值时,所述服务器基于所述动态权重对所述多个终端中每一个终端进行二次加权评估,并由所述服务器基于所述二次加权评估的结果暂停或恢复所述多个终端中的至少一个终端的媒体服务。
可选的,所述权重基于层次分析法获得,且所述服务器计算所述权重的步骤包括:
确定所述权重计算的层次结构模型;
建立所述特征信息的重要程度判断矩阵;
通过特征向量法计算所述特征信息的重要程度,并对所得值进行归一化处理,得到所述权重。
可选的,所述媒体服务的内容与所述用户标签的相关性计算步骤包括:
所述服务器基于大语言模型实时对所述媒体服务的内容进行信息抽取,所述服务器基于所述信息抽取的结果与所述多个终端中每一个终端的每一个用户的用户标签进行相关性计算,获得计算结果;
所述服务器将所述计算结果与所述阈值进行比较。
可选的,所述服务器和所述多个终端通过公共网络或专用网络建立连接;
所述服务器和所述多个终端之间的数据传输基于网页视频语音实时通讯协议;
所述拥塞控制技术为基于网页视频语音实时通讯协议的延时梯度和丢包率的拥塞控制算法。
可选的,所述服务器采集所述多个终端的设备信息的步骤包括:
所述网页视频语音实时通讯协议中配置有会话描述协议,所述会话描述协议的文本包括所述设备信息;
所述服务器采集所述会话描述协议的文本,并由所述服务器获得所述设备信息;
所述设备信息包括所述多个终端的类型信息、操作系统信息、固件信息。
可选的,所述编码标准包括VP8、VP9、H.264、H.265;
当所述多个终端中至少一个终端支持AV1解码时,所述编码标准还包括AV1。
可选的,所述加权评估的结果为所述多个终端中每一个终端的加权值,并将所述多个终端按照加权值从小到大排列;
当检测到网络拥塞时,依次按照加权值从小到大暂停对应终端的媒体服务至网络拥塞结束;
当检测到网络拥塞结束后,所述服务器逆向恢复已暂停终端的媒体服务。
可选的,所述用户标签的特征信息包括多个标题;所述多个终端中每一个终端的用户对所述标题进行选择或标注。
可选的,所述用户标签的特征信息中还包括多个预设选项,且至少部分所述标题中对应设有至少一个所述预设选项;
所述预设选项对应设有得分,所述得分用于所述加权评估。
可选的,所述标题均配置有重要程度的系数,所述系数用于计算所述权重。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明通过服务器同源多流推送的方式,结合拥塞控制技术,最大利用网络带宽,为各参与终端的用户提供优质的音视频通信体验,减少在具体通讯系统中硬件投资,避免资源浪费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明系统简图;
图2是本发明推流流程图;
图3是本发明加权评估流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
还需要说明的是,本发明中所使用的方法如无特殊规定,均为常规的方法;所使用的原料和装置,如无特殊规定,均为常规的市售产品。
本发明提供一种融合通信音视频传输方法,其主要步骤包括:
首先,本实施例的服务器与终端之间基于WebRTC协议(网页实时通信Web Real-Time Communication的缩写,是一个支持网页浏览器进行实时语音通话或视频聊天的技术)进行通讯。虽然,其可实现点对点通讯,但是考虑应用场景的特殊性,本实施例中,依然在通讯网络中部署相应的服务器,包括信令服务器和媒体服务器(也可以在单一服务器中集成信令服务和媒体服务,如图1所示,并将其他服务器作为冗余备份),并对应提供相应的信令服务和媒体服务,再通过事件通知关联上述两种服务。其中,媒体服务主要负责处理和传输实际的媒体内容,例如音频、视频、图像等。在视频通话中,媒体服务负责将双方的视频和音频数据进行编码、传输和解码,让用户能够清晰流畅地看到和听到对方。事件通知服务则是用于向信令服务方传递特定事件的发生信息。这些事件可以是系统状态的变化、用户操作的结果、异常情况的出现等。信令服务在通信中起着控制和协调的作用,负责建立、管理和终止通信会话,以及在会话过程中传递控制信息。在各个终端,如终端1、终端2、终端3、终端4中分别设置有显示设备及相应的终端设备,终端设备具体如摄像头、麦克风等数据采集设备,以便实现实时在线的音视频混合通讯双向通讯。
服务器采集终端的设备信息;可选的,服务器在媒体协商阶段采集WebRTC中的会话描述协议(SDP Unified Plan),其文本包括设备信息。具体地,是开发人员在UnifiedPlan中添加设备信息需求,明确需要在 Unified Plan 文本中包含哪些设备信息;利用WebRTC 提供的 API 来获取设备信息。例如,可以使用 navigator.media Devices 获取媒体设备列表,从中获取如显卡等相关信息,并构建相应的 Unified Plan文本。服务器采集Unified Plan的文本,并获得上述设备信息;可选的,设备信息具体包括终端的类型信息、操作系统信息、固件信息;如类型信息分为平板、手机、笔记本电脑、台式机、专用设备等;操作系统信息分为Android、iOS、Mac OS、windows、linux等;固件信息为各系统对应版本号。
服务器基于设备信息分别列出各个终端支持的编码标准的列表,并针对每个终端中选取列表内带宽占比最小的编码标准为该终端对应的适配编码标准;可选的,编码标准包括VP8、VP9、H.264、H.265;并且,当服务器通过Unified Plan文本发现某些终端具备显卡,且支持AV1解码时,上述编码标准还包括AV1。其中,H.265是高效视频编码(HEVC),MPEG-H part 2,具体为一种视频压缩标准,与AVC相比在相同的视频质量水平下提供大约两倍的数据压缩比,或者以相同的比特率显著提高视频质量;同等分辨率模式下,H.265占用带宽比H.264少大约39%-44%,AV1占用带宽比H.264少50%左右。
举例说明,服务器检测到终端1和终端4均为专用的Android平板,但版本号小于10(Android 8),支持的编码标准有H.264、H.265,根据使用场景及条件(视频分辨率、帧率、码率等)预估带宽占比,终端1和终端4的列表中编码标准的排序从小到大均为:[H.265]、[H.264],由此,服务器选取H.265这一编码标准分别为终端1和终端4的适配编码标准,并以此进行推流;同理,如服务器检测到终端2和终端3为专用设备的web端,仅支持H.264和其他编码标准,且H.264为带宽占比最小的编码格式,故选取H.264这一编码标准为终端2和终端3的适配编码标准,并以此进行推流;同理,又如服务器检测到终端z(图中未显示)为Windows台式机,其浏览器和硬件支持AV1解码,故根据使用场景及条件(视频分辨率、帧率、码率等)预估带宽占比,其列表为(从小到大):[AV1]、[H.265]、[VP9]、[VP8]、[H.264],由此,服务器选取AV1这一编码标准为终端z的适配编码标准,并以此进行推流。进一步,也可采取问询的方式完成上述操作,即如图2所示,在终端订阅流时,服务器访问终端或采集Unified Plan文本,并依次从带宽占比小到大(如H.265、H.264)编码标准进行比对,并选取适配编码标准推流,终端进行相应的收流操作即可,这样无需各终端进行转码操作,不仅节省了网络带宽资源,还能减轻终端压力。
其中,在具体推流前服务器还需要确认终端是否分配到足够的带宽,以便进行相应的服务,由此,在通讯期初始阶段或进行期间,服务器实时基于拥塞控制技术动态分配终端的带宽,通过监测网络拥塞情况,依据拥塞程度调整数据发送速率,以避免网络拥塞的发生。具体地,本实施例中拥塞控制技术采用延时梯度和丢包率的拥塞控制算法,即GCC(Google Congestion Control)算法。进一步,在本实施例中,举例如图2所示,当丢包率大于25%即由服务器判断当前组建的融合通信音视频传输网络出现网络拥塞状况,由此服务器拒绝新请求加入的终端的媒体服务,或暂停至少部分终端的媒体服务。其中,媒体服务包含收流服务和推流服务,也可简称为收流和推流,又由于网络拥塞具体存在上行拥塞或下行拥塞,因此实际工作中暂停终端的媒体服务,可根据拥塞情况确定,如暂停部分终端的收流或推流,又或是收流和推流均暂停,从而调整整体会议的带宽使用,满足实际需求。
当服务器检测到网络拥塞时(如上所述,通讯数据丢包率大于25%),按照终端排序依次暂停排序靠前的终端的媒体服务,直至网络拥塞结束;
当检测到网络拥塞结束后,服务器逆向恢复已暂停终端的媒体服务。其中,逆向应当理解为与暂停终端的顺序相反,按照时间顺序从最后一个暂停的终端依次向前恢复,至检测出现网络拥塞情况时停止,或全部终端均恢复媒体服务时停止。
上述过程应当理解为一个动态的过程,即出现带宽与视频会议需求不匹配的情况下,服务器会根据检测网络拥塞情况,实时进行调节,避免网络资源转好的时候或有终端自主退出时,还存在除预留带宽以外的空闲带宽问题;或是带宽不足的时候需要暂停的终端却依然挤占带宽的问题。
暂停终端的媒体服务需要有对应的策略,基于常规思路对后进入会议或网络环境较差的终端进行暂停仅适用于一般媒体服务的情况,并不适用于特殊情况或应急情况,尤其是在部分特别会议中,网络环境越差,说明其所处场景情况更加复杂,且需要对应的会议支持,且部分参与人员务必要保持在线,由此本实施例方法中还包括服务器对各终端进行加权评估的步骤,并根据加权评估的结果相应暂停终端的服务。
具体地,服务器采集每一个终端的每一个用户的用户标签,并由服务器对用户标签提取特征信息;服务器计算特征信息的权重;其中,权重基于层次分析法获得,服务器计算步骤设有:
确定权重计算的层次结构模型;
建立特征信息的重要程度判断矩阵;
通过特征向量法计算特征信息的重要程度,并对所得值进行归一化处理,得到权重:
服务器基于权重对每一个终端进行加权评估;
当服务器检测到网络拥塞时,服务器基于加权评估的结果暂停多个终端中至少一个终端的媒体服务。
其中,考虑节约系统计算资源的方法如下:
S1、在终端初始连接服务器时,服务器采集各终端的用户标签。其中,本实施例中用户标签的特征信息为该用户标签的标题和对应的选项。至少部分用户标签的标题及对应选项是由会议发起方在会议创建阶段根据系统预设、建议或自定义方式进行组合给出,如[职位]、[参会意愿]、[紧急情况]、[特殊标记]等,进一步,在各标题下存在多个选项(不同标题设置有不同的选项,如:“是”、“否”、“高级”、“中级”、“助理”、“主管”等),且会议发起方可对各标题进行重要程度的评分;用户在终端对前述用户标签的选项进行选择(各选项内置有对应的得分),并由终端连接服务器时上报。
S2、服务器分配部分计算资源进行权重计算,并进行加权评估。其中,权重基于层次分析法获得,举例如下;
S21、确定权重计算层次结构模型,可按常规划分为目标层、准侧层、方案层;
S22、建立特征信息的重要程度判断矩阵(两两比较矩阵);
假设对于重要程度这一准则,存在用户标签中的[职位]和[特殊标记],并进行两两比较,得到如下判断矩阵(表1):
重要程度 职位 特殊标记
职位 1 3
特殊标记 1/3 1
表1
S23、计算权重;
通过特征向量法计算特征信息的重要程度,其中,重要程度的系数为上述人为设置的数值,[职位]为1,[特殊标记]为3;
计算矩阵的每行乘积:
[职位]行乘积=1×3=3;
[特殊标记]行乘积=(1/3)×1=1/3;
计算每行乘积的n次方根(n为矩阵阶数,本实施例为2);
[职位]的n次方根=3^(1/2)≈1.732;
[特殊标记]的n次方根=(1/3)^(1/2)≈0.577;
对计算获得的各标题的重要程度的值进行归一化处理,从而得到各标题的权重:
[职位]的权重=1.732/(1.732+0.577)≈0.75;
[特殊标记]的权重=0.577/(1.732+0.577)≈0.25;
S24、加权评估;
假设各终端中存在终端z1和终端z2,且终端z1用户A在[职位]标题下选项得分为0.8,[特殊标记]标题下选项得分为0.6;终端z2用户B的[职位]标题下选项得分为0.6,[特殊标记]标题下选项得分为0.8。由于终端与用户对应,可理解为,终端加权评估的结果为用户加权评估的结果,即加权值。
用户A加权评估的结果(终端z1加权值)=0.8×0.75+0.6×0.25=0.75;
用户B加权评估的结果(终端z2加权值)=0.6×0.75+0.8×0.25=0.65;
可选的,在上述加权评估中还可引入动态加权,加权评估中还设有动态权重,如图3所示,在服务器检测到网络拥塞的前提下,服务器实时检测当前媒体服务的内容与用户标签的相关性是否超出阈值,当相关性超出阈值的时候,服务器基于动态权重对终端进行二次加权评估,并基于二次加权评估的结果,通过调整各终端的带宽,暂停或恢复部分终端的媒体服务。动态权重具体是在媒体服务中预设一个权重项(如[会议关联性]),并与其他标题一并按照上述步骤计算获得相应的权重,同期还在服务器部署大语言模型或调用现有的大语言模型。进一步,服务器基于大语言模型实时对媒体服务的内容进行信息抽取,服务器基于信息抽取的结果与每一个终端涵盖的用户标签进行相关性计算,获得计算结果;服务器将计算结果与阈值进行比较。较优的,在上述方案中选取一种有利于节省系统计算资源的方式是通过预先准备会议进程材料的方式进行,具体地,是在媒体服务创建阶段(即会议创建阶段)将进程材料转换为文本,输入大语言模型中;并通过注意力机制在通讯开始后实时将媒体服务的内容(会议音频转化为文本)持续输入大语言模型中,期间服务器的系统通过大语言模型的问答模式周期性询问大语言模型当前媒体服务的进程,如询问后出现进程(可理解为进程标题)与某一终端的某一个用户标签相关性超出阈值时,则服务器对该终端或全部终端进行动态加权,在原有的加权评估的基础上形成二次加权评估。本实施例中具体操作是对该终端的[会议关联性]标题的得分赋值(之前各终端此项赋值为0,从而不计入初始的加权评估中),从而以调大该终端二次加权评估的结果。进一步,关于二次加权的推出机制可根据实际情况确认,在上述实施例的基础上,一种较为简单的方式是服务器检测到当前会议进程结束或开启新的会议进程,则重新对[会议关联性]标题的得分赋值0,从而退出二次加权评估,回归初始的加权评估结果。
S3、当服务器检测到网络拥塞时(丢包率大于25%),对部分加权评估结果低的终端暂停媒体服务;
例如:基于上述加权评估结果得:
用户A的初始加权评估结果=xa×m1+ya×m2+0×m3=astart
式中,astart为用户A的初始加权评估结果;m1为[职位]的权重,xa为用户A在[职位]标题下选择选项对应的得分;m2为[特殊标记]的权重,ya为用户A在[特殊标记]标题下选择选项对应的得分;m3为[会议关联性]的权重;
用户B的初始加权评估结果=xb×m1+yb×m2+0×m3=bstart
式中,bstart为用户B的初始加权评估结果;xb为用户B在[职位]标题下选择选项对应的得分;yb为用户B在[特殊标记]标题下选择选项对应的得分;
其中,bstart<astart,且astart小于其他终端加权评估结果;由此,服务器基于该结果优先暂停终端z2的媒体服务;
进一步,当会议进程中存在一个进程为“施工现场指导”,终端z2某一用户标签为自定义的“施工方”,当大语言模型反馈会议进程为“施工现场指导”时,服务器通过模型或算法(如词袋模型、潜在语义分析模型等)计算得出终端z2与当前会议进程相关性超出人为设置的阈值,由此对终端z2[会议关联性]赋值λ,调整后的二次加权评估的结果为:
用户B的二次加权评估结果=xb×m1+yb×m2+λ×m3=b
式中,b为用户B的动态加权后的二次加权评估的结果,且假设有b>astart
从而对终端z2实现动态加权,进而当出现会议进程与用户标签强相关时,通过动态加权使终端z2重新恢复媒体服务,并暂停终端z1媒体服务。
需要说明的是,在以上实施例举例说明中,默认暂停一个终端即缓解带宽压力,当暂停一个终端无法结束网络拥塞时,依次按照加权值从小到大的顺序继续暂停终端至网络拥塞结束。
S4、当检测到网络拥塞结束后,服务器逆向恢复已暂停终端的媒体服务。举例:当终端z1和终端z2均已暂停,且没有动态加权的情况下,优先恢复终端z1的推流/收流,如果没有检测到网络拥塞则继续恢复终端z2推流/收流。以此类推,服务器恢复终端服务的操作至检测出现网络拥塞情况时停止,或全部终端均恢复媒体服务时停止。
服务器在动态分配终端的带宽同时,还进行带宽预留,即保持一部分带宽空闲,将带宽资源留给未订阅的流,以便后续加入终端能正常进行会议,具体预留带宽占比根据实际情况或过往情况确定。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种融合通信音视频传输方法,其特征在于,步骤包括:
服务器与多个终端建立连接,且所述服务器采集所述多个终端的设备信息;
所述服务器基于所述设备信息列出所述多个终端中每一个终端对应的支持的编码标准,并由所述服务器分别选取所述对应的支持的编码标准中带宽占比最小的编码标准为所述多个终端中每一个终端对应的适配编码标准;
所述服务器基于拥塞控制技术动态分配所述多个终端的带宽;
所述服务器根据所述多个终端的请求信息及所述多个终端的带宽,由所述服务器向所述多个终端推送所述对应的适配编码标准的流;
所述服务器采集所述多个终端中每一个终端的每一个用户的用户标签,并由所述服务器对所述用户标签提取特征信息;所述服务器计算所述特征信息的权重;
所述服务器基于所述权重对所述多个终端中每一个终端进行加权评估;
当所述服务器检测到网络拥塞时,所述服务器基于所述加权评估的结果暂停所述多个终端中至少一个终端的媒体服务;
所述加权评估中还设有动态权重;所述服务器检测到网络拥塞时,当所述服务器推送的所述媒体服务的内容与所述用户标签的相关性超出阈值时,所述服务器基于所述动态权重对所述多个终端中每一个终端进行二次加权评估,并由所述服务器基于所述二次加权评估的结果暂停或恢复所述多个终端中的至少一个终端的媒体服务。
2.根据权利要求1所述的融合通信音视频传输方法,其特征在于,所述权重基于层次分析法获得,且所述服务器计算所述权重的步骤包括:
确定所述权重计算的层次结构模型;
建立所述特征信息的重要程度判断矩阵;
通过特征向量法计算所述特征信息的重要程度,并对所得值进行归一化处理,得到所述权重。
3.根据权利要求2所述的融合通信音视频传输方法,其特征在于,所述媒体服务的内容与所述用户标签的相关性计算步骤包括:
所述服务器基于大语言模型实时对所述媒体服务的内容进行信息抽取,所述服务器基于所述信息抽取的结果与所述多个终端中每一个终端的每一个用户的用户标签进行相关性计算,获得计算结果;
所述服务器将所述计算结果与所述阈值进行比较。
4.根据权利要求1所述的融合通信音视频传输方法,其特征在于,所述服务器和所述多个终端通过公共网络或专用网络建立连接;
所述服务器和所述多个终端之间的数据传输基于网页视频语音实时通讯协议;
所述拥塞控制技术为基于网页视频语音实时通讯协议的延时梯度和丢包率的拥塞控制算法。
5.根据权利要求4所述的融合通信音视频传输方法,其特征在于,所述服务器采集所述多个终端的设备信息的步骤包括:
所述网页视频语音实时通讯协议中配置有会话描述协议,所述会话描述协议的文本包括所述设备信息;
所述服务器采集所述会话描述协议的文本,并由所述服务器获得所述设备信息;
所述设备信息包括所述多个终端的类型信息、操作系统信息、固件信息。
6.根据权利要求1所述的融合通信音视频传输方法,其特征在于,所述编码标准包括VP8、VP9、H.264、H.265;
当所述多个终端中至少一个终端支持AV1解码时,所述编码标准还包括AV1。
7.根据权利要求1所述的融合通信音视频传输方法,其特征在于,所述加权评估的结果为所述多个终端中每一个终端的加权值,并将所述多个终端按照加权值从小到大排列;
当检测到网络拥塞时,依次按照加权值从小到大暂停对应终端的媒体服务至网络拥塞结束;
当检测到网络拥塞结束后,所述服务器逆向恢复已暂停终端的媒体服务。
8.根据权利要求1所述的融合通信音视频传输方法,其特征在于,所述用户标签的特征信息包括多个标题;所述多个终端中每一个终端的用户对所述标题进行选择或标注。
9.根据权利要求8所述的融合通信音视频传输方法,其特征在于,所述用户标签的特征信息中还包括多个预设选项,且至少部分所述标题中对应设有至少一个所述预设选项;
所述预设选项对应设有得分,所述得分用于所述加权评估。
10.根据权利要求8或9所述的融合通信音视频传输方法,其特征在于,所述标题均配置有重要程度的系数,所述系数用于计算所述权重。
CN202410961307.1A 2024-07-18 2024-07-18 一种融合通信音视频传输方法 Active CN118509423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410961307.1A CN118509423B (zh) 2024-07-18 2024-07-18 一种融合通信音视频传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410961307.1A CN118509423B (zh) 2024-07-18 2024-07-18 一种融合通信音视频传输方法

Publications (2)

Publication Number Publication Date
CN118509423A CN118509423A (zh) 2024-08-16
CN118509423B true CN118509423B (zh) 2024-09-13

Family

ID=92246844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410961307.1A Active CN118509423B (zh) 2024-07-18 2024-07-18 一种融合通信音视频传输方法

Country Status (1)

Country Link
CN (1) CN118509423B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133648A (zh) * 2005-01-13 2008-02-27 高通股份有限公司 用于帧内预测视频编码的模式选择技术
CN101355689A (zh) * 2008-09-08 2009-01-28 深圳市同洲电子股份有限公司 一种数字电视视频点播控制方法、系统和数字电视接收终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823421B1 (ko) * 2006-08-22 2008-04-17 주식회사 케이티 Iptv 서비스 시스템 및 네트워크, 콘텐츠 및 데이타송수신 방법
CN117793799A (zh) * 2023-12-15 2024-03-29 重庆邮电大学 异构无线网络中考虑负载均衡和部分卸载的垂直切换算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133648A (zh) * 2005-01-13 2008-02-27 高通股份有限公司 用于帧内预测视频编码的模式选择技术
CN101355689A (zh) * 2008-09-08 2009-01-28 深圳市同洲电子股份有限公司 一种数字电视视频点播控制方法、系统和数字电视接收终端

Also Published As

Publication number Publication date
CN118509423A (zh) 2024-08-16

Similar Documents

Publication Publication Date Title
CN101335869B (zh) 一种基于Soft-MCU策略的视频会议系统
US7373379B2 (en) Media role management in a video conferencing network
US8659634B2 (en) Method and system for implementing three-party video call by mobile terminals
CN112422879B (zh) 媒体能力动态调整方法及装置
CN102893603B (zh) 一种视频会议的处理方法、装置和通信系统
US9232244B2 (en) Efficient frame forwarding in large scale real-time screen content sharing meetings
CN101790205B (zh) 多业务下的无线资源协同管理方法及系统
CN105122791B (zh) 用于优化大规模视频会议的方法和设备
WO2014183695A1 (zh) 一种调节会议终端通话质量的方法及装置
CN110971863A (zh) 一种多点控制单元跨区会议运行方法、装置、设备及系统
WO2017054286A1 (zh) 一种语音通话承载方法及装置
CN117176901A (zh) 一种远程音视频会议的实现方法及系统
CN101488870B (zh) 语音混音的实现方法、系统及设备
WO2013071772A1 (zh) 媒体数据包的处理方法、设备以及会议系统
CN113612759B (zh) 一种基于sip协议的高性能高并发智能广播系统及实现方法
CN118509423B (zh) 一种融合通信音视频传输方法
WO2014166366A1 (zh) 一种在长期演进集群网络中进行能力协商的方法及装置
EP4044615A1 (en) Method and device for adjusting attribute of video stream
CN105898621A (zh) 一种可分级视频传输方法、装置及系统
CN102098314B (zh) 一种多媒体会议的实现方法与系统
EP4114026A1 (en) Video transmission method and system, and related device and storage medium
CN102546995B (zh) 一种数据分发处理方法和装置
CN102427518A (zh) 按需组网视频会议系统
CN112004048A (zh) 基于视联网的参会终端码率控制方法、装置、设备及介质
CN116827911A (zh) 音频混合方法、装置、边缘服务器及中心服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant