CN101394568B - 视频数据的更新方法及其装置和系统 - Google Patents
视频数据的更新方法及其装置和系统 Download PDFInfo
- Publication number
- CN101394568B CN101394568B CN200710153049.0A CN200710153049A CN101394568B CN 101394568 B CN101394568 B CN 101394568B CN 200710153049 A CN200710153049 A CN 200710153049A CN 101394568 B CN101394568 B CN 101394568B
- Authority
- CN
- China
- Prior art keywords
- video
- video data
- request
- media
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 210
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 32
- 230000011664 signaling Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了视频事件的更新方法及其装置和系统，本发明方法之一包括：媒体处理器根据媒体控制器发送的指示检测视频源的视频质量，并根据检测结果向所述媒体控制器请求需要更新的视频数据。本发明方法之二包括：媒体处理器根据媒体控制器发送的指示，检测视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时，向所述媒体控制器请求需要更新的视频数据。本发明方法之三包括：媒体处理器根据媒体控制器发送的指示，向所述指示指定的视频源发起带内视频数据更新请求，请求更新所述指示指定的视频数据。采用本发明，可实现媒体处理器向媒体控制器请求需要更新的视频数据。
Description
技术领域
本发明涉及通信领域，尤其涉及视频数据的更新方法、媒体控制器和媒体处理器，以及视频数据的更新系统。
背景技术
媒体服务器设备从功能上可以分为MC(Media Controller，媒体控制器)和MP(Media Processor，媒体处理器)两个功能实体，如图1所示。MC为媒体控制器，对应的物理设备可以是媒体网关控制器(Media Gateway Controller，MGC)，主要完成会议控制的管理、以及实现对MP设备的资源管理和接入控制等功能。MP为媒体处理器，对应的物理设备可以是媒体网关(MediaGateway，MG)，主要完成会议音频、视频和数据媒体的汇集和分发，以及实现音频混音、视频画面切换、编解码和速率适配等与媒体处理相关的功能。MC和MP之间的接口协议是H.248协议。
H.248是媒体网关控制协议，是用于物理分开的媒体服务器控制的协议，能把呼叫控制从媒体转换中分离出来。媒体网关控制器通过该协议对媒体网关及H.248端点进行控制和管理，媒体网关也通过该协议将不同类型的接入方式转化为适合在IP网络上传送的RTP/RTCP(实时传输协议/实时传输控制协议)流，实现分组网络和PSTN(公共交换电话网)网络的业务互通。
H.248中有两个基本组成部分：端点(Termination)和上下文(Context)，MP上的各种资源被抽象表示为端点(Termination)，端点之间的组合被抽象表示为上下文(Context)。上下文可以包含多个端点，因而以拓扑(Topology)来描述端点间的相互关系。
基于协议的这种抽象模型，呼叫的接续实际上就是对端点和上下文的操 作。这种操作通过MC和MP之间的命令(Command)请求和响应来完成。命令所携带的参数，也称为描述符(Descriptor)，被划分为属性(Property)、信号(Signal)、事件(Event)、统计(Statistic)等类别。具有业务相关性的参数逻辑上聚合成为包(Package)。
目前视频编码压缩标准主要有MPEG-x和H.26x两大系列，其基本编码单位为宏块(Macro Block，MB)，在H.261标准中，每个宏块由4个8×8的亮度块和2个8×8的色度块组成，一个块组(Group of Block，GOB)由3×11个宏块组成，一个QCIF(Quarter Common Intermediate Format，四分之一通用中间格式)图像由3个GOB组成，一个CIF(Common Intermediate Format，通用中间格式)图像则包含12个GOB。这些压缩算法分别从三个方面改善编码效率：
运动估计/运动补偿(MP/MC)消除视频时间冗余；
图像差值的离散余弦变换(DCT)消除空间冗余；
量化系数的可变长编码(VLC)消除统计冗余。
实践表明，通过上述方法，视频编码标准获得了极高的压缩效率。但压缩后的码流在传输过程中存在着一些棘手的问题，其中比较突出的一点是：一方面，这些压缩后的码流对信道比特误码非常敏感；而另一方面，信道由于衰减等引入了大量的随机误码和突发误码，影响了码流的正常传输。尤其是当采用了VLC方案后，码流更加容易受到误码的影响，结果在解码端将失去与编码端的同步，导致在遇到下一个同步码字之前无法对VLC码字进行正确的解码；同时预测编码技术会将错误扩散到整个视频序列中，极大地降低重建图像的质量。因此，为了实现良好质量的视频传输，必须结合实际应用信道的传输特性，采取一定的容错措施。
根据在视频传输系统中位置的不同，容错算法主要可分为基于编码器的容错算法，基于解码器的容错算法和基于反馈信道的容错算法。其中基于反馈信道的容错算法，指利用解码器获得误码信息，并通过反馈信道，传送给编码器 进行误码处理的一种方式，简单的反馈信息如：请求视频关键帧刷新、请求局部宏块数据刷新等。
视频信息的反馈信道一般有附于承载面的信道(带内信道)和与承载面分离的信道(带外信道)两种方式。两种方式均可传递视频解码器到视频编码器的反馈信息，从而实现基于反馈信道的容错算法。
根据传输信道的不同，现有的传输协议可分为带外传输协议(与承载面分离)和带内传输协议(与承载面绑定)两类，主要有以下几种：
(1)基于扩展SIP方式
基于扩展SIP的方式是一种通过在SIP(Session Initiated Protocol，会话初始化协议)消息体中增加application/media_control+xml类型的扩展XML(eXtensible Markup Language，扩展标识语言)实体，来实现通过带外信令的方式传递视频数据更新请求。
该方式仅支持对视频关键帧(全帧内编码帧)的更新请求，且要求终端必须为支持该扩展的SIP终端。由于采用SIP扩展方式，一般采用带外传输方式。
(2)基于扩展RTCP报文方式
基于扩展RTCP报文的方式是一种利用RTCP扩展报文方式来提供视频反馈信息，所提供的视频反馈信息包括：
关键帧更新请求(PLI)；
图像片(Slice)更新请求(SLI)；
参考图像选择请求(RPSI)；
根据不同的反馈信息，RTCP扩展报文中携带不同参数，由于采用RTCP扩展方式，一般采用带内传输方式。
(3)H.245信令
ITU-T的H.245提供了信令面的视频数据更新请求命令，其基本功能是当解码器端发现误码时，可以请求编码器端发送关键帧或者更新的GOB、MB。要求终端支持H.245信今。该协议提供的视频更新命令包括：
videoFastUpdatePicture，用来快速请求整帧更新；
videoFastUpdateGOB，用来请求GOB更新；
videoFastUpdateMB，用来请求MB更新；
该协议一般被H.323终端采用，采用带外传输方式。
上述协议均可传输视频质量反馈信息。同时由于终端的多样性，不同终端可能采用不同的传输信道和协议来实现基于反馈信道的容错算法，如图2所示，位于软交换网络的H.324终端与位于IMS网络的SIP终端(可能有多方终端，图中只示意两方)进行多媒体会话。其中，H.324终端与IMS终端之间进行多媒体通信，IM-MGW/MGCF承担互通承载控制和呼叫控制的任务，根据3GPP协议MGCF同时承担了H.245协议的终结任务。H.324终端通常可以支持H.245协议中视频数据快速更新请求的处理，但不支持RTCP带内请求的处理；IMS网络下SIP终端能够支持带内的更新请求，也能够支持带外SIP信令的更新请求。
现有技术中实现对视频数据更新请求的过程可如图3所示，图3中的两个黑圆点标识视频质量检测点A和B，并发起质量上报或者视频I帧(即整帧)更新请求。当IMS终端支持SIP+xML扩展的带外视频数据更新请求时，如图3所示，MGW能够接收软交换网络的H.324终端发起的带内请求，并通过H.245方式发送给MGCF，MGCF可通过SIP+XML方式向IMS网络的SIP终端发送视频数据更新请求，从而实现对视频数据的更新。MGCF还可以通过SIP+XML方式接收SIP终端发起的带外请求，通过H.245方式向H.324终端发送带内的视频数据更新请求，从而实现对视频数据的更新。
发明人在实现本发明创造的过程中，发现现有技术至少存在如下缺陷：
当IM-MGW自身检测到H.324终端或SIP终端的视频质量问题时，IM-MGW无法向MGCF请求需要更新的视频数据；
当SIP终端通过带内RTP/RTCP反馈视频数据更新请求，而IM-MGW无法提供所请求更新数据时，IM-MGW无法通过H.248协议将更新请求上报给 MGCF，以便MGCF通过H.245消息向H.324终端请求视频数据更新；
当MGCF收到来自H.324终端的H.245视频数据更新请求，而SIP终端不支持SIP+XML的视频数据更新请求时，MGCF无法指示IM-MGW发送带内的视频数据更新请求。
综上，现有技术没有提供在上述情况下，如何通过MGCF指示MGW，对需要更新的视频数据进行更新请求。
发明内容
本发明的实施例揭示了视频数据的更新方法及其装置和系统，以实现通过媒体控制器指示媒体处理器，对需要更新的视频数据进行更新请求。
本发明实施例揭示的视频数据的更新方法，包括如下步骤：
媒体控制器发送指示给媒体处理器，指示所述媒体处理器检测视频源的视频质量，具体为：所述媒体控制器发送视频质量检测事件，指示所述媒体处理器检测视频源的视频质量；
媒体处理器根据媒体控制器发送的指示，检测视频源的视频质量，并根据检测结果向所述媒体控制器请求需要更新的视频数据；
所述媒体处理器根据媒体控制器发送的指示，检测视频源的视频质量，并根据检测结果向所述媒体控制器请求需要更新的视频数据，具体为：
所述媒体处理器根据所述视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据。
本发明实施例揭示的装置为媒体控制器，该媒体控制器包括：
示发送模块，用于向媒体处理器发送指示，具体的，所述指示发送模块，用于发送视频质量检测事件；
更新请求接收模块，用于接收所述媒体处理器发送的请求，所述请求用于请求需要更新的视频数据；所述请求为所述媒体处理器根据所述指示发送模块 发送的指示，检测视频源的视频质量，并根据检测结果发送的请求，具体的，所述更新请求接收模块，用于接收所述媒体处理器上报的所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据；所述上报的视频质量检测事件为所述媒体处理器根据所述媒体控制器发送的视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报的视频质量检测事件。
本发明实施例揭示的装置为媒体处理器，该媒体处理器包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示为所述媒体控制器发送的视频质量检测事件，所述视频质量检测事件携带视频质量检测参数；
检测模块，用于根据所述指示检测视频源的视频质量，具体的，所述检测模块，用于根据所述视频质量检测参数检测视频源的视频质量；
更新请求模块，用于根据所述检测模块的视频质量检测结果，向所述媒体控制器上报视频质量检测事件，携带视频数据更新参数，向所述媒体控制器请求需要更新的视频数据，所述视频数据更新参数指示出需要更新的视频数据。
本发明实施例揭示的视频数据更新系统，包括：媒体控制器和媒体处理器；
所述媒体处理器，用于根据所述媒体控制器的指示检测视频源的视频质量，并根据视频质量检测结果向所述媒体控制器发送请求，请求需要更新的视频数据；
所述媒体控制器，用于指示所述媒体处理器检测视频源的视频质量；
具体的，
所述媒体控制器用于发送视频质量检测事件，指示所述媒体处理器检测视频源的视频质量；
媒体处理器用于根据所述视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据。
本发明的上述实施例，通过媒体控制器向媒体处理器发送指示，指示检测 视频源的视频质量，使媒体处理器进行视频质量检测，并在检测到视频质量问题时，能够上报给媒体控制器以进行视频数据更新，解决了现有技术在这方面的不足，实现了由媒体处理器根据媒体控制器的指示进行视频数据质量检测和对视频数据进行更新请求。
本发明实施例揭示的另一种视频数据的更新方法，包括如下步骤：
媒体控制器发送给媒体处理器指示，指示所述媒体处理器检测视频源发起的带内视频数据更新请求，具体为：所述媒体控制器发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
媒体处理器根据媒体控制器发送的指示，检测视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时，向所述媒体控制器请求需要更新的视频数据；
所述媒体处理器根据媒体控制器发送的指示，检测视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时，向所述媒体控制器请求需要更新的视频数据，具体为：所述媒体处理器根据所述事件，检测带内视频数据更新请求，并在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，向所述媒体控制器请求需要更新的视频数据。
本发明实施例揭示的另一种装置为媒体控制器，该媒体控制器包括：
指示发送模块，用于向媒体处理器发送指示，具体的，所述指示发送模块，用于发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
更新请求接收模块，用于接收所述媒体处理器发送的请求，请求需要更新的视频数据；所述请求为所述媒体处理器根据所述指示发送模块发送的指示，检测指定视频源发起的带内视频更新请求，并在检测到所述带内视频更新请求时发送的请求，具体的，所述更新请求接收模块，用于接收所述媒体处理器上报的所述视频更新请求检测事件，向所述媒体控制器请求需要更新的视频数 据；所述上报的视频更新请求检测事件为所述媒体处理器根据所述媒体控制器发送的视频更新请求检测事件，检测所述视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时上报的视频更新请求检测事件。
本发明实施例揭示的另一种装置为媒体处理器，该媒体处理器包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示为所述媒体控制器发送的视频更新请求检测事件，所述事件中携带事件参数，所述事件参数包括实时传输控制协议报文类型参数；；
检测模块，用于根据所述指示检测所述指示指定的视频源发起的带内视频数据更新请求，具体的，所述检测模块，用于根据所述实时传输控制协议报文类型参数检测所述带内视频数据更新请求；
更新请求模块，用于在所述检测模块检测到所述带内视频数据更新请求后，向所述媒体控制器请求需要更新的视频数据，具体的，所述更新请求模块，用于在所述检测模块检测到所述带内视频数据更新请求后，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，所述视频数据更新参数指示出需要更新的视频数据。
本发明实施例揭示的视频数据更新系统，包括：媒体控制器和媒体处理器；
所述媒体处理器，用于根据所述媒体控制器的指示，检测视频源的带内视频更新请求，并在检测到所述带内视频更新请求后向所述媒体控制器发送请求，请求需要更新的视频数据；
所述媒体控制器，用于指示所述媒体处理器检测视频源发起的带内视频更新请求；
具体的，
所述媒体控制器用于发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
所述媒体处理器用于根据所述事件，检测带内视频数据更新请求，并在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，向所述媒体控 制器请求需要更新的视频数据。
本发明的上述实施例，通过媒体控制器向媒体处理器发送指示，指示检测视频源的带内视频数据更新请求，使媒体处理器能够在检测到视频源的带内视频数据更新请求后，向媒体控制器发起视频数据更新请求，解决了现有技术中在这方面的不足，实现了由媒体处理器根据媒体控制器的指示检测带内视频数据更新请求并上报给媒体控制器，以请求视频数据更新。
本发明实施例揭示的另一种视频数据的更新方法，包括如下步骤：
附图说明
媒体控制器向媒体处理器发送请求消息，指示所述媒体处理器向视频源发起带内视频数据更新请求，所述请求消息中携带视频数据更新参数，所述视频数据更新参数为更新整帧视频数据的参数或为更新局部视频数据的参数；
媒体处理器根据媒体控制器发送的指示，向所述指示指定的视频源发起带内视频数据更新请求，请求更新所述指示指定的视频数据；
所述媒体处理器根据媒体控制器发送的指示，向所述指示指定的视频源发起带内视频数据更新请求，具体为：所述媒体处理器根据所述请求消息中携带的视频数据更新参数，发送相应类型的带内视频数据更新请求消息。
本发明实施例揭示的另一种装置为媒体处理器，该媒体处理器包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示中携带视频数据更新参数，所述视频数据更新参数为更新整帧视频数据的参数或更新局部视频数据的参数；
更新请求模块，用于根据所述指示，向所述视频源发起带内视频数据更新请求，请求更新所述指示所指示的视频数据；
所述更新请求模块包括：
第一更新请求子模块，用于根据所述更新整帧视频数据的参数，发送更新整帧视频数据的带内视频数据更新请求；
第二更新请求子模块，用于根据所述更新局部视频数据的参数，将所述视频数据更新参数转换为相应带外视频数据更新请求消息的参数，并发送更新局 部视频数据的带内视频数据更新请求。
本发明的上述实施例，通过媒体控制器向媒体处理器发送指示，指示其发起带内视频数据更新请求，使媒体处理器能够在接收到该指示后按照该指示发起带内视频数据更新请求，解决了现有技术在这方面的不足，实现了媒体处理器根据媒体控制器的指示，通过发起带内视频数据更新请求进行视频数据更新。
图1为现有技术中媒体处理器的示意图；
图2为现有技术中的软交换终端与IMS终端互通的架构的示意图；
图3为现有技术中的软交换终端与IMS终端互通的场景示意图；
图4A和图4B为本发明实施例一的软交换终端与IMS终端互通的场景示意图；
图5A为本发明实施例一的MGW检测视频质量的流程示意图；
图5B为本发明实施例一的MGW检测视频质量的信令流程示意图；
图6为本发明实施例二的软交换终端与IMS终端互通的场景示意图；
图7A为本发明实施例二的MGW检测带内请求报文的流程示意图；
图7B为本发明实施例二的MGW检测带内请求报文的信令流程示意图；
图8为本发明实施例三的软交换终端与IMS终端互通的场景示意图；
图9A为本发明实施例三的MGCF指示MGW发送视频更新请求的流程示意图；
图9B为本发明实施例三的MGCF指示MGW发送视频更新请求的信令流 程示意图；
图10为本发明实施例的媒体控制器的结构示意图；
图11为本发明实施例的媒体处理器的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
本发明实施例提出一种在承载控制分离架构下，媒体控制器和媒体处理器之间通过视频质量检测与上报方式，或者通过带内视频数据更新请求检测与上报方式，或者通过媒体控制器指示媒体处理器发起视频数据更新请求的方式，通知视频编码源端发送更新数据，从而提高视频通信质量的技术方案。
实施例一
本实施例描述了MGCF指示MGW进行视频质量检测并上报的过程。在该过程中，MGW参与视频编解码，并能动态检测视频编码源端发来的视频流质量，并将质量信息上报MGCF，从而实现会话过程中由MGW来负责对视频编码源的质量跟踪和更新请求。
本实施例的具体应用场景可以如图4A和图4B所示。
在图4A中，由于MGW参与视频编解码，因此可将视频质量检测点设置于MGW。当MGW检测到来自视频编码源端的H.324终端视频质量存在问题时，向MGCF反馈视频质量，MGCF通过H.245方式请求H.324终端发送视频更新数据。
在图4B中，由于MGW参与视频编解码，因此可将视频质量检测点设置于MGW。当MGW检测到来自视频编码源端的SIP终端视频质量存在问题时，向MGCF反馈视频质量，MGCF通过SIP+XML方式请求SIP终端发送视频更新数据。
参见图5A，为本发明实施例一的MGW检测视频质量的流程示意图，该流程图针对图4A和图4B所给出的场景描述了由MGW检测视频质量并上报 给MGCF的过程，具体步骤包括：
步骤501、多媒体会话建立过程，在此过程中MGCF确定MGW是否参与了在不同视频源之间的视频编解码，如进行会议混屏或转码。
步骤502、在确认MGW参与视频编解码后，MGCF指示MGW开始检测视频质量，并确定检测标准，如需要检测的视频质量等级要求。
步骤503、MGW在解码过程中，根据MGCF指定的质量等级要求，对接收到的视频数据按要求进行计算或统计。
步骤504～505、当MGW计算发现视频质量下降到MGCF指定的质量等级之下时，同时无法通过解码过程恢复视频质量，则向MGCF上报需要更新的视频数据信息。
步骤506、MGCF根据MGW上报的需要更新的视频数据信息，发送带外视频数据更新请求。如果检测到H.324端视频质量问题，则MGCF通过H.245方式向H.324终端发送带外视频数据更新请求；如果检测到SIP终端视频质量问题，则MGCF通过SIP+XML方式向SIP终端发送带外视频数据更新请求。
图5A所示的流程中，视频质量等级的设定和检测标准由MGCF决定，可能但不限于宏块误码率、视频质量的其它检测标准等。
可以看出，当视频源由于网络传输或其它原因导致视频质量下降时，MGW和MGCF会根据质量下降程度，决定是否请求新的视频数据，从而保证视频源到MGW间的视频数据刷新。
本实施例通过扩展H.248协议实现上述流程。本实施例在H.248协议中增加视频质量检测事件，MGCF可以通过向MGW下发该事件，指示MGW按照指定的标准对视频质量事件进行检测并上报；在MGW上报给MGCF的H.248协议消息中携带视频数据参数，用于表示需要更新的视频数据信息。
MGCF向MGW下发的视频质量检测事件中，携带视频质量检测参数，这些参数指示MGW进行视频质量检测与上报所遵循的标准，这些参数可以包括：
1、最小视频宏块误码率(Min Percent of Error，minpoe)，可以将该参数 作为是否需要进行视频更新的一个判断数据，当MGW检测到的视频宏块误码概率小于该参数的值时，则认为当前的视频质量可以接受，否则认为当前的视频质量出现局部下降，需要发送局部更新请求。该参数的允许范围可设为20-50。
2、最大视频宏块误码率(Max Percent of Error，maxpoe)，可以将该参数作为是否需要进行视频更新的一个判断数据，当MGW检测到的视频宏块误码概率大于该参数的值时，则认为当前的视频质量严重下降，需要发送整个视频帧更新请求，即I帧请求。该参数的允许范围可设为minpoe＜maxpoe＜100。
3、最小上报时间间隔(notify interval，nint)，该参数规定了MGW每次进行上报的最小时间间隔。该参数的设置是为了防止在网络质量较差，视频质量一直处于较差的情况下，MGW过于频繁的上报检测视频质量的事件。
以上参数决定了MGW对视频质量检测的标准和上报频率。例如，视频质量检测事件参数为：minpoe＝30，maxpoe＝60，nint＝5s；MGW统计实际接收的宏块数量和出现误码的宏块数量，当宏块误码率达到30％，MGW上报视频质量检测事件，请求更新局部数据；当宏块误码率达到60％，MGW上报视频质量检测事件，请求更新整帧数据；若在一段时间内，由于某种原因视频数据的宏块误码率始终高于设定的阈值(minpoe或maxpoe)，则当MGW完成一次事件上报后，需要等待5s再上报新的视频质量检测事件。
MGW基于视频质量检测事件向MGCF上报的消息中，携带视频数据更新参数，这些参数指明了需要更新的视频数据，这些参数可以包括：
firstGOB，该参数指明在视频图像中第1个需要被更新的GOB标识，GOB标识由具体的编码算法决定；
numberOfGOBs，该参数指明需要更新的GOB的数量；
firstMB，该参数指明第1个需要被更新的宏块标识，宏块标识由具体的编码算法决定；
numberOfMBs，该参数指明需要更新的宏块数量；
fastUpdatePicture，该参数指明需要更新整个视频图像，即需要视频源发送I帧数据。
MGW上报的以上参数可以实现对局部GOB、局部MB和整个I帧数据的更新请求。例如，上报的参数为firstGOB＝3，numberOfGOBs＝5，表示需要更新第3-7共5个GOB的视频数据；上报的参数为fastUpdatePicture＝1，表示需要更新整个视频图像帧，需要视频源发送新的I帧数据。
在图2所示的网络结构下，MGW检测会话双方的视频质量并上报的过程中，对会话双方的检测过程是一致的。其中MGW检测H.324终端视频质量，并上报需要更新的视频数据的信令流程可如图5B所示。
参见图5B，为本发明实施例一的MGW检测视频质量的信今流程示意图，具体步骤包括：
步骤511、建立多媒体会话。
步骤512、MGCF向会话中的指定端点通过H.248协议发送请求消息给MGW，消息中指示视频质量检测事件，以及相应的事件参数。
本实施例中，MGCF下发检测的是H.324终端所对应的端点X(TerminationX)，视频质量检测事件参数包括最小视频宏块误码率(minpoe)为30，最大视频宏块误码率(maxpoe)为60，上报间隔时间为5s。
步骤513、MGW收到请求消息后进行响应。
步骤514～515、MGW根据MGCF指示视频质量检测事件及其参数，开始统计接收的宏块数量以及误码宏块的数量，对视频流数据进行检测，当检测到视频宏块误码率大于60％且与上次上报间隔大于5s时，向MGCF发送通知消息，通过该通知消息向MGCF上报视频质量检测事件，其中携带视频数据更新参数(fastUpdatePicture＝1)，指示出需要更新的视频数据。
当MGW检测到宏块错误率高于最小视频宏块误码率(如本实施例中的minpoe＝30％)但低于最大视频宏块误码率(如本实施例中的maxpoe＝60％)时，则通知MGCF进行局部数据更新，其中可包括第一个丢失的宏块地址、 丢失的宏块数量以及时间位置(可以参考AVPF(Audio-Visual Profile withFeedback，语音视频质量反馈)中的SLI命令)。当检测到误码率高于最大视频宏块误码率(如本实施例中的maxpoe＝60％)时，则通过参数fastUpdatePicture＝1通知MGCF进行整帧数据更新。
步骤516、MGCF收到通知消息后进行响应。
步骤517、MGCF根据MGW上报的视频数据更新参数(fastUpdatePicture＝1)，向H.324终端发送H.245信令(如videoFastUpdatePicture)，请求H.324终端更新整帧数据。
上述图5B所示的流程中，MGCF下发检测的是H.324终端所对应的端点X，此外MGCF也可以检测SIP终端对应的端点，这种情况下，当SIP终端端点检测到视频质量问题时，同样要上报MGCF；而MGCF将根据上报的参数发送SIP+XML方式的视频数据更新请求给SIP终端，请求SIP终端进行视频数据更新。
实施例二
本实施例描述了MGCF指示MGW进行带内视频数据更新信令检测并上报视频数据更新请求，使MGW能检测视频数据更新请求并上报给MGCF，从而使MGCF向被请求的视频源传递视频数据更新请求，实现会话过程中对视频数据的更新。
本实施例的具体应用场景可以如图6所示。
在图6中，由MGW检测SIP终端发起的带内视频数据更新请求，当MGW检测到来自SIP终端的带内视频数据更新请求时通知MGCF，MGCF通过H.245方式请求H.324终端发送视频更新数据。
参见图7A，为本发明实施例二的MGW检测带内请求报文的流程示意图，该流程图针对图6所给出的场景描述了由MGW检测SIP终端发起的视频数据更新请求并上报给MGCF的过程，具体步骤包括：
步骤701、多媒体会话建立过程。
步骤702、MGCF决定需要检测的SIP终端带内视频数据更新请求的RTCP报文类型，并指示MGW开始检测RTCP报文。
步骤703～704、MGW接收终端发来的RTCP报文并对报文类型进行分析，确定是否是MGCF所指示检测的报文类型。
步骤705、当MGW确定接收到的RTCP报文是MGCF所指示检测的报文类型时，将该RTCP报文所携带的视频数据更新参数上报给MGCF。
步骤706、MGCF根据MGW上报的视频数据更新参数，通过H.245方式向H.324终端发送带外视频数据更新请求，请求更新该视频数据更新参数所指示的视频数据。
图7A所示的上述流程中，MGW上报的视频数据更新参数与SIP终端发送的带内RTCP报文所携带的视频数据更新参数一致。
本实施例通过扩展H.248协议实现上述流程。本实施例在H.248协议中增加检测RTCP视频质量反馈报文的事件(视频更新请求检测事件)，MGCF可以通过向MGW下发该事件，指示MGW对负荷类型(PayloadType)为PSFB(payload-specific feedback messages，对负荷的反馈消息)的RTCP报文，如RTCP/AVPF请求，进行检测并上报。
MGCF向MGW下发的RTCP视频质量反馈报文检测事件中，携带事件参数，用于指示MGW进行RTCP视频质量反馈报文的检测和上报，这些参数可以包括：
1、RTCP的报文类型(Feedback Message Type，fmt)，该参数确定了需要检测的报文类型。类型值由RTCP视频质量反馈扩展报文的相关标准确定，其中与视频数据更新请求相关的报文有Picture Loss Indication(PLI，关键帧更新请求)、Slice Loss Indication(SLI，图像片更新请求)、Full Intra Request(FIR，I帧更新请求)等。
2、最小上报时间间隔(notify interval，nint)，两次上报的最小时间间隔，该参数是为了防止在网络质量较差，视频质量一直处于较差的情况下，MGW 过于频繁的上报事件。
以上参数决定了MGW对视频数据更新请求检测的标准和上报频率。例如，视频更新请求检测事件参数为：fmt＝FIR，nint＝5s；MGW检测到FIR类型的RTCP报文时，上报视频更新事件，请求更新视频数据；若在一段时间内，由于某种原因SIP终端不断发送RTCP扩展报文，则当MGW完成一次事件检测和上报后，需要等待5s再上报新的视频更新请求检测事件。
MGW基于对RTCP视频质量反馈报文的检测向MGCF上报视频更新请求检测事件中，携带如下视频数据更新参数以指示需要更新的视频数据，这些参数可以包括：
firstMB，该参数指明第1个需要被更新的宏块标识，宏块标识由具体的编码算法决定；
numberOfMBs，该参数指明需要更新的宏块数量；
fastUpdatePicture，该参数指明需要更新整个视频图像，即需要视频源发送I帧数据。
MGW上报的参数与检测到的报文类型相关，不同的RTCP报文携带不同的视频数据更新参数，MGW上报的参数由RTCP报文所携带的参数决定。MGW检测到的报文类型、上报的参数以及MGCF发送的H.245信令对应关系如下：
当MGW检测到FIR与PLI报文时，上报的参数为fastUpdatePicture＝1，MGCF发送的H.245信令为videoFastUpdatePicture；
当MGW检测到SLI报文时，上报的参数为firstMB与numberOfMBs，这两个参数值分别等于SLI报文中的first与number参数值，MGCF发送的H.245信令为videoFastupdateMB。
MGW上报的以上参数可以实现对局部MB和整个I帧数据的更新请求。例如，上报的参数为firstMB＝3，numberOfMBs＝5，表示需要更新第3-7共5个MB的视频数据；上报的参数为fastUpdatePicture＝1，表示需要更新整帧数 据，需要视频源发送新的I帧数据。
在图2所示的网络结构下，MGW检测SIP终端发送的带内视频数据更新请求，将检测的带内更新请求通过事件上报给MGCF；MGCF根据接收到的事件发送H.245带外视频数据更新请求给H.324终端的信令流程如图7B所示。
参见图7B，为本发明实施例二的MGW检测带内请求报文的信令流程示意图，具体步骤包括：
步骤711、建立多媒体会话。
步骤712、MGCF向会话中指定端点发送请求消息给MGW，消息中指示视频更新请求检测事件，以及相应的事件参数。
本实施例中，MGCF下发检测的是SIP终端所对应的端点X(TerminationX)，MGCF向MGW下发的视频更新请求检测事件指示MGW检测RTCP/AVPF请求，并只检测负荷类型(Payload Type)为PSFB的RTCP报文。例如，视频更新请求检测事件参数为fmt＝FIR，指示MGW只检测FIR扩展报文。对于其他类型的报文，可参考RFC 4585与raft-ietf-avt-avpf-ccm-05。
步骤713、MGW收到请求消息后进行响应。
步骤714～715、MGW根据MGCF指示的视频更新请求检测事件，开始对指定的RTCP扩展报文进行检测。当检测到RTCP的FIR报文时，且与上次发送通知消息的时间间隔大于MGCF指定的时间间隔，则通过发送通知消息上报视频更新请求检测事件，通知消息中携带参数fastUpdatePicture＝1，指示更新整帧视频。
根据检测到的RTCP报文类型的不同，通知消息中携带的参数也有所不同。本实施例中，需要检测的是RTCP的FIR报文，相应地，上报的参数为fastUpdatePicture参数。
步骤716、MGCF收到通知消息后进行响应。
步骤717、MGCF根据MGW上报的视频数据参数(fastUpdatePicture＝1)，向H.324终端发送H.245信令(如videoFastUpdatePicture信令)，请求H.324 终端更新视频整帧数据。
实施例三
本实施例描述了MGCF指示MGW发送带内视频数据更新请求，从而实现视频数据更新的过程。当MGCF接收到相关的带外请求报文时，若被请求的视频源支持带内请求方式，则MGCF通过MGW向视频源发送带内请求。
本实施例的具体应用场景可以如图8所示。在图8中，由MGW检测H.324终端发起的带外视频数据更新请求，当MGW检测到来自H.324终端的带外视频数据更新请求时通知MGCF，MGCF通过带内RTP/RTCP方式请求SIP终端发送视频更新数据。
参见图9A，为本发明实施例三的MGCF指示MGW发送视频数据更新请求的流程示意图，具体步骤包括：
步骤901、建立多媒体会话。
步骤902、MGCF收到带外方式的视频数据更新请求消息，其中携带视频数据的更新参数。
步骤903、若视频源支持带内请求方式，则MGCF指示MGW发送带内请求信令给视频源端，其中携带的视频更新参数与MGCF接收到的视频数据更新请求消息中的更新参数保持一致。
步骤904、MGW根据MGCF的指示，向视频源端发送带内更新请求消息，消息中携带的参数所指示的需要更新的视频数据，与MGCF通过视频数据更新参数所指示的需要更新的视频数据保持一致。
步骤905、MGW完成请求消息发送后，向MGCF进行响应。
图9A所示的流程中，MGCF直接将H.245消息参数传递给MGW，MGW负责H.245消息参数与RTCP扩展报文参数之间的转换，并根据H.245消息发送匹配的RTCP报文。
本实施例通过扩展H.248协议实现上述流程。本实施例在H.248协议中增加指示MGW发送RTCP视频质量扩展报文的信号，MGCF可以通过该信号指 示MGW发送负荷类型(Payload Type)为PSFB的RTCP扩展报文。该信号参数与H.245信令参数一致，包括：
1、firstGOB，指明在视频图像中第1个需要被更新的GOB标识，GOB标识由具体的编码算法决定；
2、numberOfGOBs，指明需要更新的GOB数量；
3、firstMB，指明第1个需要被更新的宏块标识，宏块标识由具体的编码算法决定；
4、numberOfMBs，指明需要更新的宏块数量；
5、fastUpdatePicture，指明需要更新整个视频图像，即需要视频源发送I帧数据。
MGW根据接收到的信号参数发送相应的RTCP报文，其对应关系为：
如果信号参数中携带fastUpdatePicture参数，则MGW发送FIR报文，否则发送SLI报文；其中
SLI报文中的first参数值计算为：first＝firstMB+firstGOB*每个GOB中宏块的数量；
SLI报文中的number参数值计算为：number＝numberOfGOBs*每个GOB中宏块的数量+numberOfMBs；
通过以上参数的转换，可以实现带外H.245视频更新信令到带内RTCP扩展报文的转换。以上转换也可以在MGCF上进行。
在图2所示的网络结构下，MGCF接收H.324终端的H.245视频数据更新请求，并指示MGW发送相应的带内RTCP扩展信令至SIP终端的信令流程可如图9B所示。
参见图9B，为本发明实施例三的MGCF指示MGW发送视频数据更新请求的信今流程示意图，具体步骤包括：
步骤911、首先建立多媒体会话。
步骤912～913、MGCF接收到带外H.245视频数据更新请求后，向MGW 发送请求消息，其中携带指示MGW发送RTCP视频质量扩展报文的信号。
本实施例中，MGCF检测到的是H.324终端所对应的端点X(TerminationX)，请求消息中的信号参数为fastUpdatePicture＝1，指示MGW向被请求的视频源发送更新整帧视频的视频数据更新请求。
步骤914、MGW接收到MGCF视频数据更新请求指示后，将信号参数转换为RTCP报文参数，并发送相应的RTCP扩展报文。
本实施例中，MGW接收到的信号参数是fastUpdatePicture＝1，依照前述的信号参数与RTCP扩展报文的对应关系，MGW发送RTCP的FIR报文。
步骤915、MGW发送响应消息至MGCF。
本发明实施例还分别针对上述实施例一至三的流程，提供了媒体控制器、媒体处理器和视频数据更新系统的结构。
针对实施例一的流程，本发明实施例提供了一种媒体控制器的结构，如图10所示，该媒体控制器包括：指示发送模块和更新请求接收模块，其中：
指示发送模块，用于向媒体处理器发送指示；
更新请求接收模块，用于接收媒体处理器发送的请求，该请求用于请求需要更新的视频数据；该请求为媒体处理器根据指示发送模块发送的指示检测视频源的视频质量，并根据检测结果发送的请求。
上述媒体控制器还可包括更新请求发送模块，用于根据更新请求接收模块接收到的请求，发起带外视频数据更新请求，向视频源请求更新该需要更新的视频数据。
上述媒体控制器的指示发送模块可以发送视频质量检测事件，事件中携带视频质量检测参数。更新请求接收模块接收媒体处理器上报的视频质量检测事件，向媒体控制器请求需要更新的视频数据；该上报的视频质量检测事件是媒体处理器根据媒体控制器发送的视频质量检测事件中的视频质量检测参数，检测视频源的视频质量，并根据检测结果上报的视频质量检测事件，其中携带视频数据更新参数，该视频数据更新参数指示出需要更新的视频数据。
针对实施例一的流程，本发明实施例提供了一种媒体处理器的结构，如图11所示，该媒体处理器包括：指示接收模块、检测模块和更新请求模块，其中：
指示接收模块，用于接收媒体控制器发送的指示；
检测模块，用于根据接收到的指示检测视频源的视频质量；
更新请求模块，用于根据检测模块的视频质量检测结果，向媒体控制器请求需要更新的视频数据。
上述媒体处理器中的指示接收模块接收到的指示为媒体控制器发送的视频质量检测事件，视频质量检测事件中携带视频质量检测参数；检测模块根据该视频质量检测参数检测视频源的视频质量；更新请求模块根据检测模块的视频质量检测结果，向媒体控制器上报视频质量检测事件，携带视频数据更新参数，视频数据更新参数指示出需要更新的视频数据。其中，
视频质量检测参数包括视频宏块误码率；检测模块根据视频质量检测参数检测视频源的宏块误码率；更新请求模块在检测模块检测到视频源的宏块误码率高于视频质量检测参数中的视频宏块误码率时，向媒体控制器上报视频质量检测事件。视频宏块误码率可包括最大宏块误码率和最小宏块误码率，如果检测模块检测到视频源的视频宏块误码率在该最大宏块误码率和最小宏块误码率之间，则更新请求模块发送更新局部视频数据的请求；如果检测模块检测到的视频源的视频宏块误码率大于最大宏块误码率，则更新请求模块发送更新整帧视频数据的请求。
视频质量检测参数还包括时间间隔参数；更新请求模块按照该时间间隔参数指示的时间间隔上报视频质量检测事件。
针对实施例一的流程，本发明实施例提供了一种视频数据更新系统，该系统包括上述可应用于实施例一所述流程的媒体控制器和媒体处理器，其中：
媒体处理器，用于根据媒体控制器的指示检测视频源的视频质量，并根据视频质量检测结果向媒体控制器请求需要更新的视频数据；
媒体控制器，用于指示媒体处理器检测视频源的视频质量。
其中，媒体控制器还用于在接收到媒体处理器发送的请求需要更新的视频数据的请求后，向视频源发起视频数据更新请求，请求更新所述需要更新的视频数据。
针对实施例二的流程，本发明实施例提供了一种媒体控制器的结构，如图10所示，该媒体控制器包括：指示发送模块和更新请求接收模块，其中：
指示发送模块，用于向媒体处理器发送指示；
更新请求接收模块，用于接收媒体处理器发送的请求，请求需要更新的视频数据；该请求是媒体处理器根据接收到的指示检测指定视频源发起的带内视频更新请求，并在检测到带内视频更新请求时发送的请求。
上述媒体控制器还可包括：更新请求发送模块，用于根据更新请求接收模块接收到的请求，发起带外视频数据更新请求，向视频源请求更新需要更新的视频数据。
上述媒体控制器中的指示发送模块用于发送视频更新请求检测事件，指示媒体处理器检测视频源发起的带内视频数据更新请求，视频质量检测事件中携带事件参数，事件参数包括实时传输控制协议报文类型参数。更新请求接收模块接收媒体处理器上报的视频更新请求检测事件，向媒体控制器请求需要更新的视频数据；该上报的视频更新请求检测事件是媒体处理器根据媒体控制器发送的视频更新请求检测事件，检测视频源发起的带内视频数据更新请求，并在检测到带内视频数据更新请求时上报的视频更新请求检测事件，该事件中携带视频数据更新参数，该视频数据更新参数指示出需要更新的视频数据。其中，
视频数据更新参数为更新局部视频数据的参数或更新整帧视频数据的参数，视频更新请求检测事件中携带何种视频数据更新参数，是由媒体处理器根据报文类型参数确定的。
针对实施例二的流程，本发明实施例提供了一种媒体处理器的结构，如图11所示，该媒体处理器包括：指示接收模块、检测模块和更新请求模块，其中：
指示接收模块，用于接收媒体控制器发送的指示；
检测模块，用于根据指示接收模块接收到的指示，检测该指示指定的视频源发起的带内视频数据更新请求；
更新请求模块，用于在检测模块检测到带内视频数据更新请求后，向媒体控制器请求需要更新的视频数据。
上述媒体处理器中的指示接收模块接收到的指示为媒体控制器发送的视频更新请求检测事件，该事件中携带事件参数，该事件参数包括实时传输控制协议报文类型参数，该实时传输控制协议报文类型参数所指示的报文类型为图像片更新请求报文，或者为关键帧更新请求报文或整帧更新请求报文，该事件参数还包括间间隔参数。检测模块根据实时传输控制协议报文类型参数检测带内视频数据更新请求。更新请求模块在检测模块检测到带内视频数据更新请求后，向媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，该视频数据更新参数指示出需要更新的视频数据，如果事件参数还包括间间隔参数则更新请求模块按照时间间隔参数指示的时间间隔上报视频更新请求检测事件。
上述媒体处理器中的更新请求模块包括第一更新请求子模块和第二更新请求子模块，其中：
第一更新请求子模块用于根据图像片更新请求报文请求更新局部视频数据；第二更新请求子模块用于根据关键帧更新请求报文或整帧更新请求报文请求更新整帧视频数据。
针对实施例二的流程，本发明实施例提供了一种视频数据更新系统，该系统包括上述可应用于实施例二所述流程的媒体控制器和媒体处理器，其中：
媒体处理器，用于根据媒体控制器的指示检测视频源的带内视频更新请求，并在检测到带内视频更新请求后向所述媒体控制器请求需要更新的视频数据；
媒体控制器，用于指示媒体处理器检测视频源发起的带内视频更新请求。
其中，媒体控制器还用于在接收到媒体处理器发送的所述请求需要更新的 视频数据的请求后，向所述带内视频更新请求中的被请求的视频源发起视频数据更新请求，请求更新需要更新的视频数据。
针对实施例三的流程，本发明实施例提供了一种媒体控制器，该媒体控制器包括更新请求接收模块和指示发送模块，其中：
更新请求接收模块，用于接收视频源发起的带外视频数据更新请求；
指示发送模块，用于向媒体处理器发送指示，指示媒体处理器发起带内视频数据更新请求，该带内视频数据更新请求为更新接收到的带外视频数据更新请求所指示的视频数据的请求。
上述媒体控制器中的指示发送模块在更新请求接收模块接收到带外视频数据更新请求后，向媒体处理器发送该指示。
针对实施例三的流程，本发明实施例提供了一种媒体处理器，该媒体处理器包括指示接收模块和更新请求模块，其中：
指示接收模块，用于接收媒体控制器发送的指示；
更新请求模块，用于根据该指示，向视频源发起带内视频数据更新请求，请求更新该指示所指示的视频数据。
上述媒体处理器中的指示接收模块接收到的指示中携带视频数据更新参数，该视频数据更新参数为更新整帧视频数据的参数或更新局部视频数据的参数；上述媒体处理器中的更新请求模块包括第一更新请求子模块和第二更新请求子模块，其中：
第一更新请求子模块用于根据更新整帧视频数据的参数，发送更新整帧视频数据的带内视频数据更新请求；第二更新请求子模块用于根据更新局部视频数据的参数，将视频数据更新参数转换为相应带外视频数据更新请求消息的参数，并发送更新局部视频数据的带内视频数据更新请求。
针对实施例三的流程，本发明实施例提供了一种视频数据更新系统，该系统包括上述可应用于实施例三所述流程的媒体控制器和媒体处理器，其中：
媒体处理器，用于根据媒体控制器的指示，向被请求的视频源发起带内视 频更新请求，请求更新视频数据；
所述媒体控制器，用于在接收到视频源的带外视频更新请求后，向媒体处理器发送所述指示，指示媒体处理器向带外视频更新请求中被请求的视频源发起带内视频数据更新请求。
综上所述，通过本发明的实施例，当IM-MGW自身检测到H.324终端或SIP终端的视频质量问题时，IM-MGW可根据MGCF的指示向MGCF请求需要更新的视频数据；当SIP终端通过带内RTP/RTCP反馈视频数据更新请求，而IM-MGW无法提供所请求更新数据时，IM-MGW可根据MGCF的指示，通过H.248协议将更新请求上报给MGCF，以便MGCF通过H.245消息向H.324终端请求视频数据更新；当MGCF收到来自H.324终端的H.245视频数据更新请求，而SIP终端不支持SIP+XML的视频数据更新请求时，MGCF可指示IM-MGW发送带内的视频数据更新请求。综上，本发明的实施例可在上述情况下，通过MGCF指示MGW，实现视频数据的更新请求。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (32)
1.一种视频数据的更新方法，其特征在于，包括如下步骤：
媒体控制器发送指示给媒体处理器，指示所述媒体处理器检测视频源的视频质量，具体为：所述媒体控制器发送视频质量检测事件，指示所述媒体处理器检测视频源的视频质量；
媒体处理器根据媒体控制器发送的指示，检测视频源的视频质量，并根据检测结果向所述媒体控制器请求需要更新的视频数据；
所述媒体处理器根据媒体控制器发送的指示，检测视频源的视频质量，并根据检测结果向所述媒体控制器请求需要更新的视频数据，具体为：
所述媒体处理器根据所述视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据。
2.如权利要求1所述的方法，其特征在于，所述媒体控制器向所述媒体处理器发送的所述视频质量检测事件中携带视频质量检测参数；
所述媒体处理器根据所述视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报所述视频质量检测事件，具体为：
所述媒体处理器根据所述视频质量检测参数检测所述视频源的视频质量，并根据检测结果上报所述事件，其中携带视频数据更新参数，所述视频数据更新参数指示出需要更新的视频数据。
3.如权利要求2所述的方法，其特征在于，所述视频质量检测参数包括视频宏块误码率；
所述媒体处理器根据所述视频质量检测参数检测所述视频源的视频质量，并根据检测结果上报所述事件，具体为：
所述媒体处理器检测到所述视频源的视频宏块误码率高于所述视频质量检测参数中的视频宏块误码率时，向所述媒体控制器上报所述视频质量检测事件。
4.如权利要求3所述的方法，其特征在于，所述视频质量检测参数中的视频宏块误码率包括最小视频宏块误码率和最大视频宏块误码率；
所述媒体处理器检测到所述视频源的视频宏块误码率高于所述视频质量检测参数中的视频宏块误码率时，向所述媒体控制器上报所述视频质量检测事件，具体为：
所述媒体处理器检测到所述视频源的宏块误码率低于所述最大视频宏块误码率且高于所述最小视频宏块误码率时，向所述媒体控制器请求更新局部视频数据；或者，所述媒体处理器检测到所述视频源的宏块误码率高于所述最大视频宏块误码率时，向所述媒体控制器请求更新整帧视频数据。
5.如权利要求3所述的方法，其特征在于，所述视频质量检测参数还包括时间间隔参数；
所述媒体处理器根据所述视频质量检测参数检测所述视频源的视频质量，并根据检测结果上报所述事件，具体为：所述媒体处理器按照所述时间间隔参数指示的时间间隔上报所述事件。
6.如权利要求1所述的方法，其特征在于，所述媒体控制器接收到更新视频数据的请求后，还包括步骤：向所述视频源发起带外视频数据更新请求，请求更新所述需要更新的视频数据。
7.一种视频数据的更新方法，其特征在于，包括如下步骤：
媒体控制器发送给媒体处理器指示，指示所述媒体处理器检测视频源发起的带内视频数据更新请求，具体为：所述媒体控制器发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
媒体处理器根据媒体控制器发送的指示，检测视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时，向所述媒体控制器请求需要更新的视频数据；
所述媒体处理器根据媒体控制器发送的指示，检测视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时，向所述媒体控制器请求需要更新的视频数据，具体为：所述媒体处理器根据所述事件，检测带内视频数据更新请求，并在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，向所述媒体控制器请求需要更新的视频数据。
8.如权利要求7所述的方法，其特征在于，所述媒体控制器向所述媒体处理器发送的所述视频更新请求检测事件中携带事件参数，所述事件参数包括实时传输控制协议报文类型参数；
所述媒体处理器在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，向所述媒体控制器请求需要更新的视频数据，具体为：所述媒体处理器检测到所述报文类型参数指示的报文时，根据所述报文的类型，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，所述视频数据更新参数指示出需要更新的局部视频数据或整帧视频数据。
9.如权利要求8所述的方法，其特征在于，所述根据所述报文的类型，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，具体为：
根据图像片更新请求报文，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，所述视频数据更新参数指示出需要更新的局部视频数据；
或者，根据关键帧更新请求报文或整帧更新请求报文，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，所述视频数据更新参数指示出需要更新的整帧视频数据。
10.如权利要求8所述的方法，其特征在于，所述事件参数还包括时间间隔参数；
所述媒体处理器在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，具体为：所述媒体处理器按照所述时间间隔参数指示的时间间隔上报所述事件。
11.如权利要求7所述的方法，其特征在于，所述媒体控制器接收到更新视频数据的请求后，还包括步骤：向被请求的视频源发起视频数据更新请求，请求更新所述需要更新的视频数据。
12.一种视频数据的更新方法，其特征在于，包括如下步骤：
媒体控制器向媒体处理器发送请求消息，指示所述媒体处理器向视频源发起带内视频数据更新请求，所述请求消息中携带视频数据更新参数，所述视频数据更新参数为更新整帧视频数据的参数或为更新局部视频数据的参数；
媒体处理器根据媒体控制器发送的指示，向所述指示指定的视频源发起带内视频数据更新请求，请求更新所述指示指定的视频数据；
所述媒体处理器根据媒体控制器发送的指示，向所述指示指定的视频源发起带内视频数据更新请求，具体为：所述媒体处理器根据所述请求消息中携带的视频数据更新参数，发送相应类型的带内视频数据更新请求消息。
13.如权利要求12所述的方法，其特征在于，所述媒体控制器发送给所述媒体处理器指示，具体为：所述媒体控制器接收到带外视频数据更新请求后，向所述媒体处理器发送所述指示。
14.如权利要求12所述的方法，其特征在于，所述媒体处理器根据所述请求消息中携带的视频数据更新参数，发送相应类型的带内视频数据更新请求消息，包括：
根据更新整帧视频数据的视频数据更新参数，所述媒体处理器发送更新整帧视频数据的带内视频数据更新请求；
根据更新局部视频数据的视频数据更新参数，所述媒体处理器将所述视频数据更新参数转换为相应带外视频数据更新请求消息的参数，并发送更新局部视频数据的带内视频数据更新请求。
15.如权利要求12所述的方法，其特征在于，所述带内视频数据更新请求为扩展实时传输控制协议的视频数据更新请求。
16.一种媒体控制器，其特征在于，包括：
指示发送模块，用于向媒体处理器发送指示，具体的，所述指示发送模块，用于发送视频质量检测事件；
更新请求接收模块，用于接收所述媒体处理器发送的请求，所述请求用于请求需要更新的视频数据；所述请求为所述媒体处理器根据所述指示发送模块发送的指示，检测视频源的视频质量，并根据检测结果发送的请求，具体的，所述更新请求接收模块，用于接收所述媒体处理器上报的所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据；所述上报的视频质量检测事件为所述媒体处理器根据所述媒体控制器发送的视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报的视频质量检测事件。
17.如权利要求16所述的媒体控制器，其特征在于，所述指示发送模块发送的所述视频质量检测事件中携带视频质量检测参数；所述媒体处理器根据所述视频质量检测参数检测所述视频源的视频质量；
所述更新请求接收模块接收到的所述视频质量检测事件中携带视频数据更新参数，所述视频数据更新参数指示出需要更新的视频数据。
18.如权利要求16所述的媒体控制器，其特征在于，还包括：
更新请求发送模块，用于根据所述更新请求接收模块接收到的请求，发起带外视频数据更新请求，向所述视频源请求更新所述需要更新的视频数据。
19.一种媒体控制器，其特征在于，包括：
指示发送模块，用于向媒体处理器发送指示，具体的，所述指示发送模块，用于发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
更新请求接收模块，用于接收所述媒体处理器发送的请求，请求需要更新的视频数据；所述请求为所述媒体处理器根据所述指示发送模块发送的指示，检测指定视频源发起的带内视频更新请求，并在检测到所述带内视频更新请求时发送的请求，具体的，所述更新请求接收模块，用于接收所述媒体处理器上报的所述视频更新请求检测事件，向所述媒体控制器请求需要更新的视频数据；所述上报的视频更新请求检测事件为所述媒体处理器根据所述媒体控制器发送的视频更新请求检测事件，检测所述视频源发起的带内视频数据更新请求，并在检测到所述带内视频数据更新请求时上报的视频更新请求检测事件。
20.如权利要求19所述的媒体控制器，其特征在于，所述指示发送模块发送的所述视频质量检测事件中携带事件参数，所述事件参数包括实时传输控制协议报文类型参数；
所述更新请求接收模块接收到的所述视频更新请求检测事件中携带视频数据更新参数，所述视频数据更新参数指示出需要更新的视频数据；所述视频数据更新参数为更新局部视频数据的参数或为更新整帧视频数据的参数，所述视频数据更新参数为所述媒体处理器根据所述报文类型参数确定的。
21.如权利要求19所述的媒体控制器，其特征在于，还包括：
更新请求发送模块，用于根据所述更新请求接收模块接收到的请求，发起带外视频数据更新请求，向所述视频源请求更新所述需要更新的视频数据。
22.一种媒体处理器，其特征在于，包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示为所述媒体控制器发送的视频质量检测事件，所述视频质量检测事件携带视频质量检测参数；
检测模块，用于根据所述指示检测视频源的视频质量，具体的，所述检测模块，用于根据所述视频质量检测参数检测视频源的视频质量；
更新请求模块，用于根据所述检测模块的视频质量检测结果，向所述媒体控制器上报视频质量检测事件，携带视频数据更新参数，向所述媒体控制器请求需要更新的视频数据，所述视频数据更新参数指示出需要更新的视频数据。
23.如权利要求22所述的媒体处理器，其特征在于，所述视频质量检测参数包括视频宏块误码率；
所述检测模块，用于检测所述视频源的宏块误码率；
所述更新请求模块，用于在所述检测模块检测到所述视频源的宏块误码率高于所述视频质量检测参数中的视频宏块误码率时，向所述媒体控制器上报所述视频质量检测事件。
24.如权利要求22所述的媒体处理器，其特征在于，所述视频质量检测参数还包括时间间隔参数；
所述更新请求模块，用于按照所述时间间隔参数指示的时间间隔上报所述视频质量检测事件。
25.一种媒体处理器，其特征在于，包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示为所述媒体控制器发送的视频更新请求检测事件，所述事件中携带事件参数，所述事件参数包括实时传输控制协议报文类型参数；；
检测模块，用于根据所述指示检测所述指示指定的视频源发起的带内视频数据更新请求，具体的，所述检测模块，用于根据所述实时传输控制协议报文类型参数检测所述带内视频数据更新请求；
更新请求模块，用于在所述检测模块检测到所述带内视频数据更新请求后，向所述媒体控制器请求需要更新的视频数据，具体的，所述更新请求模块，用于在所述检测模块检测到所述带内视频数据更新请求后，向所述媒体控制器上报视频更新请求检测事件，携带视频数据更新参数，所述视频数据更新参数指示出需要更新的视频数据。
26.如权利要求25所述的媒体处理器，其特征在于，所述实时传输控制协议报文类型参数所指示的报文类型为图像片更新请求报文，或者为关键帧更新请求报文或整帧更新请求报文；
所述更新请求模块包括：
第一更新请求子模块，用于根据所述图像片更新请求报文请求更新局部视频数据；
第二更新请求子模块，用于根据所述关键帧更新请求报文或整帧更新请求报文请求更新整帧视频数据。
27.如权利要求25所述的媒体处理器，其特征在于，所述事件参数还包括时间间隔参数；
所述更新请求模块，用于按照所述时间间隔参数指示的时间间隔上报所述视频更新请求检测事件。
28.一种媒体处理器，其特征在于，包括：
指示接收模块，用于接收媒体控制器发送的指示，所述指示中携带视频数据更新参数，所述视频数据更新参数为更新整帧视频数据的参数或更新局部视频数据的参数；
更新请求模块，用于根据所述指示，向所述视频源发起带内视频数据更新请求，请求更新所述指示所指示的视频数据；
所述更新请求模块包括：
第一更新请求子模块，用于根据所述更新整帧视频数据的参数，发送更新整帧视频数据的带内视频数据更新请求；
第二更新请求子模块，用于根据所述更新局部视频数据的参数，将所述视频数据更新参数转换为相应带外视频数据更新请求消息的参数，并发送更新局部视频数据的带内视频数据更新请求。
29.一种视频数据更新系统，其特征在于，包括媒体控制器和媒体处理器；
所述媒体处理器，用于根据所述媒体控制器的指示检测视频源的视频质量，并根据视频质量检测结果向所述媒体控制器发送请求，请求需要更新的视频数据；
所述媒体控制器，用于指示所述媒体处理器检测视频源的视频质量；
具体的，
所述媒体控制器用于发送视频质量检测事件，指示所述媒体处理器检测视频源的视频质量；
媒体处理器用于根据所述视频质量检测事件，检测所述视频源的视频质量，并根据检测结果上报所述视频质量检测事件，向所述媒体控制器请求需要更新的视频数据。
30.如权利要求29所述的视频数据更新系统，其特征在于，所述媒体控制器还用于在接收到所述媒体处理器发送的所述请求后，向所述视频源发起视频数据更新请求，请求更新所述需要更新的视频数据。
31.一种视频数据更新系统，其特征在于，包括媒体控制器和媒体处理器；
所述媒体处理器，用于根据所述媒体控制器的指示，检测视频源的带内视频更新请求，并在检测到所述带内视频更新请求后向所述媒体控制器发送请求，请求需要更新的视频数据；
所述媒体控制器，用于指示所述媒体处理器检测视频源发起的带内视频更新请求；
具体的，
所述媒体控制器用于发送视频更新请求检测事件，指示所述媒体处理器检测视频源发起的带内视频数据更新请求；
所述媒体处理器用于根据所述事件，检测带内视频数据更新请求，并在检测到所述视频源发起的带内视频数据更新请求时上报所述事件，向所述媒体控制器请求需要更新的视频数据。
32.如权利要求31所述的视频数据更新系统，其特征在于，所述媒体控制器还用于在接收到所述媒体处理器发送的所述请求后，向所述带内视频更新请求中的被请求的视频源发起视频数据更新请求，请求更新所述需要更新的视频数据。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710153049.0A CN101394568B (zh) | 2007-09-20 | 2007-09-20 | 视频数据的更新方法及其装置和系统 |
| PCT/CN2008/072426 WO2009039781A1 (en) | 2007-09-20 | 2008-09-19 | Video data update method and system |
| EP08800920A EP2192745A4 (en) | 2007-09-20 | 2008-09-19 | VIDEO DATA UPDATE PROCESS AND SYSTEM |
| US12/727,921 US20100220195A1 (en) | 2007-09-20 | 2010-03-19 | Method and system for updating video data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710153049.0A CN101394568B (zh) | 2007-09-20 | 2007-09-20 | 视频数据的更新方法及其装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101394568A CN101394568A (zh) | 2009-03-25 |
| CN101394568B true CN101394568B (zh) | 2011-06-15 |
Family
ID=40494598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200710153049.0A Active CN101394568B (zh) | 2007-09-20 | 2007-09-20 | 视频数据的更新方法及其装置和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20100220195A1 (zh) |
| EP (1) | EP2192745A4 (zh) |
| CN (1) | CN101394568B (zh) |
| WO (1) | WO2009039781A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101442421A (zh) * | 2007-11-19 | 2009-05-27 | 华为技术有限公司 | 创建会议的方法、装置及系统 |
| US9356917B2 (en) | 2012-03-23 | 2016-05-31 | Avaya Inc. | System and method for end-to-end encryption and security indication at an endpoint |
| US9860296B2 (en) * | 2012-03-23 | 2018-01-02 | Avaya Inc. | System and method for end-to-end call quality indication |
| US9178778B2 (en) | 2012-03-23 | 2015-11-03 | Avaya Inc. | System and method for end-to-end RTCP |
| US10085029B2 (en) | 2015-07-21 | 2018-09-25 | Qualcomm Incorporated | Switching display devices in video telephony |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10125884A1 (de) * | 2001-05-28 | 2002-12-05 | Siemens Ag | Konferenzeinheit zur Mehrpunktkommunikation |
| CN1910926A (zh) * | 2004-01-21 | 2007-02-07 | 达丽星网络有限公司 | 用于处理视频通信差错的方法和装置 |
| WO2007045526A1 (de) * | 2005-10-21 | 2007-04-26 | Siemens Aktiengesellschaft | Signalisierung bezüglich des aufbaus von h.324 videotelefonie zwischen einer mediagateway und einem controller |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7777777B2 (en) * | 2002-04-30 | 2010-08-17 | Tandberg Telecom As | System and method for active call monitoring |
| US20050013309A1 (en) * | 2003-07-14 | 2005-01-20 | Channasandra Ravishankar | System and method for high quality video conferencing with heterogeneous end-points and networks |
| US20050060411A1 (en) * | 2003-09-16 | 2005-03-17 | Stephane Coulombe | System and method for adaptation of peer-to-peer multimedia sessions |
| FI115589B (fi) * | 2003-10-14 | 2005-05-31 | Nokia Corp | Redundanttien kuvien koodaaminen ja dekoodaaminen |
| KR100596945B1 (ko) * | 2003-10-30 | 2006-07-04 | (주)씨앤에스 테크놀로지 | 영상 송수신 대역폭 및 화질 조절기능을 갖는 아이피 영상단말기 및 이의 제어방법 |
| PT1739900E (pt) * | 2004-06-30 | 2008-12-31 | Huawei Tech Co Ltd | Um método para a aquisição periódica de qos de fluxos multimédia |
| KR100734859B1 (ko) * | 2005-12-08 | 2007-07-03 | 한국전자통신연구원 | Ｍｅｇａｃｏ 프로토콜을 이용한 인터넷 셋탑 박스 제어장치 및 방법 |
| CN101127697A (zh) * | 2006-08-18 | 2008-02-20 | 华为技术有限公司 | 媒体控制与处理分离构架下的流控方法及其系统 |
| US20080115185A1 (en) * | 2006-10-31 | 2008-05-15 | Microsoft Corporation | Dynamic modification of video properties |
-
2007
- 2007-09-20 CN CN200710153049.0A patent/CN101394568B/zh active Active
-
2008
- 2008-09-19 EP EP08800920A patent/EP2192745A4/en not_active Withdrawn
- 2008-09-19 WO PCT/CN2008/072426 patent/WO2009039781A1/zh active Application Filing
-
2010
- 2010-03-19 US US12/727,921 patent/US20100220195A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10125884A1 (de) * | 2001-05-28 | 2002-12-05 | Siemens Ag | Konferenzeinheit zur Mehrpunktkommunikation |
| CN1910926A (zh) * | 2004-01-21 | 2007-02-07 | 达丽星网络有限公司 | 用于处理视频通信差错的方法和装置 |
| WO2007045526A1 (de) * | 2005-10-21 | 2007-04-26 | Siemens Aktiengesellschaft | Signalisierung bezüglich des aufbaus von h.324 videotelefonie zwischen einer mediagateway und einem controller |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101394568A (zh) | 2009-03-25 |
| EP2192745A1 (en) | 2010-06-02 |
| US20100220195A1 (en) | 2010-09-02 |
| EP2192745A4 (en) | 2011-05-25 |
| WO2009039781A1 (en) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4808161B2 (ja) | 動画像通信エラー処理の方法とその装置 | |
| EP3335341B1 (en) | Sender side video telephony downgrade method | |
| TWI383684B (zh) | 多媒體串流之動態視訊編碼系統與方法 | |
| US8446452B2 (en) | Video rate adaptation for congestion control | |
| US8180915B2 (en) | Coding data streams | |
| JP4753204B2 (ja) | 符号化処理装置および符号化処理方法 | |
| CN100456834C (zh) | H.264多媒体通信的服务质量监测方法 | |
| US10374865B2 (en) | System for processing streaming media service and method and network device thereof | |
| JP2009290691A (ja) | 送信装置、送信方法および受信装置 | |
| CN1668109A (zh) | 具有多种转换功能的自适应视频转码网关 | |
| WO2010037293A1 (zh) | 提高多媒体通话质量的方法和系统、媒体控制设备和媒体处理设备 | |
| CN101394568B (zh) | 视频数据的更新方法及其装置和系统 | |
| CN111741248B (zh) | 一种数据传输方法、装置、终端设备和存储介质 | |
| CN107852479A (zh) | 在视频电话中切换显示装置 | |
| CN102348095A (zh) | 一种用于移动设备视频通信中、保持图像稳定传输的方法 | |
| CN101651815B (zh) | 一种可视电话及利用其提高视频质量方法 | |
| US10819976B2 (en) | Long-term reference for error recovery without back channel | |
| WO2012003808A1 (zh) | 视频刷新方法、装置及系统 | |
| EP2264959B1 (en) | Media gateway, media gateway controller, method and system for communication of multimedia phones | |
| CN109982023B (zh) | 一种视频会话中的分辨率调整方法 | |
| CN110324667B (zh) | 一种新型视频流的播放方法和系统 | |
| Zeng et al. | Design of mobile video surveillance based on Android | |
| CN119071589A (zh) | 音视频数据的处理方法、系统和电子设备及存储介质 | |
| Zhu et al. | Research on adaptive transmission of H. 264 video stream and QoS guarantee based on SIP | |
| WO2024163197A1 (en) | Signaling media timing information from a media application to a network element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |