CN112543301A - 一种基于ims的智能会议系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于IMS的智能会议系统及实现方法。系统包括依次连接的业务应用层、呼叫控制层、接入层。方法包括以下步骤：步骤1,会议成员向会议系统发起会议预定，步骤2，会议系统应用服务器将会议预定的会议参数转发给多媒体资源功能服务器,步骤3，创建会议流程，步骤4,会议创建成功，进行会议流程：步骤5，终端退出会议系统，步骤6，将会议成员逐个挂断，结束会议流程。本发明的优越效果是：能够实现会议系统成员无缝的业务环境，从任何一个地方接入会议系统；支持各种类型的终端设备接入智能会议系统；能够实现控制与业务分离，统一的用户体验。

Description

一种基于IMS的智能会议系统及其实现方法

技术领域

本发明属于通信技术领域，尤其涉及一种基于IMS的智能会议系统及其实现方法。

背景技术

目前，随着通信技术的发展，企业的会议模式也在发生着变化。从原先的面对面的传统模式，发展为具有多种功能的智能会议。智能会议与传统会议相比，有其不可比拟的优越性，它不仅突破地域间的限制，随时随地实现远程交流，告别频繁的传统会议模式，还具有较强的专业性，能够提供稳定的音频/视频传输。智能会议为企业节省了成本，优化企业信息沟通模式，提高了员工内部沟通效率，也便于企业快速高效的掌握时长的最新行情，受到越来越多企业的青睐。

申请号为2018110683629的专利申请公开了一种双向反馈的智能会议系统及其双向反馈方法、存储介质，双向反馈方法包括：在用户通过应用选择待控制的外设设备后，接收移动端的智能会议系统应用通过调用静态库函数发送的控制指令；通过第二433无线模块向对应的待控制的外设设备的第一433无线模块发送控制指令；在外设设备执行相应指令或用户手工操作外设设备后，获取外设设备的第一433无线模块发送的外设设备动作状态信息，并将外设设备动作状态信息发送给移动端。

申请号为2018109971254的专利申请公开的智能会议系统包括手机终端、信息收集系统、智能会议系统、语音识别系统、电脑终端、音响设备、图像捕捉设备、互联网和显示设备；所述信息收集系统与语音识别系统、图像捕捉设备连接；所述智能会议系统与手机终端、信息收集系统、电脑终端、音响设备、互联网、显示设备连接；所述智能会议系统设置显示设备、音响设备控制软件；所述信息收集系统内设图像捕捉设备控制软件。

综上所述，要实现智能会议，用户需要通过不同类型的终端设备，从任何地方接入到会议系统，体验更多的多媒体业务，不仅仅是语音业务，还需要包括文字，图片，视频，投影的各种多媒体业务，实现语音，视频，数据的融合。IMS是通信运营商开展各项业务的基础，支持多种类别的业务，可提供融合的视频会议，满足智能会议系统的各项需求。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的基于IMS的智能会议系统及其实现方法。

本发明所述系统包括依次连接的业务应用层、呼叫控制层、接入层：

业务应用层包括应用服务器；

呼叫控制层包括归属用户服务器、IMS核心网服务器、媒体资源控制功能服务器、公共交换电话网络；

接入层包括GGSN/SGSN/EPC服务器、移动终端、基站、SIP接入网关设备/网络电话交换机、局域网/无线局域网、综合接入网关设备/接入网关设备；

接入层用于将各种接入网络汇总到IMS(IP Multimedia Subsystem，多媒体子系统)核心网中，实现各类终端的接入，完成对现有网络的互通及完成对承载的控制，IMS是个开放的网络架构，提供了基于IP承载的与接入无关的IP多媒体业务，IMS智能会议系统对各种接入技术有广泛的适应性，使得不同的用户终端通过不同的无线或者有线接入IMS网络并享受同样的呼叫控制服务及相应的增值业务；

呼叫控制层是IMS的核心层，完成呼叫控制、安全管理、业务触发、资源控制、网络互通的核心功能，实现智能会议系统中呼叫控制，呼叫控制层由负责会话管理和路由的呼叫控制功能、用户数据管理和认证鉴权、多媒体资源功能、互通功能这几个逻辑实体组成；

业务应用层即应用服务器是主持和执行会议服务的SIP实体且面向终端用户提供统一的接口以供用户接入会议的控制。

本发明所述方法包括以下步骤：

步骤1,会议成员或用户向会议系统发起会议预定，设定会议参数，包括会议号、会议类型、会议创建者、主席密码、成员或用户密码、会议时间、参会人数、人员名单，对于视频会议，设定视频画面的格式，只显示会议主席或某一个成员或用户的视频时采用一宫格，而要同时显示多个与会成员或用户的视频内容时则采用四宫格、九宫格，并在会议系统界面里定义每个宫格对应的成员或用户并通过web网元配置界面实现，会议预定成功后，会议系统通过短消息或者邮箱，通知会议各成员或用户；

步骤2，会议系统应用服务器将会议预定的会议参数转发给多媒体资源功能服务器,由多媒体资源功能服务器进行会议资源预留；

步骤3，创建会议流程，终端加入会议的方式包括终端申请加入会议和会议系统邀请终端加入：

步骤3.1，终端携带自身的媒体资源申请加入会议，会议系统应用服务器收到成员或用户的请求后为成员或用户申请媒体资源，多媒体资源功能服务器增加成员或用户的用户端点，为成员或用户分配媒体资源，并向成员或用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接,RTP即实时传输协议；

步骤3.2，会议系统应用服务器邀请终端加入会议，终端接受邀请加入会议并携带自身的媒体资源，多媒体资源功能服务器为成员或用户增加成员或用户端点，分配媒体资源，并向成员或用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接；

步骤3.3，会议系统应用服务器邀请终端加入会议，终端拒绝加入会议，则跳过成员或用户并继续添加其他会议成员或用户；

步骤3.4，重复步骤3.1至步骤3.3，逐一将会议成员或用户加入会议中；

步骤4,会议创建成功，进行会议流程：

步骤4.1，会议成员或用户发起语音发言，多媒体资源功能服务器对媒体进行融合处理后将语音通过RTP推送到各个会议成员或用户终端，各会议成员或用户参与语音会议，与其他会议成员或用户进行语音交流以实现智能会议语音通信，多媒体资源功能服务器对音频媒体进行融合处理时采用现有的基本混音算法并在各路输入语音流的采样率相同的前提下，对各路语音进行线性叠加；

基本混音算法的公式如下所示：

公式(1)中，m为输入音频流的个数，n为一帧中样本的个数，i为一帧中的第i个样本，j为第j个音频流，input[j][i]为第j个音频流当前帧中的第i个样本，output[i]则为混音后，当前帧的第i个样本；

步骤4.2，会议成员或用户发起视频发言，多媒体资源功能服务器对媒体进行融合，对收到各成员或用户的视频帧解码成统一的像素信息数据并对这些解码后的图像数据进行像素重排，根据视频会议创建时定义的视频画面格式里的图像分布要求，采用四宫格、九宫格，将各用户的视频图像的像素数据放置到新指定的图像存储区的相应位置，对于缺席的用户或空闲的显示窗口，填充数据使其显示为全黑，多媒体资源功能服务器对新的图像数据进行编码并通过RTP推送到各个会议成员或用户终端以实现智能会议视频通信；

步骤4.3，终端用户通过视频窗口切换将视频内容切换为工作界面，将工作界面的文件资料通过视频进行投影，多媒体资源功能服务器对视频投影进行推送，其他会议成员或用户单独点击该用户的视频窗口，进行投影观看；

步骤4.4，会议系统支持终端的延迟接入，在会议过程中，终端申请携带自身的媒体资源加入会议系统，会议系统应用服务器收到用户的请求后为用户申请媒体资源，多媒体资源功能服务器增加用户端点为用户分配媒体资源并向用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接，多媒体资源功能服务器将通过语音融合技术将新加入的用户的语音融合到会议系统中，对于视频会议，多媒体资源功能服务器将新加入用户的视频进行媒体融合，对于已设定显示宫格的用户则将此用户的视频内容添加到指定的视频显示宫格中，对于未指定显示宫格的用户则分配到空闲视频显示宫格中，多媒体资源功能服务器将融合后的音频/视频媒体通过RTP推送到各会议成员或用户终端；

步骤5，终端退出会议系统，终端退出会议系统的方式包括终端主动退出会议系统和会议系统要求终端退出会议系统：

步骤5.1，终端申请退出会议，会议系统应用服务器向多媒体资源功能服务器申请删除终端的用户端点，多媒体资源功能服务器断开与终端的RTP链接，终端退出会议；

步骤5.2，会议系统应用服务器要求终端退出会议，向多媒体资源功能服务器申请删除终端的用户端点，多媒体资源功能服务器断开与终端的RTP链接，终端退出会议；

步骤6，重复步骤5.1至步骤5.2，将会议成员或用户逐个挂断，结束会议流程。

本发明的优越效果是：

1、能够实现会议系统成员或用户无缝的业务环境，从任何一个地方接入会议系统；

2、支持各种类型的终端设备接入智能会议系统；

3、能够实现控制与业务分离，统一的用户体验；

4、能够提供音频、视频、投影融合的多媒体业务；

5、能够提供端到端的完整通信流程；

6、本发明实现了支持语音、视频、投影推送不同终端；

7、本发明分层的架构设计实现了业务与控制分离和控制与接入或承载分离并能够使传输和承载服务从IMS的信令网络和会话管理服务中分离出来；

8、本发明能够实现对各种终端的接入并实现语音、视频、投影推送到不同终端的功能，提高了智能会议系统的媒体处理能力；

9、本发明基于现有IMS通信架构，无需新增设备，集约化程度高，兼容性强，能够实现无缝接入，能够实现不同用户终端从任何地方随时随地的接入会议系统，增强了的多媒体处理能力，实现了音频、视频、投影融合的多媒体处理能力，给用户提供更好的会议体验。

附图说明

图1是本发明所述系统的总体架构示意图；

图2是本发明所述系统的呼叫控制层软件功能示意图；

图3是本发明所述方法的实现流程图。

具体实施方式

下面结合附图对本发明的实施方式进行详细描述。

如图1所示，本发明所述系统包括依次连接的业务应用层、呼叫控制层、接入层：

业务应用层包括应用服务器；

呼叫控制层包括归属用户服务器、IMS核心网服务器、媒体资源控制功能服务器、公共交换电话网络；

接入层包括GGSN/SGSN/EPC服务器、移动终端、基站、SIP接入网关设备/网络电话交换机、局域网/无线局域网、综合接入网关设备/接入网关设备；

接入层用于将各种接入网络汇总到IMS(IP Multimedia Subsystem，多媒体子系统)核心网中，实现各类终端的接入，完成对现有网络的互通及完成对承载的控制，IMS是个开放的网络架构，提供了基于IP承载的与接入无关的IP多媒体业务，IMS智能会议系统对不同的用户终端通过相适应的无线或者有线接入IMS网络，并提供同样的呼叫控制服务及相应的增值业务；

呼叫控制层是IMS的核心层，完成呼叫控制、安全管理、业务触发、资源控制、网络互通的核心功能，实现智能会议系统中呼叫控制，呼叫控制层由负责会话管理和路由的呼叫控制功能、用户数据管理和认证鉴权、多媒体资源功能、互通功能这几个逻辑实体组成；

业务应用层即应用服务器是主持和执行会议服务的SIP实体且面向终端用户提供统一的接口以供用户接入会议的控制。

本发明所述方法包括以下步骤：

步骤1,会议成员或用户向会议系统发起会议预定，设定会议参数，包括会议号、会议类型、会议创建者、主席密码、成员或用户密码、会议时间、参会人数、人员名单，对于视频会议，设定视频画面的格式，只显示会议主席或某一个成员或用户的视频时采用一宫格，而要同时显示多个与会成员或用户的视频内容时则采用四宫格、九宫格，并在会议系统界面里定义每个宫格对应的用户并通过web网元配置界面实现，会议预定成功后，会议系统通过短消息或者邮箱，通知会议各成员或用户；

步骤2，会议系统应用服务器将会议预定的会议参数转发给多媒体资源功能服务器,由多媒体资源功能服务器进行会议资源预留；

步骤3，创建会议流程，终端加入会议的方式包括终端申请加入会议和会议系统邀请终端加入：

步骤3.1，第一终端1携带自身的媒体资源申请加入会议，会议系统应用服务器收到用户的请求后为用户申请媒体资源，多媒体资源功能服务器增加第一用户1的用户端点，为第一用户1分配媒体资源，并向第一用户1返回多媒体资源功能服务器的媒体资源，第一终端1与多媒体资源功能服务器建立RTP链接,RTP即实时传输协议；

步骤3.2，会议系统应用服务器邀请第二终端2加入会议，第二终端2接受邀请加入会议并携带自身的媒体资源，多媒体资源功能服务器为第二用户2增加用户端点，分配媒体资源，并向第二用户2返回多媒体资源功能服务器的媒体资源，第二终端2与多媒体资源功能服务器建立RTP链接；

步骤3.3，会议系统应用服务器邀请第三终端3加入会议，第三终端3拒绝加入会议，则跳过成员或用户并继续添加其他会议成员或用户；

步骤3.4，重复步骤3.1至步骤3.3，逐一将会议成员或用户加入会议中；

步骤4，会议创建成功，进行会议流程：

步骤4.1，会议成员或用户发起语音发言，多媒体资源功能服务器对媒体进行融合处理后将语音通过RTP推送到各个会议成员或用户终端，各会议成员或用户参与语音会议，与其他会议成员或用户进行语音交流以实现智能会议语音通信，多媒体资源功能服务器对音频媒体进行融合处理时，采用基本混音算法并在各路输入语音流的采样率相同的前提下，对各路语音进行线性叠加；

基本混音算法的公式如下所示：

公式(1)中，m为输入音频流的个数，n为一帧中样本的个数，而i为一帧中的第i个样本，j为第j个音频流，所以，input[j][i]为第j个音频流当前帧中的第i个样本，output[i]则为混音后，当前帧的第i个样本；

步骤4.2，会议成员或用户发起视频发言，多媒体资源功能服务器对媒体进行融合，对收到各成员或用户的视频帧解码成统一的像素信息数据并对这些解码后的图像数据进行像素重排，根据视频会议创建时定义的视频画面格式里的图像分布要求，采用四宫格、九宫格，将各成员或用户的视频图像的像素数据放置到新指定的图像存储区的相应位置，对于缺席的成员或用户或空闲的显示窗口，填充数据使其显示为全黑，多媒体资源功能服务器对新的图像数据进行编码并通过RTP推送到各个会议成员或用户终端以实现智能会议视频通信；

步骤4.3，终端用户通过视频窗口切换将视频内容切换为工作界面，将工作界面的文件资料通过视频进行投影，多媒体资源功能服务器对视频投影进行推送，其他会议成员或用户单独点击该用户的视频窗口，进行投影观看；

步骤4.4，会议系统支持终端的延迟接入，在会议过程中，终端申请携带自身的媒体资源加入会议系统，会议系统应用服务器收到成员或用户的请求后为成员或用户申请媒体资源，多媒体资源功能服务器增加成员或用户端点为成员或用户分配媒体资源并向成员或用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接；

多媒体资源功能服务器将通过语音融合技术将新加入的成员或用户的语音融合到会议系统中，对于视频会议，多媒体资源功能服务器将新加入成员或用户的视频进行媒体融合，对于已设定显示宫格的成员或用户，则将此成员或用户的视频内容添加到指定的视频显示宫格中，对于未指定显示宫格的成员或用户则分配到空闲视频显示宫格中，多媒体资源功能服务器将融合后的音频/视频媒体通过RTP推送到各会议成员或用户终端；

步骤5，终端退出会议系统，终端退出会议系统的方式包括终端主动退出会议系统和会议系统要求终端退出会议系统：

步骤5.1，第一终端1申请退出会议，会议系统应用服务器向多媒体资源功能服务器申请删除第一终端1的用户端点，多媒体资源功能服务器断开与第一终端1的RTP链接，第一终端1退出会议；

步骤5.2，会议系统应用服务器要求第二终端2退出会议，向多媒体资源功能服务器申请删除第二终端2的用户端点，多媒体资源功能服务器断开与第二终端2的RTP链接，第二终端2退出会议；

步骤6，重复步骤5.1至步骤5.2，将会议成员或用户逐个挂断，结束会议流程。

如图1所示的基于IMS智能会议系统的总体架构为接入层，呼叫控制层和业务应用层：

IMS智能会议系统的接入层，支持各类终端的接入，各终端接入后采用统一的SIP(Session Initialization Protocol，会话初始化协议)协议进行会话，IMS的有线接入设备有以下四类：综合接入设备、接入网关设备、SIP网关设备、网络电话交换机，IMS支持终端通过上述四种设备的接入，以及局域网、无线局域网、数字用户线路、无源光网络设备的方式接入，如SIP电话、个人电脑客户端、普通老式话机能够通过综合接入设备或者接入网关设备接入，个人电脑客户端和SIP电话还能够通过局域网/无线局域网方式接入，企业老式话机则能够通过SIP网关设备或者网络电话交换机接入。移动终端如2G/3G移动手机终端，通过无线基站接入后，由分组域的GGSN(Gateway GPRS Support Node，网关GPRS支持节点)/SGSN(Serving GPRS Support Node，GPRS服务支持节点)接入到IMS网络中。4G移动手机终端，通过无线基站加入后，由EPC(Evolved Packet Core，核心分组网演进)服务器接入到IMS网络中。对于电路交换域的公共交换电话网络用户，由媒体网关服务器实现与IMS智能会议系统互通时信令与承载的转换。IMS智能会议系统的呼叫控制层是整个系统的核心层，由IMS核心网服务器、归属用户服务器和媒体网关控制功能服务器组成，实现会话控制和路由、用户数据管理和认证鉴权、媒体资源管理、网关功能的逻辑功能。

IMS智能会议系统的业务应用层由应用服务器组成，IMS智能会议系统的业务通过初始过滤准则机制实现动态业务触发，应用服务器完成业务逻辑后，再返回给服务呼叫会话控制功能网元以进行后续业务。

如图2所示，是基于IMS智能会议系统的软件功能说明图，IMS呼叫控制层是整个系统的核心层，实现会话控制和路由、用户数据管理和认证鉴权、媒体资源管理、互通功能的逻辑功能，会话控制和路由功能，由呼叫会话控制功能实现，包括代理呼叫会话控制功能、查询呼叫会话控制功能更、服务呼叫会话控制功能。

代理呼叫会话控制功能是IMS核心网络与用户终端的接口，与用户终端侧配合完成鉴权、安全机制协商、加密保护、信令压缩的功能，与查询呼叫会话控制功能网元和服务呼叫会话控制功能网元配合完成呼叫的接续处理，查询呼叫会话控制功能实现归属网络服务呼叫会话控制功能网元的分配和IMS入呼的路由功能，服务呼叫会话控制功能实现IMS用户注册认证、业务触发和控制及会话路由。用户数据管理和认证鉴权由归属用户服务器功能实现。IMS网络中核心用户数据库保存归属网络中IMS用户的签约信息，包括基本标识、路由信息、业务签约信息。在IMS终端注册时，查询呼叫会话控制网元通过查询归属用户服务器，获取为用户服务的服务呼叫会话控制功能网元地址，并将SIP请求和响应转发到服务呼叫会话控制功能网元，服务呼叫会话控制功能网元通过与归属用户服务器的交互完成对用户的认证和鉴权，并在认证通过之后从归属用户服务器上下载用户相关信息。

媒体资源管理功能由多媒体资源功能实现，多媒体资源功能在归属网络中提供媒体信息源，支持归属网络播放媒体信息，混和媒体流，进行编码转换，获取统计值进行各种媒体分析，出口网关控制功能实现出口网关控制功能，包括基于电话号码的路由功能，用来选择与公共交换电话网络的接口点，当出口网关发现被叫网络位于一个公共交换电话网络时，负责IMS网络到公共交换电话网络呼叫选择合适的媒体网关，媒体网关控制功能负责IMS网络与电路域网络之间进行通信，控制IMS多媒体网关完成公共交换电话网络与IMS域用户面的实时转换，IMS多媒体网关与公共交换电话网络及电路域用户面宽窄带承载互通及必要的编解码变换。

如图3所示，是本发明基于IMS智能会议系统的实现流程图，会议流程的实现基于各终端用户已经接入到会议系统中且用户已经注册，本发明能够应用于各种类型的企事业单位、学校、商场、酒店的移动专网中，使专网用户享受方便快捷的智能会议服务。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (8)

1.一种基于IMS的智能会议系统，其特征在于，包括：依次连接的业务应用层、呼叫控制层、接入层。

2.根据权利要求1所述的一种基于IMS的智能会议系统，其特征在于，所述业务应用层包括应用服务器。

3.根据权利要求1所述的一种基于IMS的智能会议系统，其特征在于，所述呼叫控制层包括归属用户服务器、IMS核心网服务器、媒体资源控制功能服务器、公共交换电话网络。

4.根据权利要求1所述的一种基于IMS的智能会议系统，其特征在于，所述接入层包括GGSN/SGSN/EPC服务器、移动终端、基站、SIP接入网关设备/网络电话交换机、局域网/无线局域网、综合接入网关设备/接入网关设备。

5.一种基于IMS的智能会议的实现方法，包括以下步骤：

步骤1,会议成员或用户向会议系统发起会议预定，设定会议参数，包括会议号、会议类型、会议创建者、主席密码、成员或用户密码、会议时间、参会人数、人员名单，对于视频会议，设定视频画面的格式，只显示会议主席或某一个成员或用户的视频时采用一宫格，同时显示多个与会成员或用户的视频内容时则采用四宫格、九宫格，并在会议系统界面里定义每个宫格对应的用户并通过web网元配置界面实现，会议预定成功后，会议系统通过短消息或者邮箱，通知会议各成员或用户；

步骤2，会议系统应用服务器将会议预定的会议参数转发给多媒体资源功能服务器,由多媒体资源功能服务器进行会议资源预留；

步骤3，创建会议流程，终端加入会议的方式包括终端申请加入会议和会议系统邀请终端加入：

步骤4,会议创建成功，进行会议流程：

步骤5，终端退出会议系统，终端退出会议系统的方式包括终端主动退出会议系统和会议系统要求终端退出会议系统：

步骤6，重复步骤5.1至步骤5.2，将会议成员或用户逐个挂断，结束会议流程。

6.根据权利要求5所述的基于IMS的智能会议的实现方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1，终端携带自身的媒体资源申请加入会议，会议系统应用服务器收到用户的请求后为用户申请媒体资源，多媒体资源功能服务器增加用户的用户端点，为用户分配媒体资源，并向用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接,RTP即实时传输协议；

步骤3.2，会议系统应用服务器邀请终端加入会议，终端接受邀请加入会议并携带自身的媒体资源，多媒体资源功能服务器为用户增加用户端点，分配媒体资源，并向用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接；

步骤3.3，会议系统应用服务器邀请终端加入会议，终端拒绝加入会议，则跳过成员或用户并继续添加其他会议成员或用户；

步骤3.4，重复步骤3.1至步骤3.3，逐一将会议成员或用户加入会议中。

7.根据权利要求5所述的基于IMS的智能会议的实现方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1，会议成员或用户发起语音发言，多媒体资源功能服务器对媒体进行融合处理后将语音通过RTP推送到各个会议成员或用户终端，各会议成员或用户参与语音会议，与其他会议成员或用户进行语音交流以实现智能会议语音通信，多媒体资源功能服务器对音频媒体进行融合处理时采用现有的基本混音算法并在各路输入语音流的采样率相同的前提下，对各路语音进行线性叠加；

基本混音算法的公式如下所示：

公式(1)中，m为输入音频流的个数，n为一帧中样本的个数，i为一帧中的第i个样本，j为第j个音频流，input[j][i]为第j个音频流当前帧中的第i个样本，output[i]则为混音后，当前帧的第i个样本；

步骤4.2，会议成员或用户发起视频发言，多媒体资源功能服务器对媒体进行融合，对收到各成员或用户的视频帧解码成统一的像素信息数据并对这些解码后的图像数据进行像素重排，根据视频会议创建时定义的视频画面格式里的图像分布要求，采用四宫格、九宫格，将各用户的视频图像的像素数据放置到新指定的图像存储区的相应位置，对于缺席的用户或空闲的显示窗口，填充数据使其显示为全黑，多媒体资源功能服务器对新的图像数据进行编码并通过RTP推送到各个会议成员或用户终端以实现智能会议视频通信；

步骤4.3，终端用户通过视频窗口切换将视频内容切换为工作界面，将工作界面的文件资料通过视频进行投影，多媒体资源功能服务器对视频投影进行推送，其他会议成员或用户单独点击该用户的视频窗口，进行投影观看；

步骤4.4，会议系统支持终端的延迟接入，在会议过程中，终端申请携带自身的媒体资源加入会议系统，会议系统应用服务器收到用户的请求后为用户申请媒体资源，多媒体资源功能服务器增加用户端点为用户分配媒体资源并向用户返回多媒体资源功能服务器的媒体资源，终端与多媒体资源功能服务器建立RTP链接，多媒体资源功能服务器将通过语音融合技术将新加入的用户的语音融合到会议系统中，对于视频会议，多媒体资源功能服务器将新加入用户的视频进行媒体融合，对于已设定显示宫格的用户则将此用户的视频内容添加到指定的视频显示宫格中，对于未指定显示宫格的用户则分配到空闲视频显示宫格中，多媒体资源功能服务器将融合后的音频/视频媒体通过RTP推送到各会议成员或用户终端。

8.根据权利要求5所述的基于IMS的智能会议的实现方法，其特征在于，所述步骤5包括以下步骤：

步骤5.1，终端申请退出会议，会议系统应用服务器向多媒体资源功能服务器申请删除终端的用户端点，多媒体资源功能服务器断开与终端的RTP链接，终端退出会议；

步骤5.2，会议系统应用服务器要求终端退出会议，向多媒体资源功能服务器申请删除终端的用户端点，多媒体资源功能服务器断开与终端的RTP链接，终端退出会议。

Images