CN103634561A - 会议通信装置和系统 - Google Patents

Abstract

本发明公开了一种会议通信装置和系统。其中，会议通信装置包括：多通道声场采集单元，设置在会场内，用于采集会场的三维音频信号；以及通信单元，与多通道声场采集单元相连接，用于将会场的音频信号传输至外界通信网络。通过本发明，解决了现有技术中会议通信终端所传输的声场不能逼真的反应真实的三维声场的问题，进而达到了实现三维音频通信的效果。

Description

会议通信装置和系统

技术领域

本发明涉及信号采集领域，具体而言，涉及一种会议通信装置和系统。

背景技术

音视频会议一直是企业重要应用，在最初的会议应用中，一般采用三个心形麦克风终端实现最近说话人切换拾音，图1是现有技术中的心形麦克风终端的示意图，如图1所示，此种单通道音频通信终端，依靠三个心形指向的麦克风根据声音大小进行切换拾音，最终输出单声道声音，而对端传过来的会议话音则通过一个单通道扬声器进行播放，无论音频采集还是音频回放都是单声道的，根本无法实现浸入式3维声场，会议体验很差。图2是三通道麦克风摄像头组合的音视频会议系统的示意图，如图2所示，该系统中依靠三个单通道麦克风采集声场，并在对端三个独立的扬声器系统中回放，配合三个独立的摄像头传过来的视频画面营造声像同步的体验，该系统中虽然也有三个通道的音频采集，但并不进行切换和渲染，而是采集三路、传输三路、重放三路的模式，为了简便，图2中只显示了从会场A到会场B的传输信号。该会议系统虽然可以实现基本的声像同步，但也存在明显的缺陷：首先、就是系统比较复杂，传感器件众多，编解码负担较重，对传输网络负担也比较重；第二、因为采集回放系统跟人耳感知系统相去甚远，并且所采集的三路单通道的音频信号，所以该系统所传输的声场只能大概刻画声场方位，却并不准确逼真地反应真实的三维声场；第三、视频也只是平面信息，没有三维信息。

针对相关技术中会议通信终端所传输的声场不能逼真的反应真实的三维声场的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种会议通信装置和系统，以解决现有技术中会议通信终端所传输的声场不能逼真的反应真实的三维声场的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种会议通信装置，包括：多通道声场采集单元，设置在会场内，用于采集会场的三维音频信号；以及通信单元，与多通道声场采集单元相连接，用于将会场的音频信号传输至外界通信网络。

进一步地，多通道声场采集单元包括：仿真人头，具有左耳和右耳；第一麦克风，设置在左耳处，并与通信单元相连接；以及第二麦克风，设置在右耳处，并与通信单元相连接，其中，通过第一麦克风和第二麦克风采集会场的三维音频信号。

进一步地，会议通信装置还包括：第一摄像头，设置在仿真人头的左眼窝内，并与通信单元相连接；以及第二摄像头，设置在仿真人头的右眼窝内，并与通信单元相连接，其中，通过第一摄像头和第二摄像头采集会场的3D视频信号，通信单元还用于将会场的3D视频信号传输至通信网络。

进一步地，多通道声场采集单元包括：左耳机本体；右耳机本体；第一麦克风，设置在左耳机本体上，并与通信单元相连接；以及第二麦克风，设置在右耳机本体上，并与通信单元相连接，其中，通过第一麦克风和第二麦克风采集会场的三维音频信号。

进一步地，多通道声场采集单元包括：平面多元声场麦克风，与通信单元相连接；或立体声场麦克风，与通信单元相连接。

进一步地，会议通信装置还包括：第一摄像头，设置在会场内，并与通信单元相连接；以及第二摄像头，设置在会场内，并与通信单元相连接，其中，通过第一摄像头和第二摄像头采集会场的3D视频信号，通信单元还用于将会场的3D视频信号传输至通信网络。

进一步地，通信单元包括：音频编码模块，与多通道声场采集单元和通信网络分别相连接，用于将会场的三维音频信号编码后传输至通信网络；音频解码模块，与通信网络相连接，用于对来自通信网络的三维音频信号解码后传输至会场；声场渲染模块，与音频解码模块相连接；视频编码模块，与第一摄像头、第二摄像头和通信网络分别相连接，用于将会场的3D视频信号编码后传输至通信网络；以及视频解码模块，与通信网络相连接，用于对来自通信网络的3D视频信号解码后传输至会场，会议通信装置还包括：音频播放单元，设置在会场内，与声场渲染模块相连接，用于播放来自通信网络的三维音频信号；以及视频显示单元，设置在会场内，并与视频解码模块相连接，用于显示来自通信网络的3D视频信号。

进一步地，音频播放单元包括：多个扬声器或耳机回放模块。

进一步地，会议通信装置还包括：回声消除模块，输入端与多通道声场采集单元相连接，输出端与音频编码模块相连接。

为了实现上述目的，根据本发明的另一方面，提供了一种会议通信系统，包括：第一会议通信装置，设置在第一会场内，其中，第一会议通信装置为本发明上述内容所提供的任一种会议通信装置；第二会议通信装置，设置在第二会场内，其中，第二会议通信装置为本发明上述内容所提供的任一种会议通信装置；以及通信网络，与第一会议通信装置和第二会议通信装置分别相连接。

通过本发明，采用包括以下结构的会议通信装置：多通道声场采集单元，设置在会场内，用于采集会场的三维音频信号；以及通信单元，与多通道声场采集单元相连接，用于将会场的音频信号传输至外界通信网络。通过在会场内设置多通道声场采集单元，利用多通道声场采集单元能够对声场进行多路采集的原理对会场内的三维音频信号进行采集，从而实现立体地反应真实的三维声场，并由通信单元进行传输，解决了现有技术中会议通信终端所传输的声场不能逼真的反应真实的三维声场的问题，进而达到了实现三维音频通信的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据相关技术的麦克风终端的示意图；

图2是根据相关技术的三通道麦克风摄像头组合的音视频会议系统的示意图；

图3a和图3b是根据本发明第一实施例的会议通信装置的多通道声场采集单元的前视图和透视图；

图4是根据本发明第二实施例的会议通信装置的多通道声场采集单元的示意图；

图5a至图5c分别是根据本发明第三实施例的会议通信装置的多通道声场采集单元的示意图；

图6是采用本发明第一实施例的会议通信装置进行音频会议的示意图；

图7是采用本发明第一实施例的会议通信装置进行视频会议的示意图；

图8是根据本发明第一实施例的会议通信系统的示意图；

图9是根据本发明第二实施例的会议通信系统的示意图；以及

图10是根据本发明第三实施例的会议通信系统的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种会议通信装置，该会议通信装置包括多通道声场采集单元和通信单元，其中，多通道声场采集单元设置在会场内，用于采集会场的三维音频信号；通信单元，与多通道声场采集单元相连接，用于将会场的音频信号传输至外界通信网络。

通过在会场内设置多通道声场采集单元，利用多通道声场采集单元能够对声场进行多路采集的原理对会场内的三维音频信号进行采集，从而实现立体地反应真实的三维声场，并由通信单元进行传输，解决了现有技术中会议通信终端所传输的声场不能逼真的反应真实的三维声场的问题，进而达到了实现三维音频通信的效果。

其中，通信单元包括音频编码模块，用于将会场的三维音频信号编码后传输至所述通信网络；多通道声场采集单元的具体组成参考各附图所提供的具体实施例来详细说明：

图3a和图3b是根据本发明第一实施例的会议通信装置的多通道声场采集单元的前视图和透视图，如图3所示，在该实施例中，多通道声场采集单元包括仿真人头、第一麦克风31和第二麦克风32。

具体地，本发明第一实施例的会议通信装置可以应用在将一个会场的音频信息进行在线直播传输，在进行在线直播传输时，将具有左耳33和右耳34的仿真人头设置在会场内合适的位置，并在仿真人头的左耳33处设置第一麦克风31，在仿真人头的右耳34处设置第二麦克风32，第一麦克风31和第二麦克风32均用于采集会场的音频信号，通过设置在仿真人头左右耳处的两个麦克风的共同采集作用，得到能够反应会场内浸入式三维声场的音频信号，其中，左耳33和右耳34均包括耳廓、耳道和内耳，第一麦克风31和第二麦克风32均可以设置在耳廓处，也均可以设置在耳道内；通信单元与第一麦克风31和第二麦克风32分别相连接，用于将会场的音频信号传输至外界通信网络。

通过在仿真人头的左右耳处分别设置麦克风，利用仿真人头上的双耳麦克风对会场内的音频信号进行采集，实现了模拟人的两耳对声音的感知特性来进行声场信号采集，不仅达到逼真地反应真实的三维声场的效果，还实现了人耳立体声场感知。

其中，仿真人头包括：仿真人头骨架、仿真人头皮套和填充物，具体地，仿真人头骨架为根据应用该仿真人头的某一国家地区平均人头模型浇筑而成的硬质人头骨架模型，此仿真人头骨架可以采用聚氯乙烯（polyvinylchloride，简称PVC）等硬质材料制成，并且该仿真人头骨架的耳廓位置处的外表面为平面，只是在左右耳廓位置处开孔（以下称左耳廓处的开孔为第一开孔，右耳廓处的开孔为第二开孔）；仿真人头皮套为与上述仿真人头骨架相匹配的人头皮套，该仿真人头皮套可以采用硅胶材料通过浇筑或雕刻而成，仿真人头皮套套设在仿真人头骨架上，并具有左耳朵和右耳朵，其中，左耳朵的左耳道向第一开孔内延伸，右耳朵的右耳道向第二开孔内延伸；填充物填充在仿真人头骨架内部。

通过采用仿真人头骨架来仿生人头内部坚硬的骨头，采用仿真人头皮套来仿生人头皮，采用填充物来仿生人头内部的物质，以及采用耳廓耳道仿生人头表面皮肤对声波的发射效应，实现了提高仿真人头的仿真性，降低外部声源经过仿真人头的失真程度，进而降低了采用该会议通信装置进行音频会议时所传送出的三维声场与真人所感知的声场之间的差异，进一步提高了三维声场的真实性。

其中，在仿真人头内还可以设置调节机构，当第一麦克风31设置在左耳道内、第二麦克风32设置在右耳道内时，调节机构用于调节第一麦克风31在左耳道内的深度，以及调节第二麦克风32在右耳道内的深度。其中，调节机构可以为调节钮等，两个麦克风可以为圆柱体，也可为是外形轮廓与左右耳道的轮廓相匹配的结构形体，第一麦克风31在左耳处的具体位置既可以是左耳道口处，也可以是左耳道深处，相应地，第二麦克风32在右耳处的具体位置既可以是右耳道口处，也可以是右耳道深处，在本发明第一实施例的会议通信装置中，可以将仿真人头的左右耳道的深度设计成2.5cm-3.5cm，则第一麦克风31可以设置在在左耳道距离左耳廓0-3.5cm深的地方，第二麦克风32可以设置在右耳道距离右耳廓0-3.5cm深的地方，在实际应用时，两个麦克风在相应耳道里的位置距离耳廓的深度可以通过调节结构进行具体调节。

通过设置在仿真人头骨架内部的调节机构来控制麦克风在耳道内的深浅以便应用各种场景的需要，达到了提高会议通信装置的适用性。

图4是根据本发明第二实施例的会议通信装置的多通道声场采集单元的示意图，在该实施例中，多通道声场采集单元包括左耳机本体41、右耳机本体42、第一麦克风31和第二麦克风32，其中，左耳机本体41和右耳机本体42既可以设计成入耳式耳机本体，还可以设计成头戴式耳机本体，在图4中以入耳式耳机本体为例进行具体说明本发明第二实施例的会议通信装置，如图4所示，第一麦克风31设置在左耳机本体41上，并与通信单元相连接；第二麦克风32设置在右耳机本体42上，并与通信单元相连接。

本发明第二实施例的会议通信装置可以应用在单个与会人员向外进行音频输出的情况，也可以应用在多个与会人员向外进行音频输出的情况，以单个与会人员向外进行在线直播传输为例具体说明本发明第二实施例的会议通信装置，具体地，在进行在线直播传输时，依靠这个与会人员的真人人头作为支撑，进行双耳声场采集（即，通过与会人员佩戴耳机实现多通道声场采集），得到能够反应会场内浸入式三维声场的音频信号；然后由通信单元将会场的三维音频信号传输至外界通信网络。

本发明第二实施例的会议通信装置通过设计成入耳式耳机或头戴式耳机的声场采集单元，达到了与本发明第一实施例的会议通信装置相同的效果。

图5a至图5c分别是根据本发明第三实施例的会议通信装置的多通道声场采集单元的示意图。

如图5a所示，多通道声场采集单元为平面三元声场麦克风；如图5b所示，多通道声场采集单元为平面四元声场麦克风；如图5c所示，多通道声场采集单元为一阶立体声场麦克风，具体地，在图5c中，示意性示出了正四面体结构的一阶Ambisonic声场麦克风，该多通道声场采集单元还可以为二阶甚至高阶立体声场麦克风。

在进行在线直播传输时，将本发明第三实施例所提供的会议通信装置设置在会场内合适的位置，通过平面多元声场麦克风或立体声场麦克风进行浸入式三维声场采集，同样达到了与本发明第一实施例所提供的会议通信装置相同的效果。

进一步地，上述本发明各个实施例所提供的会议通信装置还包括摄像头单元，相应地，通信单元包括与摄像头的信号输出相连接的视频编码模块，用于将会场的3D视频信号编码后传输至通信网络。对于本发明第一实施例所提供的会议通信装置而言，可以包括设置在仿真人头左眼窝处的第一摄像头和设置在仿真人头右眼窝处的第二摄像头，并且这两个摄像头均与视频编码模块相连接；对于本发明第二实施例和第三实施例所提供的会议通信装置而言，也可以包括均与视频编码模块相连接的摄像头。其中，本发明各个实施例的会议通信装置通过两个摄像头的共同采集作用，得到能够反应会场内3D视频场景的视频信号。

通过在会议通信装置上设置双目摄像头，实现了既能够将会场内的浸入式三维声场传输至外界，还能够将会场内的3D视频场景传输至外界，达到了同时进行音视频传输的效果。

进一步地，上述本发明各个实施例所提供的会议通信装置还均包括音频回放端和视频显示单元，对于本发明第一实施例和第三实施例的会议通信装置而言，回放端可以由多个扬声器组成；对于本发明第二实施例的会议通信装置而言，回放端可以是耳机回放模块，具体地，相对第一麦克风和第二麦克风而言，第一麦克风和第二麦克风设置在左右耳机本体相对靠外的位置，耳机回放模块可以设置在左右耳机本体相对靠内的位置，即，第一麦克风和第二麦克风设置在左右耳机本体的外侧，耳机回放模块可以设置在左右耳机本体的内侧。

通过在会议通信装置上设置音频回放端和视频显示单元，可以将上述本发明各个实施例所提供的会议通信装置应用在双向的会议系统中，实现了既能够将会场内的三维声场和3D视频传输到外界，还能够接收另一会场的三维声场和3D视频。以下以将本发明第一实施例所提供的会议通信装置应用在双向会议系统中为例进行举例说明应用本发明实施例的会议通信装置的会议通信系统：

其中，利用双耳麦克风的会议通信装置进行双向音频会议的通信系统在图6中示出，如图6所示，在会场A和会场B的通信系统中，通信单元主要包括由音频编码模块、音频解码模块和声场渲染模块，具体地，音频编码模块为立体声或双声道编码模块，其输入端与第一麦克风和第二麦克风均相连接，输出端连接至通信网络，用于将会场内的音频信号进行编码后传送至通信网络；对应地，音频解码模块为立体声或双声道解码子模块，其输入端与通信网络相连接，输出端与声道渲染子模块的输入端相连接，声场渲染模块的输出端与会议通信装置的音频播放单元相连接，声场渲染模块为三维声场多扬声器渲染模块，音频解码模块将来自通信网络的音频信号进行解码后发送至声场渲染模块，并经声场渲染模块的渲染后发送至音频播放单元进行播放。其中，音频播放单元为多个扬声器系统。

通过设置音频播放单元，并将通信单元设置为既能够传送会场内的音频信号至通信网络，又能够传送通信网络的音频信号至会场的音频播放单元，实现了利用会议通信装置进行双向音频传输，达到了既能够将会场内的三维音频信息传输至通信网络，还能够将来自通信网络的三维音频信息在会场内进行播放的效果。

音频传输模块还可以包括连接在双耳麦克风和音频编码模块之间的回声消除模块，在双向音频传输的会议通信装置中，音频编码子模块不仅会接收到会场内的音频信号，还会接收到由扬声器所播放的来自通信网络的音频信号，所以需要回声消除子模块对来自通信网络的音频信号进行过滤，以避免外界接收到的音频信号存在回声噪音。

其中，利用双目摄像头的会议通信装置进行双向视频会议的通信系统在图7中示出，如图7所示，在会场A和会场B的通信系统中，通信单元主要包括视频编码模块和视频解码模块，具体地，视频编码模块为3D视频编码子模块，其输入端与第一摄像头和第二摄像头均相连接，输出端连接至通信网络，用于将会场内的视频信号进行3D编码后传送至通信网络；对应地，视频解码模块为3D视频解码子模块，其输入端与通信网络相连接，输出端与会议通信装置的视频显示单元相连接，用于将来自通信网络的视频信号进行解码后发送至视频显示单元进行显示。其中，视频显示单元既可以为会议通信装置自带的显示单元，也可以为会场内已有的视频显示单元。

通过设置视频显示单元，并将通信单元设置为既能够传送会场内的视频信号至通信网络，又能够传送通信网络的视频信号至会场的视频显示单元，实现了利用会议通信装置进行双向3D视频传输，达到了既能够将会场内的三维视频信息传输至通信网络，还能够将来自通信网络的三维视频信息在会场内进行立体显示的效果。

需要说明的是，在进行双向音视频会议时，既可以基于本发明第一实施例所提供的会议通信装置中的双耳麦克风进行声场采集、双目摄像头进行视频采集以进行全3D的音视频会议通信，此种会议通信系统在图8中示出；还可以基于本发明第一实施例所提供的会议通信装置中的双耳麦克风进行声场采集，同时利用传统视频摄像技术进行音视频会议通信，此种会议通信系统在图9中示出；还可以基于本发明第一实施例所提供的会议通信装置中的双目摄像头进行视频采集，同时利用传统音频采集技术进行音视频会议通信，此种会议通信系统在图10示出。

相应地，在利用本发明第二实施例或第三实施例所提供的会议通信装置进行双向会议时，只需将上述实施例所提供的会议通信系统中的三维声场采集单元替换为本发明第二实施例或第三实施例所提供的会议通信装置的三维声场采集单元，以及将上述实施例所提供的会议通信系统中的3D视频采集单元替换为本发明第二实施例或第三实施例所提供的会议通信装置的3D视频采集单元。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种会议通信装置，其特征在于，包括：

多通道声场采集单元，设置在会场内，用于采集所述会场的三维音频信号；

以及

通信单元，与所述多通道声场采集单元相连接，用于将所述会场的音频信号传输至外界通信网络。

2.根据权利要求1所述的会议通信装置，其特征在于，所述多通道声场采集单元包括：

仿真人头，具有左耳和右耳；

第一麦克风，设置在所述左耳处，并与所述通信单元相连接；以及

第二麦克风，设置在所述右耳处，并与所述通信单元相连接，其中，通过所述第一麦克风和所述第二麦克风采集所述会场的三维音频信号。

3.根据权利要求2所述的会议通信装置，其特征在于，所述会议通信装置还包括：

第一摄像头，设置在所述仿真人头的左眼窝内，并与所述通信单元相连接；

以及

第二摄像头，设置在所述仿真人头的右眼窝内，并与所述通信单元相连接，其中，通过所述第一摄像头和所述第二摄像头采集所述会场的3D视频信号，

所述通信单元还用于将所述会场的3D视频信号传输至所述通信网络。

4.根据权利要求1所述的会议通信装置，其特征在于，所述多通道声场采集单元包括：

左耳机本体；

右耳机本体；

第一麦克风，设置在所述左耳机本体上，并与所述通信单元相连接；以及

第二麦克风，设置在所述右耳机本体上，并与所述通信单元相连接，其中，通过所述第一麦克风和所述第二麦克风采集所述会场的三维音频信号。

5.根据权利要求1所述的会议通信装置，其特征在于，所述多通道声场采集单元包括：

平面多元声场麦克风，与所述通信单元相连接；或立体声场麦克风，与所述通信单元相连接。

6.根据权利要求4或5所述的会议通信装置，其特征在于，所述会议通信装置还包括：

第一摄像头，设置在所述会场内，并与所述通信单元相连接；以及

第二摄像头，设置在所述会场内，并与所述通信单元相连接，其中，通过所述第一摄像头和所述第二摄像头采集所述会场的3D视频信号，

所述通信单元还用于将所述会场的3D视频信号传输至所述通信网络。

7.根据权利要求3或6所述的会议通信装置，其特征在于，

所述通信单元包括：

音频编码模块，与所述多通道声场采集单元和所述通信网络分别相连接，用于将所述会场的三维音频信号编码后传输至所述通信网络；

音频解码模块，与所述通信网络相连接，用于对来自所述通信网络的三维音频信号解码后传输至所述会场；

声场渲染模块，与所述音频解码模块相连接；

视频编码模块，与所述第一摄像头、所述第二摄像头和所述通信网络分别相连接，用于将所述会场的3D视频信号编码后传输至所述通信网络；以及

视频解码模块，与所述通信网络相连接，用于对来自所述通信网络的3D视频信号解码后传输至所述会场，

所述会议通信装置还包括：

音频播放单元，设置在所述会场内，与所述声场渲染模块相连接，用于播放来自所述通信网络的三维音频信号；以及

视频显示单元，设置在所述会场内，并与所述视频解码模块相连接，用于显示来自所述通信网络的3D视频信号。

8.根据权利要求7所述的会议通信装置，其特征在于，所述音频播放单元包括：多个扬声器或耳机回放模块。

9.根据权利要求7所述的会议通信装置，其特征在于，所述会议通信装置还包括：

回声消除模块，输入端与所述多通道声场采集单元相连接，输出端与所述音频编码模块相连接。

10.一种会议通信系统，其特征在于，包括：

第一会议通信装置，设置在第一会场内，其中，所述第一会议通信装置为权利要求1至9中任一项所述的会议通信装置；

第二会议通信装置，设置在第二会场内，其中，所述第二会议通信装置为权利要求1至9中任一项所述的会议通信装置；以及

通信网络，与所述第一会议通信装置和所述第二会议通信装置分别相连接。

Images