CN110233716A

CN110233716A - 一种通信交互方法、装置、存储介质、终端设备及服务器

Info

Publication number: CN110233716A
Application number: CN201910471518.6A
Authority: CN
Inventors: 彭泽波; 钟仁平
Original assignee: Beijing Wen Xiang Information Technology Co Ltd
Current assignee: Beijing Wen Xiang Information Technology Co Ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2019-09-13

Abstract

本发明公开一种通信交互方法、装置、存储介质、终端设备及服务器，其中方法包括如下步骤：接收服务器发送的交互请求信令；将交互请求信令存储在音视频码流数据结构的补充增强信息单元中；按照交互请求信令与服务器进行通信交互。本发明基于补充增强信息单元可形成实现所有不同交互内容信息的单条网络传输通道，同时实现音视频数据的直播或心跳检测或加密或解密操作或音视频数据的码流调节等，避免了频繁的通信交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

Description

一种通信交互方法、装置、存储介质、终端设备及服务器

技术领域

本发明涉及计算机通信技术领域，具体涉及一种通信交互方法、装置、存储介质、终端设备及服务器。

背景技术

随着网络技术、软交换技术、编码技术、流媒体通信技术的发展，流媒体设备之间的信息交互越来越频繁，例如：点对点(pear to pear)的信息交互在人们的日常通信中就较为常见，因此，信息的交互给人们的生活不但增添了诸多乐趣，而且还给人们的日常生活带来了诸多便利。

目前现有技术中的通信交互方法，在音视频数据进行数据传输的过程中，往往将信令交互信息与音视频数据分别设置独立的网络信息传输通道，显然，建立多条独立的网络信息传输通道，这将导致信息交互过于频繁，并且，增加过多的网络信息传输通道，在很大程度上，会占用一定的网络带宽。

发明内容

因此，本发明实施例要解决的技术问题在于克服现有技术中的通信交互方法，由于建立多条独立的网络信息传输通道，这将导致信息交互过于频繁，并且，增加过多的网络信息传输通道，在很大程度上，会占用一定的网络带宽。

为此，本发明实施例提供了如下技术方案：

根据第一方面，本发明实施例提供了一种通信交互方法，用于各终端设备，包括如下步骤：

接收服务器发送的交互请求信令；

将所述交互请求信令存储在音视频码流数据结构的补充增强信息单元中；

按照所述交互请求信令与所述服务器进行通信交互。

结合第一方面，在第一方面第一实施方式中，所述音视频码流数据结构为H264码流数据结构，所述补充增强信息单元用于用户进行自定义数据格式类型。

结合第一方面或第一方面第一实施方式，在第一方面第二实施方式中，所述交互请求信令包括心跳信息、密钥信息、码流调节信息和码流协议地址信息。

结合第一方面第一实施方式，在第一方面第三实施方式中，所述按照所述交互请求信令与所述服务器进行通信交互的步骤还包括：

从所述交互请求信令中获取与所述各终端设备对应的所述码流协议地址信息；

根据所述码流协议地址信息，执行所述音视频码流数据的推流或拉流操作；

从所述交互请求信令中获取码流调节信息，执行所述音视频码流数据的码流调节操作。

结合第一方面第三实施方式，在第一方面第四实施方式中，还包括：

接收服务器发送的交互退出信令；

按照所述交互退出信令，停止执行所述音视频码流数据的推流或拉流操作。

根据第二方面，本发明实施例提供一种通信交互方法，用于服务器，还包括：

将用于信息交互的通信信息加载在交互请求信令中；

向各终端设备发送所述交互请求信令；

根据所述交互请求信令，控制所述各终端设备执行交互操作；

当停止通信交互时，向所述各终端设备发送交互退出指令；

根据所述交互退出信令，控制所述各终端设备执行停止操作操作。

根据第三方面，本发明实施例提供一种通信交互装置，用于各终端设备，包括：

第一接收模块，用于接收服务器发送的交互请求信令；

存储模块，用于将所述交互请求信令存储在音视频码流数据结构的补充增强信息单元中；

交互模块，用于按照所述交互请求信令与所述服务器进行通信交互。

根据第四方面，本发明实施例提供一种通信交互装置，用于服务器，还包括：

加载模块，用于将用于信息交互的通信信息加载在所述交互请求信令中；

第一发送模块，用于向各终端设备发送交互请求信令；

第一控制模块，用于根据所述交互请求信令，控制所述各终端设备执行交互操作；

第二发送模块，用于当停止通信交互时，向所述各终端设备发送交互退出指令；

第二控制模块，用于根据所述交互退出信令，控制所述各终端设备执行停止操作操作。

根据第五方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的通信交互方法的步骤；或，实现第一方面或第一方面任一实施方式所述的通信交互方法的步骤。

根据第六方面，本发明实施例提供一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的通信交互方法的步骤。

根据第七方面，本发明实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面或第二方面任一实施方式所述的通信交互方法的步骤。

本发明实施例技术方案，具有如下优点：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中通信交互方法的第一流程图；

图2为本发明实施例中通信交互方法的第二流程图；

图3为本发明实施例中通信交互方法的第三流程图；

图4为本发明实施例中通信交互方法的第四流程图；

图5为本发明实施例中通信交互装置的第一结构框图；

图6为本发明实施例中通信交互装置的第二结构框图；

图7为本发明实施例中终端设备的硬件示意图；

图8为本发明实施例中服务器的硬件示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供一种通信交互方法，用于各终端设备，此处的各终端设备可以为视频会议终端或其它类型的移动终端设备，各终端设备用于与远端的流媒体服务器建立起通信交互，进而可以实现点对点或多点互动的交互。具体地，本实施例中通信交互方法，如图1所示，包括如下步骤：

步骤S1：接收服务器发送的交互请求信令。此处的交互请求指令包括心跳信息、密钥信息、码流调节信息和码流协议地址信息。

具体地，上述中的心跳信息用于检测各终端设备能否与服务器建立通信连接，密钥信息用于加密交互请求信令以确保信息安全，上述的密钥信息采用DIVUCSA协议进行加密或解密，上述中的码流调节信息用于调节音视频数据的码率或帧率的指令信息，上述中的码流协议地址信息主要为各终端设备向服务器进行推流或拉流的协议地址信息。其中，密钥信息采用DIVUCSA协议进行加密或解密的交互信令的内容如下：

0x00

0x01

0x06

SEI

{

TYPE

{

payload_type＝0

while(nextbits(8)＝＝255)

{

255,

payload_type+＝255

}

last_payload_type,

payload_type+＝last_payload_type}

SIZE

{

payload_size＝0

while(nextbits(8)＝＝255)

{

255,

payload_size+＝255

}

last_payload_size,

payload_size+＝last_payload_size

}

UUID[16],//加密公钥

Encrypt[payload_size–16]//数据或加密数据。

上述中的交互请求信令用于控制各终端设备按照其包含的交互信息，对应执行相应的操作。

步骤S2：将交互请求信令存储在音视频码流数据结构的补充增强信息单元中。此处的音视频码流数据结构为H264码流数据结构该H264码流数据结构便于音视频数据的处理。此处的补充增强信息单元为简称SEI，SEI为H264码流数据结构中的一部分，SEI主要用于用户进行自定义数据格式类型，由于SEI的数据格式采用标准的数据格式类型存储数据，其不影响H264码流数据结构中存储的音视频数据的解码播放。

由于将服务器发送的交互信令存放在补充增强信息单元中，因此，各终端设备在执行任何交互操作是，可直接依赖其H264H264码流数据结构中SEI，可实现心跳检测或加密或解密操作或音视频数据的码流调节等，无需在执行不同的交互操作中，都需要与服务器建立多条网络传输通道。因此，本实施例中的通信交互方法，基于补充增强信息单元可形成实现所有不同交互内容信息的单条网络传输通道，因此，避免了频繁的信息交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

步骤S3：按照交互请求信令与服务器进行通信交互。

在一具体实施例中，上述步骤S3在执行的过程中，如图2所示，可具体包括如下步骤：

步骤S31：从交互请求信令中获取与各终端设备对应的码流协议地址信息。此处的码流协议地址信息包括服务器包含的拉流协议地址信息和推流协议地址信息。例如：服务器下发的码流协议地址信息分别包括A与B，其中A代表拉流协议地址信息，B代表代表推流协议地址信息。

步骤S32：根据码流协议地址信息，执行音视频码流数据的推流或拉流操作。

具体地，例如：上述中的A包括：

192.168.168.11；192.168.168.20；192.168.168.12；192.168.168.7；

例如：上述中的B包括：

191.255.255.23；191.255.255.16；191.255.255.27；191.255.255.21；

对于终端设备1所需的拉流协议地址为191.255.255.27，推流协议地址为191.255.255.27，终端设备1就按照其对应的码流协议地址执行相应的推流或拉流操作，这样终端设备1就与服务器建立起了通信交互。对于终端设备2所需的拉流协议地址为192.168.168.20，推流协议地址为191.255.255.21；终端设备2就按照其对应的码流协议地址执行相应的推流或拉流操作，这样终端设备2就与服务器建立起了通信交互。

步骤S33：从交互请求信令中获取码流调节信息，执行音视频码流数据的码流调节操作。此处的码流调节操作主要用于调节音视频数据的码率或帧率，服务器向要控制哪个终端设备，只需按照同样格式插入码流调节信息加载在信息交互信令中，然后各终端设备按照与其对应的码流调节信息，就可以进行调节音视频数据的码率或帧率，进而实现网络带宽的自适应功能。

本发明实施例中的通信交互方法，如图3所示，还包括：

步骤S4：接收服务器发送的交互退出信令。此处的交互退出信令用于服务器控制各终端设备停止信息交互。

步骤S5：按照交互退出信令，停止执行音视频码流数据的推流或拉流操作。一旦各终端设备收到交互退出信令，就断开了与服务器的推流或拉流操作，音视频数据的直播就此停止。

本发明实施例中的通信交互方法，基于补充增强信息单元可形成实现所有不同交互内容信息的单条网络传输通道，同时实现音视频数据的直播或心跳检测或加密或解密操作或音视频数据的码流调节等，避免了频繁的通信交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

实施例2

本发明实施例提供一种通信交互方法，如图4所示，用于服务器，还包括：

步骤S41：将用于信息交互的通信信息加载在交互请求信令中。用于信息交互的通信信息即为交互请求信令所包含的心跳信息、密钥信息、码流调节信息的和码流协议地址信息，将这些信息加载在交互请求信令的数据包中。

步骤S42：向各终端设备发送交互请求信令。将包含了多种不同交互内容信息的交互请求信令发送给对应的各终端设备，用于各终端设备根据该交互请求指令执行相应的通信交互操作。

步骤S43：根据交互请求信令，控制各终端设备执行交互操作。例如：终端设备1对应的交互请求信令为11，终端设备2对应的交互请求信令为21，终端设备3对应的交互请求信令为31，每个终端设备按照对应的交互请求信令，完成交互操作，此处的交互操作分别包括推流操作、拉流操作、码流调节操作、心跳检测操作等。

步骤S44：当停止通信交互时，向各终端设备发送交互退出指令。此处交互退出指令用于控制各终端设备停止进行音视频数据的交互。

步骤S45：根据交互退出信令，控制各终端设备执行停止操作操作。自此，各终端设备接收到交互退出指令，就立刻停止了拉流操作、推流操作，音视频数据的直播等。

本发明实施例中的通信交互方法，服务器通过向各终端设备发送交互请求信令和交互退出信令，实现控制各终端设备基于补充增强信息单元可形成所有不同交互内容信息的单条网络传输通道，在该单条网络传输通道上执行各种不同的交互操作，进而使得各终端设备避免了频繁的通信交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

实施例3

本发明实施例提供了一种通信交互装置，用于各终端设备，如图5所示，包括：

第一接收模块51，用于接收服务器发送的交互请求信令。

存储模块52，用于将交互请求信令存储在音视频码流数据结构的补充增强信息单元中。

交互模块53，用于按照交互请求信令与服务器进行通信交互。

本发明实施例中的通信交互装置，音视频码流数据结构为H264码流数据结构，补充增强信息单元用于用户进行自定义数据格式类型。

本发明实施例中的通信交互装置，交互请求信令包括心跳信息、密钥信息、码流调节信息的和码流协议地址信息。

本发明实施例中的通信交互装置，在图5中，交互模块53还包括：

获取子模块531，用于从交互请求信令中获取与各终端设备对应的码流协议地址信息。

第一执行子模块532，用于根据码流协议地址信息，执行音视频码流数据的推流或拉流操作。

第二执行子模块533，用于从交互请求信令中获取码流调节信息，执行音视频码流数据的码流调节操作。

本发明实施例中的通信交互装置，在图5中，还包括：

第二接收模块54，用于接收服务器发送的交互退出信令。

停止模块55，用于按照交互退出信令，停止执行音视频码流数据的推流或拉流操作。

本发明实施例中的通信交互装置，基于补充增强信息单元可形成实现所有不同交互内容信息的单条网络传输通道，同时实现音视频数据的直播或心跳检测或加密或解密操作或音视频数据的码流调节等，避免了频繁的通信交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

实施例4

本发明实施例提供一种通信交互装置，用于服务器，如图6所示，还包括：

加载模块61，用于将用于信息交互的通信信息加载在交互请求信令中.

第一发送模块62，用于向各终端设备发送交互请求信令。

第一控制模块63，用于根据交互请求信令，控制各终端设备执行交互操作。

第二发送模块64，用于当停止通信交互时，向各终端设备发送交互退出指令。

第二控制模块65，用于根据交互退出信令，控制各终端设备执行停止操作操作。

本发明实施例中的通信交互装置，服务器通过向各终端设备发送交互请求信令和交互退出信令，实现控制各终端设备基于补充增强信息单元可形成所有不同交互内容信息的单条网络传输通道，在该单条网络传输通道上执行各种不同的交互操作，进而使得各终端设备避免了频繁的通信交互，进而在很大程度上，可以有效节约网络带宽，保证了信令交互的能力。

实施例5

本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现实施例1或实施例2中的方法的步骤。该存储介质上还存储有交互请求信令中包含的心跳信息、密钥信息、码流调节信息的和码流协议地址信息等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

实施例6

本发明实施例提供一种终端设备，该终端设备可代表视频会议终端设备或移动终端设备。如图7所示，包括存储器720、处理器710及存储在存储器720上并可在处理器710上运行的计算机程序，处理器710执行程序时实现实施例1方法的步骤。

图7是本发明实施例提供的执行列表项操作的处理方法的一种终端设备的硬件结构示意图，如图7所示，该终端设备包括一个或多个处理器710以及存储器720，图7中以一个处理器710为例。

执行列表项操作的处理方法的终端设备还可以包括：输入装置730和输出装置740。

处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。

处理器710可以为中央处理器(Central Processing Unit，CPU)。处理器710还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

实施例7

本发明实施例提供一种服务器，该服务器通常为流媒体服务器。如图8所示，包括存储器820、处理器810及存储在存储器820上并可在处理器810上运行的计算机程序，处理器810执行程序时实现实施例2中方法的步骤。

图8是本发明实施例提供的执行列表项操作的处理方法的一种服务器的硬件结构示意图，如图8所示，该服务器包括一个或多个处理器810以及存储器820，图8中以一个处理器810为例。

执行列表项操作的处理方法的服务器还可以包括：输入装置830和输出装置840。

处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器810可以为中央处理器(Central Processing Unit，CPU)。处理器810还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种通信交互方法，用于各终端设备，其特征在于，包括如下步骤：

接收服务器发送的交互请求信令；

按照所述交互请求信令与所述服务器进行通信交互。

2.根据权利要求1所述的通信交互方法，其特征在于，所述音视频码流数据结构为H264码流数据结构，所述补充增强信息单元用于用户进行自定义数据格式类型。

3.根据权利要求1-2任一项所述的通信交互方法，其特征在于，所述交互请求信令包括心跳信息、密钥信息、码流调节信息和码流协议地址信息。

4.根据权利要求3所述的通信交互方法，其特征在于，所述按照所述交互请求信令与所述服务器进行通信交互的步骤还包括：

5.根据权利要求4所述的通信交互方法，其特征在于，还包括：

接收服务器发送的交互退出信令；

6.一种通信交互方法，用于服务器，其特征在于，还包括：

将用于信息交互的通信信息加载在交互请求信令中；

向各终端设备发送所述交互请求信令；

当停止通信交互时，向所述各终端设备发送交互退出指令；

7.一种通信交互装置，用于各终端设备，其特征在于，包括：

第一接收模块，用于接收服务器发送的交互请求信令；

8.一种通信交互装置，用于服务器，其特征在于，还包括：

第一发送模块，用于向各终端设备发送交互请求信令；

9.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-5任一项所述的通信交互方法的步骤；或，实现权利要求6所述的通信交互方法的步骤。

10.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项所述的通信交互方法的步骤。

11.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求6所述的通信交互方法的步骤。