[go: up one dir, main page]

CN109361945A - 一种快速传输及同步的会议视听系统及其控制方法 - Google Patents

一种快速传输及同步的会议视听系统及其控制方法 Download PDF

Info

Publication number
CN109361945A
CN109361945A CN201811212429.1A CN201811212429A CN109361945A CN 109361945 A CN109361945 A CN 109361945A CN 201811212429 A CN201811212429 A CN 201811212429A CN 109361945 A CN109361945 A CN 109361945A
Authority
CN
China
Prior art keywords
module
audio
video
information
receiving end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811212429.1A
Other languages
English (en)
Inventor
赵定金
朱正辉
张常华
明德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baolun Electronics Co Ltd
Original Assignee
Guangzhou Baolun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baolun Electronics Co Ltd filed Critical Guangzhou Baolun Electronics Co Ltd
Priority to CN201811212429.1A priority Critical patent/CN109361945A/zh
Publication of CN109361945A publication Critical patent/CN109361945A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及流媒体控制技术领域，具体公开了一种快速传输及同步的会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端、一流媒体转发服务端和至少一个同屏接收终端，该会议视听系统包括采集模块、编码模块、网络推流模块、时间戳核对模块、核对周期定时模块、至少一个接收端解码模块、至少一个接收端视频音频同步处理模块和至少一个接收端渲染处理模块；本发明还公开了一种快速传输及同步的会议视听系统的控制方法，包括S1‑S5，S1，采集信息给所述编码模块；S2，编码处理；S3，时间戳标记；S4，解码处理；S5，渲染显示及渲染播放。本发明提高了视频传输速率和视频播放流畅性，使视频与音频的播放更同步。

Description

一种快速传输及同步的会议视听系统及其控制方法
技术领域
本发明涉及流媒体控制技术领域，具体涉及一种快速传输及同步的会议视听系统及其控制方法。
背景技术
随着音视频技术和网络通信技术越来越成熟，办公会议信息化对视频的需求也日益提升，并成为整个会议服务体系中的一个重要组成部分。而会议视频作为办公会议中的重要部分，各式各样大型或小型会议经常都会用到高清视频播放功能，而且对会议视频的质量要求越来越高。
随着2K高清视频(1920*1080分辨率)和2K高清分辨率显示器的普及，给会议的视听系统实现高清视觉体验的视频效果提供了有效的基础保障。但是由于2K高清视频源(1920*1080分辨率)视频像素数据量过于庞大，在传输过程中，网络对高清视频的传输速率低，高清视频的流畅性低。由于考虑到系统中声卡和抓屏采集的时间间隔，网络传输的时间消耗，以及接收端的解码时间消耗等等因素，会容易造成系统在运行一段时间后视频滞后音频的时间戳累积过大。
发明内容
有鉴于此，有必要针对上述的问题，提出一种快速传输及同步的会议视听系统及其控制方法，以解决上述背景技术中的会议视听系统进行传输高清视频时出现的视频传输速率低、播放流畅性差的问题，以及会议视听系统视频与音频播放不同步的问题。
为实现上述目的，本发明采取以下的技术方案：
一种快速传输及同步的会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端、一流媒体转发服务端和至少一个同屏接收终端，该会议视听系统包括一采集模块、一编码模块、一网络推流模块、一时间戳核对模块、一核对周期定时模块、至少一个接收端解码模块、至少一个接收端视频音频同步处理模块和至少一个接收端渲染处理模块；所述采集模块、编码模块和网络推流模块均安装于同屏发起终端内；各个同屏接收终端均安装有一个接收端解码模块、一个接收端视频音频同步处理模块和一个接收端渲染处理模块；所述时间戳核对模块和核对周期定时模块均安装于流媒体转发服务端内；
所述采集模块用于采集所述同屏发起终端的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块；
所述编码模块用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块；
所述网络推流模块用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端再推送给各个所述接收端解码模块；
所述核对周期定时模块用于核对或/及调整所述核对周期定时模块内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块；
所述时间戳核对模块用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；
所述接收端解码模块用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块；
所述接收端视频音频同步处理模块用于根据所述时间戳核对模块对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；
所述接收端渲染处理模块用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
进一步地，所述采集模块包括屏幕采集子模块和声卡采集子模块；编码模块包括视频编码模块和音频编码模块；接收端解码模块包括视频解码子模块和音频解码子模块；
所述屏幕采集子模块用于采集所述同屏发起终端的视频信息，并将采集到的视频信息传送给所述编码模块；
所述声卡采集子模块用于采集所述同屏发起终端的音频信息，并将采集到的音频信息传送给所述编码模块；
所述视频编码模块用于将接收到的视频信息进行编码处理，并将编码处理后的视频信息传送给所述网络推流模块；
所述音频编码模块用于将接收到的音频信息进行编码处理，并将编码处理后的音频信息传送给所述网络推流模块；
所述视频解码子模块用于将接收到的视频信息进行解码处理，并将解码得到的视频像素数据传送给所述接收端渲染处理模块；
所述音频解码子模块用于将接收到的音频信息进行解码处理，并将解码后得到的音频采样数据传送给所述接收端渲染处理模块。
进一步地，所述视频编码模块采用X264编码器对接收到的视频信息进行编码处理；所述视频编码模块编码处理后的视频信息为H.264视频码流。
进一步地，所述音频编码模块采用AAC编码器对接收到的音频信息进行编码处理；所述音频编码模块编码处理后的音频信息为AAC音频码流。
进一步地，所述网络推流模块采用组播或者单播模式向各个所述接收端解码模块进行推送。
进一步地，所述核对周期定时模块内的时间周期值由同屏发起终端提供。
进一步地，所述核对周期定时模块内的时间周期值为五秒。
一种快速传输及同步的会议视听系统的控制方法应用于如上所述的快速传输及同步的会议视听系统，该控制方法包括以下步骤：
S1，所述采集模块采集所述同屏发起终端的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块；
S2，所述编码模块将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块；
S3，所述网络推流模块对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端再推送给各个所述接收端解码模块；
S4，所述接收端解码模块将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块；
S5，所述接收端渲染处理模块将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
进一步地，该控制方法于S5之后还包括如下步骤：
S6，所述网络推流模块判断所述同屏发起终端与各个同屏接收终端是否同屏成功，若同屏成功则执行S7，若同屏失败则结束整个控制过程；
S7，所述核对周期定时模块将被核对或/及调整后的时间周期值提供给所述时间戳核对模块；
所述时间戳核对模块根据被核对或/及调整后的所述时间周期值进行周期采集所述视频时间戳和音频时间戳；
S8，所述时间戳核对模块计算所述网络推流模块接收到的视频时间戳与音频时间戳的时间差值，并判断该时间差值是否小于当前时间戳或80ms，若判断为是则执行S9，若判断为否则无需对视频与音频进行同步处理；
S9，所述接收端视频音频同步处理模块对视频与音频进行同步处理。
本发明的有益效果为：
本发明的一种快速传输及同步的会议视听系统，通过通过H.264编码技术和AAC编码技术的结合，极大程度解决了传统会议中对2K高清视频(1920*1080分辨率)传输方面的流畅性，同时所采用的视音频同步方法结合“主从机”同步控制方法，保证了整个视频同屏的同步效果的稳定性，以及提升了会议中高清视频信息展示的用户体验，为用户在会议中感受高清甚至超清的视频同屏效果和视觉冲击感。在视音频数据传输方面，本发明采用组播模式进行网络传输，从而在传输过程简单高效、传输速率快，可以做到小于40ms的超低延时，适合此类型的实时性流媒体传输应用场景。本发明让同屏接收终端再次进行更加精准的“主从”视音频同步控制，因为声卡硬件所参考的时钟基准跟视频显卡的播放参考的时钟是不一样的，本发明采用了以音频轴为基准，通过视频向音频轴同步的方法实现初步的音视频同步效果；媒体间同步即是要保持音频流和视频流之间的时间关系，根据其时间差进行动态调整的一个过程，因为本发明是采用“主从”视频同屏技术，由发起端作为主机端，其他接收端作为从机端，所以从机端只会滞后于主机端的视音频播放。经试验结果表明，如果时间差限制在一定的范围内，方可认为视音频媒体是处于同步状态的。当音频滞后于视频的时间差在80ms以内时，人的视觉听觉是感觉不到音视频同步质量的变化，此时可以认为是处于同步状态。综上所述，被设计在音视频同步最大时间差限制为80ms，因此可以得出下列条件判断，如果音频时间戳加上80ms大于视频时间戳的话，则丢弃视频帧进而加快视频显示，否则正常输出视频帧显示播放。
附图说明
图1为本发明的一种快速传输及同步的会议视听系统的一种结构示意图；
图2为本发明的一种快速传输及同步的会议视听系统的另一种结构示意图；
图3为本发明的一种快速传输及同步的会议视听系统的控制方法的一种工作流程图；
图4为本发明的一种快速传输及同步的会议视听系统的控制方法的另一种工作流程图；
图5为本发明涉及的网络推流模块实现同屏的工作流程示意图；
图6为本发明涉及的“主从”视音频同步控制方法的工作流程示意图；
图7为本发明涉及的核对周期定时模块核对时间周期值的工作流程示意图；
图8为本发明涉及的接收端视频音频同步处理模块实现视频音频同步的工作流程示意图；
图9为本发明采用SDL跨平台多媒体开发库进行视频渲染显示的原理示意图；
图10为本发明涉及的C/S计算机架构的结构示意图；
附图标记说明：
同屏发起终端——1；流媒体转发服务端——2；同屏接收终端——3；采集模块——11；编码模块——12；网络推流模块——13；时间戳核对模块——21；核对周期定时模块——22；接收端解码模块——31；接收端视频音频同步处理模块——32；接收端渲染处理模块——33；屏幕采集子模块——111；声卡采集子模块——112；视频编码模块——121；音频编码模块——122；视频解码子模块——311；音频解码子模块——312。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明的技术方案作进一步清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
如图1所示，一种快速传输及同步的会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端1、一流媒体转发服务端2和至少一个同屏接收终端3，该会议视听系统包括一采集模块11、一编码模块12、一网络推流模块13、一时间戳核对模块21、一核对周期定时模块22、至少一个接收端解码模块31、至少一个接收端视频音频同步处理模块32和至少一个接收端渲染处理模块33；所述采集模块11、编码模块12和网络推流模块13均安装于同屏发起终端1内；各个同屏接收终端3均安装有一个接收端解码模块31、一个接收端视频音频同步处理模块32和一个接收端渲染处理模块33；所述时间戳核对模块21和核对周期定时模块22均安装于流媒体转发服务端2内；
所述采集模块11用于采集所述同屏发起终端1的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块12；
所述编码模块12用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块13；
所述网络推流模块13用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端2再推送给各个所述接收端解码模块31；
所述核对周期定时模块22用于核对或/及调整所述核对周期定时模块22内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块21；
所述时间戳核对模块21用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；
所述接收端解码模块31用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块33；
所述接收端视频音频同步处理模块32用于根据所述时间戳核对模块21对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；
所述接收端渲染处理模块33用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
如图2所示，所述采集模块11包括屏幕采集子模块111和声卡采集子模块112；编码模块12包括视频编码模块121和音频编码模块122；接收端解码模块31包括视频解码子模块311和音频解码子模块312；
所述屏幕采集子模块111用于采集所述同屏发起终端1的视频信息对所述同屏发起终端1显示的画面进行捕获截屏从而获得视频信息，并将采集到的视频信息传送给所述编码模块12；
所述声卡采集子模块112用于采集所述同屏发起终端1的音频信息对所述同屏发起终端1播放的音频进行采集从而获得音频信息，并将采集到的音频信息传送给所述编码模块12；
所述视频编码模块121用于将接收到的视频信息进行编码处理，并将编码处理后的视频信息传送给所述网络推流模块13；
所述音频编码模块122用于将接收到的音频信息进行编码处理，并将编码处理后的音频信息传送给所述网络推流模块13；
所述视频解码子模块311用于将接收到的视频信息进行解码处理，并将解码得到的视频像素数据传送给所述接收端渲染处理模块33；
所述音频解码子模块312用于将接收到的音频信息进行解码处理，并将解码后得到的音频采样数据传送给所述接收端渲染处理模块33；
所述视频编码模块121采用X264编码器对接收到的视频信息进行编码处理；所述视频编码模块121编码处理后的视频信息为H.264视频码流；
所述音频编码模块122采用AAC编码器对接收到的音频信息进行编码处理；所述音频编码模块122编码处理后的音频信息为AAC音频码流；
所述网络推流模块13采用组播或者单播模式向各个所述接收端解码模块31进行推送；
所述核对周期定时模块22内的时间周期值由同屏发起终端1提供；
所述核对周期定时模块22内的时间周期值为五秒。
如图1、图3所示，一种快速传输及同步的会议视听系统的控制方法应用于如上所述的快速传输及同步的会议视听系统，该控制方法包括以下步骤：
S1，所述采集模块11采集所述同屏发起终端1的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块12；
S2，所述编码模块12将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块13；
S3，所述网络推流模块13对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端2再推送给各个所述接收端解码模块31；
S4，所述接收端解码模块31将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块33；
S5，所述接收端渲染处理模块33将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
实施例2
实施例2为实施例1的进一步优化；
如图1、图4所示，一种快速传输及同步的会议视听系统的控制方法包括如下步骤：
S1，所述采集模块11采集所述同屏发起终端1的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块12；
S2，所述编码模块12将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块13；
S3，所述网络推流模块13对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端2再推送给各个所述接收端解码模块31；
S4，所述接收端解码模块31将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块33；
S5，所述接收端渲染处理模块33将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放；
S6，所述网络推流模块13判断所述同屏发起终端1与各个同屏接收终端3是否同屏成功，若同屏成功则执行S7，若同屏失败则结束整个控制过程；
S7，所述核对周期定时模块22将被核对或/及调整后的时间周期值提供给所述时间戳核对模块21；
所述时间戳核对模块21根据被核对或/及调整后的所述时间周期值进行周期采集所述视频时间戳和音频时间戳；
S8，所述时间戳核对模块21计算所述网络推流模块13接收到的视频时间戳与音频时间戳的时间差值，并判断该时间差值是否小于当前时间戳或80ms，若判断为是则执行S9，若判断为否则无需对视频与音频进行同步处理；
S9，所述接收端视频音频同步处理模块32对视频与音频进行同步处理。
实施例3
实施例3为实施例1的进一步优化；
如图1、图2、图3、图6、图7所示，一种快速传输及同步的会议视听系统采用C/S软件设计模式进行架构和开发，该会议视听系统包括同屏发起终端1(也称为“推流端”)，流媒体转发服务端2和同屏接收终端3；
其中，同屏发起终端1包含了以下功能模块：
1、屏幕采集子模块111，用于对所述同屏发起终端1的画面进行捕获截屏，采集视频原始数据传给视频编码模块121；屏幕采集子模块111负责采集的是YUV420格式的视频原始数据，然后把YUV420格式的视频原始数据放入视频像素队列，等待X264编码模块取视频像素数据进行X264编码；
2、声卡采集子模块112，用于对所述同屏发起终端1的音频播放进行采集，采集音频原始数据传给音频编码模块122；声卡采集子模块对所述同屏发起终端1的音频播放进行采集，负责采集PCM格式的音频原始数据，然后把PCM格式的音频原始数据放入音频采样队列，等待AAC编码模块取音频采样数据进行AAC编码；
3、视频编码模块121，用于对所述同屏发起终端1的YUV图像数据采用X264编码器进行编码，形成H.264视频码流；视频编码模块121当视频像素队列有数据时，模块会对采集到的YUV420视频像素数据取出来，通过调用X264编码器接口程序来进行压缩编码，形成H.264视频码流；
4、音频编码模块122，用于对所述同屏发起终端1的PCM音频数据采用AAC编码器进行编码，形成AAC音频码流；当音频采样队列有数据时，音频编码模块122对采集到的PCM格式的音频原始数据取出来，通过faac开源音频库里面的AAC编码器接口程序来进行压缩编码，形成AAC音频码流；
5、网络推流模块13，用于对所述同屏发起终端1的所采集的视频码流和音频码流进行精准的时间戳计算标记并通过信令通道传输给所述流媒体转发服务端，然后采用组播或者单播模式向流媒体转发服务端进行推流；网络推流模块13主要包含两方面的功能：
第一方面是对所述同屏发起终端1的所编码的视频码流和音频码流进行时间戳RTP标记封包处理，音视频被采集到之后会先经过所述编码模块12处理，音视频在被编码处理之后才进入时间戳核对模块21的模块，如图5所示；在第一帧到达时记一个计时起点，然后根据采集的帧间隔时间戳对接下来每一帧的时间戳进行计算：frameTimeStamp＝lastFrameTimeStamp+frameDuration(其中frameTimeStamp为当前时间戳，lastFrameTimeStamp为上一帧的时间戳，frameDuration为帧间隔时间戳)。接着同屏发起终端1启动5秒周期定时器服务，当定时器达到5秒计时的时候，程序会主动通过信令通道向流媒体转发服务端2发送frameTimeStamp时间戳数据，接到时间戳数据的流媒体转发服务端2会立即把frameTimeStamp时间戳数据转发给其它加入同屏的同屏接收终端3，目的是为了通过采用5秒周期性检测所有同屏接收终端3当前状态是否与同屏发起端同步，若发现滞后于同屏发起终端1，则让同屏接收终端3再次进行更加精准的“主从”视音频同步控制。其“主从”视音频同步控制方法如附图中图6所示，以及同屏发起终端1的流程图实现如附图中图7所示；
第二方面是采用组播或者单播模式向流媒体转发服务端2进行推流。一般在会议的同屏接收终端3数量较少的情况下，默认使用的是单播模式。当会议同屏终端数量达到一定的数量(如50台到200台)的时候，同屏发起终端1会通过切换为组播模式进行转发视音频流媒体数据包，这样可以节省带宽的开销，从而保证带宽高效传输和实时性传输。
所述流媒体转发服务端2用于对接收到的视音频媒体数据转发到加入会议的同屏接收终端3。
如图1、图2、图3、图9所示，所述同屏接收终端3包含了以下功能模块：
1、视频解码子模块311，用于对接收到的H.264视频码流进行解码，然后转移到视频渲染模块进行处理；当接收到网络传输过来的H.264视频数据包时，程序直接把视频数据包放入视频解码队列；当队列有数据时，再通过X264解码器把H.264视频压缩数据解码成YUV420格式的视频像素数据，然后放入视频渲染队列；
2、音频解码子模块122，用于对接收到的AAC音频码流进行解码，然后转移到音频渲染模块进行处理；当接收到网络传输过来的AAC音频数据包时，程序直接把音频数据包放入音频解码队列；当队列有数据时，再通过AAC解码器把AAC音频压缩数据解码成PCM格式的音频采样数据，然后放入音频渲染队列；
3、接收端视频音频同步处理模块32，用于对刚解包出来的时间戳进行视音频同步处理；
4、接收端视频渲染显示模块，用于对刚解码出来的视频像素数据进行渲染显示；对刚解码出来的YUV420格式的视频像素数据采用SDL跨平台多媒体开发库进行视频渲染显示；视频渲染显示的过程为：首先创建好窗口，SDL渲染器和纹理，通过更新视频画面纹理来刷新显示器的画面，在此过程中，SDL会不断地通过渲染器拷贝已经解码好的视频像素数据，最后流畅地展示视频画面，如附图中图9所示；
5、接收端音频渲染播放模块，用于对刚解码出来的音频采样数据进行渲染播放；对刚解码出来的PCM音频采样数据采用SDL跨平台多媒体开发库进行渲染，接着通过声卡输出播放。
所述接收端渲染处理模块33包括接收端视频渲染显示模块和接收端音频渲染播放模块。
如图1、图2、图3、图5所示，对本发明做进一步描述：
在进行视频同屏播放前需要进行图5中的第1步和第2步对多个同屏接收终端3设置绑定ID，进而保障多个同屏接收终端3在同一会议内通信顺畅。然后当同屏发起终端1发起同屏时，则进行第3步和第4步，分别对屏幕进行画面采集和声卡音频采集。接着进行第5步和第6步，对采集的视音频数据进行编码压缩。紧接着采取第7步，把压缩数据通过单播或者组播技术传输到网络，经过服务器做转发给其他同屏接收终端3。最后，执行第8步和第9步，把视频压缩数据解码为视音频原始数据进行显示和播放。
如图1、图2、图3、图10所示，整个无纸化会议高清视频同屏技术需要部署的网络架构图，由图10中可见同屏发起终端1(也称“推流端”)跟多个同屏接收终端3，以及流媒体转发服务端都同处于同一个LAN网络中进行通信和数据传输。
如图1、图2、图3、图7、图8所示，本发明采用的的音频采样频率为44100HZ，一帧AAC音频数据有1024个sample采样点，因此可以计算出：
一帧的音频帧播放时间＝一个AAC帧对应的采样样本个数/采样频率
所以一帧AAC播放时间＝1024*1000/44100＝23.22毫秒而设计采用的视频采样率为25fps，因此可以计算出：
一帧的视频帧播放时间＝1000/25fps
所以一帧视频播放时间＝40毫秒
由上面的计算数据可得到每一帧数据的持续播放时间，通过时间轴的时间点，交叉播放音视频数据从而产生同步效果，如下表所示：
但是由于实际系统情况，声卡播放的时间基准与视频播放的时间基准是对应不上的，如表中的情况是以时间轴0为基准点在实际验证中是不可靠的。因为声卡硬件所参考的时钟基准跟视频显卡的播放参考的时钟是不一样的，因此本设计方案采用了以音频轴为基准，通过视频向音频轴同步的方法实现初步的音视频同步效果。
因此，媒体间同步即是要保持音频流和视频流之间的时间关系，根据其时间差进行动态调整的一个过程。因为本系统是采用“主从”视频同屏技术，由发起端作为主机端，其他接收端作为从机端，所以从机端只会滞后于主机端的视音频播放。本发明进行了一系列的可靠性试验，试验结果表明，如果时间差限制在一定的范围内，方可认为视音频媒体是处于同步状态的。当音频滞后于视频的时间差在80ms以内时，人的视觉听觉是感觉不到音视频同步质量的变化，此时可以认为是处于同步状态。综上所述，被设计在音视频同步最大时间差限制为80ms。
因此可以得出下列条件判断，如果音频时间戳加上80ms大于视频时间戳的话，则丢弃视频帧进而加快视频显示，否则正常输出视频帧显示播放。其程序流程图如附图中图8所示；
该会议视听系统还包括至少一个时间戳滞后反馈模块，各个同屏接收终端3都安装有一个时间戳滞后反馈模块；时间戳滞后反馈模块用于将时间戳滞后状态信息反馈给流媒体转发服务端2的时间戳核对模块21；
由于考虑到系统中声卡和抓屏采集的时间间隔，网络传输的时间消耗,以及同屏接收终端3的解码时间消耗等等因素，会容易造成系统在运行一段时间后视频滞后音频的时间戳累积过大。因此，本发明进一步采用了“主从”视音频同步方法，同屏发起终端1每五秒周期发送一次frameTimeStamp时间戳给服务器，服务器马上转发给加入视频同屏的各个同屏接收终端3，然后各个同屏接收终端3根据frameTimeStamp(frameTimeStamp<80毫秒)优先处理视音频同步，并且过于滞后的同屏接收终端3会通过时间戳滞后反馈模块回应流媒体转发服务端2，等下次调控服务器做优先下发处理，如附图中图7和图8所示。
与现有的技术相比，本发明主要采用了X264视频编解码器和AAC音频编解码器对高清视频进行编解码，并采用UDP协议进行传输，该协议在传输过程中简单高效，传输速率快，不会像TCP协议那样会产生较大的延时效应。当前该系统在千兆交换机的会议局域网内，能同时发起高清视频同屏的终端数量高达200台。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种快速传输及同步的会议视听系统，其特征在于，该会议视听系统应用于C/S计算机架构，该C/S计算机架构包括一同屏发起终端(1)、一流媒体转发服务端(2)和至少一个同屏接收终端(3)，该会议视听系统包括一采集模块(11)、一编码模块(12)、一网络推流模块(13)、一时间戳核对模块(21)、一核对周期定时模块(22)、至少一个接收端解码模块(31)、至少一个接收端视频音频同步处理模块(32)和至少一个接收端渲染处理模块(33)；所述采集模块(11)、编码模块(12)和网络推流模块(13)均安装于同屏发起终端(1)内；各个同屏接收终端(3)均安装有一个接收端解码模块(31)、一个接收端视频音频同步处理模块(32)和一个接收端渲染处理模块(33)；所述时间戳核对模块(21)和核对周期定时模块(22)均安装于流媒体转发服务端(2)内；
所述采集模块(11)用于采集所述同屏发起终端(1)的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块(12)；
所述编码模块(12)用于将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块(13)；
所述网络推流模块(13)用于对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端(2)再推送给各个所述接收端解码模块(31)；
所述核对周期定时模块(22)用于核对或/及调整所述核对周期定时模块(22)内的时间周期值，以及将核对或/及调整后的时间周期值提供给所述时间戳核对模块(21)；
所述时间戳核对模块(21)用于记录当前时间戳，以及计算所述视频时间戳与音频时间戳的差值，并将该差值与当前时间戳进行比较判断；
所述接收端解码模块(31)用于将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块(33)；
所述接收端视频音频同步处理模块(32)用于根据所述时间戳核对模块(21)对视频时间戳和音频时间戳的判断，从而对视频与音频进行同步处理；
所述接收端渲染处理模块(33)用于将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
2.根据权利要求1所述的速传输及同步的会议视听系统，其特征在于，所述采集模块(11)包括屏幕采集子模块(111)和声卡采集子模块(112)；编码模块(12)包括视频编码模块(121)和音频编码模块(122)；接收端解码模块(31)包括视频解码子模块(311)和音频解码子模块(312)；
所述屏幕采集子模块(111)用于采集所述同屏发起终端(1)的视频信息，并将采集到的视频信息传送给所述编码模块(12)；
所述声卡采集子模块(112)用于采集所述同屏发起终端(1)的音频信息，并将采集到的音频信息传送给所述编码模块(12)；
所述视频编码模块(121)用于将接收到的视频信息进行编码处理，并将编码处理后的视频信息传送给所述网络推流模块(13)；
所述音频编码模块(122)用于将接收到的音频信息进行编码处理，并将编码处理后的音频信息传送给所述网络推流模块(13)；
所述视频解码子模块(311)用于将接收到的视频信息进行解码处理，并将解码得到的视频像素数据传送给所述接收端渲染处理模块(33)；
所述音频解码子模块(312)用于将接收到的音频信息进行解码处理，并将解码后得到的音频采样数据传送给所述接收端渲染处理模块(33)。
3.根据权利要求2所述的速传输及同步的会议视听系统，其特征在于，所述视频编码模块(121)采用X264编码器对接收到的视频信息进行编码处理；所述视频编码模块(121)编码处理后的视频信息为H.264视频码流。
4.根据权利要求2所述的速传输及同步的会议视听系统，其特征在于，所述音频编码模块(122)采用AAC编码器对接收到的音频信息进行编码处理；所述音频编码模块(122)编码处理后的音频信息为AAC音频码流。
5.根据权利要求1所述的速传输及同步的会议视听系统，其特征在于，所述网络推流模块(13)采用组播或者单播模式向各个所述接收端解码模块(31)进行推送。
6.根据权利要求1所述的速传输及同步的会议视听系统，其特征在于，所述核对周期定时模块(22)内的时间周期值由同屏发起终端(1)提供。
7.根据权利要求1所述的速传输及同步的会议视听系统，其特征在于，所述核对周期定时模块(22)内的时间周期值为五秒。
8.一种快速传输及同步的会议视听系统的控制方法，其特征在于，应用于如权利要求1-7任一所述的快速传输及同步的会议视听系统，该控制方法包括以下步骤：
S1，所述采集模块(11)采集所述同屏发起终端(1)的视频信息和音频信息，并将采集到的视频信息和音频信息传送给所述编码模块(12)；
S2，所述编码模块(12)将接收到的视频信息和音频信息进行编码处理，并将编码处理后的视频信息和音频信息传送给所述网络推流模块(13)；
S3，所述网络推流模块(13)对编码后的视频信息和音频信息进行时间戳标记，并将带视频时间戳的视频信息和带音频时间戳的音频信息通过所述流媒体转发服务端(2)再推送给各个所述接收端解码模块(31)；
S4，所述接收端解码模块(31)将接收到的视频信息和音频信息进行解码处理，并将解码后得到的视频像素数据和音频采样数据传送给所述接收端渲染处理模块(33)；
S5，所述接收端渲染处理模块(33)将解码后得到的视频像素数据进行渲染显示，以及将解码后得到的音频采样数据进行渲染播放。
9.根据权利要求8所述的快速传输及同步的会议视听系统的控制方法，其特征在于，该控制方法于S5之后还包括如下步骤：
S6，所述网络推流模块(13)判断所述同屏发起终端(1)与各个同屏接收终端(3)是否同屏成功，若同屏成功则执行S7，若同屏失败则结束整个控制过程；
S7，所述核对周期定时模块(22)将被核对或/及调整后的时间周期值提供给所述时间戳核对模块(21)；
所述时间戳核对模块(21)根据被核对或/及调整后的时间周期值的所述时间周期值进行周期采集所述视频时间戳和音频时间戳；
S8，所述时间戳核对模块(21)计算所述网络推流模块(13)接收到的视频时间戳与音频时间戳的时间差值，并判断该时间差值是否小于当前时间戳或80ms，若判断为是则执行S9，若判断为否则无需对视频与音频进行同步处理；
S9，所述接收端视频音频同步处理模块(32)对视频与音频进行同步处理。
CN201811212429.1A 2018-10-18 2018-10-18 一种快速传输及同步的会议视听系统及其控制方法 Pending CN109361945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811212429.1A CN109361945A (zh) 2018-10-18 2018-10-18 一种快速传输及同步的会议视听系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811212429.1A CN109361945A (zh) 2018-10-18 2018-10-18 一种快速传输及同步的会议视听系统及其控制方法

Publications (1)

Publication Number Publication Date
CN109361945A true CN109361945A (zh) 2019-02-19

Family

ID=65345672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811212429.1A Pending CN109361945A (zh) 2018-10-18 2018-10-18 一种快速传输及同步的会议视听系统及其控制方法

Country Status (1)

Country Link
CN (1) CN109361945A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062268A (zh) * 2019-04-19 2019-07-26 北京那镁克科技有限公司 一种音视频同屏播放的发送和接收处理方法及装置
CN110312162A (zh) * 2019-06-27 2019-10-08 北京字节跳动网络技术有限公司 精选片段处理方法、装置、电子设备及可读介质
CN110351592A (zh) * 2019-07-17 2019-10-18 深圳市蓝鲸数据科技有限公司 动画呈现方法、装置、计算机设备和存储介质
CN111147801A (zh) * 2019-12-31 2020-05-12 视联动力信息技术股份有限公司 一种视联网终端的视频数据处理方法和装置
CN111258526A (zh) * 2020-05-06 2020-06-09 上海幻电信息科技有限公司 投屏方法和系统
CN111327869A (zh) * 2020-03-27 2020-06-23 随锐科技集团股份有限公司 视频会议系统
CN111510759A (zh) * 2020-03-17 2020-08-07 视联动力信息技术股份有限公司 视频显示方法、装置及可读存储介质
CN112433689A (zh) * 2020-11-11 2021-03-02 深圳市先智物联科技有限公司 用于同屏器的数据传输方法、装置、同屏器及介质
CN112492358A (zh) * 2020-11-18 2021-03-12 深圳市斯博科技有限公司 一种投屏方法、装置、计算机设备及存储介质
WO2021142998A1 (zh) * 2020-01-19 2021-07-22 深圳市朗强科技有限公司 一种数据发送、接收方法、装置、系统、设备及计算机存储介质
CN113965788A (zh) * 2021-10-22 2022-01-21 上海大风实验室设备有限公司 一种局域网内教学同屏互动系统
CN114286149A (zh) * 2021-12-31 2022-04-05 广东博华超高清创新中心有限公司 一种跨设备和系统的音视频同步渲染的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061010A (ja) * 2006-08-31 2008-03-13 Toshiba Corp 映像音声送信装置
CN103414957A (zh) * 2013-07-30 2013-11-27 广东工业大学 一种音视频数据同步的方法和装置
CN104683823A (zh) * 2013-11-29 2015-06-03 红板凳科技股份有限公司 一种多屏联动音视频同步系统
US20150271772A1 (en) * 2014-03-24 2015-09-24 Imagination Technologies Limited High Definition Timing Synchronisation Function
CN105429983A (zh) * 2015-11-27 2016-03-23 刘军 采集媒体数据的方法、媒体终端及音乐教学系统
CN105656616A (zh) * 2014-12-03 2016-06-08 中国移动通信集团公司 多设备间数据同步的方法、装置、发送端及接收端
CN106330912A (zh) * 2016-08-25 2017-01-11 北京智能管家科技有限公司 视频直播与双向通话融合的系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061010A (ja) * 2006-08-31 2008-03-13 Toshiba Corp 映像音声送信装置
CN103414957A (zh) * 2013-07-30 2013-11-27 广东工业大学 一种音视频数据同步的方法和装置
CN104683823A (zh) * 2013-11-29 2015-06-03 红板凳科技股份有限公司 一种多屏联动音视频同步系统
US20150271772A1 (en) * 2014-03-24 2015-09-24 Imagination Technologies Limited High Definition Timing Synchronisation Function
CN105656616A (zh) * 2014-12-03 2016-06-08 中国移动通信集团公司 多设备间数据同步的方法、装置、发送端及接收端
CN105429983A (zh) * 2015-11-27 2016-03-23 刘军 采集媒体数据的方法、媒体终端及音乐教学系统
CN106330912A (zh) * 2016-08-25 2017-01-11 北京智能管家科技有限公司 视频直播与双向通话融合的系统及方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062268A (zh) * 2019-04-19 2019-07-26 北京那镁克科技有限公司 一种音视频同屏播放的发送和接收处理方法及装置
CN110312162A (zh) * 2019-06-27 2019-10-08 北京字节跳动网络技术有限公司 精选片段处理方法、装置、电子设备及可读介质
CN110351592A (zh) * 2019-07-17 2019-10-18 深圳市蓝鲸数据科技有限公司 动画呈现方法、装置、计算机设备和存储介质
CN110351592B (zh) * 2019-07-17 2021-09-10 深圳市蓝鲸数据科技有限公司 动画呈现方法、装置、计算机设备和存储介质
CN111147801A (zh) * 2019-12-31 2020-05-12 视联动力信息技术股份有限公司 一种视联网终端的视频数据处理方法和装置
WO2021142998A1 (zh) * 2020-01-19 2021-07-22 深圳市朗强科技有限公司 一种数据发送、接收方法、装置、系统、设备及计算机存储介质
CN111510759A (zh) * 2020-03-17 2020-08-07 视联动力信息技术股份有限公司 视频显示方法、装置及可读存储介质
CN111510759B (zh) * 2020-03-17 2023-10-13 视联动力信息技术股份有限公司 视频显示方法、装置及可读存储介质
CN111327869A (zh) * 2020-03-27 2020-06-23 随锐科技集团股份有限公司 视频会议系统
US11589102B2 (en) 2020-05-06 2023-02-21 Shanghai Hode Information Technology Co., Ltd. Screen projection method and system
CN111258526A (zh) * 2020-05-06 2020-06-09 上海幻电信息科技有限公司 投屏方法和系统
CN111258526B (zh) * 2020-05-06 2020-08-28 上海幻电信息科技有限公司 投屏方法和系统
CN112433689A (zh) * 2020-11-11 2021-03-02 深圳市先智物联科技有限公司 用于同屏器的数据传输方法、装置、同屏器及介质
CN112433689B (zh) * 2020-11-11 2024-05-28 深圳市先智物联科技有限公司 用于同屏器的数据传输方法、装置、同屏器及介质
CN112492358A (zh) * 2020-11-18 2021-03-12 深圳市斯博科技有限公司 一种投屏方法、装置、计算机设备及存储介质
CN113965788A (zh) * 2021-10-22 2022-01-21 上海大风实验室设备有限公司 一种局域网内教学同屏互动系统
CN113965788B (zh) * 2021-10-22 2024-06-14 上海大风实验室设备有限公司 一种局域网内教学同屏互动系统
CN114286149A (zh) * 2021-12-31 2022-04-05 广东博华超高清创新中心有限公司 一种跨设备和系统的音视频同步渲染的方法及系统
CN114286149B (zh) * 2021-12-31 2023-07-07 广东博华超高清创新中心有限公司 一种跨设备和系统的音视频同步渲染的方法及系统

Similar Documents

Publication Publication Date Title
CN109361945A (zh) 一种快速传输及同步的会议视听系统及其控制方法
CN104735470B (zh) 一种流媒体数据传输方法及装置
CN103338386B (zh) 基于简化时间戳的音视频同步方法
US20210409461A1 (en) Whiteboard and video synchronization method, apparatus, computing device and storage medium
CN101889422B (zh) 用于使终端的输出同步的方法及系统
CN103237191B (zh) 在视频会议中同步推送音视频的方法
CN102685588B (zh) 同步通过不同网络接收的内容的呈现的解码器及其方法
CN105704580B (zh) 一种视频传输方法
CN108206833B (zh) 音视频数据传输方法及其系统
EP2728830B1 (en) Method and system for synchronizing audio and video streams in media relay conferencing
EP2509320A1 (en) Channel switching method, apparatus and system
CN103327361B (zh) 实时视频通讯回放数据流的获取方法、装置及系统
KR101640148B1 (ko) 대화형 마크를 스트리밍 콘텐츠에 동기화시키기 위한 디바이스 및 방법
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
WO2012034442A1 (zh) 实现可伸缩视频编码业务同步发送、接收的系统和方法
CN110602522B (zh) 一种多路实时直播WebRTC流合成方法
CN102752669A (zh) 多通道实时流媒体文件的传送处理方法与系统、接收装置
CN101998174A (zh) 组播rtp会话快速接入的方法、服务器、客户端及系统
CN202759552U (zh) 一种基于ip网络的多终端视频同步播放的系统
Tang et al. Audio and video mixing method to enhance WebRTC
CN112954433B (zh) 视频处理方法、装置、电子设备及存储介质
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
CN109756744B (zh) 数据处理方法、电子设备及计算机存储介质
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
CN114422810B (zh) 一种基于移动端导播台多路直播同步校准的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhao Dingjin

Inventor after: Zhu Zhenghui

Inventor after: Zhang Changhua

Inventor before: Zhao Dingjin

Inventor before: Zhu Zhenghui

Inventor before: Zhang Changhua

Inventor before: Ming De

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219