CN105306861B - 一种网络教学录播方法及系统 - Google Patents

Abstract

本发明提供一种有效的录播方法和系统，在网络教学或在线会议过程中，可以实现对于用户使用多媒体白板的功能操作、讲话/说话语音、与其他用户的交流和/或辅导等的交流语音进行录制，分别形成不同的数据流，并且由网络教学系统产生统一的时间戳对各种数据流进行标记，而不是完全以流媒体的格式将整个事件记录下来，使得网络用户可随时随地方便的通过网络从云端服务器或局域网服务器下载各种需要播放的数据流，获取数据流后用户终端的客户端根据时间戳再现获得数据流，有机组合播放出来给用户进行展示，从而完成点播浏览。

Description

一种网络教学录播方法及系统

技术领域

本发明涉及一种基于网络教学或者在线会议等系统的教学活动或会议过程录制和播放的方法、系统以及计算机程序产品，在网络教学或者在线会议等过程中实现了对多媒体课堂或会议内容的实时录制和点播回放。

背景技术

近年来，随着移动互联网的普及和网络教学系统的快速发展，传统教学模式已逐渐不能满足用户对于多媒体信息化便于回放等教学方式的需求。在网络教学过程中，通过课堂录播将教学过程录制下来，可以在互联网上共享优秀教学资源，用户可以使用终端在线访问这些优秀教学资源，还可以满足学生课后复习的需求。

如图1所示，现有文献1(CN101141271A，公开日2008年3月12日)公开了一种网络教学系统，包括：录制器100、处理器200、第一网络300、第二网络350，服务器400、数据库500及三个客户端600。其中，录制器100主要包括摄像头(图未示出)及无线数字话筒(图未示出)以录制课件的视频信息及音频信息。第一网络300用于将所述课件信息传送至服务器400。服务器400一方面用于进一步处理所述课件信息，产生课件数据，另一方面用于在数据库500中搜寻并调用所述课件数据，进而将所述课件数据转换回所述课件信息。数据库500用于存储所述课件数据。第二网络350用于连接客户端600与服务器400。客户端600用于方便用户查询课件信息及调用课件信息。

如图2所示，现有文献2(CN103067683A，公开日2013年4月24日)公开了一种用于远程教学的全自动录播系统，包括：视频信号采集模块1、音频信号采集模2块、自动录播编辑模块3和图形工作站4，视频信号采集模块1包括教师摄像机、学生摄像和板书摄像机，均采用采用带有旋转云台的快速球形摄像机，分别用于拍摄教师、学生和板书的影像。使用时，视频信号采集模块1和音频信号采集模块2均与自动录播编辑模块3连接，将采集的视频及音频信号传输至自动录播编辑模块3。自动录播编辑模块3与图形工作站4连接，将视频及音频信号编辑成音视频文件后传输至图形工作站4，通过图形工作站4对音视频文件进行压缩编码，生成流媒体文件。整个授课录制过程无需专人操作控制，而且生成的流媒体文件可以上传至互联网。

如图3所示，现有文献3(CN101043469A，公开日2007年9月26日)公开了一种手机在多媒体教室中通过无线网络录制个性化多媒体课件的方法，通过课件服务中心、课件发送中心、手机之间信息交互实现，课件服务中心具有外部IP地址，为教学楼中的所有多媒体教室服务；课件发送中心采集教师授课电脑的屏幕信号、教师的视频和音频信号，经数字化后将屏幕、视频和音频数据发送到服务中心；手机通过无线网络连接到课件服务中心，在需要的时候将其中一路或几路流媒体数据保存到手机存储卡中，录制结束后保存为AVI文件，能在手机或电脑上直接观看。

如图4所示，现有文献4(CN103646573A公开日：2014年3月19日)公开了一种全景模式教学系统的专用格式文件的生成方法，所述教学系统包括全景课件制作系统，全景课件制作系统获取老师或互动者的动作、语音、课程资料以及上述数据被获取时对应的时间数据；所述的动作包括：插入文字或图片、实验过程演示、绘制线条、绘制几何图形、板擦工具或小黑板工具，教学系统通过麦克风获取老师或互动者的即时语音，同时通过鼠标、键盘、写字板或电子白板采集老师或互动者在当前系统界面的动作，并将动作进行数据分析，获取动作产生的时间、动作所产生的路径、动作所携带的附加数据和动作类型数据，并按时间顺序记录，所述动作分为笔迹型、媒体型和数据型，笔迹型、媒体型和数掘型数据都包括两个部分：路径部分和数据部分；笔迹型动作，则路径部分完整记录动作路径的物理坐标序列，数据部分不启用；媒体型动作，则路径部分记录多媒体文件出现在课件中的坐标，数据部分则记录多媒体文件的物理地址；数据型动作，则路径部分记录数据在课件中使用时的坐标，数据部分写入该文件的完整二进制数据流。

现有文献4提出了很多想法，但是并没有给出具体实现的途径，没有公开系统化的各种不同数据单独获取单独存取，特别是没考虑由教学系统统一产生时间戳，通过统一的时间戳和课件的统一标识管理各种数据流的构思。

综上所述，现有技术的多媒体互动教学课堂的录播主要采用以下几种方法：1、现场录制，流媒体网络点播；2、现场摄像机硬件设备进行课堂视频录制，上传到流媒体服务器实现网络点播回放；3、对视频和音频分别录制，流媒体网络点播；4、软件用户端本地截屏录制，录制完成后上传至服务器实现流媒体网络点播回放；5、模拟第三方角色服务器远程录制，即当开启课程后，模拟一个系统角色实现服务器远端录制合成视频文件，流媒体点播回放。

现有技术中，这些录播方法存在以下缺点：1、录制过程繁琐，有些需要专人进行现场录制；2、视频文件庞大，需要牺牲课件质量多次格式转换降低文件大小；3、服务器存储系统要求高；4、本地录制要求用户端机器配置和性能较高，上传速度慢，实现回放困难；5、模拟系统角色耗费服务器资源高，无法满足课堂的大并发网络录制要求；6、对点播回放流媒体服务器集群性能要求高；7、点播回放要求服务器带宽高；8、点播回放要求用户自身带宽高(文件过大)；9、使用2G/3G/4G等无线网络观看时，卡顿严重，不够流畅，而且耗费流量高。

进一步的，当用户将文件下载到本地观看时，不仅占用大量存储空间，又不能保护教学资源提供方的版权，造成教学资源的肆意传播，而如果进行复杂的加密处理又会占用网络带宽资源和设备处理器资源，影响用户的体验。

此外，现有技术已有的商业软件可以实现对于屏幕操作一举一动的记录，并保存为AVI或Microsoft Real Networks数据流格式，但是这同样会占据大量的存储空间而且其提供的数据格式也是流媒体的。

为此，需要提供一种有效的录播方法和系统，由此在网络教学或在线会议过程中，可以实现对于用户使用多媒体白板的功能操作、讲话/说话语音、与其他用户的交流和/或辅导等的交流语音进行录制，分别形成不同的数据流，而不是完全以流媒体的格式将整个事件记录下来，使得网络用户可随时随地方便的通过网络从云端服务器或局域网服务器进行点播浏览。

发明内容

需要说明的是，尽管说明书中主要以网络教学系统或者网络会议系统的名义描述了本发明的实施，但是可以理解的是，本发明的方法和系统还可以用作其他网络在线交流过程的录制和播放。也就是说，本发明涉及给予网络教学、在线培训、应急指挥(地图标注和音频录制)、金融系统或者在线会议登系统的教学活动或者会议过程录制及播放的方法、系统以及计算机程序产品，在网络教学、在线培训、应急指挥(地图标注及音频录制)、金融系统(操盘讲解)或者在线会议登过程中实现了对多媒体课堂或者会议内容的实时录制和点播回放。

针对上述问题，本发明的目的之一是提供一种网路教学录播方法，实现对网络多媒体课程的录制以及课程回顾或点播播放，包括分别对多媒体白板动作(电子白板板书)、电子文档显示操作、实时对话音频和互动交流音频的实时录制和保存，学生用户通过网络教学系统，使用有线或无线的局域或广域网络，例如蓝牙/2G/3G/4G/WIFI/LAN/WLAN，可以流畅进行录制文件的回顾播放或点播播放。

根据本发明的目的之一，提供一种网络教学录播方法，包括以下步骤：

--开始文件录制；

--生成文件标识ID；

--从第一音频源采集音频数据，形成第一音频数据流；

--从至少一个第二音频源采集音频数据，形成第二音频数据流；

--从多媒体白板采集动作数据，形成多媒体白板动作数据流；

--从至少一个屏幕显示采集操作数据，形成屏幕显示操作数据流，所述屏幕显示包括对于屏幕上显示的电子文档的各种应用操作；

--生成时间戳标识；

--将文件标识ID和时间戳标识Timestamp分别与以上所述数据流以及所述电子文档结合绑定，并按照设定格式分别保存至数据库；

--用户终端通过网络分别获取这些数据流，利用安装在所述用户终端上的客户端根据时间标识Timestamp播放录制的内容；

其中，

所述第一音频源为教学活动中的教师用户、在线会议的主讲人或者交互交流活动的主要发言人；

所述第二音频源为教学活动中的学生用户、在线会议的其他讲话人或者交互交流活动的其他发言人；

所述终端为移动终端或有线固定计算机终端；

所述网络为无线的或有线的局域互联网或广域互联网。

所述数据库为本地服务器Server数据库或者网络服务器Server数据库，

当数据流保存至本地服务器Server数据库时，由本地服务器Server上传至网络服务器Server。

所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处理。

所述网络教学录播方法，进一步包括，

将至少一种所述数据流分割成片段，每个数据流片段的标识ID由所述文件标识ID和随机分配的片段编码组成；

建立所述数据流片段标识ID与所述时间戳的映射关系表，用于根据所述映射关系表顺序组合所述数据流片段，实现数据流的正常播放。

所述网络教学包括本地网络教学活动、远程网络教学活动、本地网络在线会议、远程网络在线会议、以及其他网络在线交互交流活动。

所述多媒体白板包括在其上可以书写内容并可以输出所述书写动作数据的电子白板、触屏输入装置或手写输入装置。

所述网络教学录播方法，进一步包括，

获取所述多媒体白板的屏幕显示的坐标系参数数据，并保存至所述数据库。

所述动作数据包括在所述多媒体白板上进行书写操作时书写内容的坐标位置数据。

所述电子文档包括WPS文档、WORD文档、PPT文档、EXCEL文档、PDF文档、TXT文档、或图片文档；

所述应用操作包括所述电子文档的打开、关闭、翻页、前进、后退、以及使用者在所述电子文档上的标注动作的位置信息。

在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数据流片段，用户终端顺序组合这些片段即可进行播放，不将所述映射关系表发送给用户终端；

在执行播放请求时，根据需要播放的录制文件的文件标识ID，检查是否使用了电子文档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电子文档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端。

所述网络用户的播放请求是通过Socket加密信道发送给系统服务器Server，系统服务器Server再根据文件标识ID获取所述数据流。

当数据流分割成片段而需要映射关系表才能播放录制文件时，如果网络用户终端的本地缓存中已经保存了所述数据流时，只需要下载所述映射关系表，即可实现复原播放。

映射关系表可以设置有效时间，比如24小时，或48小时，或者任何适当的合法授权时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关系表自动失效，删除或粉碎映射关系表数据。

根据本发明的又一目的，提供一种网络教学录播系统，包括处理器；以及

计算机可读存储介质，具有由所述处理器执行用于执行操作的计算机可读程序代码，所述操作包括：

--开始文件录制；

--生成文件标识ID；

--从第一音频源采集音频数据，形成第一音频数据流；

--从至少一个第二音频源采集音频数据，形成第二音频数据流；

--从多媒体白板采集动作数据，形成多媒体白板动作数据流；

--从至少一个屏幕显示采集操作数据，形成屏幕显示操作数据流，所述屏幕显示包括对于屏幕上显示的电子文档的各种应用操作；

--生成时间戳标识；

--将文件标识ID和时间戳标识Timestamp分别与以上所述数据流以及所述电子文档结合绑定，并按照设定格式分别保存至数据库；

--用户终端通过网络分别获取这些数据流，利用安装在所述用户终端上的客户端根据时间标识Timestamp播放录制的内容；

其中，

所述第一音频源为教学活动中的教师用户、在线会议的主讲人或者交互交流活动的主要发言人；

所述第二音频源为教学活动中的学生用户、在线会议的其他讲话人或者交互交流活动的其他发言人；

所述终端为移动终端或有线固定计算机终端；

所述网络为无线的或有线的局域互联网或广域互联网。

所述数据库为本地服务器Server数据库或者网络服务器Server数据库，

当数据流保存至本地服务器Server数据库时，由本地服务器Server上传至网络服务器Server。

所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处理。

所述网络教学录播系统，进一步包括，

将至少一种所述数据流分割成片段，每个数据流片段的标识ID由所述文件标识ID和随机分配的片段编码组成；

建立所述数据流片段标识ID与所述时间戳的映射关系表，用于根据所述映射关系表顺序组合所述数据流片段，实现数据流的正常播放。

所述网络教学包括本地网络教学活动、远程网络教学活动、本地网络在线会议、远程网络在线会议、以及其他网络在线交互交流活动。

所述多媒体白板包括在其上可以书写内容并可以输出所述书写动作数据的电子白板、触屏输入装置或手写输入装置。

所述网络教学录播系统，进一步包括，

获取所述多媒体白板的屏幕显示的坐标系参数数据，并保存至所述数据库。

所述动作数据包括在所述多媒体白板上进行书写操作时书写内容的坐标位置数据。

所述电子文档包括WPS文档、WORD文档、PPT文档、EXCEL文档、PDF文档、TXT文档、或图片文档；

所述应用操作包括所述电子文档的打开、关闭、翻页、前进、后退、以及使用者在所述电子文档上的标注动作的位置信息等等。

在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数据流片段，用户终端顺序组合这些片段即可进行播放，不将所述映射关系表发送给用户终端；

在执行播放请求时，根据需要播放的录制文件的文件标识ID，检查是否使用了电子文档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电子文档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端。

所述网络用户的播放请求是通过Socket加密信道发送给系统服务器Server，系统服务器Server再根据文件标识ID获取所述数据流。

当数据流分割成片段而需要映射关系表才能播放录制文件时，如果网络用户终端的本地缓存中已经保存了所述数据流时，只需要下载所述映射关系表，即可实现复原播放。

映射关系表可以设置有效时间，比如24小时，或48小时，或者任何适当的合法授权时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关系表自动失效，删除或粉碎映射关系表数据。

根据本发明的再一目的，提供一种计算机程序，包括被加载至计算机系统并被执行时执行上述所述方法的步骤的计算机程序代码。

根据本发明的另一目的，提供一种计算机可读存储介质，包含上述计算机程序。

通过本发明的方法和系统，使得课程录制过程简单，电子白板板书讲解过程、实时语音流分别自动录制保存，对于用户终端的性能、服务器的性能要求不高，目前主流的配置都可以满足，无需额外的高性能设备，无需考虑分辨率及帧频问题，讲解画面、音频实时同步录制，录制数据上传带宽仅5-10kB/s即可满足需要，所有数据存储至数据库中，更加安全和便捷，整个课程以数据流形式存储至数据库，存储空间缩小百倍，点播回放要求带宽低，一般的网络可实现流畅网络点播回放。

本发明的上述和进一步的目的以及特征，根据结合附图的以下详细说明就会更加清楚和完整。

附图说明

图1-4是现有技术示意图；

图5-1至5-4是根据本发明的网络教学系统所使用的网络拓扑结构图以及各种状态下的示意图；

图5-1为教学系统示意图；

图5-2为本地录播系统示意图；

图5-3为远程录播系统示意图；

图5-4为录播系统点播动作示意图；

图6是根据本发明的录播系统的实时课程录制过程示意图；

图7-1至7-2为根据本发明的录播系统获取路径坐标数据过程的示意图；

图8为根据本发明的录播系统的数据片段分割示意图；

图9是根据本发明的录播系统的课程点播回顾示意图；

图10是根据本发明的录播系统的课程录制的流程示意图；

图11是根据本发明的录播系统实现一对多实时课堂的示意图；和

图12是根据本发明的录播方法实现课堂回顾点播的方法。

具体实施方式

以下将结合附图对本发明的具体实施方式进行进一步详细的描述。

本发明中所述的网络教学不局限于学生和老师的教学形式，其可以包括以教师用户和学生用户、或培训用户为参与主体的在线网络教学、远程网络教学、本地网络教学，和以企事业单位员工等为参与主体的在线网络会议、远程网络会议、本地网络会议，以及其他的利用网络进行在线交流和/或文件内容展示的交流/交互形式，比如远程协同工作。

图5-1至5-4是根据本发明的网络教学系统所使用的网络拓扑结构图以及各种状态下的示意图。

如图5-1至5-4所示，教师用户1、学生用户2通过网络连接至远程教学服务器3实现多媒体课堂的网络讲课/听课/录制。本发明的网络教学平台或称网络教学系统包括，用户终端1、2、服务器3、和为他们之间提供通信服务的网络。

听课：教师可使用PC(Win\Mac)\Pad(Android\iOS)\Phone(Android\iOS)，随时随地通过2G/3G/4G/蓝牙等连接服务器实现课程的开启，学生可使用PC(Win\Mac)\Pad(Android\iOS)\Phone(Android\iOS)，随时随地通过2G/3G/4G/蓝牙等连接服务器实现加入课程，教师授课动作数据流+音频数据流通过服务器实现分发，学生实时获取对应课堂的动作数据流和音频数据流实现在线实时听课和互动。

录制：教师可使用PC(Win\Mac)\Pad(Android\iOS)\Phone(Android\iOS),随时随地通过2G/3G/4G/蓝牙等连接服务器实现课程的开启，教师在讲课过程中实时把动作数据流+音频数据流进行加密并存储至DB服务器，从而实现课程讲解过程中多媒体白板、word、PPT等动作数据流和音频数据流的存储(录制)。

点播\回放：学生可使用PC(Win\Mac)\Pad(Android\iOS)\Phone(Android\iOS)，随时随地通过2G/3G/4G/蓝牙等连接服务器，点播(回放)某一课程时，通过对应Class ID及标签快速获取到对应的动作数据流和音频数据流，实现快速、流畅的点播/回顾。

所述用户终端包括：处理器、网络模块、控制模块和显示模块以及智能操作系统；所述用户终端上可以设有通过数据总线连接各种拓展类设备和配件的多种数据接口；所述智能操作系统包括Windows、Android及其改进、iOS为运行平台，在其上可以安装、运行应用软件，实现在智能操作系统下的各种应用软件、服务和应用程序商店/平台的功能。

所述用户终端可以通过RJ45/Wi-Fi/蓝牙/2G/3G/4G/G.hn/Zigbee/Z-ware/RFID等网络连接方式连接到互联网络，并借助互联网络连接到其它的终端或其它电脑及设备，通过1394/USB/串行/SATA/SCSI/PCI-E/Thunderbolt/数据卡接口等多种数据接口或者总线方式，通过HDMI/YpbPr/SPDIF/AV/DVI/VGA/TRS/SCART/Display port等音视频接口等连接方式，来连接各种拓展类设备和配件，组成了一个会议/教学设备互动平台系统。带有软件形式的声音捕捉控制模块和动作捕捉控制模块，或通过数据总线板载硬件形式的声音捕捉控制模块和动作捕捉控制模块，来实现声控和形控功能；通过音视频接口连接显示/投影模块、麦克风、音响设备和其它音视频设备，来实现显示、投影、声音接入、音视频播放，以及数字或模拟的音视频输入和输出功能；通过数据接口连接摄像头、麦克风、电子白板、RFID读取设备，实现影像接入、声音接入、电子白板的使用控制和录屏，RFID读取功能，并通过相应的接口可接入和管控移动存储设备、数字设备和其它设备；通过DLNA/IGRS技术和互联网络技术，来实现的包括多屏设备之间的操控、互动和甩屏等功能。

本发明中，所述处理器定义为包括但不限于：指令执行系统，如基于计算机/处理器的系统、专用集成电路(ASIC)、计算设备、或能够从非暂时性存储介质或非暂时性计算机可读存储介质取得或获取逻辑并执行非暂时性存储介质或非暂时性计算机可读存储介质中包含的指令的硬件和/或软件系统。所述处理器还可以包括任意控制器，状态机，微处理器，基于互联网络的实体、服务或特征，或它们的任意其它模拟的、数字的和/或机械的实现方式。

本发明中，所述计算机可读存储介质定义为包括但不限于：能够包含、存储或保持程序、信息及数据的任意介质。计算机可读存储介质包括许多物理介质中的任一种，如电子介质、磁性介质、光介质、电磁介质或半导体介质。合适计算机可读存储介质以及用户终端和服务器使用的存储器的更具体示例包括但不限于：磁性计算机盘(如软盘或硬驱)、磁带、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘(CD)或数字视频光盘(DVD)、蓝光存储器、固态硬盘(SSD)、闪存。

本发明中，互联网络分为局域网和广域互联网，可以使有线互联网，也可以是无线互联网，或者这些网络的任意组合。录制可以是本地录制也可以是局域网录制后上传后台服务器，录制的主体应该是教师用户终端即可实现，或者开放权限的学生用户终端。录制后也可以保存在具备一定权限的用户终端上。

图6所示是根据本发明的录播系统的实时课程录制过程示意图。

如图6所示，本发明网络教学过程录制过程及方式：教师用户通过网络教学系统开启课程，使用智能电子白板进行展示(作为授课板书或者讲解题板)、使用实时语音进行讲解、使用实时交互语音进行交流、还可以使用电子文档比如PPT进行展示和说明，从而进行多媒体讲课及与学生用户互动问答交流，讲课过程中的智能电子白板上的动作会形成“动作数据流+时间戳标识”方式保存至数据库，互动及讲课过程中的实时语音形成“音频数据流+时间戳标识”方式保存至数据库，互动过程中的音频数据流特别是来自于学生用户的音频可以通过现场实时录制，也可以是通过远程网络传播获得，所有这些音频数据流可以单独以“音频数据流+时间戳标识”方式保存至数据库，如果涉及电子文档如PPT的操作，还可以以“电子文档操作数据流+时间戳标识”方式保存至数据库，整个授课过程中的所有所述数据流与课程标识(Class ID)绑定实现对应课程的录制，课程结束后，录制结束。

动作数据流+时间戳：传输过程中对动作数据流进行加密，转换为字符串形式存储与数据库，动作数据流、时间戳、Class ID、题目ID形成映射关系，方便快速读取数据实现点播\回顾。优点：减轻数据库压力，动作数据流字符串形式存储数据更小(以字节计算)，可独立部署某台或多台服务器实现分布存储，服务器采用多线程处理方式、服务器响应速度快，获取映射关系可以通过对应Class ID及标签快速获取到对应的动作数据流，在网络很差的情况下，点播/回顾依然快速、流畅。

音频数据流+时间戳：传输过程中对音频数据流进行压缩和编解码处理，并对每个课程的音频独立存储与磁盘矩阵对应文件路径，数据库通过ID等方式把Class ID、时间戳、音频ID、音频流存储路径进行关联，实现音频流关系映射和点播/回顾的数据获取。优点：减轻数据库压力，音频压缩处理及音频流分布存储减轻存盘存储压力，服务器采用多线程处理方式、服务器响应速度快，获取映射关系可以通过对应Class ID及标签快速获取到对应的音频流，点播/回顾更快速更流畅。

作为学生用户优选预先下载教师用户使用的电子文档或者其他教师用户使用的教学资料。当教师使用这些文档时，所有的操作动作的数据以及标注信息都传送到学生用户终端上，使得学生用户终端上显示与教师终端的操作相同的操作动作，而无需传输教师终端上显示的图像信息。

对于教师用户终端描绘的板书等内容，通过教师用户终端上的客户端或者APP记录其电子白板或课件(Word\PPT\PDF)讲解的Path路径坐标数据，电子白板或课件讲解整个界面通过坐标点方式来进行画面位置计算，每个点均为不同的坐标信息,采集过程：每次绘画或标注或画圈等均从白板第一个坐标点开始到此次绘画结束的最后一个坐标点，保存为一段动作指令数据，学生用户终端获得这些路径坐标数据后，可以通过指令对坐标进行重新描绘，实现回显，而不必获取整个显示的图像信息。

图7-1至7-2为根据本发明的录播系统获取路径坐标数据过程的示意图。

如图7-1至7-2所示，所述Path路径坐标数据的记录过程如下：

A1、解析记录的Path路径坐标数据，并存放至临时的指令坐标堆栈中，然后对屏幕进行初始布局，在屏幕的canvas画布上先设置背景图案；

//如果是画笔，将当前的记录路径保存到list

this.mPathPaintlist.add(this.mPathPaint)；

//保存画笔和路径履历

PathAndPaint pap＝new PathAndPaint()；

pap.setPath(new Path(this.mPath))；

pap.setPaint(new Paint(this.mPaint))；

this.mPathAndPaintlist.add(pap)；

A2、新建一个Bitmap，并以此Bitmap生成一个临时画布temptCanvas；

A3、将tempBitmap背景设置为透明，这样做的目的是把临时画布temptCanvas的目标，定位在新建的tempBitmap上；

A4、通过所述构造后，提取指令堆栈中的坐标指令，一一还原，通过temptCanvas进行从写，temptCanvas的一切draw函数，都会把相应的图像画在临时的tempBitmap上，这样在动作回溯的过程中，画点，画线调用temptCanvas而不是原先屏幕上的canvas，如temptCanvas.drawPoint,temptCanvasRect等等；

A5、所有的指令坐标堆栈执行完毕后，执行canvas.drawBitmap(tempBitmap,0,0,null)；temptCanvas负责的是将各种画笔痕迹画在tempBitmap上，而canvas负责将tempBitmap绘制到屏幕上。

所述动作描绘的逻辑步骤如下所示，其中touchMove函数传入的(float x,floaty)参数分别为横纵轴坐标：

图8为根据本发明的录播系统的数据片段分割示意图。

如图8所示，为了版权保护或者保密的需要，又不会过多影响用户的体验，还可以采用成本较低并能起到保密作用的方式。

将所述所有数据流的至少一种分割成数据流片段，这些数据流片段可以以课程标识和随机产生的编码进行标记，数据流的分割可以参照或者根据时间戳标识的生成情况对应进行。在进行数据流片段分割后，构建这些数据流片段与时间戳标识的对应关系表，保存至数据库。在首次点播这些录制课程时，将按照对应关系表顺序传输这些数据流片段至点播用户终端，使得用户终端可以顺序播放这些数据流，正确显示录制的课程。当保存到用户终端本地时，这些数据流片段是杂乱的，需要使用对应关系表才可以正确将这些片段顺序播放出来。

也就是说，视频流片段或者音频流片段的ID编码采用随机的方式，这些编码与时间戳形成关系映射表，用户浏览时视频片段和音频片段都下载到本地，但是没有对应的关系，无法顺序播放，用户首次浏览之后只要不清空缓存，下次浏览时只需要重新下载关系映射表即可，每次关系映射表的数据被读取以后，将在预定时间后自动与本地时间同步，从而失去映射意义，达到保护版权的目的，而又不会影响用户的体验。可选的，映射关系表可以设置有效时间，比如24小时，或48小时，或者任何适当的合法授权时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关系表自动失效，删除或粉碎映射关系表数据。

实时课程的录制可以由具备权限的用户终端进行，比如教师终端或者获得授权的学生终端，录制得到的数据流可以先保存到本地数据库或者终端数据库，再由这些数据库通过网络上传到网路服务器，也可以直接保存到远程网络服务器。

图9所示是根据本发明的录播系统的课程点播回顾示意图。

如图9所示，本发明对已录制的课程点播回顾方法实现方式：可以使用Android平板电脑或者智能手机连接WIFI/2G/3G/4G网络登录网络教学系统，通过课程点播或课程回顾列表对录制课程进行点播；点播对应课程获取课程标识(Class ID)，连接网络教学系统数据库，获取课程标识(Class ID)对应的动作流、音频流等数据，以及该课程可能用到的电子文档等各种文件，下载这些电子文档资料到本地，实现对已录制课程的点播和回放，回放过程支持暂停、播放、结束。

各种数据流的存储是单独并且彼此独立的，获取下载的过程也是彼此独立的，还可以根据需要下载相应的数据，比如用户觉得只需下载音频数据即可，无需传播其他的数据，就可以通过用户终端的客户端指令只获取想获取的数据，并且进行播放，特别是在网络状况不佳的情况下。

图10所示是根据本发明的录播系统的课程录制的流程示意图。

如图10所示，本实施方式中采用流式Socket通信方式。Socket是网络上运行的两个程序之间双向通信的一端，它既可以接受请求，也可以发送请求，属于常用的网络底层通信方式，通常由IP地址和端口号组成。常用的Socket类型有两种，一种是流式Socket，一种是数据报式Socket，流式Socket是面向连接的Socket，针对面向连接的TCP服务应用。用时间戳标识+动作类型ID+动作内容数据进行课程录制；

例如：1)在白板上绘制了一个圈，将记录：14209372114(时间戳)+type：11(画圆标记)+圆心坐标和半径(内容数据)，将此记录通过Socket发送至服务器端保存，再由服务器分发给课堂其他用户。

例如：2)在白板上用画笔绘制一条线或书写一个公式，将记录：多边形：14209372114(时间戳)+type：2(绘制类型)+多边形顶点数组坐标(内容数据)，将此记录通过Socket发送至服务器端保存，再由服务器分发给课堂其他用户。

例如：3)在白板上用画笔绘制一条线或书写一个公式，将记录：画笔：14209372114(时间戳)+type：3(绘制类型)+手指的绘制路径点坐标(内容数据)，将此记录通过Socket发送至服务器端保存，再由服务器分发给课堂其他用户。

例如：4)直线：14209372114(时间戳)+type：4(绘制类型)+直线两点坐标(内容数据)，将此记录通过Socket发送至服务器端保存，再由服务器分发给课堂其他用户。

例如：5)重绘：14209372114(时间戳)+type：5(绘制类型)。

例如：6)清除：14209372114(时间戳)+type：6(绘制类型)。

这种方式可以应用于课堂内教师用户白板讲题、切换题目、文字表情信息和语音短信等记录。

除此之外，电子白板进行操作所生成的动作消息，包括在所述电子白板上绘制直线、矩形、圆形或折线中任意一种的动作消息；或者，在所述电子白板上使用橡皮擦工具进行擦除操作的动作消息；或者，在所述电子白板上加载图片或几何图形的动作消息；或者，在所述电子白板上新建页或上、下翻页的动作消息中的任意一种。

教师用户端通过多媒体白板(电子白板、PPT文档操作等)进行标注和实时语音讲解，系统通过Socket通信接口，通过SSL(Security Socket Layer，安全套接协议层)加密，对时间戳标识Timestamp、多媒体白板动作流标记Type、实时语音Audio，实时传输至系统Server服务器数据库(Server Database)，系统明确定义了数据存储格式，时间戳、动作流、实时语音按固定的数据存储格式实时存储至Server服务器数据库(Server Database)及服务器存储单元，实现实时课堂录制。

录制的数据流，例如教师讲课的实时音频数据流可以根据时间戳生成的周期分割成片段，比如每隔10秒或者30秒分割一个片段，并对这些数据流片段使用课程ID和随机编码进行组合命名，并构建数据流片段名称与时间戳之间的对应关系表。

图11所示是根据本发明的录播系统实现一对多实时课堂的示意图。

如图11所示，多个教师用户通过本发明的网络教学录播系统平台开课，每个课程定义一个Class ID，系统通过Socket通信接口进行连接，通信过程使用SSL加密，对时间戳标识Timestamp、多媒体白板如电子白板动作流标记Type、实时语音Audio，实时传输至系统服务器Server的服务器数据库(Server Database)，Server业务逻辑处理实现对动作流、音频流的实时分发，针对Class ID，把对应Class ID的动作流和音频流发送给这个Class的所有学生用户，实现远程实时课堂功能。

如果教师用户再授课时使用了电子文档，如PPT文档，那么学生用户在开始上课前，可以联网下载或者网络教学系统将有关文档推送给学生用户终端，如果教师对电子文档进行了操作，比如打开PPT，翻页等，这些操作动作流将与该PPT文档的ID一起绑定并且保存至服务器并且发送给相应的学生用户，从而展示与教师相同的操作。

图12所示是根据本发明的录播方法实现课堂回顾点播的方法。

如图12所示，所有学生用户(学生1、学生2、…)可通过网络教学录播系统实现对历史课堂的回顾点播，当点播已上架课程时，当然，对于其他用户比如网络在线会议用户，这些上架课程可以是网络在线会议的过程记录文件，网络教学系统会把每个学生用户发送自己回顾或点播的课程标识Class ID通过Socket加密信道发送给服务器Server，Server通过Class ID获取此课程的每一个时间戳标识下的动作数据流、音频数据流、以及电子文档操作数据流发送给请求相应Class ID的学生用户，学生用户使用终端在本地还原整个课程的讲解过程。

为了版权保护或者保密的需要，又不会过多影响用户的体验，可以采用成本较低并能起到一定保密作用的方式。将所述数据流的至少一种分割成数据流片段，比如加工语音数据流分割成片段，这些数据流片段以课程标识和随机产生的编码进行标记，数据流的分割可以参照或者根据时间戳标识的生成情况对应进行，用户在首次点播时，系统服务器按照时间顺序发送这些数据流片段，使得用户可以顺序流畅的回顾。当这些数据流保存到本地缓存时，如果用户再次回顾时，就要向服务器请求下载这些数据流片段与时间戳标识的对应关系表，这样才能正常播放这些数据流。

在上述实施方式中，用户终端和服务器是可以由与包含互联网在内的通信网络进行连接的构成，所以也可以是以经由通信网络下载程序代码的方式流动地承载程序代码的媒体。在这样从通信网络下载程序代码的情况下，也可以是该下载用的程序预先保存在主体装置中或者从别的记录媒体进行安装的构成。此外，本发明可以通过上述程序代码以电子传输所体现的、被嵌入于载波中的计算机数据信号的形态而得以实现。

本发明与现有技术的录制方法的区别：本发明区别于视频流录制，主要记录并传输动作/操作产生的坐标触发数据，实时在其他用户端或后期点播中通过触发数据还原课堂内容，具有存储和传输数据流小的特点。特别是在教学过程中如果有闲置时间，将不发送任何数据，或者只发送音频数据流，从而最大程度上提高了传输效率。

本发明在现有技术的基础上提出了一种系统的可靠的教学录播方法，从分类数据的录制和分类单独存储，生成统一的时间戳进行标记，到对需要加密的数据进行简单分割，建立对应关系表，根据需要单独获取录制数据，实现流畅的数据传送，而使用本地的终端上客户端将这些数据有机组合起来，甚至可以根据客户端的需要仅仅获取部分数据进行播放，系统性的解决了教学录播的问题。

本发明的跨平台特性：本发明定义了明确清晰的数据储存、还原格式，过程文件录制和文件回放的所有数据均通过时间戳标识+动作数据流+音频数据流方式从数据库获取实现网络在线交流过程中比如授课板书及授课语音还原，支持Android\iOS\Windows等操作系统，具有非常良好的可跨平台展示的能力，方便快捷扩展到其他展示平台。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概况的保护范围之内。

Claims (24)

1.一种网络教学录播方法，包括以下步骤：

--开始文件录制；

--生成文件标识(ID)；

--从第一音频源采集音频数据，形成第一音频数据流；

--从至少一个第二音频源采集音频数据，形成第二音频数据流；

--从多媒体白板采集动作数据，形成多媒体白板动作数据流；

--从至少一个屏幕显示采集操作数据，形成屏幕显示操作数据流，所述屏幕显示包括对于屏幕上显示的电子文档的各种应用操作；

--生成时间戳标识；

--将文件标识(ID)和时间戳标识(Timestamp)分别与以上所述数据流以及所述电子文档结合绑定，并按照设定格式分别保存至数据库；

--用户终端通过网络分别获取这些数据流，利用安装在所述用户终端上的客户端根据时间戳标识(Timestamp)播放录制的内容；

所述网络教学录播方法进一步包括将至少一种所述数据流分割成片段，每个数据流片段的标识(ID)由所述文件标识(ID)和随机分配的片段编码组成；

建立所述数据流片段标识(ID)与所述时间戳的映射关系表，用于根据所述映射关系表顺序组合所述数据流片段，实现数据流的正常播放；

在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数据流片段，用户终端顺序组合这些片段进行播放，不将所述映射关系表发送给用户终端；当所述数据流片段保存到用户终端本地时是杂乱的，需要使用对应关系表才能够正确将这些片段顺序播放出来；用户首次浏览之后只要不清空缓存，下次浏览时只需要重新下载关系映射表，每次关系映射表的数据被读取以后，将在预定时间后自动与本地时间同步，从而失去映射意义；

其中，

所述第一音频源为教学活动中的教师用户、在线会议的主讲人或者交互交流活动的主要发言人；

所述第二音频源为教学活动中的学生用户、在线会议的其他讲话人或者交互交流活动的其他发言人；

所述终端为移动终端或有线固定计算机终端；

所述网络为无线的或有线的局域互联网或广域互联网。

2.根据权利要求1的网络教学录播方法，其特征在于：

所述数据库为本地服务器(server)数据库或者网络服务器(server)数据库，

当数据流保存至本地服务器(server)数据库时，由本地服务器(server)上传至网络服务器(server)。

3.根据权利要求2的网络教学录播方法，其特征在于：

所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处理。

4.根据权利要求1的网络教学录播方法，其特征在于：

所述网络教学包括本地网络教学活动、远程网络教学活动、本地网络在线会议、远程网络在线会议、以及其他网络在线交互交流活动。

5.根据权利要求1的网络教学录播方法，其特征在于：

所述多媒体白板包括在其上可以书写内容并可以输出所述书写动作数据的电子白板、触屏输入装置或手写输入装置。

6.根据权利要求1的网络教学录播方法，进一步包括，

获取所述多媒体白板的屏幕显示的坐标系参数数据，并保存至所述数据库。

7.根据权利要求6的网络教学录播方法，其特征在于：

所述动作数据包括在所述多媒体白板上进行书写操作时书写内容的坐标位置数据。

8.根据权利要求1的网络教学录播方法，其特征在于：

所述电子文档包括WPS文档、WORD文档、PPT文档、EXCEL文档、PDF文档、TXT文档、或图片文档；

所述应用操作包括所述电子文档的打开、关闭、翻页、前进、后退、以及使用者在所述电子文档上的标注动作的位置信息。

9.根据权利要求1的网络教学录播方法，其特征在于：

在执行播放请求时，根据需要播放的录制文件的文件标识(ID)，检查是否使用了电子文档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电子文档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端。

10.根据权利要求9的网络教学录播方法，其特征在于：

所述网络用户的播放请求是通过Socket加密信道发送给系统服务器(server)，系统服务器(server)再根据文件标识(ID)获取所述数据流。

11.根据权利要求1-10之一的网络教学录播方法，其特征在于：

所述网络教学录播方法用于网络教学、在线培训、应急指挥包括地图标注和音频录制、金融系统包括操盘讲解或者在线会议系统的教学活动或者会议过程的录制和播放。

12.根据权利要求1的网络教学录播方法，其特征在于：

映射关系表设置有效时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关系表自动失效，删除或粉碎映射关系表数据。

13.一种网络教学录播系统，包括处理器；以及

计算机可读存储介质，具有由所述处理器执行用于执行操作的计算机可读程序代码，所述操作包括：

--开始文件录制；

--生成文件标识(ID)；

--从第一音频源采集音频数据，形成第一音频数据流；

--从至少一个第二音频源采集音频数据，形成第二音频数据流；

--从多媒体白板采集动作数据，形成多媒体白板动作数据流；

--从至少一个屏幕显示采集操作数据，形成屏幕显示操作数据流，所述屏幕显示包括对于屏幕上显示的电子文档的各种应用操作；

--生成时间戳标识；

--将文件标识(ID)和时间戳标识(Timestamp)分别与以上所述数据流以及所述电子文档结合绑定，并按照设定格式分别保存至数据库；

--用户终端通过网络分别获取这些数据流，利用安装在所述用户终端上的客户端根据时间戳标识(Timestamp)播放录制的内容；

所述网络教学录播方法进一步包括将至少一种所述数据流分割成片段，每个数据流片段的标识(ID)由所述文件标识(ID)和随机分配的片段编码组成；

建立所述数据流片段标识(ID)与所述时间戳的映射关系表，用于根据所述映射关系表顺序组合所述数据流片段，实现数据流的正常播放；

在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数据流片段，用户终端顺序组合这些片段进行播放，不将所述映射关系表发送给用户终端；当所述数据流片段保存到用户终端本地时是杂乱的，需要使用对应关系表才能够正确将这些片段顺序播放出来；用户首次浏览之后只要不清空缓存，下次浏览时只需要重新下载关系映射表，每次关系映射表的数据被读取以后，将在预定时间后自动与本地时间同步，从而失去映射意义；

其中，

所述第一音频源为教学活动中的教师用户、在线会议的主讲人或者交互交流活动的主要发言人；

所述第二音频源为教学活动中的学生用户、在线会议的其他讲话人或者交互交流活动的其他发言人；

所述终端为移动终端或有线固定计算机终端；

所述网络为无线的或有线的局域互联网或广域互联网。

14.根据权利要求13的网络教学录播系统，其特征在于：

所述数据库为本地服务器(server)数据库或者网络服务器(server)数据库，

当数据流保存至本地服务器(server)数据库时，由本地服务器(server)上传至网络服务器(server)。

15.根据权利要求14的网络教学录播系统，其特征在于：

所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处理。

16.根据权利要求13的网络教学录播系统，其特征在于：

所述网络教学包括本地网络教学活动、远程网络教学活动、本地网络在线会议、远程网络在线会议、以及其他网络在线交互交流活动。

17.根据权利要求13的网络教学录播系统，其特征在于：

所述多媒体白板包括在其上可以书写内容并可以输出所述书写动作数据的电子白板、触屏输入装置或手写输入装置。

18.根据权利要求14的网络教学录播系统，进一步包括，

获取所述多媒体白板的屏幕显示的坐标系参数数据，并保存至所述数据库。

19.根据权利要求18的网络教学录播系统，其特征在于：

所述动作数据包括在所述多媒体白板上进行书写操作时书写内容的坐标位置数据。

20.根据权利要求13的网络教学录播系统，其特征在于：

所述电子文档包括WPS文档、WORD文档、PPT文档、EXCEL文档、PDF文档、TXT文档、或图片文档；

所述应用操作包括所述电子文档的打开、关闭、翻页、前进、后退、以及使用者在所述电子文档上的标注动作的位置信息等等。

21.根据权利要求13的网络教学录播系统，其特征在于：

在执行播放请求时，根据需要播放的录制文件的文件标识(ID)，检查是否使用了电子文档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电子文档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端。

22.根据权利要求13的网络教学录播系统，其特征在于：

所述网络用户的播放请求是通过Socket加密信道发送给系统服务器(server)，系统服务器(server)再根据文件标识(ID)获取所述数据流。

23.根据权利要求13-22之一的网络教学录播系统，其特征在于：

所述网络教学录播系统用于网络教学、在线培训、应急指挥包括地图标注和音频录制、金融系统包括操盘讲解或者在线会议系统的教学活动或者会议过程的录制和播放。

24.根据权利要求13的网络教学录播系统，其特征在于：

映射关系表设置有效时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关系表自动失效，删除或粉碎映射关系表数据。