CN105635519B - 视频处理方法、装置及系统 - Google Patents

Abstract

本发明提出的视频处理方法、装置及系统属于通信技术领域。其中，方法包括：客户端于当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；记录与所述涂鸦操作对应的涂鸦信息；将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。本发明可以直接接收用户进行涂鸦操作的涂鸦数据，无需暂停视频，不会干扰用户看视频的正常流程。

Description

视频处理方法、装置及系统

技术领域

本发明涉及移动通信技术领域，具体而言，涉及一种视频处理方法、装置及系统。

背景技术

弹幕视频，即带有“弹幕”的视频。所谓“弹幕”，一般是指视频中的评论以飞行形式横穿屏幕，或者以滚动、停留甚至更多动作特效方式出现在视频上，当某部视频有很多评论时，屏幕中就会产生各种评论从屏幕中飞过的效果。

由于弹幕视频可以一边观看视频，一边查看评论并发表评论，参与讨论，因此为普通的用户增添了不少乐趣。目前弹幕视频的火爆从PC(Personal Computer，个人电脑)端延续到了移动终端。

传统的弹幕是文字弹幕，其交互方式通常是在播放界面下方设置一个输入框，用户在输入框中输入自己的评论。评论的展现，可以是独立一个窗口显示，也可以是作为一个弹出层覆盖在视频播放区域上方。上述方式符合在PC上的操作，因为在PC上键盘输入很方便，评论不会中断观影体验，并且PC的界面比较大，显示相同数量的评论，字体可以更大，容易看清楚。

但是在移动终端，上述处理方式带来以下问题：首先，目前的智能移动终端基本都是触摸屏，输入需要调起一个软键盘，这样用户在全屏观看视频的时候，想要发表评论，就必须调起软键盘，而软键盘会遮挡整个屏幕，所以一般此时都会暂停播放视频，那么就中断了正常的观影流程；其次，由于软键盘输入不方便，发表一个评论耗时比较长，也就是中断观看视频的时间比较长，进一步影响 观看体验；再次，由于智能移动终端的屏幕一般都不大，如果字体大，那么一个屏幕就显示不了太多文字评论，如果文字评论显示太多，或者字体太小，那么就不容易看清楚。

因此，现有的弹幕处理方式在移动终端上会影响视频观看，使用不方便，使用体验也较差。

发明内容

本发明的目的在于提供一种适用于移动终端的视频处理方法、装置及系统，以使现有的移动终端中弹幕视频使用不方便、用户体验差等问题得到改善。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种视频处理方法，所述方法包括：客户端于当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；记录与所述涂鸦操作对应的涂鸦信息；将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

第二方面，本发明实施例还提供了一种视频处理方法，所述方法包括：客户端于当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求，所述服务器中存储有所述客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为所述客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；接收所述服务器根据所述视频索引信息返回的涂鸦信息，在所述视频显示区域中，显示所述服务器返回的涂鸦信息中的涂鸦数据。

第三方面，本发明实施例还提供了一种视频处理方法，所述方法包括：服务器接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；存储所述涂鸦信息。

第四方面，本发明实施例还提供了一种视频处理装置，运行于客户端，包括:操作检测模块，用于当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；信息记录模块，用于记录与所述涂鸦操作对应的涂鸦信息；信息发送模块，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

第五方面，本发明还提供了一种视频处理装置，运行于客户端，所述装置包括：获取请求发送模块，用于在当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求，所述服务器中存储有所述客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为所述客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；接收显示模块，用于接收所述服务器根据所述视频索引信息返回的涂鸦信息，在所述视频显示区域中，显示所述服务器返回的涂鸦信息中的涂鸦数据。

第六方面，本发明实施例还提供了一种视频处理装置，运行于服务器，所述视频处理装置包括：信息接收模块，用于接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记 录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；信息存储模块，用于存储所述涂鸦信息。

第七方面，本发明实施例还提供了一种视频处理系统，包括用户终端及服务器，所述用户终端用于通过客户端在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作，记录与所述涂鸦操作对应的涂鸦信息，将所述涂鸦信息发送给所述服务器进行存储，所述服务器用于接收并存储所述涂鸦信息，在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

本发明实施例提供的视频处理方法、装置及系统，可以直接接收用户在视频显示区域进行涂鸦操作的涂鸦数据，不需要调起软键盘，因此无需暂停视频，不会干扰用户看视频的正常流程。另外，由于涂鸦比文字可以更加形象、自由地表达用户的意图，比文字更直观，更容易理解，和视频画面的结合比文字也更加紧密，所以也会提升用户观看视频时的趣味性和用户的交互体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的视频处理方法及装置的应用环境示意图；

图2示出了一种可应用于本发明实施例的用户终端的结构框图；

图3示出了一种可应用于本发明实施例的服务器的结构框图；

图4示出了本发明第一实施例提供的一种视频处理方法的流程示意图；

图5示出了本发明第二实施例提供的一种视频处理方法的流程示意图；

图6示出了本发明第二实施例中的一种交互界面示意图；

图7示出了本发明第三实施例提供的一种视频处理方法的流程示意图；

图8示出了本发明第三实施例中的一种交互界面示意图；

图9示出了本发明第四实施例提供的一种视频处理方法的流程示意图；

图10示出了本发明第四实施例中的一种交互界面示意图；

图11示出了本发明第五实施例提供的一种视频处理方法的流程示意图；

图12示出了本发明第五实施例提供的一种视频处理方法的界面示意图；

图13示出了本发明第六实施例提供的一种视频处理方法的流程示意图；

图14示出了本发明第七实施例提供的一种视频处理方法的时序图；

图15示出了本发明第八实施例提供的一种视频处理装置的结构框图；

图16示出了本发明第九实施例提供的一种视频处理装置的结构框图；

图17示出了本发明第十实施例提供的一种视频处理装置的结构框图；

图18示出了本发明第十实施例一种具体实施方式中涂鸦图形移动单元的结构框图；

图19示出了本发明第十实施例另一种具体实施方式中涂鸦图形移动单元的结构框图；

图20示出了本发明第十一实施例提供的一种视频处理装置的结构框图；

图21示出了本发明第十二实施例提供的一种视频处理装置的结构框图；

图22示出了本发明第十三实施例提供的一种视频处理装置的结构框图；

图23示出了本发明第十四实施例提供的一种视频处理系统的结构框图。

具体实施方式

本发明实施例所提供的视频处理方法及装置可应用于如图1所示的应用环境中。如图1所示，用户终端100、服务器200位于无线网络或有线网络300中，通过该无线网络或有线网络300，用户终端100与服务器200进行数据交互。

于本发明实施例中，用户终端100优选为移动终端设备，例如可以包括智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机、车载电脑、穿戴式移动终端等等。

图2示出了一种可应用于本发明实施例中的用户终端的结构框图。如图2所示，用户终端100包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110、音频模块112、触控屏幕114等。这些组件通过一条或多条通讯总线/信号线116相互通讯。

存储器102可用于存储软件程序以及模块，如本发明实施例中的视频处理方法及装置对应的程序指令/模块，处理器106通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，如本发明实施例提供的视频处理方法。

存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。

外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108，处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

射频模块110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

触控屏幕114在用户终端100与用户之间同时提供一个输出及输入界面。具体地，触控屏幕114向用户显示视频输出，这些视频输出的内容可包括文字、图形、视频及其任意组合。

可以理解，图2所示的结构仅为示意，用户终端100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

图3示出了一种可应用于本发明实施例中的服务器的结构框图。如图3所示，服务器200包括：存储器201、处理器202以及网络模块203。

存储器201可用于存储软件程序以及模块，如本发明实施例中的视频处理方法及装置对应的程序指令/模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本发明实施例中的视频处理方法。存储器201可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。进一步地，上述存储器201内的软件程序以及模块还可包括：操作系统221以及服务模块222。其中操作系统221，例如可为LINUX、UNIX、WINDOWS，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。服务模块222运行在操作系统221的基础上，并通过操作系统221的网络服务监听来自网络的请求，根据请求完成相应的数据处理，并返回处理结果给客户端。也就是说，服务模块222用于向客户端提供网络服务。

网络模块203用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。

可以理解，图3所示的结构仅为示意，服务器200还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。另外，本发明实施例中的服务器还可以包括多个具体不同功能的服务器。

于本发明实施例中，用户终端100中安装有客户端，该客户端可以是浏览器也可以是第三方应用软件，与服务器(Server)端相对应，为用户提供服务，例如视频播放服务，用于播放本地视频及网络视频。

本发明实施例主要是基于移动应用的场景，为视频提出一种新的弹幕方式，以涂鸦弹幕取代现有的文字弹幕方式。涂鸦(Graffiti)原意指的是在墙壁上乱涂乱写出的图像或画，文字、形象的符号或标志、图形是常见的内容。随着智能移动终端以及触控显示技术的发展，用户也可以在移动终端触控屏幕上以涂鸦的方式扼要地表明意图。

在移动应用场景下，文字输入不如PC方便，但是优势是输入操作的形式更多样，例如可以用手势操作、语音操作等。本发明实施例提出的视频处理方法，可以直接接收用户在视频显示区域进行涂鸦操作的涂鸦数据，不需要调起软键盘，因此无需暂停视频，不会干扰用户看视频的正常流程。另外，涂鸦比文字可以更加形象、自由地表达用户的意图，比文字更直观，更容易理解，和视频画面的结合比文字也更加紧密，所以也会提升用户观看视频时的趣味性和用户的交互体验。

本发明实施例中的涂鸦大致可以分为三种模式，第一种是自由涂鸦，即用户用手指或触控笔直接在视频显示区域进行涂鸦，这种方式可以最大化满足用户的个性表达需要；第二种是预置涂鸦，在视频显示区域显示预置的涂鸦图形，系统预置一个涂鸦图形库，包括基础的三角形、圆形、以及复杂酷炫的各种图形或文字，用户可以通过手势操作(例如拖动)或者语音控制等方式对涂鸦图形进行移动，这种方式用户操作起来更快速、更加简单；第三种也是利用系统预置的涂鸦图形库，但是不需要直接在视频显示区域显示具体的涂鸦图形，用户可以通过语音控制将涂鸦图形由后台调用至视频显示区域的预定位置中，这种方式对当前显示视频的影响更小，用户操作快速、简单。

需要说明的是，于本发明实施例中，上述三种模式可以单独使用，也可以混合在一起使用(例如其中的两种模式混合在一起使用，或者三种模式同时使用)，具体使用哪种模式，可以由用户自行设置或选择，也可以由系统预先设定。

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

图4示出了本发明第一实施例提供的一种视频处理方法的流程图，请参阅图4，本实施例描述的是用户终端中客户端的处理流程，所述方法包括：

步骤S101，客户端于当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；

用户在客户端播放视频前，或者播放视频中，可以选择是否进入涂鸦模式。系统可以定义一个简单的进入涂鸦模式的方式，例如可以定义用户勾选客户端交互界面的“进入涂鸦模式”的勾选框即进入涂鸦模式，或者可以定义用户点击客户端交互界面的“涂鸦模式”按钮即进入涂鸦模式，或者用户通过预定义手势例如手势“V”即进入涂鸦模式等。当然，客户端也可以设置为播放视频即进入涂鸦模式。上述只是对进入涂鸦模式的具体举例说明，可以理解的是，本发明的具体实施方式并不以此为限。

进入涂鸦模式后，当前正在播放的视频不会停止播放，用户可以在视频显示区域进行涂鸦操作，客户端检测用户针对视频显示区域进行的涂鸦操作。针对视频显示区域进行的涂鸦操作包括用户直接在视频显示区域进行的涂鸦操作，例如在第一种涂鸦模式中，用户直接在视频显示区域输入的涂鸦手势；也可以包括虽然不是直接在视频显示区域进行的、但是涂鸦操作的涂鸦数据是在视频显示区域输入的涂鸦操作，例如第三种涂鸦模式中，虽然用户的语音控制指令不一定需要直接在视频显示区域输入，但是，用户可以通过语音控制指令将涂鸦图形由后台调用至视频显示区域的预定位置中，也就是说涂鸦数据是由视频显示区域输入的。

于本发明实施例中，涂鸦操作可以包括触发涂鸦开始指令、具体的涂鸦操作以及触发涂鸦结束指令。其中，具体的涂鸦操作可以 是对应前述三种涂鸦模式中的一种或几种的涂鸦操作，例如用户输入涂鸦手势、涂鸦图形选择操作、触发涂鸦图形语音控制指令等。

系统预先针对不同模式的涂鸦操作定义涂鸦开始指令及涂鸦结束指令。例如，涂鸦开始指令可以由用户开始进行具体的涂鸦手势时触发，或者由用户开始拖动涂鸦图形时触发，或者由用户的涂鸦图形语音控制指令触发，也可以定义一个触发涂鸦开始指令的动作，例如单击触控屏幕等。由于用户进行涂鸦操作时，可能会进行多次手势操作或语音控制，优选的，系统可以定义一个触发涂鸦结束指令的动作，例如双击触控屏幕等。

当用户在视频显示区域进行上述涂鸦操作时，客户端可以接收用户进行涂鸦操作的涂鸦数据，针对不同模式的涂鸦，客户端可以接收到不同的涂鸦数据，例如，在第一种模式中，客户端接收到的涂鸦数据为滑动轨迹、在第二、三种模式中，客户端接收到的涂鸦数据为用户选择的涂鸦图形。

步骤S102，记录与所述涂鸦操作对应的涂鸦信息；

所述涂鸦信息可以包括所述涂鸦数据、所述涂鸦数据在所述视频显示区域中的相对位置、所述涂鸦操作在所述当前视频中的相对开始时间以及相对结束时间、以及所述当前视频的视频索引信息等。

针对不同模式的涂鸦操作，客户端记录的涂鸦信息的具体内容也不同。例如，在第一种模式中，客户端可以记录涂鸦手势的滑动轨迹、滑动轨迹在视频显示区域的相对位置、滑动轨迹的颜色、涂鸦开始指令触发时间以及涂鸦结束指令触发时间在当前视频中的相对时间(也就是涂鸦操作在所述当前视频中的相对开始时间以及相对结束时间)、涂鸦操作的模式标识(第一模式)，以及当前视频的视 频索引信息等。其它两种模式中客户端记录的涂鸦信息的具体内容可以参见后面的具体实施例。

所述视频索引信息可以为当前视频的URL(Uniform Resoure Locator:统一资源定位器)，也可以为当前视频的URL与当前视频的名称(title)的组合。

步骤S103，将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

客户端将步骤S102中记录的涂鸦信息进行打包，上传到服务器，服务器将这些数据存储起来(例如存储在数据库中)。

进一步的，所述记录与所述涂鸦操作对应的涂鸦信息的步骤与将所述涂鸦信息发送给服务器进行存储的步骤之间，还可以包括以下步骤：

确认是否已记录所述涂鸦操作在所述当前视频中的相对结束时间，如果是，则执行所述将所述涂鸦信息发送给服务器进行存储的步骤，否则，返回所述接收用户在视频显示区域进行涂鸦操作的涂鸦数据的步骤直到所述涂鸦信息记录有涂鸦操作在所述当前视频中的相对结束时间为止。

优选的，客户端在将所记录的涂鸦信息打包发送给服务器之前可以先排除一些异常数据，例如，可以通过上述确认是否记录相对结束时间的方法，找到并删除输入时间超长、没有明确结束时间的涂鸦信息，然后再将正常的涂鸦信息按照系统需要的数据结构进行打包，并上传至服务器。

第一实施例提出的视频处理方法，可以直接接收用户在视频显示区域进行涂鸦操作的涂鸦数据，不需要调起软键盘，因此无需暂停视频，不会干扰用户看视频的正常流程。另外，涂鸦比文字可以更加形象、自由地表达用户的意图，比文字更直观，更容易理解，和视频画面的结合比文字也更加紧密，所以也会提升用户观看视频时的趣味性和用户的交互体验。

下面的第二至第四实施例将分别以三种涂鸦模式中的一种为例，对客户端的处理流程进行具体的描述，其中，第二实施例以第一种涂鸦模式为例，第三实施例以第二种涂鸦模式为例，第四实施例以第三种涂鸦模式为例。

第二实施例

图5示出了本发明第二实施例提供的一种视频处理方法的流程图，图6示出了本发明第二实施例中的一种交互界面示意图，请同时参阅图5及图6，本实施例以第一种涂鸦模式为例，描述的是用户终端中客户端的处理流程，于本实施例中，涂鸦操作包括触发涂鸦开始指令、触发涂鸦结束指令以及用户在所述视频显示区域输入的涂鸦手势。所述方法包括：

步骤S201，客户端进入涂鸦模式；

具体如何进入涂鸦模式可以参考第一实施例中的相关描述，这里不再赘述。

步骤S202，客户端响应于用户触发的涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

于此步骤中，生成用于涂鸦的透明层，该透明层覆盖所述视频显示区域。该透明层指的是透明度超过预定值的层，其中，预定值由系统预先设置，预定值的设置以不影响用户观看视频为佳。

步骤S203，检测作用于所述透明层的涂鸦手势，根据所述涂鸦手势在所述视频显示区域的实时坐标，在所述透明层上实时显示所述涂鸦手势的滑动轨迹；

客户端可以在视频显示区域实时显示用户输入的涂鸦手势在视频显示区域中的相对滑动轨迹，如图6中的“囧”。实时显示涂鸦手势的滑动轨迹可以帮助用户更好的控制其输入的涂鸦手势。当然，在其他具体实施方式中也可以不显示滑动轨迹，本发明的具体实施方式并不以此为限。

步骤S204，记录涂鸦信息，所述涂鸦信息包括所述涂鸦手势的滑动轨迹、所述滑动轨迹在所述视频显示区域的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息；

于本实施例中，与所述涂鸦操作对应的涂鸦数据是所述涂鸦手势相对于所述视频显示区域形成的滑动轨迹。

进一步的，客户端还可以记录滑动轨迹的颜色以及与涂鸦手势对应的模式标识作为涂鸦信息的一部分。其中，滑动轨迹的颜色可以是系统默认的，也可以由用户在开始涂鸦前进行选择。

步骤S205，将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

本实施例提出的视频处理方法，可以直接接收用户在视频显示区域进行涂鸦手势的涂鸦数据，不需要调起软键盘，因此无需暂停 视频，不会干扰用户看视频的正常流程。另外，涂鸦手势可以最大化满足用户的个性表达需要。

第三实施例

图7示出了本发明第三实施例提供的一种视频处理方法的流程图，请参阅图7，本实施例以第二种涂鸦模式为例，描述的是用户终端中客户端的处理流程，于本实施例中，所述客户端中存储有预置的涂鸦图形库，涂鸦图形库中存储有多个涂鸦图形，所述每个涂鸦图形可以对应有文本信息以及预先定义的在所述透明层中的位置。涂鸦图形库中包括由网络中获取的、或由用户保存的各种图形、文字或涂鸦等。于本实施例中，所述涂鸦操作包括触发涂鸦开始指令、涂鸦图形选择操作以及触发涂鸦结束指令。具体的，本实施例中的方法包括：

步骤S301，客户端进入涂鸦模式；

具体如何进入涂鸦模式可以参考第一实施例中的相关描述，这里不再赘述。

步骤S302，客户端响应于用户触发的涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

步骤S303，在所述透明层上显示至少一个涂鸦图形；

如图8所示，可以直接在透明层上显示涂鸦图形，也可以在生成透明层的同时生成一个用于显示涂鸦图形的涂鸦图形层，涂鸦图形层设置于透明层的预定区域(例如边缘)，在涂鸦图形层上显示涂鸦图形。

步骤S304，响应于用户对所述至少一个涂鸦图形的选择操作，移动被用户选择的涂鸦图形。

于一种具体实施方式中，用户可以通过手势操作将选中的涂鸦图形移动至视频显示区域的目标位置，于本具体实施方式中，所述涂鸦操作包括的涂鸦图形选择操作为用户作用于所述涂鸦图形上的手势操作(例如滑动)。所述移动被用户选择的涂鸦图形，包括：

检测作用于被选择的涂鸦图形上的手势操作，所述手势操作相对于所述视频显示区域形成滑动轨迹；

根据所述手势操作移动所述被选择的涂鸦图形，当所述手势操作结束时，将被选择的所述涂鸦图形移动至所述滑动轨迹在所述视频显示区域中的末端位置。

以用户作用于所述涂鸦图形上的手势操作为滑动为例，在用户滑动涂鸦图形的过程中，可以随着滑动轨迹移动涂鸦图形，也就是涂鸦图形边滑边移动，也可以只在滑动结束时将被选择的涂鸦图形移动至滑动轨迹在所述视频显示区域中的末端位置。

于另一种具体实施方式中，用户可以通过语音控制想要选择的涂鸦图形并将其移动至视频显示区域的预定位置，由于每个涂鸦图形对应有文本信息以及预先定义的在所述透明层中的位置，因此，所述涂鸦图形选择操作可以由涂鸦图形语音控制指令触发，所述移动被用户选择的涂鸦图形，包括：

接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息；

将所述文本信息与每个涂鸦图形对应的文本信息进行匹配；

在所述透明层的预定位置显示所述匹配成功的涂鸦图形，所述预定位置为预先定义的所述匹配成功的涂鸦图形在所述透明层中的位置。

与涂鸦图形的文本信息用于描述该涂鸦图形中的图形所表达的内容。一个涂鸦图形可以对应多个文本信息，例如，一个心形的涂鸦图形对应的文本信息可以包括“喜欢”、“爱”、“心疼”等。当用户通过语音输入的涂鸦图形语音控制指令中包括上述文本信息时，客户端就可以通过文本匹配找到与该心形的涂鸦图形，并在透明层的预定位置显示匹配成功的涂鸦图形所对应的涂鸦图形。

步骤S305，记录涂鸦信息，所述涂鸦信息包括被用户选择的涂鸦图形的标识、移动后的所述涂鸦图形在所述视频显示区域中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息；

于本实施例中，与所述涂鸦操作对应的涂鸦数据是被用户选择的涂鸦图形。

步骤S306，将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

本实施例提出的视频处理方法，在视频显示区域显示预置的涂鸦图形，可以直接接收用户在视频显示区域针对涂鸦图形进行的选择操作、手势操作或语音控制操作，根据用户的手势操作或语音控制操作将被用户选择涂鸦图形移动至透明层中，不需要调起软键盘，因此无需暂停视频，不会干扰用户看视频的正常流程。另外，这种方式用户操作起来更快速、更加简单。

第四实施例

图9示出了本发明第四实施例提供的一种视频处理方法的流程图，图10示出了本发明第四实施例中的一种交互界面示意图，请同时参阅图9及图10，本实施例以第三种涂鸦模式为例，描述的是用户终端中客户端的处理流程，于本实施例中，所述客户端中存储有预置的涂鸦图形库，具体可以参考第三实施例中的相关描述，这里不再赘述。于本实施例中，所述涂鸦操作包括触发涂鸦开始指令、涂鸦图形语音控制指令以及涂鸦结束指令。具体的，本实施例中的方法包括：

步骤S401，客户端进入涂鸦模式；

具体如何进入涂鸦模式可以参考第一实施例中的相关描述，这里不再赘述。

步骤S402，响应于用户触发的涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

步骤S403，接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息；

步骤S404，将所述文本信息与每个涂鸦图形对应的文本信息进行匹配。

步骤S405，在所述透明层的预定位置显示所述匹配成功的涂鸦图形所对应的涂鸦图形，所述预定位置为与该涂鸦图形对应的预先定义的在所述透明层中的位置；

请参见图10，例如用户在观看足球比赛，在看到进球时，用户可以输入语音“厉害”或“赞”，客户端就可以根据文本信息进行匹配，假设涂鸦图形库中存储的大拇哥图形所对应的文本信息为“厉害”，那么客户端就会将该大拇哥图形显示在视频显示区域的预定位置上。

步骤S406，记录涂鸦信息，所述涂鸦信息包括匹配成功的涂鸦图形的标识、所述匹配成功的涂鸦图形在所述透明层中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息；

于本实施例中，与所述涂鸦操作的涂鸦数据是匹配成功的涂鸦图形。

步骤S407，将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

本实施例提出的视频处理方法，利用系统预置的涂鸦图形库，但不直接在视频显示区域显示预置的涂鸦图形，客户端可以接收用户的涂鸦图形语音控制指令，根据用户的指令将匹配的涂鸦图形显示在透明层的预定位置中，不需要调起软键盘，因此无需暂停视频，不会干扰用户看视频的正常流程。这种方式对当前显示的视频的影响更小，用户操作快速、简单。

上述实施例主要描述的是客户端接收涂鸦操作的涂鸦数据以及记录涂鸦信息的方法，下面在第五实施例中将重点描述客户端是如何显示这些涂鸦数据的。

第五实施例

图11示出了本发明第五实施例提供的一种视频处理方法的流程图，请参阅图11，本实施例描述的是用户终端中客户端的处理流程，与本实施例中的客户端交互的服务器中存储有该客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为该客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息，具体的流程可以参照第一实施例至第四实施例。

需说明的是，服务器中可以存储有该客户端或其他客户端上传的涂鸦信息但不局限于此，也可以存储直接通过服务器对视频进行涂鸦的涂鸦信息。

本实施例中的方法包括：

步骤S501，客户端于当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求；

如果涂鸦显示功能默认设置为是打开的，可以定义当用户观看视频时，涂鸦显示事件被触发。当然，也可以定义用户在观看视频的过程中，打开涂鸦显示功能，涂鸦显示事件被触发等。当客户端监测到涂鸦显示事件被触发时，客户端获取当前播放视频的视频索引信息(例如视频URL和名称)，并且以此作为key向服务器发送涂鸦信息获取请求。

服务器在事先存储的涂鸦信息中查找与该视频索引信息匹配的涂鸦信息，将查找到的涂鸦信息打包返回给客户端，具体的过程将在第六实施例中进行详细的描述。

步骤S502，接收所述服务器根据所述视频索引信息返回的涂鸦信息，在所述视频显示区域中，显示所述服务器返回的涂鸦信息中的涂鸦数据。

客户端接收服务器返回的打包数据后，先解析数据，将服务器返回的数据解析成自己的数据结构，解析后的涂鸦信息包括涂鸦数据、所述涂鸦数据在所述视频显示区域中的相对位置、所述涂鸦操 作在所述当前视频中的相对开始时间以及相对结束时间、以及所述当前视频的视频索引信息等数据。

显示所述服务器返回的涂鸦信息中的涂鸦数据，可以包括：依据所述服务器返回的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据。

具体的，客户端生成覆盖当前视频显示区域的透明层用于显示服务器返回的涂鸦信息中的涂鸦数据。每个涂鸦数据都对应一个在当前视频中的相对开始时间以及相对结束时间。当该视频的播放时间进入由所述涂鸦操作在所述当前视频中的相对开始时间以及所述涂鸦操作在所述当前视频中的相对结束时间形成的时间区间时，依据所述服务器返回的涂鸦信息中的相对位置，开始在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据，当视频播放时间离开所述时间区间时，结束在所述视频显示区域中显示所述服务器返回的涂鸦信息中的涂鸦数据，此时涂鸦数据消失。

请参见图12，下面以在涂鸦弹幕视频下观看足球赛为例，说明涂鸦弹幕的使用过程。首先，打开涂鸦弹幕功能，客户端向服务器发送包括该视频的视频索引信息(例如URL和名称title)的涂鸦信息获取请求，服务器接收到该涂鸦信息获取请求后，从数据库查找并返回与该视频的视频索引信息对应的涂鸦信息，客户端将服务器返回的涂鸦信息进行解析，并按照播放时间进度，以及涂鸦数据的位置，将涂鸦数据显示出来。这时就能看到别的用户画的涂鸦。例如一个队员摔倒时，看到在他头上被画了一个闪电，可能是对方球队的球迷涂鸦的。当用户看到自己支持的球员进了一个好球时，就可以画上一个爱心或者一朵鲜花。

第六实施例

图13示出了本发明第六实施例提供的一种视频处理方法的流程图，请参阅图13，本实施例描述的是服务器的处理流程，所述方法可以包括：

步骤S601，服务器接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息。

服务器接收到每个与其进行交互的客户端上传的涂鸦信息后都会进行存储，多个客户端上传的涂鸦信息可以存储在一个数据库中。

步骤S602，存储所述涂鸦信息；

步骤S603，响应于客户端发送的包括目标视频索引信息的涂鸦信息获取请求，在已存储的视频索引信息中，根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息；

步骤S604，将查找到的与所述目标视频索引信息对应的所述涂鸦信息返回发送所述涂鸦信息获取请求的客户端并进行显示。

在步骤S603中，服务器根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息。由于在大数据场景下，涂鸦信息的数量会很多。因此，服务器需要根据涂鸦信息中的时间和位置信息进行计算。如果服务器存储的涂鸦信息中，在同一时间点，同一位置出现两个或者两个以上的涂鸦信息可以随机取其中一个。这样可以保证显示不会冲突，并减小了数据传输的量。服务器可以将无冲突的与所述目标视频索引信息对应的涂鸦信息，根据时间升序排序，然后将结果返回给客户端，以使发送所述涂鸦信息获取请求的客户端在视频显示区域中，依据所述服务器返回的与所述目标视频索引信息对应的涂鸦信息中的相对开始时间、相对结束时间以 及相对位置，显示与所述目标视频索引信息对应的涂鸦信息中的涂鸦数据。

换句话说，当服务器查找到的与所述目标视频索引信息对应涂鸦信息中包括多条涂鸦信息、且所述多条涂鸦信息中至少两条涂鸦信息具有相同的相对开始时间、相对结束时间以及相同的相对位置时，也就是说至少有两条涂鸦信息是冲突的，服务器可以按照预设规则在冲突的涂鸦信息中选择其中1条，然后将该条涂鸦信息与其它无冲突的涂鸦信息作为查找到的与所述目标视频索引信息对应的涂鸦信息返回发送所述涂鸦信息获取请求的客户端。

所述按照预设规则例如可以包括：随机选取，或者按照所述涂鸦信息的记录时间对所述至少两条涂鸦信息进行排序，选择记录时间排在前N条中的1条涂鸦信息作为查找到的所述涂鸦信息，其中N大于或等于1。

第七实施例

图14示出了本发明第七实施例提供的一种视频处理方法的时序图，请参阅图14，本实施例描述的是客户端与服务器的交互流程，其中，步骤S701至步骤S704对应的是第一客户端接收用户输入的涂鸦操作的涂鸦数据，记录对应的涂鸦信息并将涂鸦信息发送给服务器的过程中，第一客户端与服务器之间的交互过程；步骤S705至步骤S708对应的是第二客户端监测到涂鸦显示事件被触发后，与服务器之间的交互过程；步骤S709至步骤S712对应的是第一客户端监测到涂鸦显示事件被触发后，与服务器之间的交互过程。需要说明的是，这三个交互过程互相并不冲突，可以同时进行，也可以分先后进行，图14中所显示的步骤可以以不同于附图中所示的顺序 发生，例如，步骤S709至步骤S712也可以发生于步骤S701之前。本实施例中的方法可以包括：

步骤S701，第一客户端在视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作。

步骤S702，第一客户端记录与所述涂鸦操作对应的涂鸦信息，所述涂鸦信息包括所述涂鸦数据、所述涂鸦数据在所述视频显示区域中的相对位置、所述涂鸦操作在所述当前视频中的相对开始时间以及相对结束时间、以及所述当前视频的视频索引信息。

步骤S703，第一客户端将所述涂鸦信息发送给服务器进行存储。

步骤S704，服务器接收并存储第一客户端发送的涂鸦信息。

步骤S705，第二客户端监测到涂鸦显示事件被触发，向服务器发送包括目标视频索引信息的涂鸦信息获取请求。

步骤S706，服务器响应于第二客户端发送的包括目标视频索引信息的涂鸦信息获取请求，在已存储的视频索引信息中根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息。

步骤S707，将查找到的与所述目标视频索引信息对应的所述涂鸦信息返回第二客户端。

步骤S708，第二客户端在视频显示区域中，依据所述服务器返回的与所述目标视频索引信息对应的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，显示与所述目标视频索引信息对应的涂鸦信息中的涂鸦数据。

步骤S709，当第一客户端监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求。

步骤S710，服务器根据所述视频索引信息查找并返回与所述视频索引信息对应的涂鸦信息。

步骤S711，服务器将查找到的与所述目标视频索引信息对应的所述涂鸦信息返回第一客户端。

步骤S712，第一客户端接收所述服务器返回的涂鸦信息，在所述视频显示区域中，依据所述服务器返回的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据。

第八实施例

图15示出了本发明第八实施例提供的视频处理装置的结构框图，请参照图15，本实施例中的装置可运行于客户端(该客户端位于用户终端)，用于实现第一实施例提出的视频处理方法，本实施例中的装置10包括：

操作检测模块11，用于在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；

信息记录模块12，用于记录与所述涂鸦操作对应的涂鸦信息；

信息发送模块13，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

进一步的，所述装置还可以包括：

记录确认模块14，用于确认所述信息记录模块是否已记录所述涂鸦操作在所述当前视频中的相对结束时间，如果是，则所述信息发送模块13将所述涂鸦信息发送给服务器进行存储，否则，所述操 作检测模块11继续接收用户在视频显示区域进行涂鸦操作的涂鸦数据。

进一步的，所述视频索引信息可以为所述视频的统一资源定位符，也可以为所述视频的统一资源定位符与名称的组合。

第九实施例

图16示出了本发明第九实施例提供的视频处理装置的结构框图，请参照图16，本实施例中的装置可运行于客户端(该客户端位于用户终端)，用于实现第二实施例提出的视频处理方法。本实施例中的装置20包括：

操作检测模块21，用于在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；

信息记录模块22，用于记录涂鸦信息，所述涂鸦信息包括所述涂鸦手势的滑动轨迹、所述滑动轨迹在所述视频显示区域的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息；

信息发送模块23，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

于本实施例中，所述操作检测模块21，包括：

透明层生成单元211，用于响应于所述涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

涂鸦手势检测单元212，用于检测作用于所述透明层的涂鸦手势，所述涂鸦手势相对于所述视频显示区域形成滑动轨迹。

进一步的，所述涂鸦手势检测单元212包括：2121，用于检测作用于所述透明层的涂鸦手势；滑动轨迹显示子单元2122，用于根据所述涂鸦手势在所述视频显示区域的实时坐标，在所述透明层上实时显示所述涂鸦手势的滑动轨迹。

第十实施例

图17示出了本发明第十实施例提供的视频处理装置的结构框图，请参照图17，本实施例中的装置可运行于客户端(该客户端位于用户终端)，用于实现第三实施例提出的视频处理方法。于本实施例中，所述用户终端的客户端中存储有多个涂鸦图形，本实施例中的装置30包括：

操作检测模块31，用于在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作；

信息记录模块32，用于记录涂鸦信息，所述涂鸦信息包括被用户选择的涂鸦图形的标识、移动后的所述涂鸦图形在所述视频显示区域中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息；

信息发送模块33，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

于本实施例中，所述操作检测模块31，包括：

透明层生成单元311，用于响应于所述涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

涂鸦图形显示单元312，用于在所述透明层上显示至少一个所述涂鸦图形；

涂鸦图形移动单元313，用于响应于用户对所述至少一个涂鸦图形的选择操作，移动被用户选择的涂鸦图形。

请参照图18，于本实施例的一种具体实施方式中，所述涂鸦操作还包括用户作用于所述涂鸦图形上的手势操作，所述涂鸦图形移动单元313，包括：

手势操作检测子单元3131，用于检测作用于被选择的涂鸦图形上的手势操作，所述手势操作相对于所述视频显示区域形成滑动轨迹；

涂鸦图形移动子单元3132，用于当所述手势操作结束时，将被选择的所述涂鸦图形移动至所述滑动轨迹在所述视频显示区域中的末端位置。

请参照图19，于本实施例的另一种具体实施方式中，所述每个涂鸦图形对应有文本信息以及预先定义的在所述透明层中的位置，所述涂鸦图形选择操作由涂鸦图形语音控制指令触发，所述涂鸦图形移动单元313，包括：

语音接收转换子单元3133，用于接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息；

文本匹配子单元3134，用于将所述文本信息与每个涂鸦图形对应的文本信息进行匹配；

涂鸦图形显示子单元3135，用于在所述透明层的预定位置显示所述匹配成功的涂鸦图形，所述预定位置为预先定义的所述匹配成功的涂鸦图形在所述透明层中的位置。

第十一实施例

图20示出了本发明第十一实施例提供的视频处理装置的结构框图，请参照图20，本实施例中的装置可运行于客户端(该客户端位于用户终端)，用于实现第四实施例提出的视频处理方法。于本实施例中，所述用户终端的客户端存储有多个涂鸦图形，所述每个涂鸦图形对应有文本信息以及预先定义的在所述透明层中的位置，本实施例中的装置40包括：操作检测模块41、信息记录模块42、信息发送模块43。

操作检测模块41，用于在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作。

于本实施例中，所述涂鸦操作包括用户触发的涂鸦开始指令、涂鸦图形语音控制指令以及涂鸦结束指令，所述操作检测模块。所述操作检测模块41，包括：

透明层生成单元411，用于响应于所述涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

语音接收转换单元412，用于接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息；

文本匹配单元413，用于将所述文本信息与每个涂鸦图形对应的文本信息进行匹配；

涂鸦图形显示单元414，用于在所述透明层的预定位置显示所述匹配成功的涂鸦图形，所述预定位置为与该涂鸦图形对应的预先定义的在所述透明层中的位置。

于本实施例中，信息记录模块42用于记录涂鸦信息，所述涂鸦信息包括匹配成功的涂鸦图形的标识、所述匹配成功的涂鸦图形在 所述透明层中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息。

信息发送模块43用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

第十二实施例

图21示出了本发明第十二实施例提供的视频处理装置的结构框图，请参照图21，本实施例中的装置可运行于客户端(该客户端位于用户终端)，用于实现第五实施例提出的视频处理方法。本实施例中的装置50包括：获取请求发送模块51以及接收显示模块52。

所述返回请求模块51用于在当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求，所述服务器中存储有所述客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为所述客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息。

所述接收显示模块52用于接收所述服务器根据所述视频索引信息返回的涂鸦信息，在所述视频显示区域中，依据所述服务器返回的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据。

进一步的，当该视频的播放时间进入由所述涂鸦操作在所述当前视频中的相对开始时间以及所述涂鸦操作在所述当前视频中的相对结束时间形成的时间区间时，所述接收显示模块52依据所述服务器返回的涂鸦信息中的相对位置，开始在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据，当视频播放时间离开所述时间区间时，结束在所述视频显示区域中显示所述服务器返回的涂鸦信息中的涂鸦数据。

以上第八实施例至第十二实施例中，各模块可以是由软件代码实现，此时，上述的各模块可存储于用户终端100的存储器102内。以上各模块同样可以由硬件例如集成电路芯片实现。

第十三实施例

图22示出了本发明第十三实施例提供的视频处理装置的结构框图，请参照图22，本实施例中的装置可运行于服务器，用于实现第六实施例提出的视频处理方法，本实施例中的装置60包括：

信息接收模块61，用于接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；

信息存储模块62，用于存储所述涂鸦信息。

进一步的，所述装置60还包括：

信息查找模块63，用于响应于客户端发送的包括目标视频索引信息的涂鸦信息获取请求，在已存储的视频索引信息中根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息；

信息返回模块64，用于将查找到的与所述目标视频索引信息对应的所述涂鸦信息返回发送所述涂鸦信息获取请求的客户端并进行显示。

进一步的，当查找到的与所述目标视频索引信息对应涂鸦信息包括多条涂鸦信息、且所述多条涂鸦信息中至少两条涂鸦信息具有相同的相对开始时间、相对结束时间以及相同的相对位置时，所述信息返回模块还用于按照预设规则选择其中1条涂鸦信息作为查找到的与所述目标视频索引信息对应的涂鸦信息返回发送所述涂鸦信息获取请求的客户端。

所述预设规则可以包括随机选取，或者按照所述涂鸦信息的记录时间对所述至少两条涂鸦信息进行排序，选择记录时间最早的涂鸦信息等。

本实施例中，各模块可以是由软件代码实现，此时，上述的各模块可存储于服务器200的存储器201内。以上各模块同样可以由硬件例如集成电路芯片实现。

第十四实施例

本发明第十四实施例提供的一种视频处理系统的结构示意图。请参照图23，本实施例提出的视频处理系统可以用于实现第七实施例提出的视频处理方法，本实施例中的视频处理系统70可以包括：用户终端71以及服务器72。

所述用户终端71用于通过客户端在当前视频播放过程中，检测用户针对视频显示区域进行的涂鸦操作，记录与所述涂鸦操作对应的涂鸦信息，将所述涂鸦信息发送给所述服务器72进行存储；

所述服务器72用于接收并存储所述涂鸦信息，在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

其中，所述用户终端71具体的可以为运行有第八至十二实施例所示装置的用户终端，所述服务器72具体的可以为运行有第十三实施例所示装置的服务器，其具体功能及实现可参见上述实施例，这里不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例所提供的视频处理装置及系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本 发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (16)

1.一种视频处理方法，其特征在于，客户端中存储有多个涂鸦图形，所述方法包括：

所述客户端于当前视频播放过程中，响应于涂鸦开始指令，生成覆盖视频显示区域的透明层；

在所述透明层上显示至少一个所述涂鸦图形；

响应于用户对所述至少一个涂鸦图形的选择操作，移动被用户选择的涂鸦图形；

记录涂鸦信息；

将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

2.如权利要求1所述的方法，其特征在于，

所述涂鸦信息包括被用户选择的涂鸦图形的标识、移动后的所述涂鸦图形在所述视频显示区域中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息。

3.一种视频处理方法，其特征在于，客户端存储有多个涂鸦图形，每个所述涂鸦图形对应有文本信息以及预先定义的在视频显示区域中的位置，所述方法包括：

所述客户端于当前视频播放过程中，接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息；

将所述文本信息与每个涂鸦图形对应的文本信息进行匹配；

在所述视频显示区域的预定位置显示所述匹配成功的涂鸦图形所对应的涂鸦图形，所述预定位置为与该涂鸦图形对应的预先定义的在所述视频显示区域中的位置；

记录涂鸦信息；

将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

4.如权利要求3所述的方法，其特征在于，所述接收用户输入的涂鸦图形语音控制指令之前，还包括：

响应于涂鸦开始指令，生成覆盖所述视频显示区域的透明层；

所述在所述视频显示区域的预定位置显示所述匹配成功的涂鸦图形所对应的涂鸦图形，包括：

在所述透明层的预定位置显示所述匹配成功的涂鸦图形所对应的涂鸦图形。

5.如权利要求3所述的方法，其特征在于，

所述涂鸦信息包括匹配成功的涂鸦图形的标识、所述匹配成功的涂鸦图形在所述透明层中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息。

6.一种视频处理方法，其特征在于，包括：

客户端于当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求，所述服务器中存储有所述客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为所述客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；

接收所述服务器根据所述视频索引信息返回的涂鸦信息，依据所述服务器返回的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据。

7.一种视频处理方法，其特征在于，包括：

服务器接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；

存储所述涂鸦信息；

响应于客户端发送的包括目标视频索引信息的涂鸦信息获取请求，在已存储的视频索引信息中根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息，当查找到的与所述目标视频索引信息对应的涂鸦信息包括多条涂鸦信息、且所述多条涂鸦信息中至少两条涂鸦信息具有相同的相对开始时间、相对结束时间以及相同的相对位置时，按照预设规则选择其中1条涂鸦信息作为查找到的与所述目标视频索引信息对应的涂鸦信息返回给发送所述涂鸦信息获取请求的客户端并进行显示。

8.如权利要求7所述的方法，其特征在于，所述按照预设规则选择其中1条涂鸦信息作为查找到的与所述目标视频索引信息对应的所述涂鸦信息，包括：

随机选取1条涂鸦信息作为查找到的所述涂鸦信息；

或者按照所述涂鸦信息的记录时间对所述至少两条涂鸦信息进行排序，选择记录时间排在前N条中的1条涂鸦信息作为查找到的所述涂鸦信息，其中N大于或等于1。

9.一种视频处理装置，运行于客户端，其特征在于，所述客户端中存储有多个涂鸦图形，所述装置包括：

操作检测模块，用于在当前视频播放过程中，响应于涂鸦开始指令，生成覆盖视频显示区域的透明层，在所述透明层上显示至少一个所述涂鸦图形，响应于用户对所述至少一个涂鸦图形的选择操作，移动被用户选择的涂鸦图形；

信息记录模块，用于记录涂鸦信息；

信息发送模块，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

10.如权利要求9所述的装置，其特征在于，

所述涂鸦信息包括被用户选择的涂鸦图形的标识、移动后的所述涂鸦图形在所述视频显示区域中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息。

11.一种视频处理装置，运行于客户端，其特征在于，所述客户端存储有多个涂鸦图形，每个所述涂鸦图形对应有文本信息以及预先定义的在视频显示区域中的位置，所述装置包括：

操作检测模块，用于在当前视频播放过程中，接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息，将所述文本信息与每个涂鸦图形对应的文本信息进行匹配，在所述视频显示区域的预定位置显示所述匹配成功的涂鸦图形，所述预定位置为与该涂鸦图形对应的预先定义的在所述视频显示区域中的位置；

信息记录模块，用于记录涂鸦信息；

信息发送模块，用于将所述涂鸦信息发送给服务器进行存储，以使所述服务器在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。

12.如权利要求11所述的装置，其特征在于，所述操作检测模块具体用于在当前视频播放过程中，响应于涂鸦开始指令，生成覆盖所述视频显示区域的透明层，接收用户输入的涂鸦图形语音控制指令，将所述涂鸦图形语音控制指令中的语音信号转换为文本信息，将所述文本信息与每个涂鸦图形对应的文本信息进行匹配，在所述透明层的预定位置显示所述匹配成功的涂鸦图形所对应的涂鸦图形，所述预定位置为与该涂鸦图形对应的预先定义的在所述视频显示区域中的位置。

13.如权利要求11所述的装置，其特征在于，所述涂鸦信息包括匹配成功的涂鸦图形的标识、所述匹配成功的涂鸦图形在所述透明层中的相对位置、所述涂鸦开始指令触发时间以及所述涂鸦结束指令触发时间在所述当前视频中的相对时间、以及所述当前视频的视频索引信息。

14.一种视频处理装置，运行于客户端，其特征在于，所述装置包括：

获取请求发送模块，用于在当前视频开始播放时或播放过程中监测到涂鸦显示事件被触发时，向服务器发送包括所述当前视频的视频索引信息的涂鸦信息获取请求，所述服务器中存储有所述客户端或其他客户端上传的涂鸦信息，所述涂鸦信息为所述客户端或其他客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；

接收显示模块，用于接收所述服务器根据所述视频索引信息返回的涂鸦信息，依据所述服务器返回的涂鸦信息中的相对开始时间、相对结束时间以及相对位置，在所述视频显示区域对应地显示所述服务器返回的涂鸦信息中的涂鸦数据。

15.一种视频处理装置，运行于服务器，其特征在于，包括：

信息接收模块，用于接收至少一个客户端上传的涂鸦信息，所述涂鸦信息为所述至少一个客户端记录的与用户针对视频显示区域进行的涂鸦操作相对应的信息；

信息存储模块，用于存储所述涂鸦信息；

信息查找模块，用于响应于客户端发送的包括目标视频索引信息的涂鸦信息获取请求，在已存储的视频索引信息中根据所述目标视频索引信息查找与所述目标视频索引信息对应的涂鸦信息；

信息返回模块，用于当查找到的与所述目标视频索引信息对应的涂鸦信息包括多条涂鸦信息、且所述多条涂鸦信息中至少两条涂鸦信息具有相同的相对开始时间、相对结束时间以及相同的相对位置时，按照预设规则选择其中1条涂鸦信息作为查找到的与所述目标视频索引信息对应的涂鸦信息返回给发送所述涂鸦信息获取请求的客户端并进行显示。

16.一种视频处理系统，包括用户终端及服务器，所述用户终端中存储有多个涂鸦图形，其特征在于，

所述用户终端用于通过客户端在当前视频播放过程中，响应于涂鸦开始指令，生成覆盖视频显示区域的透明层，在所述透明层上显示至少一个所述涂鸦图形，响应于用户对所述至少一个涂鸦图形的选择操作，移动被用户选择的涂鸦图形，记录涂鸦信息，将所述涂鸦信息发送给所述服务器进行存储；

所述服务器用于接收并存储所述涂鸦信息，在接收到包括所述当前视频的视频索引信息的涂鸦信息获取请求时，根据所述当前视频的视频索引信息，查找并向发送所述涂鸦信息获取请求的客户端返回与所述视频索引信息对应的涂鸦信息。