CN110446114B - 多媒体数据的处理装置、方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开一种多媒体数据的处理装置、方法、智能交互平板及存储介质，其中的装置包括Browser进程模块、Render进程模块和GPU进程模块；Browser进程模块包括Blink内核单元和Sandbox单元；Blink内核单元配置有非H5标准的流媒体协议；Sandbox单元中Render进程模块接收网络数据的权限处于开启状态；Render进程模块包括接口单元和ffmpeg库单元。Blink内核单元在收到非H5标准的流媒体协议地址的访问请求时，创建第一播放单元及第一播放单元对应的播放器界面，并向第一播放单元发送当前请求访问的流媒体协议地址，以使第一播放单元通过接口单元向ffmpeg库单元发送流媒体协议地址。ffmpeg库单元在收到流媒体协议地址时从流媒体协议地址获取对应的多媒体数据，并进行解析得到视频流数据。

Description

多媒体数据的处理装置、方法、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种多媒体数据的处理装置、方法、电子设备及存储介质。

背景技术

目前，在互联网上传输音频或视频等多媒体数据的方式主要有下载和流式传输这两种。在流式传输中，服务器通过特定的流媒体协议向用户设备连续、实时地传送多媒体数据；基于此，用户设备必须具备支持所述特定的流媒体协议的功能，才能实现对所述多媒体数据的解析和播放。

但由于HTML5已成为互联网语言描述的标准，通用浏览器都采用HTML5构建及呈现互联网内容，因此对于多媒体数据而言，通用的浏览器只能解析HTML5所能支持的流媒体协议(以下简称H5标准的流媒体协议)的多媒体数据，如HTTP(HyperText TransferProtocol，超文本传输协议)和HLS(HTTP Live Streaming，动态多媒体传输协议)，而不能解析HTML5不支持的流媒体协议(以下简称非H5标准的流媒体协议)的多媒体数据，从而导致浏览器无法对非H5标准的流媒体协议的多媒体数据进行播放，浏览器兼容性较差。

发明内容

有鉴于此，本发明提供一种多媒体数据的处理装置、方法、电子设备及存储介质。

本发明实施例第一方面，提供一种多媒体数据的处理装置，所述装置包括Browser进程模块、Render进程模块和GPU进程模块；所述Browser进程模块包括Blink内核单元和Sandbox单元；所述Blink内核单元配置有非H5标准的流媒体协议；所述Sandbox单元中Render进程模块接收网络数据的权限处于开启状态；所述Render进程模块包括接口单元和ffmpeg库单元；

所述Blink内核单元，用于在收到非H5标准的流媒体协议地址的访问请求时，在Render进程模块中创建第一播放单元、及在浏览器页面中创建第一播放单元对应的播放器界面，并向第一播放单元发送当前请求访问的流媒体协议地址，以使第一播放单元通过接口单元向ffmpeg库单元发送流媒体协议地址；

所述ffmpeg库单元，用于在收到流媒体协议地址时，从流媒体协议地址获取对应的多媒体数据，并进行解析得到视频流数据，并通过接口单元向第一播放单元发送解析得到的视频流数据，以使第一播放单元向GPU进程模块发送视频流数据；

所述GPU进程模块，用于在收到视频流数据时，将视频流数据对应的视频画面显示于第一播放单元对应的播放器界面。

本发明实施例第二方面，提供一种多媒体数据的处理方法，应用于所述多媒体数据的处理装置，所述方法包括：

收到多媒体数据的访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址；

如果当前请求访问的流媒体地址为非H5标准的流媒体协议地址，则在浏览器页面创建第一播放器界面，并通过ffmpeg库单元从当前请求访问的流媒体地址获取对应的多媒体数据；

通过ffmpeg库单元对获得的多媒体数据进行解析得到第一视频流数据；

将第一视频流数据对应的视频画面显示于第一播放器界面。

本发明实施例第三方面，提供一种电子设备，所述电子设备包括：

处理器；

存储器，用于存储可由所述处理器执行的计算机程序；

其中，所述处理器执行所述程序时实现所述多媒体数据的处理方法的步骤。

本发明实施例第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述多媒体数据的处理方法的步骤。

相比于现有技术，本发明实施例包括以下有益效果：

本发明实施例通过在Blink内核单元配置非H5标准的流媒体协议、在Sandbox单元中开启Render进程模块接收网络数据的权限、以及利用接口单元建立ffmpeg库单元和播放单元之间的通信连接，从而使得浏览器可以通过ffmpeg库单元从非H5标准的流媒体协议地址获取对应的多媒体数据并进行解析得到视频流数据，随后视频流数据可以通过接口单元和播放单元被传输至GPU进程模块，以实现播放。因此，本发明提供的技术方案不仅可以支持H5标准的流媒体协议的多媒体数据的播放，还可以支持非H5标准的流媒体协议的多媒体数据的播放，可以直接打开地址栏中如rtp://、rtsp://、udp://等非H5标准的流媒体协议地址并实现对相应的多媒体数据的播放，有利于提高浏览器的兼容性和用户体验，且无需借助额外服务对非H5标准的流媒体协议的多媒体数据进行解析或转换。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

图1是本发明根据一示例性实施例示出的一种浏览器的结构示意图；

图2是本发明根据一示例性实施例示出的在Render进程中创建第一媒体播放器后的一种浏览器的结构示意图；

图3是相关技术中实现浏览器支持非H5标准的流媒体协议的一种浏览器系统的结构示意图；

图4是本发明根据一示例性实施例示出的一种播放器界面的示意图；

图5是本发明根据一示例性实施例示出的一种多媒体数据的处理装置的结构框图；

图6是本发明根据一示例性实施例示出的另一种多媒体数据的处理装置的结构框图；

图7是本发明根据一示例性实施例示出的一种多媒体数据的处理方法的流程图。

具体实施方式

这里将详细对示例性实施例进行说明，其示例表示在附图中，下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。并且，以下示例性实施例中所描述的实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应该限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释为“在……时”或“当……时”或“响应于确定”。

目前通过通用浏览器观看流式传输的多媒体数据时，有时会出现多媒体数据无法解析和无法播放的情况，而产生这种情况的原因通常是通用浏览器不支持该多媒体数据的流媒体协议。例如，通用浏览器通常只能支持HTML5所能支持的流媒体协议，如HTTP协议和HLS协议，而不能支持HTML5不支持的流媒体协议，如RTP(Real-time Transport Protocol，实时传输协议)、RTCP(Real-time Transport Control Protocol，实时传输控制协议)、RTSP(Real Time Streaming Protocol，即时串流协议)、UDP(User Datagram Protocol，用户数据报文协议)等流媒体协议。从而导致浏览器无法对HTML5标准不支持的流媒体协议的多媒体数据进行播放，浏览器兼容性较低。

其中，为方便描述，以下将HTML5所能支持的流媒体协议简称为H5标准的流媒体协议，将HTML5不能支持的流媒体协议简称为非H5标准的流媒体协议。

基于此，为使得浏览器可以原生支持除了H5标准的流媒体协议以外的其他流媒体协议，提高浏览器的兼容性和用户体验，本发明提供了一种浏览器，本发明提供的浏览器可以是一种新的计算机程序产品，也可以是一种在原有的浏览器的基础上进行改进得到的产品，可以应用于终端。

其中，为了简化浏览器的开发流程、提高浏览器的开发效率和减少开发成本，本发明实施例中，直接对原有浏览器如Chromium浏览器的代码进行修改，以使浏览器可以原生支持除了H5标准的流媒体协议以外的其他流媒体协议。如图1所示，图1是本发明根据一示例性实施例示出的一种浏览器的结构示意图；本发明实施例的浏览器包括Browser进程、Render进程和GPU进程。

所述Browser进程包括Blink内核和Sandbox(沙箱)。所述Blink内核除了配置有H5标准的流媒体协议外，还配置有非H5标准的流媒体协议。所述Sandbox中Render进程接收网络数据的权限处于开启状态，以使Render进程具备从网络中获取多媒体数据的能力。

其中，可以通过在Blink内核的源代码中增加非H5标准的流媒体协议，如rtp://、rtsp://、udp://等协议，实现在Blink内核配置非H5标准的流媒体协议。另外，对于增加的协议，还在浏览器的地址栏导航逻辑中增加相应的修改，并编译打包成浏览器程序，由此当浏览器地址栏中输入的地址为非H5标准的流媒体协议地址时，如输入rtp://xxx/xxx地址时，可以实现浏览器直接访问RTP流媒体协议地址，并播放RTP流媒体协议地址中的视频资源。

所述Render进程包括media框架(多媒体系统框架)；所述media框架包括FFmpegGlue接口层和ffmpeg库。所述FFmpegGlue接口层配置有保存流媒体协议地址的功能，以在浏览器加载完当前网页时或收到用于指示用户需要播放视频的播放请求时，将当前网页对应的流媒体协议地址传送给所述ffmpeg库，以使所述ffmpeg库从流媒体协议地址中获取相应的多媒体数据，并进行解析至少得到相应的视频流数据；除此之外，所述FFmpegGlue接口层还作为网页媒体播放器和所述ffmpeg库的通信接口，以使网页媒体播放器可以接收所述ffmpeg库提供的视频流数据，并将视频流数据发送给所述GPU进程。所述ffmpeg库具备支持H5标准的流媒体协议和非H5标准的流媒体协议的功能，并内置有bitstream filter(比特流过滤器)、demuxer(多路分离器)和decoder(解码器)，可以用于解析H5标准和非H5标准的流媒体协议的多媒体数据。其中，所述ffmpeg库支持的非H5标准的流媒体协议可以包括但不限于：RTP协议、RTCP协议、RTSP协议、UDP协议、RTMP协议(RealTime Messaging Protocol，实时消息传输协议)、RDT协议(可靠数据传输协议)。

所述GPU进程用于对收到的视频流数据进行解码并在网页媒体播放器界面的视频播放窗口中显示解码后的视频流数据对应的视频画面。

需要说明的是，Browser进程、Render进程和GPU进程中除了包含上述所提及的组成部分之外，还具备原有浏览器自身所具备的其他组成部分和功能，例如，如果本发明实施例提供的浏览器是在Chromium浏览器的基础上进行改进，则本发明实施例提供的浏览器上述所提及的组成部分属于Chromium浏览器，并具有Chromium浏览器本身所具备但未在上述提及的其他组成部分，例如，Browser进程还包括net库(也可以称为网络功能库)，media框架还包括外置于ffmpeg库外的若干bitstream filter(比特流过滤器)和若干demuxer(多路分离器)，在此不进行一一赘述。基于此，本发明实施例提供的浏览器除了具备上述所提及的功能外，还具备Chromium浏览器本身所具备的功能，故在此不进行赘述。

另外，在所述Sandbox中Render进程接收网络数据的权限处于开启状态、且当前访问地址为非H5标准的流媒体协议地址的条件下，所述ffmpeg库可以从流媒体协议地址中获取相应的多媒体数据；如果当前访问地址为H5标准的流媒体协议地址，则可以不通过所述ffmpeg库从流媒体协议地址中获取相应的多媒体数据，而是可以通过浏览器原本获取多媒体数据的步骤去获取相应的多媒体数据，例如，通过Chromium浏览器的Browser进程的net库从H5标准的流媒体协议地址中获取相应的多媒体数据，此时获取的多媒体数据可以由外置于ffmpeg库外的bitstream filter和demuxer进行解析，也可以由ffmpeg库内的bitstream filter和demuxer进行解析。以下，说明一下本发明实施例提供的浏览器实现对多媒体数据的播放过程：

在收到多媒体数据的访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址。其中，可以通过判断当前请求访问的流媒体协议地址是否以rtp://、rtsp://或udp://这些非H5标准的流媒体协议对应的地址头部开头，来确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址。

如果当前请求访问的流媒体地址是非H5标准的流媒体协议地址，则通过Blink内核在Render进程中创建第一媒体播放器并在浏览器页面中创建第一媒体播放器对应的播放器界面，且Blink内核将非H5标准的流媒体协议地址发送给第一媒体播放器，此时，对应的浏览器结构如图2所示，图2是本发明根据一示例性实施例示出的在Render进程中创建第一媒体播放器后的一种浏览器的结构示意图。随后，在一方面，第一媒体播放器可以通过FFmpegGlue接口层向ffmpeg库发送非H5标准的流媒体协议地址；在另一方面，第一媒体播放器也可以将非H5标准的流媒体协议地址发送给FFmpegGlue接口层，以使FFmpegGlue接口层保存非H5标准的流媒体协议地址，并在当前网页加载完成后或在收到用户播放视频的请求时，将非H5标准的流媒体协议地址发送给ffmpeg库。ffmpeg库接收到非H5标准的流媒体协议地址之后，通过网络从非H5标准的流媒体协议地址中获取相应的多媒体数据。由于ffmpeg库具备解析多种流媒体协议(包括本发明所提及的非H5标准的流媒体协议)的多媒体数据的功能，因此ffmpeg库获得非H5标准的流媒体协议的多媒体数据之后，可以通过其内部的bitstream filter对以当前流媒体协议格式封装的多媒体数据进行解封装，以还原出其中的多媒体数据流。由于有的多媒体数据流除了包含视频流之外，还可以包含音频流和/或字幕流，因此在还原得到多媒体数据流之后，ffmpeg库还通过其内部的demuxer从多媒体数据流中分离出视频流数据、音频流数据和字幕流数据。需要说明的是，如果多媒体数据流不包含字幕流数据和音频流数据，则经demuxer对多媒体数据流进行处理后，分离得到的是视频流数据。得到视频流数据之后，ffmpeg库通过FFmpegGlue接口层向第一媒体播放器发送视频流数据。第一媒体播放器收到视频流数据之后，将收到的视频流数据发送给GPU进程。随后，GPU进程对视频流数据进行解码，并将解码后的视频流数据对应的视频画面显示于第一媒体播放器对应的播放器界面中。除了视频流数据外，如果还分离得到字幕流数据，则可以通过ffmpeg库内部的decoder对字幕流数据进行解码，随后ffmpeg库通过FFmpegGlue接口层将解码后的字幕流数据发送给第一媒体播放器，由第一媒体播放器将解码后的字幕流数据发送给GPU进程，此时，GPU进程可以直接将解码后的字幕流数据对应的画面显示于第一媒体播放器对应的播放器界面中。或者，分离得到的字幕流数据可以由ffmpeg库通过FFmpegGlue接口层发送给第一媒体播放器，以使第一媒体播放器将分离得到的字幕流数据发送给GPU进程，以由GPU进程对字幕流数据进行解码并显示。可以理解为：对于字幕流数据，由于字幕流数据的解码无需消耗较多的计算量，因此可以通过ffmpeg库对字幕流数据进行软解，也可以通过GPU进程对字幕流数据进行硬解。除了视频流数据外，如果还分离得到音频流数据，则可以由ffmpeg库将音频流数据发送给浏览器所在设备的声卡，由声卡对音频流数据进行处理并播放相应的音频。

如果当前请求访问的流媒体地址是H5标准的流媒体协议地址，则通过Blink内核在Render进程中创建第二媒体播放器并在浏览器页面中创建第二媒体播放器对应的播放器界面，并通过Blink内核的net库从H5标准的流媒体协议地址获取相应的多媒体数据，并将获取的多媒体数据向第二媒体播放器发送。在一个例子中，第二媒体播放器可以通过FFmpegGlue接口层将收到的H5标准的流媒体协议的多媒体数据发送给ffmpeg库，以使ffmpeg库对H5标准的流媒体协议的多媒体数据进行解析得到视频流数据，或者，除了视频流数据外，还可以解析得到音频流数据和字幕流数据中的至少一项。在另一个例子中，第二媒体播放器可以不将H5标准的流媒体协议的多媒体数据发送给ffmpeg库，而是发送给外置于ffmpeg库外任一bitstream filter，由该bitstream filter对H5标准的流媒体协议的多媒体数据解封装后，将还原得到的多媒体数据流发送给外置于ffmpeg库外任一demuxer，以使demuxer从多媒体数据流中分离得到视频流数据，或者，除了视频流数据外，还可以分离得到音频流数据和字幕流数据中的至少一项。无论通过何种途径对多媒体数据进行处理得到视频流数据，得到的视频流数据都会被发送到GPU进程中，由GPU进程对视频流数据进行解码并于第二媒体播放器对应的播放器界面中显示相应的视频画面。另外，如果除了视频流数据外，还分离得到字幕流数据和/或音频流数据，则可以根据上述对字幕流数据和音频流数据的处理原理分别对当前分离得到的字幕流数据或音频流数据进行处理，实现对字幕的显示和音频的播放，在此不进行赘述。

由上述可知，本发明实施例通过在原有浏览器的基础上，对原有浏览器内部进行改进但未增加原有浏览器的组成部分，也未改变原有浏览器的结构框架，就可以实现改进后的浏览器不仅可以支持H5标准的流媒体协议的多媒体数据的播放，还可以支持非H5标准的流媒体协议的多媒体数据的播放，可以直接打开地址栏中如rtp://、rtsp://、udp://等非H5标准的流媒体协议地址并实现对相应的多媒体数据的播放。由此不仅可以降低开发难度、减少开发操作和开发成本，而且还可以实现浏览器能够原生支持除了H5标准的流媒体协议以外的其他流媒体协议的多媒体数据的播放，提高浏览器的兼容性和用户体验。

另外，如图3所示，图3是相关技术中实现浏览器支持非H5标准的流媒体协议的一种浏览器系统的结构示意图，相关技术中，由于原有浏览器的Browser进程只支持H5标准的流媒体协议的多媒体数据，因此为实现浏览器支持非H5标准的流媒体协议的多媒体数据，只能在原有浏览器外增设一层WebSocket服务，以通过WebSocket服务将非H5标准的流媒体协议的多媒体数据转换为H5标准的流媒体协议的多媒体数据后，再发送给原有浏览器，从而使得原有浏览器间接支持非H5标准的流媒体协议的多媒体数据，由此可能会影响原有浏览器对多媒体数据进行播放的实时性。

所以，相对于上述相关技术，本发明实施例提供的浏览器可以直接对非H5标准的流媒体协议的多媒体数据进行解析，无需将非H5标准的流媒体协议的多媒体数据转换为H5标准的流媒体协议的多媒体数据后再进行解析，有利于提高多媒体数据的播放效率；另外，本发明实施例提供的浏览器无需附加额外的服务手段也可以实现对非H5标准的流媒体协议的多媒体数据的支持，用户无需专门去搜索相关解决方案，大大提高用户使用浏览器的方便性。

上述中，在当前请求访问的流媒体地址是非H5标准的流媒体协议地址时，通过Blink内核在Render进程中创建第一媒体播放器并在浏览器页面中创建第一媒体播放器对应的播放器界面的过程可以包括：

在当前请求访问的流媒体地址是非H5标准的流媒体协议地址时，生成用于指示当前请求访问的多媒体数据包含视频流数据的虚拟请求；

根据所述虚拟请求创建HTML的video元素，所述video元素的内容包括当前请求访问的流媒体协议地址和当前请求访问的多媒体数据的类型，以触发Blink内核单元创建第一播放单元和第一播放单元对应的播放器界面；

根据video元素在Render进程中创建第一媒体播放器，并在浏览器页面中创建与第一媒体播放器对应的默认属性的播放器界面，所述默认属性包括播放器界面中视频播放窗口的宽度、高度、播放控制条的属性。

其中，所述默认属性可以由开发人员根据经验或实验预设并保存于浏览器中，以使Blink内核在根据创建的video元素创建播放器界面时可以调用默认属性来创建播放器界面；所述播放控制条用于控制视频的播放，可以包括但不限于：播放控件、暂停控件、拖动控件、快进控件、快退控件、音量调节控件、视频亮度调节控制、视频播放窗口的大小调节控件。

以下，举个例子说明一下Blink内核在Render进程中创建第一媒体播放器并在浏览器页面中创建第一媒体播放器对应的播放器界面的过程：

本实施例中，在浏览器的地址栏中输入的地址为H5标准的流媒体协议地址时，如http://xxx地址，浏览器会先去向对应的网站服务器请求资源，然后根据网站服务器返回的响应和包含网页所有内容(比如文本、超链接、图像、表格和列表等)的<body>标签渲染出http://xxx地址对应的网页。

但在浏览器的地址栏中输入非H5标准的流媒体协议地址时，由于HTML5不支持非H5标准的流媒体协议，因此浏览器自身会返回一个空响应给Blink内核，所述空响应用于指示当前没有资源需要加载。则在Blink内核根据当前流媒体协议地址加载网页时，由于收到空响应而无需执行资源加载的操作，但为实现对非H5标准的流媒体协议地址的访问，所述Blink内核会判断当前流媒体协议地址是否为非H5标准的流媒体协议地址，如地址开头是否为rtp://、rtsp://或udp://等；如果是，则Blink内核生成一个预设的资源响应，即用于指示当前所需加载的资源包括视频资源的虚拟请求，如“video/mp4”，并根据该虚拟请求创建video元素。由于创建的video元素包括当前请求访问的流媒体协议地址和当前请求访问的多媒体数据的类型，例如，当前请求访问的流媒体协议地址为rtp://xxx地址，当前请求访问的多媒体数据的类型是video/mp 4，这么一来，所述video元素的内容可以记载有rtp://xxx地址，资源类型video/mp 4。由此，Blink内核就可以根据video元素得知当前所需加载的资源为视频类型，则会创建出实现视频播放所需应用到的第一媒体播放器和在网页初始化出第一媒体播放器及相应的播放器界面，如图4所示，图4是本发明根据一示例性实施例示出的一种播放器界面的示意图，第一媒体播放器的播放器界面可以包括视频播放窗口41、播放控件42、进度条控件43、拖动控件44、视频时长显示区域45、音量调节控件46和全屏显示控件47。

需要说明的是，由于Blink内核在网页初始化出的第一媒体播放器的播放器界面是Blink内核根据预设的视频播放窗口默认属性创建的，但当前请求访问的多媒体数据对应的视频画面的大小可能与默认属性的视频播放窗口的大小不一样，因此，在ffmpeg库从当前非H5标准的流媒体协议地址获取相应的多媒体数据并对多媒体数据进行解析，将解析得到的视频流数据发送给第一媒体播放器之后，第一媒体播放器会根据接收到的视频流数据所包含的视频画面宽度和高度更新视频播放窗口的宽度和高度，以使更新后的视频播放窗口和当前所需播放的视频画面的大小相近或相同。

接下来，举例说明一下本发明实施例所提供的浏览器的应用场景：

场景一、由于本发明实施例提供的浏览器可以支持rtp://、rtsp://或udp://等非H5标准的流媒体协议，因此在组播技术中，可以应用本发明实施例所提供的浏览器直接播放通过组播方式传送过来的RTP、RTSP或UDP视频流数据，例如，在学校应用场景中，需要实现若干台设备同时播放教学视频文件或其他相关资源时，可以通过采用局域网组播的方式以RTP、RTSP或UDP等流媒体协议将视频文件发送到局域网组播地址中，以实现通过组播的方式将视频文件发送给若干台设备。

场景二、可以根据本发明实施例提供的浏览器的技术方案，构建出可以应用于Electron的Chromium内核，以使应用根据本发明实施例提供的技术方案构建的Chromium内核的Electron可以直接支持非H5标准的流媒体协议的多媒体数据的播放。其中，Electron是一个使用JavaScript，HTML和CSS等Web技术创建原生程序的框架，兼容Mac，Windows和Linux，可以构建出三个平台的应用程序。

与前述浏览器的实施例对应，本发明实施例还提供一种多媒体数据的处理装置，所述多媒体数据的处理装置可以为本发明实施例提供的浏览器的一种抽象化的表现形式，也可以作为内嵌于需要实现多媒体数据的解析的设备或应用软件中的一种功能模块，以使需要实现多媒体数据的解析的设备或应用软件可以支持H5标准和非H5标准的流媒体协议的多媒体数据的播放。所述多媒体数据的处理装置可以应用于服务器、笔记本电脑、台式电脑、平板电脑、手机或智能交互平板。

如图5所示，图5是本发明根据一示例性实施例示出的一种多媒体数据的处理装置的结构框图，其包括Browser进程模块51、Render进程模块52和GPU进程模块53。所述Browser进程模块51包括Blink内核单元511和Sandbox单元512。所述Blink内核单元511配置有非H5标准的流媒体协议；所述Sandbox单元512中Render进程模块52接收网络数据的权限处于开启状态，以使Render进程模块52具备从网络中获取多媒体数据的能力。所述Render进程模块52包括media框架模块521；所述media框架模块521包括接口单元5211和ffmpeg库单元5212。所述接口单元5211相当于本发明前述实施例提供的浏览器的FFmpegGlue接口层，配置有保存流媒体协议地址的功能，用于作为网页媒体播放器与ffmpeg库单元5212之间的通信接口。

其中，所述Blink内核单元511，用于在收到非H5标准的流媒体协议地址的访问请求时，在Render进程模块52中创建第一播放单元、及在浏览器页面中创建第一播放单元对应的播放器界面，并向第一播放单元发送当前请求访问的流媒体协议地址，以使第一播放单元通过接口单元5211向ffmpeg库单元5212发送流媒体协议地址；

所述ffmpeg库单元5212，用于在收到流媒体协议地址时，从流媒体协议地址获取对应的多媒体数据，并进行解析得到视频流数据，并通过接口单元5211向第一播放单元发送解析得到的视频流数据，以使第一播放单元向GPU进程模块53发送视频流数据；

所述GPU进程模块53，用于在收到视频流数据时，将视频流数据对应的视频画面显示于第一播放单元对应的播放器界面。

由此，可以实现对非H5标准的流媒体协议的多媒体数据的播放。

需要说明的是，Blink内核单元511在Render进程模块52中创建的第一播放单元5210也属于media框架模块521中的一部分，如图6所示，图6是本发明根据一示例性实施例示出的另一种多媒体数据的处理装置的结构框图。

在一实施例中，所述Blink内核单元511创建第一播放单元和第一播放单元对应的播放器界面的过程可以包括：

在收到访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址；

确定当前请求访问的流媒体协议地址为非H5标准的流媒体协议地址时，生成用于指示当前请求访问的多媒体数据包含视频流数据的虚拟请求；

根据所述虚拟请求创建HTML的video元素；

根据video元素在Render进程中创建第一播放单元，并在浏览器页面中创建与第一播放单元对应的默认属性的播放器界面。

其中，本发明装置实施例中的Blink内核单元511创建第一播放单元和第一播放单元对应的播放器界面的原理可参见前述浏览器实施例中Blink内核在Render进程中创建第一媒体播放器并在浏览器页面中创建第一媒体播放器对应的播放器界面的原理，在此不进行赘述。

在一实施例中，所述Blink内核单元511还配置有H5标准的流媒体协议。基于此，所述Blink内核单元511，还用于在收到H5标准的流媒体协议地址的访问请求时，在Render进程模块52中创建第二播放单元、及在浏览器页面中创建第二播放单元对应的播放器界面，还通过内置的网络功能库从当前请求访问的流媒体协议地址获取对应的多媒体数据，并向第二播放单元发送，以使第二播放单元通过接口单元5211向ffmpeg库单元5212发送网络功能库获取的多媒体数据；

所述ffmpeg库单元5212，还用于在收到网络功能库获取的多媒体数据时，对网络功能库获取的多媒体数据进行解析得到视频流数据，并通过接口单元5211向第二播放单元发送解析得到的视频流数据，以使第二播放单元向GPU进程发送视频流数据；

所述GPU进程模块53，还用于在收到第二播放单元发送的视频流数据时，将视频流数据对应的视频画面显示于第二播放单元对应的播放器界面。

在一个例子中，如果将本发明实施例的多媒体数据的处理装置应用于Chromium浏览器中，则上述的网络功能库相当于Chromium浏览器的net库。

上述中，ffmpeg库单元5212对多媒体数据进行解析的过程可参见本发明实施例的浏览器中的ffmpeg库对多媒体数据进行解析的过程，在此不进行赘述。

在一实施例中，所述Render进程模块52的media框架模块521还可以包括外置于ffmpeg库单元5212外的解析单元，所述解析单元用于解析多媒体数据。所述解析单元可以包括若干比特流过滤器和若干多路分离器。基于此，对于H5标准的流媒体协议的多媒体数据，可以不通过ffmpeg库单元5212进行解析，而是通过解析单元中的任一比特流过滤器和任一多路分离器进行解析。因此，上述实现对H5标准的流媒体协议的多媒体数据的播放所应用到的各单元的功能可以适应性地调整为：

所述Blink内核单元511，还用于在收到H5标准的流媒体协议地址的访问请求时，在Render进程模块52中创建第二播放单元、及在浏览器页面中创建第二播放单元对应的播放器界面，还通过内置的网络功能库从当前请求访问的流媒体协议地址获取对应的多媒体数据，并向第二播放单元发送，以使第二播放单元向解析单元发送网络功能库获取的多媒体数据；

所述解析单元，用于在收到网络功能库获取的多媒体数据时，对网络功能库获取的多媒体数据进行解析得到视频流数据，并向第二播放单元发送解析得到的视频流数据，以使第二播放单元向GPU进程发送视频流数据；

所述GPU进程模块53，还用于在收到第二播放单元发送的视频流数据时，将视频流数据对应的视频画面显示于第二播放单元对应的播放器界面。

需要说明的是，在所述Render进程模块52还包括解析单元的实施例中，可以采用解析单元对H5标准的流媒体协议的多媒体数据进行解析，也可以采用ffmpeg库单元5212对H5标准的流媒体协议的多媒体数据进行解析。

上述装置中各个模块和单元的功能和作用的实现过程具体详见上述浏览器实施例中对应部分的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于浏览器实施例，所以相关之处参见浏览器实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

与前述浏览器或装置的实施例对应，本发明实施例还提供了一种多媒体数据的处理方法，所述方法可以通过软件执行，也可以通过硬件执行，还可以通过软件和硬件相结合并协同执行；其中涉及的硬件可以由一个或一个以上的物理实体构成，例如，本发明实施例的多媒体数据的处理方法的执行主体可以是一种装载于服务器、笔记本电脑、台式电脑、平板电脑、手机或智能交互平板的功能模块，也可以是服务器、笔记本电脑、台式电脑、平板电脑、手机或智能交互平板。

如图7所示，图7是本发明根据一示例性实施例示出的一种多媒体数据的处理方法的流程图。所述多媒体数据的处理方法可以实现对非H5标准的流媒体协议的多媒体数据的播放，不过其需依赖于本发明实施例提供的浏览器或装置，可以理解为是本发明实施例提供的浏览器或装置对多媒体数据进行处理的一种方法。所述多媒体数据的处理方法包括：

在步骤S061中，收到多媒体数据的访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址；

在步骤S062中，如果当前请求访问的流媒体地址为非H5标准的流媒体协议地址，则在浏览器页面创建第一播放器界面，并通过ffmpeg库单元从当前请求访问的流媒体地址获取对应的多媒体数据；

在步骤S063中，通过ffmpeg库单元对获得的多媒体数据进行解析得到第一视频流数据；

在步骤S064中，将第一视频流数据对应的视频画面显示于第一播放器界面。在一实施例中，所述在浏览器页面创建第一播放器界面包括：

在步骤S0621中，生成用于指示当前请求访问的多媒体数据包含视频流数据的虚拟请求；

在步骤S0622中，根据所述虚拟请求创建HTML的video元素；

在步骤S0623中，根据video元素在浏览器页面中创建默认属性的第一播放器界面。

在一实施例中，所述方法还可以包括：

在步骤S065中，如果当前请求访问的流媒体协议地址为H5标准的流媒体协议地址，则在浏览器页面创建第二播放器界面，并通过网络功能库从当前请求访问的流媒体地址获取对应的多媒体数据；

在步骤S066中，对通过网络功能库获得的多媒体数据进行解析得到第二视频流数据；

在步骤S067中，将第二视频流数据对应的视频画面显示于第二播放器界面。

在一实施例中，非H5标准的流媒体协议包括以下至少之一：RTP协议、RTCP协议、RTSP协议、UDP协议、RTMP协议、RDT协议。

上述中，第一播放器界面可以为第一播放单元对应的播放器界面，第二播放器界面可以为第二播放单元对应的播放器界面。

上述方法中各个步骤的实现过程具体详见上述浏览器实施例或装置实施例中对应部分的实现过程，在此不再赘述。

对于方法实施例而言，由于其基本对应于浏览器实施例，所以相关之处参见浏览器实施例的部分说明即可。

与前述多媒体数据的处理方法的实施例对应，本发明实施例还提供一种电子设备，其包括：

处理器；

存储器，用于存储可由所述处理器执行的计算机程序；

其中，所述处理器执行所述程序时实现前述任一方法实施例中的所述多媒体数据的处理方法的步骤。

在一实施例中，所述电子设备可以包括但不限于以下任一：服务器、笔记本电脑、台式电脑、平板电脑、手机和智能交互平板。其中，所述智能交互平板可以是通过触控技术对显示在显示屏上的内容进行操控和实现人机交互操作的一体化设备，其可以集成投影机、电子白板、幕布、音响、电视机以及视频会议终端等其中一种或多种功能。

在一实施例中，所述智能交互平板可以与至少一个外部装置建立数据连接。所述外部装置可以包括但不限于：手机、笔记本电脑、USB闪存盘、平板电脑、台式电脑及服务器等。本实施例对所述外部装置与智能交互平板之间的数据连接的通信方式不作限定，例如，所述通信方式可以包括但不限于：USB连接、互联网、局域网、蓝牙、WIFI或紫峰协议(ZigBee)。

与前述多媒体数据的处理方法的实施例对应，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一方法实施例中的多媒体数据的处理方法的步骤。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种多媒体数据的处理装置，其特征在于，所述装置包括Browser进程模块、Render进程模块和GPU进程模块；所述Browser进程模块包括Blink内核单元和Sandbox单元；所述Blink内核单元配置有非H5标准的流媒体协议；所述Sandbox单元中Render进程模块接收网络数据的权限处于开启状态；所述Render进程模块包括接口单元和ffmpeg库单元；

所述Blink内核单元，用于在收到非H5标准的流媒体协议地址的访问请求时，在Render进程模块中创建第一播放单元、及在浏览器页面中创建第一播放单元对应的播放器界面，并向第一播放单元发送当前请求访问的流媒体协议地址，以使第一播放单元通过接口单元向ffmpeg库单元发送流媒体协议地址；

所述ffmpeg库单元，用于在收到流媒体协议地址时，从流媒体协议地址获取对应的多媒体数据，并进行解析得到视频流数据，并通过接口单元向第一播放单元发送解析得到的视频流数据，以使第一播放单元向GPU进程模块发送视频流数据；

所述GPU进程模块，用于在收到视频流数据时，将视频流数据对应的视频画面显示于第一播放单元对应的播放器界面。

2.根据权利要求1所述的装置，其特征在于，所述Blink内核单元创建第一播放单元和第一播放单元对应的播放器界面的过程包括：

在收到访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址；

确定当前请求访问的流媒体协议地址为非H5标准的流媒体协议地址时，生成用于指示当前请求访问的多媒体数据包含视频流数据的虚拟请求；

根据所述虚拟请求创建HTML的video元素；

根据video元素在Render进程模块中创建第一播放单元，并在浏览器页面中创建与第一播放单元对应的默认属性的播放器界面。

3.根据权利要求1所述的装置，其特征在于，所述Blink内核单元还配置有H5标准的流媒体协议；

所述Blink内核单元，还用于在收到H5标准的流媒体协议地址的访问请求时，在Render进程模块中创建第二播放单元、及在浏览器页面中创建第二播放单元对应的播放器界面，还通过内置的网络功能库从当前请求访问的流媒体协议地址获取对应的多媒体数据，并向第二播放单元发送，以使第二播放单元通过接口单元向ffmpeg库单元发送网络功能库获取的多媒体数据；

所述ffmpeg库单元，还用于在收到网络功能库获取的多媒体数据时，对网络功能库获取的多媒体数据进行解析得到视频流数据，并通过接口单元向第二播放单元发送解析得到的视频流数据，以使第二播放单元向GPU进程发送视频流数据；

所述GPU进程模块，还用于在收到第二播放单元发送的视频流数据时，将视频流数据对应的视频画面显示于第二播放单元对应的播放器界面。

4.根据权利要求1所述的装置，其特征在于，所述Blink内核单元还配置有H5标准的流媒体协议；所述Render进程模块还包括解析单元；

所述Blink内核单元，还用于在收到H5标准的流媒体协议地址的访问请求时，在Render进程模块中创建第二播放单元、及在浏览器页面中创建第二播放单元对应的播放器界面，还通过内置的网络功能库从当前请求访问的流媒体协议地址获取对应的多媒体数据，并向第二播放单元发送，以使第二播放单元向解析单元发送网络功能库获取的多媒体数据；

所述解析单元，用于在收到网络功能库获取的多媒体数据时，对网络功能库获取的多媒体数据进行解析得到视频流数据，并向第二播放单元发送解析得到的视频流数据，以使第二播放单元向GPU进程发送视频流数据；

所述GPU进程模块，还用于在收到第二播放单元发送的视频流数据时，将视频流数据对应的视频画面显示于第二播放单元对应的播放器界面。

5.一种多媒体数据的处理方法，其特征在于，应用于如权利要求1～4任一项所述的装置，所述方法包括：

收到多媒体数据的访问请求时，确定当前请求访问的流媒体协议地址是否为非H5标准的流媒体协议地址；

如果当前请求访问的流媒体地址为非H5标准的流媒体协议地址，则在浏览器页面创建第一播放器界面，并通过ffmpeg库单元从当前请求访问的流媒体地址获取对应的多媒体数据；

通过ffmpeg库单元对获得的多媒体数据进行解析得到第一视频流数据；

将第一视频流数据对应的视频画面显示于第一播放器界面。

6.根据权利要求5所述的方法，其特征在于，所述在浏览器页面创建第一播放器界面包括：

生成用于指示当前请求访问的多媒体数据包含视频流数据的虚拟请求；

根据所述虚拟请求创建HTML的video元素；

根据video元素在浏览器页面中创建默认属性的第一播放器界面。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

如果当前请求访问的流媒体协议地址为H5标准的流媒体协议地址，则在浏览器页面创建第二播放器界面，并通过网络功能库从当前请求访问的流媒体地址获取对应的多媒体数据；

对通过网络功能库获得的多媒体数据进行解析得到第二视频流数据；

将第二视频流数据对应的视频画面显示于第二播放器界面。

8.根据权利要求5所述的方法，其特征在于，非H5标准的流媒体协议包括以下至少之一：RTP协议、RTCP协议、RTSP协议、UDP协议、RTMP协议、RDT协议。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储可由所述处理器执行的计算机程序；

其中，所述处理器执行所述程序时实现权利要求5～8任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求5～8任一项所述方法的步骤。

Images