[go: up one dir, main page]

CN108111874B - 一种文件处理方法、终端及服务器 - Google Patents

一种文件处理方法、终端及服务器 Download PDF

Info

Publication number
CN108111874B
CN108111874B CN201611009068.1A CN201611009068A CN108111874B CN 108111874 B CN108111874 B CN 108111874B CN 201611009068 A CN201611009068 A CN 201611009068A CN 108111874 B CN108111874 B CN 108111874B
Authority
CN
China
Prior art keywords
file
processed
recording
image
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611009068.1A
Other languages
English (en)
Other versions
CN108111874A (zh
Inventor
王通
罗谷才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201611009068.1A priority Critical patent/CN108111874B/zh
Priority to PCT/CN2017/110949 priority patent/WO2018090911A1/zh
Publication of CN108111874A publication Critical patent/CN108111874A/zh
Priority to US16/297,900 priority patent/US10855969B2/en
Application granted granted Critical
Publication of CN108111874B publication Critical patent/CN108111874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephone Function (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种文件处理方法、终端及服务器，其中，所述方法包括：获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包(SDK)和录制插件所生成的逻辑；播放基于源文件得到的第一待处理文件和第二待处理文件，根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；接收录制操作，将所述畸变处理结果提供给录制线程进行录制、编码合成为直接用于虚拟现实(VR)播放的第一目标文件和第二目标文件。

Description

一种文件处理方法、终端及服务器
技术领域
本发明涉及转换技术，尤其涉及一种文件处理方法、终端及服务器。
背景技术
随着人机交互技术的发展，智能终端的大量普及，信息的传输和交互方式越来越便捷和新颖。基于虚拟现实(VR，Virtual Reality)信息传输和交互的场景中，VR眼镜是比较常见的，VR眼镜不仅支持全景的画面，而且还支持3D的画面。然而，要支持3D视频的播放，需要安装专门的应用(APP)进行处理才可以，这会增加额外的处理成本，处理效率低下，不但麻烦，而且处理得到的文件格式还不支持网页上的3D视频播放，应用范围非常局限，处理得到的图像文件与VR眼镜相结合时，是需要把畸变后图像文件投射到眼镜上，才会有3D立体效果，也就是说，不能直接在VR眼镜中正常观看，根源还是因为文件格式带来的应用范围限制。然而，相关技术中，对于这些问题，尚无有效解决方案。
发明内容
有鉴于此，本发明实施例提供了一种文件处理方法、终端及服务器，至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的：
本发明实施例的一种文件处理方法，所述方法包括：
获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件所生成的逻辑；
播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；
根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；
接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
本发明实施例的一种终端，所述终端包括：
获取单元，用于获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件所生成的逻辑；
播放单元，用于播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；
第一处理单元，用于根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；
第二处理单元，用于接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
本发明实施例的一种文件处理方法，所述方法包括：
根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件生成文件转换逻辑；
响应终端发起的下载请求，反馈所述文件转换逻辑给终端。
本发明实施例的一种服务器，所述服务器包括：
生成单元，用于根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件生成文件转换逻辑；
反馈单元，用于响应终端发起的下载请求，反馈所述文件转换逻辑给终端。
本发明实施例的文件处理方法，包括：获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件所生成的逻辑；播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
采用本发明实施例，一方面，以文件转换逻辑作为通用的处理机制，可以进行音视频解码、畸变处理等一系列处理，从而自适应任何源文件和终端，不需要在终端上安装专门的应用进行处理。而且，该处理所针对的对象是基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件，也就是说，是针对源文件的左/右格式进行处理，这样会达到更好的畸变处理效果，也不需要如现有技术一样后续将源文件处理结果分别投屏到VR上播放。另一方面，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享，从而无需多次拷贝操作，只需要录制时去共享中获取所需文件即可，不仅可以提高效率，而且可以避免过多占用CPU和内存。在接收录制操作后，将所述畸变处理结果提供给录制线程进行录制，最后编码合成为直接用于VR播放的第一目标文件和第二目标文件。
附图说明
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图；
图2为如图1所示的移动终端的通信系统示意图；
图3为本发明实施例中进行信息交互的各方硬件实体的示意图；
图4为本发明实施例一方法实现流程的示意图；
图5为本发明实施例又一方法实现流程的示意图；
图6为本发明实施例一系统架构的示意图；
图7为采用专门APP进行文件转换的示意图；
图8-9为一图像畸变前、畸变后的应用场景示意图；
图10为采用本发明实施例一文件转换流程图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
在下面的详细说明中，陈述了众多的具体细节，以便彻底理解本发明。不过，对于本领域的普通技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细说明公开的公知方法、过程、组件、电路和网络，以避免不必要地使实施例的各个方面模糊不清。
另外，本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等，不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如，第一操作可以被称为第二操作，第二操作也可以被称为第一操作，而不脱离本发明的范围，第一操作和第二操作都是操作，只是二者并不是相同的操作而已。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本发明实施例中的步骤描述只是可选的顺序组合，并不代表本发明实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如，本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable Media Player)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图。
移动终端100可以包括通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、获取单元140、播放单元141、第一处理单元142、第二处理单元143、输出单元150、存储单元160、接口单元170、处理单元180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信(如果将移动终端用固定终端代替，也可以通过有线方式进行电通信)。例如，通信单元具体为无线通信单元时可以包括广播接收单元111、移动通信单元112、无线互联网单元113、短程通信单元114和位置信息单元115中的至少一个，这些单元是可选的，根据不同需求可以增删。
广播接收单元111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信单元112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB，Digital Multimedia Broadcasting)的电子节目指南(EPG，Electronic Program Guide)、数字视频广播手持(DVB-H，Digital Video Broadcasting-Handheld)的电子服务指南(ESG，Electronic Service Guide)等等的形式而存在。广播接收单元111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收单元111可以通过使用诸如多媒体广播-地面(DMB-T，Digital Multimedia Broadcasting-Terrestrial)、数字多媒体广播-卫星(DMB-S，Digital Multimedia Broadcasting-Satellite)、DVB-H，前向链路媒体(MediaFLO，Media Forward Link Only)的数据广播系统、地面数字广播综合服务(ISDB-T，Integrated Services Digital Broadcasting-Terrestrial)等等的数字广播系统接收数字广播。广播接收单元111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收单元111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信单元112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网单元113支持移动终端的无线互联网接入。该单元可以内部或外部地耦接到终端。该单元所涉及的无线互联网接入技术可以包括无线局域网络(Wi-Fi，WLAN，Wireless Local Area Networks)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)等等。
短程通信单元114是用于支持短程通信的单元。短程通信技术的一些示例包括蓝牙、射频识别(RFID，Radio Frequency Identification)、红外数据协会(IrDA，InfraredData Association)、超宽带(UWB，Ultra Wideband)、紫蜂等等。
位置信息单元115是用于检查或获取移动终端的位置信息的单元。位置信息单元的典型示例是全球定位系统(GPS，Global Positioning System)。根据当前的技术，位置信息单元115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，位置信息单元115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储单元160(或其它存储介质)中或者经由通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信单元112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、鼠标、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
获取单元140，用于获取文件转换逻辑；播放单元141，用于播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；第一处理单元142，用于根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；第二处理单元143，用于接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别单元的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别单元可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别单元(UIM，User Identify Module)、客户识别单元(SIM，Subscriber Identity Module)、通用客户识别单元(USIM，Universal SubscriberIdentity Module)等等。另外，具有识别单元的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出单元152等等。
显示单元151可以显示在移动终端100中处理的信息。例如，移动终端100可以显示相关用户界面(UI，User Interface)或图形用户界面(GUI，Graphical User Interface)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD，LiquidCrystal Display)、薄膜晶体管LCD(TFT-LCD，Thin Film Transistor-LCD)、有机发光二极管(OLED，Organic Light-Emitting Diode)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为透明有机发光二极管(TOLED)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出单元152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出单元152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元152可以包括扬声器、蜂鸣器等等。
存储单元160可以存储由处理单元180执行的处理和控制操作的软件程序等等，或者可以暂时地存储已经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储单元160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储单元160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM，Random AccessMemory)、静态随机访问存储器(SRAM，Static Random Access Memory)、只读存储器(ROM，Read Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically ErasableProgrammable Read Only Memory)、可编程只读存储器(PROM，Programmable Read OnlyMemory)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储单元160的存储功能的网络存储装置协作。
处理单元180通常控制移动终端的总体操作。例如，处理单元180执行与语音通话、数据通信、视频通话等等相关的控制和处理。又如，处理单元180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在处理单元180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，DigitalSignal Processing)、数字信号处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在处理单元180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件单元来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储单元160中并且由处理单元180执行。其中，存储单元160的一个具体硬件实体可以为存储器，处理单元180的一个具体硬件实体可以为控制器。
至此，已经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明实施例的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA，Frequency Division Multiple Access)、时分多址(TDMA，Time Division Multiple Access)、码分多址(CDMA，Code Division MultipleAccess)和通用移动通信系统(UMTS，Universal Mobile Telecommunications System)(特别地，长期演进(LTE，Long Term Evolution))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS，BaseStation)270、基站控制器(BSC，Base Station Controller)275和移动交换中心(MSC，Mobile Switching Center)280。MSC280被构造为与公共电话交换网络(PSTN，PublicSwitched Telephone Network)290形成接口。MSC280还被构造为与可以经由回程线路耦接到BS270的BSC275形成接口。回程线路可以根据若干已知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。
每个BS 270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS 270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS 270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz，5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS 270也可以被称为基站收发器子系统(BTS，Base Transceiver Station)或者其它等效术语。在这样的情况下，术语“基站”可以用于笼统地表示单个BSC275和至少一个BS 270。基站也可以被称为“蜂窝站”。或者，特定BS 270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT，Broadcast Transmitter)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收单元111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个卫星300，例如可以采用GPS卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的位置信息单元115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作，BS 270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站接收的每个反向链路信号被在特定BS 270内进行处理。获得的数据被转发给相关的BSC275。BSC275提供通话资源分配和包括BS 270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC280与BSC275形成接口，并且BSC275相应地控制BS 270以将正向链路信号发送到移动终端100。
移动终端中通信单元110的移动通信单元112基于移动终端内置的接入移动通信网络(如2G/3G/4G等移动通信网络)的必要数据(包括用户识别信息和鉴权信息)接入移动通信网络为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据)。
通信单元110的无线互联网单元113通过运行无线热点的相关协议功能而实现无线热点的功能，无线热点支持多个移动终端(移动终端之外的任意移动终端)接入，通过复用移动通信单元112与移动通信网络之间的移动通信连接为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据)，由于移动终端实质上是复用移动终端与通信网络之间的移动通信连接传输移动通信数据的，因此移动终端消耗的移动通信数据的流量由通信网络侧的计费实体计入移动终端的通信资费，从而消耗移动终端签约使用的通信资费中包括的移动通信数据的数据流量。
图3为本发明实施例中进行信息交互的各方硬件实体的示意图，图3中包括：终端设备1和服务器2。其中，终端设备1由终端设备11-14构成，终端设备通过有线网络或者无线网络与服务器进行信息交互。终端设备包括手机、台式机、PC机、一体机等类型。采用本发明实施例，终端可以向服务器发起下载请求，以获取文件转换逻辑，该文件转换逻辑在实际应用中可以为通用安装包的形式，该通用安装包是经windows平台处理后得到的通用安装包，不需要手机安装专门的APP，只需要下载该通用安装包到终端本地后，就可以直接使用该通用安装包实现播放、畸变处理等操作。基于该通用安装包所针对的操作对象为同一源文件(如视频文件)的左、右格式文件，不仅会达到更好的畸变处理效果，而且不需要如现有技术一样是针对源文件的处理，最终将处理结果分别投屏到VR眼镜上播放，更加方便快捷。本发明实施例将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享，从而无需多次拷贝操作，只需要录制时去共享中获取所需文件即可，不仅可以提高效率，而且可以避免过多占用CPU和内存。在接收录制操作后，将所述畸变处理结果提供给录制线程进行录制，最后编码合成为直接用于VR播放的第一目标文件和第二目标文件。可见，采用本发明实施例，在后台的windows平台处理生成文件转换逻辑(如通用安装包)，终端得到该文件转换逻辑(如通用安装包)，直接使用该文件转换逻辑(如通用安装包)进行处理即可。
具体的，通过终端设备执行的处理逻辑10如图3所示，处理逻辑10包括：
S1、获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、SDK和录制插件所生成的逻辑；S2、根据文件转换逻辑播放基于源文件得到的左视频文件和右视频文件，左视频文件为基于源文件进行播放并显示于终端屏幕左侧的文件，右视频文件为基于源文件进行播放并显示于终端屏幕右侧的文件；S3、根据所述文件转换逻辑进行左视频文件和右视频文件对应的音视频解码，分别得到音频文件和图像文件；S4、将图像文件进行畸变处理，将得到的图像畸变处理结果以图像文件格式存储于显存中进行文件共享；S5、接收录制操作，将图像畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述图像畸变处理结果和所述音频文件编码合成为直接用于VR播放的目标文件，该目标文件为分别对应初始文件(左视频文件和右视频文件)的第一目标文件和第二目标文件，从而，最终将第一目标文件和第二目标文件直接用于VR眼镜上的播放。
上述图3的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图3所述的系统结构，基于上述图3所述的系统架构，提出本发明方法各个实施例。
本发明实施例的一种文件处理方法，如图4所示，所述方法包括：获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包(SDK)和录制插件所生成的逻辑101，以便后续的具体处理中，可以使用该文件转换逻辑进行播放、音视频分解、畸变、目标文件录制等一系列操作。该文件转换逻辑是SDK安装包形式存在时，该安装包为经windows平台处理后得到的通用安装包，不需要终端安装专门的APP，任意终端只需要下载该通用安装包到终端本地后，就可以直接使用该安装包实现播放，畸变处理等操作，即使用该通用安装包对源文件进行处理以得到目标文件，进一步还可以将该目标文件分享到网络上。在使用该文件转换逻辑进行播放、音视频分解、畸变、目标文件录制等一系列操作中，首先播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件102。根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件103。将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享104。接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件105。
VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，提供多源信息融合的交互式的三维动态视景和实体行为的系统仿真，以便使用户沉浸到该模拟环境中。VR主要包括模拟环境、感知、自然技能和传感设备等方面。该模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
随着VR的发展，各大VR厂商推出了各自的VR眼镜，对于这种通过VR眼镜得到的新的人机交互方式，由于其更自然和更立体的环境模拟，结合移动终端的日益普及性，移动VR更快的走进了大众消费者的生活，VR眼镜不仅支持全景的画面，而且还支持3D的画面。可是目前3D视频的播放都需要安装专门APP才可以进行转换，不但麻烦，而且还不支持网页的3D播放，其原因是：通常终端上安装的APP只是视频播放器，没有网页浏览功能，所以对于网页的3D视频播放是不支持的，目前3D视频大部分都是左右格式，这种格式不能直接在VR眼镜中正常观看，因为VR眼镜是需要把畸变后图像投射到眼镜，才会有3D立体效果。
在实际应用中，以移动VR场景为例，采用本发明实施例，基于文件转码的处理逻辑(如文件转换逻辑)，通过手机终端任意的内置播放器即可播放，用户还可以方便将转换后的目标视频文件上传至视频网站，方便分享，从而在网页里就可以体验3D视频。对于该基于文件转码的处理逻辑(如文件转换逻辑)而言，播放，解码，畸变、录制，保存，分享，采用VLC+Unity3D+CardboardSDK+OBS组合的方式，生成新的视频文件，具体的，是针对左、右格式视频做畸变转换并保存为相同格式视频文件，可以轻松在手机终端的任意视频播放器，不需要专门的APP进行处理。将生成后的文件，一键分享至网页上，在网页页面上进行播放。
采用本发明实施例，除了区别于现有技术，现有技术是对原始的源文件进行的处理，最终，还需要投射到VR眼镜中投屏显示，对格式有限制，而本发明是直接将源文件通过VR眼镜显示所需要的左右格式视频为基础进行处理，不受格式显示，后续，VR直接可以进行观看，不需要投屏。而且，畸变后的图像通过显存共享，避免录制过程中的多次拷贝，避免过多占用CPU和内存，从而影响到总的处理效率，实现了高效、无延迟图像传输，节省了CPU和内存资源。
对于如何在后台windows生成上述基于文件转码的处理逻辑(如文件转换逻辑)而言，其中，VLC指视频解码，音频解码；Cardboard指图像畸变；OBS指将畸变后的图像和音频进行编码压缩，保存文件。运行在Windows平台的Unity环境中，导入Cardboard SDK插件包。Cardboard SDK的作用是做畸变。Cardboard SDK可以根据屏幕宽高比、分辨率来适配畸变参数，还有预置多种种手机型号。Cardboard SDK本身是很全的开发包，本方案这里只用了畸变功能，所以需要对其进行裁剪。Unity中没有任意视频格式的播放器，VLC是全平台的全格式播放器，做一个VLC在Unity中的播放插件，利用VLC可以将3D视频的音频和图像分别解码出来，然后，对于需要处理的重点图像进行畸变处理。OBS作为windows平台的录制工具，自带插件可以针对窗口进行录制。由于针对窗口录像需要做多次拷贝操作，效率很低，占用CPU和内存都很高。本方案对这里进行优化，分别写了两个插件，一个用于Unity中，将畸变后的图像通过显存共享。另一个插件用于在OBS中，从显存中拿到图像，直接交给录制线程。这样在图像拷贝过程中，因为都是在显存中操作，拷贝操作基本无消耗内存，无消耗CPU。OBS将畸变后的图像和声音，通过压缩编码，最后保存为目标视频文件。
本发明实施例的一种文件处理方法，如图5所示，所述方法包括：获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、SDK和录制插件所生成的逻辑201，以便后续的具体处理中，可以使用该文件转换逻辑进行播放、音视频分解、畸变、目标文件录制等一系列操作。该文件转换逻辑是SDK安装包形式存在时，该安装包为经WINDOW平台处理后得到的通用安装包，不需要终端安装专门的APP，任意终端只需要下载该通用安装包到终端本地后，就可以直接使用该安装包实现播放，畸变处理等操作，即使用该通用安装包对源文件进行处理以得到目标文件，进一步还可以将该目标文件分享到网络上。在使用该文件转换逻辑进行播放、音视频分解、畸变、目标文件录制等一系列操作中，首先播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件202。根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到对应第一待处理文件的第一音频文件和第一图像文件，及对应第二待处理文件的第二音频文件和第二图像文件，即根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件203。在将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理的过程中，获取与终端屏幕显示有关的第一信息204，所述第一信息包括：屏幕宽高比、分辨率中的至少一种信息。获取与终端自身性能有关的第二信息205，所述第二信息包括：终端的型号、终端处理器性能指标中的至少一种信息。根据所述第一信息和/或所述第二信息对所述第一图像文件和所述第二图像文件进行畸变处理，得到与第一图像文件相关的第三图像文件和与第二图像文件相关的第四图像文件206，将所述第三图像文件和所述第四图像文件存储于显存中进行文件共享207，以便将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享。接收录制操作，将所述第三图像文件和所述第四图像文件提供给录制线程进行录制时，根据所述文件转换逻辑将所述第一音频文件和所述第三图像文件编码合成为第一目标文件，将所述第二音频文件和所述第四图像文件编码合成为第二目标文件，将第一目标文件和第二目标文件直接用于VR播放208。
VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，提供多源信息融合的交互式的三维动态视景和实体行为的系统仿真，以便使用户沉浸到该模拟环境中。VR主要包括模拟环境、感知、自然技能和传感设备等方面。该模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
采用本发明实施例，将所述第一目标文件和所述第二目标文件，与VR眼镜结合的场景中，由于本发明实施例是直接将源文件通过VR眼镜显示所需要的左右格式视频为基础进行处理，因此，不受格式显示及应用范围的限制，VR眼镜可以直接使用上述目标文件，在任意终端或网页上进行观看，不需要投屏处理，提高了处理效率，使得文件格式对于各种终端和应用范围具备兼容性。其中，各种终端播放上述目标文件势必会带来不同程度的畸变，因此，在本发明实施例中，预先通过文件转换逻辑，针对不同终端存在的畸变可能性，采用对应的畸变参数进行调整，以确保最终播放的效果是清晰和无畸变的。具体的，畸变参数，与屏幕宽高比、分辨率、终端如手机终端的型号等信息有关。
现有技术是对原始的源文件进行的处理，最终，还需要投射到VR眼镜中投屏显示，对格式有限制，而本发明实施例是直接将源文件通过VR眼镜显示所需要的左右格式视频为基础进行处理，不受格式显示，后续，VR直接可以进行观看，不需要投屏。而且，畸变后的图像通过显存共享，避免录制过程中的多次拷贝，避免过多占用CPU和内存，从而影响到总的处理效率，实现了高效、无延迟图像传输，节省了CPU和内存资源。
对于如何在后台windows生成上述基于文件转码的处理逻辑(如文件转换逻辑)而言，其中，VLC指视频解码，音频解码；Cardboard指图像畸变；OBS指将畸变后的图像和音频进行编码压缩，保存文件。运行在Windows平台的Unity环境中，导入Cardboard SDK插件包。Cardboard SDK的作用是做畸变。Cardboard SDK可以根据屏幕宽高比、分辨率来适配畸变参数，还有预置多种种手机型号。Cardboard SDK本身是很全的开发包，本方案这里只用了畸变功能，所以需要对其进行裁剪。Unity中没有任意视频格式的播放器，VLC是全平台的全格式播放器，做一个VLC在Unity中的播放插件，利用VLC可以将3D视频的音频和图像分别解码出来，然后，对于需要处理的重点图像进行畸变处理。OBS作为windows平台的录制工具，自带插件可以针对窗口进行录制。由于针对窗口录像需要做多次拷贝操作，效率很低，占用CPU和内存都很高。本方案对这里进行优化，分别写了两个插件，一个用于Unity中，将畸变后的图像通过显存共享。另一个插件用于在OBS中，从显存中拿到图像，直接交给录制线程。这样在图像拷贝过程中，因为都是在显存中操作，拷贝操作基本无消耗内存，无消耗CPU。OBS将畸变后的图像和声音，通过压缩编码，最后保存为目标视频文件。
基于上述各个实施例，本发明实施例一实施方式中，所述方法还包括：接收文件分享操作，将所述第一目标文件和所述第二目标文件按照目标用户地址分享给所述目标用户；或者，将所述第一目标文件和所述第二目标文件按照网页连接地址分享到对应的网页上。
基于上述各个实施例，本发明实施例一实施方式中，所述方法还包括：将所述第一目标文件和所述第二目标文件以相同格式的视频文件进行存储。
本发明实施例的一种文件处理系统，终端可以向服务器发起下载请求，以获取文件转换逻辑，该文件转换逻辑在实际应用中可以为通用安装包的形式，该通用安装包是经windows平台处理后得到的通用安装包，不需要手机安装专门的APP，只需要下载该通用安装包到终端本地后，就可以直接使用该通用安装包实现播放、畸变处理等操作。基于该通用安装包所针对的操作对象为同一源文件(如视频文件)的左、右格式文件，不仅会达到更好的畸变处理效果，而且不需要如现有技术一样是针对源文件的处理，最终将处理结果分别投屏到VR眼镜上播放，更加方便快捷。本发明实施例将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享，从而无需多次拷贝操作，只需要录制时去共享中获取所需文件即可，不仅可以提高效率，而且可以避免过多占用CPU和内存。在接收录制操作后，将所述畸变处理结果提供给录制线程进行录制，最后编码合成为直接用于VR播放的第一目标文件和第二目标文件。可见，采用本发明实施例，在后台的windows平台处理生成文件转换逻辑(如通用安装包)，终端得到该文件转换逻辑(如通用安装包)，直接使用该文件转换逻辑(如通用安装包)进行处理即可。如图6所示，包括：终端41和服务器42。其中，终端41包括：获取单元411，用于获取文件转换逻辑；播放单元412，用于播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；第一处理单元413，用于根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；第二处理单元414，用于接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。服务器42包括：生成单元421，用于根据在指定3D运行环境(如Unity)中加载运行的播放插件(如VLC)、SDK(如Cardboard SDK)和录制插件(如OBS)生成文件转换逻辑；反馈单元422，用于响应终端发起的下载请求，反馈所述文件转换逻辑给终端。
在实际应用中，以移动VR场景为例，采用本发明实施例，基于文件转码的处理逻辑(如文件转换逻辑)，通过手机终端任意的内置播放器即可播放，用户还可以方便将转换后的目标视频文件上传至视频网站，方便分享，从而在网页里就可以体验3D视频。对于该基于文件转码的处理逻辑(如文件转换逻辑)而言，播放，解码，畸变、录制，保存，分享，采用VLC+Unity3D+CardboardSDK+OBS组合的方式，生成新的视频文件，具体的，是针对左、右格式视频做畸变转换并保存为相同格式视频文件，可以轻松在手机终端的任意视频播放器，不需要专门的APP进行处理。将生成后的文件，一键分享至网页上，在网页页面上进行播放。
采用本发明实施例，除了区别于现有技术，现有技术是对原始的源文件进行的处理，最终，还需要投射到VR眼镜中投屏显示，对格式有限制，而本发明是直接将源文件通过VR眼镜显示所需要的左右格式视频为基础进行处理，不受格式显示，后续，VR直接可以进行观看，不需要投屏。而且，畸变后的图像通过显存共享，避免录制过程中的多次拷贝，避免过多占用CPU和内存，从而影响到总的处理效率，实现了高效、无延迟图像传输，节省了CPU和内存资源。
对于在上述服务器侧如何在后台windows生成上述基于文件转码的处理逻辑(如文件转换逻辑)而言，其中，VLC指视频解码，音频解码；Cardboard指图像畸变；OBS指将畸变后的图像和音频进行编码压缩，保存文件。运行在Windows平台的Unity环境中，导入Cardboard SDK插件包。Cardboard SDK的作用是做畸变。Cardboard SDK可以根据屏幕宽高比、分辨率来适配畸变参数，还有预置多种种手机型号。Cardboard SDK本身是很全的开发包，本方案这里只用了畸变功能，所以需要对其进行裁剪。Unity中没有任意视频格式的播放器，VLC是全平台的全格式播放器，做一个VLC在Unity中的播放插件，利用VLC可以将3D视频的音频和图像分别解码出来，然后，对于需要处理的重点图像进行畸变处理。OBS作为windows平台的录制工具，自带插件可以针对窗口进行录制。由于针对窗口录像需要做多次拷贝操作，效率很低，占用CPU和内存都很高。本方案对这里进行优化，分别写了两个插件，一个用于Unity中，将畸变后的图像通过显存共享。另一个插件用于在OBS中，从显存中拿到图像，直接交给录制线程。这样在图像拷贝过程中，因为都是在显存中操作，拷贝操作基本无消耗内存，无消耗CPU。OBS将畸变后的图像和声音，通过压缩编码，最后保存为目标视频文件。
在本发明实施例一实施方式中，终端中的所述第一处理单元，进一步用于：根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到对应第一待处理文件的第一音频文件和第一图像文件，及对应第二待处理文件的第二音频文件和第二图像文件。
在本发明实施例一实施方式中，终端中的所述第一处理单元，进一步用于：获取与终端屏幕显示有关的第一信息；获取与终端自身性能有关的第二信息；根据所述第一信息和/或所述第二信息对所述第一图像文件和所述第二图像文件进行畸变处理，得到与第一图像文件相关的第三图像文件和与第二图像文件相关的第四图像文件，将所述第三图像文件和所述第四图像文件存储于显存中进行文件共享。其中，所述第一信息包括：屏幕宽高比、分辨率中的至少一种信息；所述第二信息包括：终端的型号、终端处理器性能指标中的至少一种信息。
在本发明实施例一实施方式中，终端中的所述第二处理单元，进一步用于：接收录制操作，将所述第三图像文件和所述第四图像文件提供给录制线程进行录制时，根据所述文件转换逻辑将所述第一音频文件和所述第三图像文件编码合成为第一目标文件，将所述第二音频文件和所述第四图像文件编码合成为第二目标文件。
在本发明实施例一实施方式中，所述终端还包括：分享单元，用于接收文件分享操作，将所述第一目标文件和所述第二目标文件按照目标用户地址分享给所述目标用户；或者，将所述第一目标文件和所述第二目标文件按照网页连接地址分享到对应的网页上。
在本发明实施例一实施方式中，所述终端还包括：存储单元，用于将所述第一目标文件和所述第二目标文件以相同格式的视频文件进行存储。
在本发明实施例一实施方式中，服务器中的所述生成单元，进一步用于：在所述指定3D运行环境中导入所述SDK；在所述指定3D运行环境中加载并运行播放插件，通过所述播放插件对基于源文件得到的第一待处理文件和第二待处理文件进行音视频解码，以得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件；监控到图像文件存在畸变时，通过所述SDK将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理；通过所述录制插件开启录制线程进行录制之前，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享。
在本发明实施例一实施方式中，服务器中的所述录制插件包括：与所述指定3D运行环境显存相关的第一插件和响应录制操作的第二插件；所述服务器包括：通信单元，用于通过所述第一插件与所述显存进行通信，从所述显存中提取出所述畸变处理结果；录制单元，用于响应录制操作，所述第二插件与所述第一插件进行通信，将所述畸变处理结果提供给录制线程进行录制，将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、中央处理器(CPU，Central Processing Unit)、DSP或FPGA实现；对于存储介质来说，包含操作指令，该操作指令可以为计算机可执行代码，通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
这里需要指出的是：以上涉及终端和服务器项的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。对于本发明终端和服务器实施例中未披露的技术细节，请参照本发明方法流程描述的实施例所描述内容。
以一个现实应用场景为例对本发明实施例阐述如下：
VR技术的发展带来VR眼镜的普及，这种新的人机交互方式，受限于PC VR的硬件成本，而移动VR更能符合大众消费者的使用需求。VR眼镜不仅支持全景的画面，而且还支持3D的画面。可是目前3D视频的播放都需要安装APP才可以，不但麻烦，还不支持网页的3D播放，如图8所示为使用一个包含视频内容，游戏内容，视频播放器的APP进行VR播放的流程，该流程中，对3D视频源进行音、视频解码后，对视频解码得到的图像进行畸变处理。最终将音频通过扬声器播放，将畸变处理的图像投射到VR屏幕上播放。由于目前3D视频大部分都是左右格式，基于该流程的处理方式，是对3D视频源的处理，而这种格式不能直接在VR眼镜中正常观看，因为VR眼镜是需要把畸变后图像投射到眼镜，才会有3D立体效果。需要安装专门的APP，也不支持网页播放，这些问题都不符合大众消费者的需求。
对于上述问题，采用本发明实施例，可以采用VLC+Unity3D+CardboardSDK+OBS组合的方式，实现了针对左右格式视频做畸变转换并保存为相同格式视频文件，比如，可以轻松在手机终端的任意视频播放器，网页页面进行播放。带上VR眼镜，就可以体验3D视频效果。采用VLC+Unity3D+CardboardSDK+OBS组合的方式来生成文件转换逻辑，运行在Windows平台。之后根据终端的下载请求将该文件转换逻辑反馈给终端直接使用，以实现针对源文件的左右格式文件的音、视频解码、畸变处理、编码合成、录制和保存，及网页分享功能。
具体的，就文件转换逻辑而言，在Unity环境中，导入Cardboard SDK插件包。Cardboard SDK的作用是做畸变，Cardboard SDK可以根据屏幕宽高比、分辨率来适配畸变参数，还有预置多种手机型号。Cardboard SDK本身是很全的开发包，本方案这里只用了畸变功能，所以需要对其进行裁剪。Unity中没有任意视频格式的播放器，VLC是全平台的全格式播放器，这里需要做一个VLC在Unity中的播放插件，利用VLC可以将3D视频的音频和图像分别解码出来，然后重点图像进行畸变处理。畸变的前后的图像如图8-9所示，图8为畸变前的图像，图9为畸变后的图像。OBS是windows平台下一个录制工具，自带插件可以针对窗口进行录制。由于针对窗口录像需要做多次拷贝操作，效率很低，占用CPU和内存都很高。本方案对这里进行优化，分别写了两个插件，一个用于Unity中，将畸变后的图像通过显存共享。另一个插件用于在OBS中，从显存中拿到图像，直接交给录制线程。这样在图像拷贝过程中，因为都是在显存中操作，拷贝操作基本无消耗内存，无消耗CPU。OBS将畸变后的图像和声音，通过压缩编码，最后保存为新的视频文件，这个文件可以直接在手机自带播放器中播放，也可以上传至视频网站，用网页播放。大大减少了用户分享、体验3D视频的成本。其中，VLC指：视频解码，音频解码；Cardboard指：图像畸变；OBS指：将畸变后的图像和音频进行编码压缩，保存文件。
如图10所示为采用本发明实施例的文件转换流程，该流程中，对源自于3D视频源(如3D视频文件)的左、右格式的3D源视频基于上述文件转换逻辑进行音、视频解码、畸变处理、编码合成、录制和保存。其中，利用播放插件VLC对左、右格式的3D源视频进行播放，对左、右格式的3D源视频分别进行音、视频解码分离，在畸变进程中对视频解码分离得到的图像进行畸变处理后再将图像畸变处理结果放入显存中进行共享，在OBS录制进程中通过录制插件OBS进行录制时，得到音频文件和显存中共享的该图像畸变处理结果，将二者进行编码合成并保持，得到新的视频文件。通过畸变进程与OBS录制进程间的交互处理，可以实现在VR上直接播放该新的视频文件。
基于该文件转换流程的一个实际应用中，本方案是VR Capture中的一个功能，VRCapture是一个VR PC眼镜的录制分享工具，将VR Capture录制的左右格式视频，做畸变转换，生成新的视频文件。VR Capture将生成后的文件，一键分享至网页上。本方案还对外提供一个接口DLL，直接调用开始转换和结束转换即可。同时还提供转换进度的回调。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种文件处理方法，其特征在于，所述方法包括：
获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件所生成的逻辑；
播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；
根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；
接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，包括：
根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到对应第一待处理文件的第一音频文件和第一图像文件，及对应第二待处理文件的第二音频文件和第二图像文件。
3.根据权利要求2所述的方法，其特征在于，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享，包括：
获取与终端屏幕显示有关的第一信息；
获取与终端自身性能有关的第二信息；
根据所述第一信息和/或所述第二信息对所述第一图像文件和所述第二图像文件进行畸变处理，得到与第一图像文件相关的第三图像文件和与第二图像文件相关的第四图像文件，将所述第三图像文件和所述第四图像文件存储于显存中进行文件共享。
4.根据权利要求3所述的方法，其特征在于，所述第一信息包括：屏幕宽高比、分辨率中的至少一种信息；
所述第二信息包括：终端的型号、终端处理器性能指标中的至少一种信息。
5.根据权利要求3所述的方法，其特征在于，所述接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于VR播放的第一目标文件和第二目标文件，包括：
接收录制操作，将所述第三图像文件和所述第四图像文件提供给录制线程进行录制时，根据所述文件转换逻辑将所述第一音频文件和所述第三图像文件编码合成为第一目标文件，将所述第二音频文件和所述第四图像文件编码合成为第二目标文件。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
接收文件分享操作，将所述第一目标文件和所述第二目标文件按照目标用户地址分享给所述目标用户；或者，将所述第一目标文件和所述第二目标文件按照网页连接地址分享到对应的网页上。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
将所述第一目标文件和所述第二目标文件以相同格式的视频文件进行存储。
8.一种终端，其特征在于，所述终端包括：
获取单元，用于获取文件转换逻辑，所述文件转换逻辑为在服务器侧根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件所生成的逻辑；
播放单元，用于播放基于源文件得到的第一待处理文件和第二待处理文件，所述第一待处理文件为显示于终端屏幕上源文件的左视频文件，所述第二待处理文件为显示于终端屏幕上源文件的右视频文件；
第一处理单元，用于根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件，将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享；
第二处理单元，用于接收录制操作，将所述畸变处理结果提供给录制线程进行录制时，根据所述文件转换逻辑将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
9.根据权利要求8所述的终端，其特征在于，所述第一处理单元，进一步用于：
根据所述文件转换逻辑对第一待处理文件和第二待处理文件分别进行音视频解码，得到对应第一待处理文件的第一音频文件和第一图像文件，及对应第二待处理文件的第二音频文件和第二图像文件。
10.根据权利要求9所述的终端，其特征在于，所述第一处理单元，进一步用于：
获取与终端屏幕显示有关的第一信息；
获取与终端自身性能有关的第二信息；
根据所述第一信息和/或所述第二信息对所述第一图像文件和所述第二图像文件进行畸变处理，得到与第一图像文件相关的第三图像文件和与第二图像文件相关的第四图像文件，将所述第三图像文件和所述第四图像文件存储于显存中进行文件共享。
11.根据权利要求10所述的终端，其特征在于，所述第一信息包括：屏幕宽高比、分辨率中的至少一种信息；
所述第二信息包括：终端的型号、终端处理器性能指标中的至少一种信息。
12.根据权利要求10所述的终端，其特征在于，所述第二处理单元，进一步用于：
接收录制操作，将所述第三图像文件和所述第四图像文件提供给录制线程进行录制时，根据所述文件转换逻辑将所述第一音频文件和所述第三图像文件编码合成为第一目标文件，将所述第二音频文件和所述第四图像文件编码合成为第二目标文件。
13.根据权利要求8至12任一项所述的终端，其特征在于，所述终端还包括：
分享单元，用于接收文件分享操作，将所述第一目标文件和所述第二目标文件按照目标用户地址分享给所述目标用户；或者，将所述第一目标文件和所述第二目标文件按照网页连接地址分享到对应的网页上。
14.根据权利要求8至12任一项所述的终端，其特征在于，所述终端还包括：
存储单元，用于将所述第一目标文件和所述第二目标文件以相同格式的视频文件进行存储。
15.一种文件处理方法，其特征在于，所述方法包括：
根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件生成文件转换逻辑；
响应终端发起的下载请求，反馈所述文件转换逻辑给终端；
所述根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件生成文件转换逻辑，包括：
在所述指定3D运行环境中导入所述SDK；
在所述指定3D运行环境中加载并运行播放插件，通过所述播放插件对基于源文件得到的第一待处理文件和第二待处理文件进行音视频解码，以得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件；
监控到图像文件存在畸变时，通过所述SDK将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理；
通过所述录制插件开启录制线程进行录制之前，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享。
16.根据权利要求15所述的方法，其特征在于，所述录制插件包括：与所述指定3D运行环境显存相关的第一插件和响应录制操作的第二插件；
通过所述第一插件与所述显存进行通信，从所述显存中提取出所述畸变处理结果；
响应录制操作，所述第二插件与所述第一插件进行通信，将所述畸变处理结果提供给录制线程进行录制，将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
17.一种服务器，其特征在于，所述服务器包括：
生成单元，用于根据在指定3D运行环境中加载运行的播放插件、软件开发工具包SDK和录制插件生成文件转换逻辑；
反馈单元，用于响应终端发起的下载请求，反馈所述文件转换逻辑给终端；
所述生成单元，进一步用于：
在所述指定3D运行环境中导入所述SDK；
在所述指定3D运行环境中加载并运行播放插件，通过所述播放插件对基于源文件得到的第一待处理文件和第二待处理文件进行音视频解码，以得到分别对应第一待处理文件和第二待处理文件的音频文件和图像文件；
监控到图像文件存在畸变时，通过所述SDK将分别对应第一待处理文件和第二待处理文件的所述图像文件进行畸变处理；
通过所述录制插件开启录制线程进行录制之前，将得到的畸变处理结果以图像文件格式存储于显存中进行文件共享。
18.根据权利要求17所述的服务器，其特征在于，所述录制插件包括：与所述指定3D运行环境显存相关的第一插件和响应录制操作的第二插件；
所述服务器包括：
通信单元，用于通过所述第一插件与所述显存进行通信，从所述显存中提取出所述畸变处理结果；
录制单元，用于响应录制操作，所述第二插件与所述第一插件进行通信，将所述畸变处理结果提供给录制线程进行录制，将所述畸变处理结果和分别对应第一待处理文件和第二待处理文件的所述音频文件编码合成为直接用于虚拟现实VR播放的第一目标文件和第二目标文件。
19.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1-7任一项所述的一种文件处理方法。
CN201611009068.1A 2016-11-16 2016-11-16 一种文件处理方法、终端及服务器 Active CN108111874B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611009068.1A CN108111874B (zh) 2016-11-16 2016-11-16 一种文件处理方法、终端及服务器
PCT/CN2017/110949 WO2018090911A1 (zh) 2016-11-16 2017-11-14 一种文件处理方法、终端及服务器、计算机存储介质
US16/297,900 US10855969B2 (en) 2016-11-16 2019-03-11 File processing method, terminal, server, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611009068.1A CN108111874B (zh) 2016-11-16 2016-11-16 一种文件处理方法、终端及服务器

Publications (2)

Publication Number Publication Date
CN108111874A CN108111874A (zh) 2018-06-01
CN108111874B true CN108111874B (zh) 2020-01-31

Family

ID=62146082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611009068.1A Active CN108111874B (zh) 2016-11-16 2016-11-16 一种文件处理方法、终端及服务器

Country Status (3)

Country Link
US (1) US10855969B2 (zh)
CN (1) CN108111874B (zh)
WO (1) WO2018090911A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107168A1 (zh) * 2018-11-26 2020-06-04 深圳市欢太科技有限公司 视频解码方法、装置、电子设备、计算机可读存储介质
CN112307229A (zh) * 2019-07-25 2021-02-02 北京小米移动软件有限公司 数据处理方法及装置、电子设备、计算机可读存储介质
CN110597773B (zh) * 2019-08-28 2022-07-29 北京梦想绽放科技有限公司 在计算机设备和虚拟现实设备之间共享文件的方法和装置
CN112218140A (zh) * 2020-09-02 2021-01-12 中国第一汽车股份有限公司 视频同步播放方法、装置、系统和存储介质
CN112862978A (zh) * 2020-12-31 2021-05-28 江西格灵如科科技有限公司 一种vr课件终端及系统
CN113595869B (zh) * 2021-06-28 2023-10-24 青岛海尔科技有限公司 语音播放方法和装置、存储介质及电子装置
CN114501079B (zh) * 2022-01-29 2024-10-01 京东方科技集团股份有限公司 用于对多媒体数据进行处理的方法及相关设备
CN116055481B (zh) * 2023-04-03 2023-06-02 银河航天(北京)网络技术有限公司 一种共享文件的方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808250A (zh) * 2009-02-13 2010-08-18 北京邮电大学 基于双路视觉的立体影像合成方法及系统
WO2013082387A1 (en) * 2011-12-02 2013-06-06 Aguren Jerry G Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
CN103533305A (zh) * 2013-10-10 2014-01-22 国电南瑞科技股份有限公司 一种b/s架构的免插件通用视频监控系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6051605B2 (ja) * 2012-06-13 2016-12-27 ソニー株式会社 表示装置、および表示制御方法、並びにプログラム
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9370718B2 (en) * 2014-01-02 2016-06-21 Ubitus Inc. System and method for delivering media over network
US10182257B2 (en) * 2014-07-31 2019-01-15 Clipchamp Ip Pty Ltd Client-side video transcoding and processing
US10049495B2 (en) * 2015-01-14 2018-08-14 Hashplay Inc. System and method for providing virtual reality content
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
CN205071176U (zh) * 2015-07-22 2016-03-02 深圳多新哆技术有限责任公司 一种信号转换装置
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
CN105892643A (zh) * 2015-12-31 2016-08-24 乐视致新电子科技（天津）有限公司 基于虚拟现实的多界面统一显示系统及方法
CN105455285B (zh) * 2015-12-31 2019-02-12 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
US20170206708A1 (en) * 2016-01-19 2017-07-20 Immersv, Inc. Generating a virtual reality environment for displaying content
JP6708444B2 (ja) * 2016-03-04 2020-06-10 キヤノン株式会社 画像処理装置および画像処理方法
US10650602B2 (en) * 2016-04-15 2020-05-12 Center Of Human-Centered Interaction For Coexistence Apparatus and method for three-dimensional information augmented video see-through display, and rectification apparatus
CN105872521A (zh) * 2016-04-26 2016-08-17 乐视控股（北京）有限公司 2d视频播放方法及装置
KR20180011539A (ko) * 2016-07-25 2018-02-02 삼성전자주식회사 영상의 처리를 위한 전자 장치
KR102246836B1 (ko) * 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808250A (zh) * 2009-02-13 2010-08-18 北京邮电大学 基于双路视觉的立体影像合成方法及系统
WO2013082387A1 (en) * 2011-12-02 2013-06-06 Aguren Jerry G Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
CN103533305A (zh) * 2013-10-10 2014-01-22 国电南瑞科技股份有限公司 一种b/s架构的免插件通用视频监控系统

Also Published As

Publication number Publication date
US20190208178A1 (en) 2019-07-04
WO2018090911A1 (zh) 2018-05-24
CN108111874A (zh) 2018-06-01
US10855969B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
CN108111874B (zh) 一种文件处理方法、终端及服务器
CN106484416B (zh) 一种信息处理方法及终端
CN105338424B (zh) 一种视频处理方法及系统
CN104902075B (zh) 多屏互动方法及系统
CN106453939B (zh) 一种流媒体接入方法及装置
CN109844734B (zh) 一种图片文件管理的方法及终端、计算机存储介质
CN106407341A (zh) 页面处理的方法、装置及系统
CN105913838A (zh) 音频管理装置和方法
CN105827866A (zh) 一种移动终端及控制方法
CN106055328A (zh) 针对第三方应用的主题更换装置及方法
CN105975887A (zh) 一种识别信息的信息相互转换方法及终端
CN109995743A (zh) 一种多媒体文件的处理方法和终端
CN108614705B (zh) 一种数据编译处理方法及终端
CN104717543B (zh) 一种实现不同分屏间互动操作的方法及装置
CN106130984A (zh) 加密视频分享装置及方法
CN105049916B (zh) 一种视频录制方法及装置
CN107454464B (zh) 一种信息处理方法及终端
CN109275038B (zh) 一种游戏直播方法、终端及计算机可读存储介质
CN106686298A (zh) 拍摄后处理方法、拍摄后处理装置及移动终端
EP4471571A1 (en) Rich media information processing method and system, and related apparatus
CN107220294A (zh) 一种请求处理的方法和终端
CN107992505B (zh) 一种网页信息处理方法及终端
CN106021291B (zh) 一种信息处理方法及移动终端
CN105407432B (zh) 一种实现音频播放的方法及系统
CN106534203A (zh) 一种移动终端及通讯方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant