[go: up one dir, main page]

CN113766161B - 视频处理的方法和系统 - Google Patents

视频处理的方法和系统 Download PDF

Info

Publication number
CN113766161B
CN113766161B CN202111113818.0A CN202111113818A CN113766161B CN 113766161 B CN113766161 B CN 113766161B CN 202111113818 A CN202111113818 A CN 202111113818A CN 113766161 B CN113766161 B CN 113766161B
Authority
CN
China
Prior art keywords
video
editing
image capture
capture device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202111113818.0A
Other languages
English (en)
Other versions
CN113766161A (zh
Inventor
艾楚越
白高平
刘渭锋
梁泰文
赖雅君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2014/093785 external-priority patent/WO2016095071A1/zh
Priority claimed from PCT/CN2014/093786 external-priority patent/WO2016095072A1/zh
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113766161A publication Critical patent/CN113766161A/zh
Application granted granted Critical
Publication of CN113766161B publication Critical patent/CN113766161B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/7605Television signal recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9206Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a character code signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

提供视频处理的方法和系统。使用图像捕捉装置以第一清晰度捕捉视频。所述图像捕捉装置可选的为,或者可在飞行器上,例如无人飞行器。第一组视频数据可以第二清晰度传输给用户终端,所述第二清晰度可低于所述第一清晰度。用户可能与用户终端交互以编辑所述视频和生成视频编辑请求。所述视频编辑请求可传输至所述图像捕捉装置,其可能因此以第三清晰度产生对应于所述视频编辑请求的第二组视频数据。所述第三清晰度大于所述第二清晰度。

Description

视频处理的方法和系统
背景技术
诸如无人飞行器(UAV)等飞行器已经被开发用于包括监视、搜救工作、勘探以及其他领域等广泛的应用。这样的无人飞行器通常可以携带用于视频捕捉的机载相机模块。
由无人飞行器捕捉的视频可被显示、编辑并分布。然而,目前用于无人飞行器的视频处理方法和系统可能不甚理想。例如,从无人飞行器下载所捕捉的视频(尤其是高清晰度视频)可能消耗过多的带宽。
发明内容
需要改进的方法和系统,用于编辑由图像捕捉装置捕捉到的图像,诸如视频。在一些情况下,所述图像捕捉装置可以由可移动物体支撑或者与可移动物体形成为一体,所述可移动物体诸如为无人载运工具。可以提供用于编辑由图像捕捉装置捕捉到的视频的方法,所述图像捕捉装置诸如为无人飞行器(UAV)上的图像捕捉装置。所述编辑可以在诸如手持式装置等用户终端上进行。在一些实施方式中,所述无人飞行器可以具有图像捕捉装置,所述图像捕捉装置以第一清晰度(definition)捕捉视频并且以第二清晰度向所述手持式装置传输所述捕捉到的视频。所述手持式装置可以以所述第二清晰度接收并编辑所述捕捉到的视频并且形成视频编辑请求。所述视频编辑请求可以是小体量的,并且包含针对经编辑视频的经编辑视频数据信息。所述视频编辑请求可以继而传输至所述无人飞行器和/或图像捕捉装置。所述无人飞行器和/或图像捕捉装置可以分析所述经编辑的视频文件,生成与所述经编辑的视频数据信息相对应的视频文件,并且向所述手持式装置或另一装置传输所述生成的视频文件。
利用本公开内容的方法、装置和终端,所述用户终端可以在编辑之前从所述图像捕捉装置下载较低清晰度的视频,而不是高清晰度视频。所述用户可以在所述用户终端处编辑所述视频,向所述图像捕捉装置传输小的视频编辑请求,并且从所述图像捕捉装置接收与所述经编辑的视频相对应的高清晰度视频。由于并非所有的高清晰度视频都被传输,因此,对用于视频编辑的传输和计算的带宽的压力可得以缓解。
根据本发明的一方面,提供了一种处理视频的方法。所述方法包括:在用户终端处接收第一组视频数据,其中所述第一组视频数据是从图像捕捉装置提供,所述图像捕捉装置远离所述用户终端并用于以第一清晰度捕捉视频,其中在所述用户终端处以第二清晰度接收所述第一组视频数据;以所述第二清晰度编辑所述接收到的第一组视频数据,从而形成视频编辑请求;向所述图像捕捉装置传输所述视频编辑请求;以及从所述图像捕捉装置以第三清晰度接收第二组视频数据,其中所述第二组视频数据对应于所述视频编辑请求中的经编辑视频数据。
根据本发明的另一方面,提供了一种用于处理视频的用户终端。所述用户终端包括:通信单元,其允许与远程图像捕捉装置相通信,其中所述图像捕捉装置用于以第一清晰度捕捉视频;以及一个或多个处理器,其单独地或共同地:接收第一组视频数据,其中所述第一组视频数据是从所述图像捕捉装置提供,其中以第二清晰度接收所述第一组视频数据;以所述第二清晰度编辑所述接收到的第一组视频数据,从而形成视频编辑请求;为所述通信单元生成信号,以向所述图像捕捉装置传输所述视频编辑请求;以及从所述图像捕捉装置以第三清晰度接收第二组视频数据,其中所述第二组视频数据对应于所述视频编辑请求中的经编辑视频数据。
根据本发明的另一方面,提供了一种用于处理视频的计算机程序产品,所述计算机程序产品编码在永久的机器可读存储介质上。所述计算机程序产品包括:用于在用户终端处接收第一组视频数据的指令,其中所述第一组视频数据是从图像捕捉装置提供,所述图像捕捉装置远离所述用户终端并用于以第一清晰度捕捉视频,其中以第二清晰度在所述用户终端处接收所述第一组视频数据;用于以所述第二清晰度编辑所述接收到的第一组视频数据从而形成视频编辑请求的指令;用于向所述图像捕捉装置传输所述视频编辑请求的指令;以及用于从所述图像捕捉装置以第三清晰度接收第二组视频数据,其中所述第二组视频数据对应于所述视频编辑请求中的经编辑视频数据。
根据本发明的另一方面,提供了一种处理视频的方法。所述方法包括:使用图像捕捉装置以第一清晰度捕捉视频,并且将所述视频储存在存储器中;以第二清晰度向用户终端传输来源于所述视频的第一组视频数据,所述用户终端远离所述图像捕捉装置;在所述图像捕捉装置处从所述用户终端接收视频编辑请求,其中在所述用户终端处以所述第二清晰度编辑所接收到的所述第一组视频数据从而形成所述视频编辑请求;在所述存储器中找到与由所述视频编辑请求所描述的经编辑视频数据相对应的视频,从而以第三清晰度形成第二组视频数据;以及以所述第三清晰度向所述用户终端传输所述第二组视频数据。
根据本发明的另一方面,提供了一种用于处理视频的图像捕捉装置。所述图像捕捉装置包括:图像传感器,其用于以第一清晰度捕捉视频;以及一个或多个处理器,其单独地或共同地:为所述通信单元生成信号,从而以第二清晰度传输来源于所述视频的第一组视频数据;接收在所述用户终端处生成的视频编辑请求,其中在所述用户终端处以所述第二清晰度编辑所接收到的所述第一组视频数据从而形成所述视频编辑请求;在存储器中找到与由所述视频编辑请求所描述的经编辑视频数据相对应的视频,从而以第三清晰度形成第二组视频数据;以及为通信单元生成信号,从而以所述第三清晰度向所述用户终端传输所述第二组视频数据。
根据本发明的另一方面,提供了一种处理器。所述处理器用于:从用户终端接收视频编辑请求,其中在所述用户终端处以第二清晰度编辑所接收到的第一组视频数据从而形成所述视频编辑请求,并且其中所述第一组视频数据是从图像捕捉装置提供,所述图像捕捉装置远离所述用户终端并且用于以第一清晰度捕捉视频;在存储器中找到与由所述视频编辑请求所描述的经编辑视频数据相对应的视频,从而以第三清晰度形成第二组视频数据,其中所述存储器用于以所述第一清晰度储存视频;以及为通信单元生成信号,从而以所述第三清晰度向所述用户终端传输所述第二组视频数据。
根据本发明的另一方面,提供了一种处理视频的方法。所述方法包括:以第一清晰度在图像捕捉装置处捕捉视频,并且将所述捕捉到的视频储存在存储器中;从所述图像捕捉装置向用户终端提供来源于所述捕捉到的视频的第一组视频数据,其中以第二清晰度提供所述第一组视频数据;在所述用户终端处以所述第二清晰度编辑所述第一组视频数据,从而形成视频编辑请求;从所述用户终端向所述图像捕捉装置提供所述视频编辑请求;在所述图像捕捉装置处,在所述存储器中找到与由所述视频编辑请求所描述的经编辑视频数据相对应的视频,从而以第三清晰度形成第二组视频数据;以及以所述第三清晰度从所述图像捕捉装置向所述用户终端提供所述第二组视频。
根据本发明的另一方面,提供了一种用于处理视频的系统。所述系统包括:图像捕捉装置;以及用户终端,其与所述图像捕捉装置相通信,其中所述图像捕捉装置包括:图像传感器,其用于以第一清晰度捕捉视频;存储器,其用于以所述第一清晰度储存所述视频;一个或多个处理器,其单独地或共同地:生成信号以向所述用户终端提供来源于所述捕捉到的视频的第一组视频数据,其中以第二清晰度提供所述第一组视频数据;接收在所述用户终端处生成的视频编辑请求,其中在所述用户终端处以所述第二清晰度编辑所述第一组视频数据从而形成所述视频编辑请求;在所述存储器中找到与由所述视频编辑请求所描述的经编辑视频数据相对应的视频,从而以所述第一清晰度形成第二组视频数据;以及生成信号从而以第三清晰度向所述用户终端提供所述第二组视频数据;其中所述用户终端包括:一个或多个处理器,其单独地或共同地:以所述第二清晰度接收所述第一组视频数据;以所述第二清晰度编辑所述接收到的第一组视频数据,从而形成视频编辑请求;生成信号,从而向所述图像捕捉装置提供所述视频编辑请求;以及从所述图像捕捉装置以所述第三清晰度接收所述第二组视频数据。
根据本发明的另一方面,提供了一种处理视频的方法。所述方法包括:在用户终端处确定是否要处理由远离所述用户终端的图像捕捉装置捕捉到的视频;当确定要处理所述视频时,在所述用户终端处选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段,从而形成视频编辑请求;以及向所述图像捕捉装置传输所述视频编辑请求,以使所述图像捕捉装置通过将所述一个或多个视频片段与所述视频相合并来处理所述视频。
根据本发明的另一方面,提供了一种用于处理视频的用户终端。所述用户终端包括:通信单元,其允许与远程图像捕捉装置相通信,其中所述图像捕捉装置用于捕捉视频;一个或多个处理器,其单独地或共同地:确定是否要处理由所述图像捕捉装置捕捉到的视频;当确定要处理所述视频时,选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段,从而形成视频编辑请求;以及为所述通信单元生成信号,以向所述图像捕捉装置传输所述视频编辑请求,以使所述图像捕捉装置通过将所述一个或多个视频片段与所述视频相合并来处理所述视频。
根据本发明的另一方面,提供了一种用于处理由图像捕捉装置捕捉到的视频的计算机程序产品,所述计算机程序产品编码在永久的机器可读存储介质上。所述计算机程序产品包括:用于确定是否要处理由所述图像捕捉装置捕捉到的所述视频的指令;用于当确定要处理所述视频时选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段从而形成视频编辑请求的指令;以及用于为通信单元生成信号以向所述图像捕捉装置传输所述视频编辑请求以使所述图像捕捉装置通过将所述一个或多个视频片段与所述视频相合并来处理所述视频。
根据本发明的另一方面,提供了一种包含程序指令的永久的计算机可读介质,所述程序指令用于处理由图像捕捉装置捕捉到的视频。所述永久的计算机可读介质包括:用于确定是否要处理由所述图像捕捉装置捕捉到的所述视频的程序指令;用于当确定要处理所述视频时选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段从而形成视频编辑请求的程序指令;以及用于为通信单元生成信号以向所述图像捕捉装置传输所述视频编辑请求以使所述图像捕捉装置通过将所述一个或多个视频片段与所述视频相合并来处理所述视频的程序指令。
根据本发明的另一方面,提供了一种处理视频的方法。所述方法包括:在图像捕捉装置处捕捉视频;在所述图像捕捉装置处从用户终端接收视频编辑请求,所述用户终端远离所述图像捕捉装置,其中当在所述用户终端处确定要处理所述视频时,选择要合并至所述视频的一个或多个视频片段从而形成所述视频编辑请求;以及基于所述视频编辑请求,将所述一个或多个视频片段合并至在所述图像捕捉装置处捕捉到的所述视频。
根据本发明的另一方面,提供了一种用于处理视频的图像捕捉装置。所述图像捕捉装置包括:图像传感器,其用于捕捉视频;通信单元,其允许与远离所述图像捕捉装置的用户终端相通信;以及一个或多个处理器,其单独地或共同地:为所述图像传感器生成信号以捕捉视频;从所述用户终端接收视频编辑请求,其中从当在用户终端处确定要处理所述视频时选择要合并至所述视频的一个或多个视频片段从而形成所述视频编辑请求;以及基于所述视频编辑请求将所述一个或多个视频片段合并至在所述图像传感器处捕捉到的所述视频。
根据本发明的另一方面,提供了一种处理器。所述处理器用于:从远离所述处理器的用户终端接收视频编辑请求,其中从当在用户终端处确定要处理所述视频时选择要合并至所述视频的一个或多个视频片段从而形成所述视频编辑请求;以及基于所述视频编辑请求将所述一个或多个视频片段合并至在图像捕捉装置处捕捉到的所述视频。
根据本发明的另一方面,提供了一种处理视频的方法。所述方法包括:在图像捕捉装置处捕捉视频;以及在用户终端处确定是否要处理由所述图像捕捉装置捕捉到的所述视频;当确定要处理所述视频时,在所述用户终端处选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段,从而形成视频编辑请求;从所述用户终端向所述图像捕捉装置提供所述视频编辑请求;以及在所述图像捕捉装置处将所述一个或多个视频片段合并至由所述图像捕捉装置捕捉到的所述视频。
在本发明的另一方面中,提供了一种用于处理视频的系统。所述系统包括:图像捕捉装置,其用于捕捉视频;以及用户终端,其与所述图像捕捉装置相通信,其中所述用户终端包括:一个或多个处理器,其单独地或共同地:确定是否要处理由所述图像捕捉装置捕捉到的所述视频;当确定要处理所述视频时,选择要合并至由所述图像捕捉装置捕捉到的所述视频的一个或多个视频片段,从而形成视频编辑请求;以及生成信号,以向所述图像捕捉装置提供所述视频编辑请求;并且其中所述图像捕捉装置包括:图像传感器,其用于捕捉所述视频;一个或多个处理器,其单独地或共同地:从所述用户终端接收所述视频编辑请求;为所述图像传感器生成信号以捕捉视频;以及将所述一个或多个视频片段合并至在所述图像传感器处捕捉到的视频。
应当明白,本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文描述的本发明的各个方面可以适用于下面阐述的任何特定应用或者任何其他类型的可移动物体。本文对飞行器(诸如无人飞行器)的任何描述均可适用于和用于任何可移动物体,诸如任何载运工具。此外,本文在空中运动(例如,飞行)的情景下公开的系统、装置和方法还可以适用于其他类型的运动的情景下,诸如在地面上或在水上的移动、水下运动或者在太空中的运动。
通过考察说明书、权利要求书和附图,本发明的其他目标和特征将会变得显而易见。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此,其程度犹如具体地和个别地指出要通过引用而并入每一单个出版物、专利或专利申请。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图,将会对本发明的特征和优点获得更好的理解;在附图中:
图1示出了根据本发明的实施方式的用于捕捉视频的无人飞行器(UAV)和用户终端的示意图。
图2是图示了根据本发明实施方式的在用户终端上处理视频的方法的流程图。
图3是图示了根据本发明实施方式的在图像捕捉装置上处理视频的方法的流程图。
图4是图示了根据本发明实施方式的在图像处理系统中处理视频的方法的流程图。
图5图示了根据本发明实施方式的图像相关数据在图像处理系统中的图像捕捉部件之中的示例性流动。
图6图示了根据本发明实施方式的图像相关数据进一步在图像处理系统中的图像编辑部件之中的示例性流动。
图7图示了根据本发明实施方式的可以在图像处理系统的用户终端处生成的示例性编辑文件,诸如视频编辑请求。
图8图示了根据本发明实施方式的经编辑的图像相关数据进一步在图像处理系统中的图像生成部件之中的示例性流动。
图9是图示了根据本发明实施方式的在用户终端处处理视频的方法的流程图。
图10是根据本发明实施方式的形成于用户终端处的视频编辑请求中的内容的示例。
图11是图示了根据本发明实施方式的在用户终端处准备视频片段用于开场、过渡效果和收尾的方法的流程图。
图12是图示了根据本发明实施方式的在图像捕捉装置处合并开场、过渡效果和收尾的方法的流程图。
图13是图示了根据本发明实施方式的在图像捕捉装置处合并开场、过渡效果和收尾的方法的流程图。
图14是根据本发明实施方式的用于处理视频的系统的通过框图来说明的示意图。
图15是图示了根据本发明实施方式的处理视频的方法的流程图。
图16是图示了根据本发明实施方式的通过处理视频的方法而产生的合并后的视频的示图。
图17是示出了根据本发明实施方式的视频处理方法的流程图。
图18是示出了根据本发明另一实施方式的视频处理方法的流程图。
图19是示出了根据本发明又一实施方式的视频处理方法的流程图。
图20是示出了根据本发明实施方式的视频处理装置的配置的示意图。
图21是示出了根据本发明另一实施方式的视频处理装置的配置的示意图。
图22是示出了根据图20或图21中所示实施方式的所述视频处理装置中的接收模块的配置的示意图。
图23是示出了根据图20或图21中所示实施方式的所述视频处理装置中的记录模块的配置的示意图。
图24是示出了根据图21中所示实施方式的所述视频处理装置中的编辑模块的配置的示意图。
图25是示出了根据图21中所示实施方式的所述视频处理装置中的合成模块的配置的示意图。
图26是示出了根据图21中所示实施方式的所述视频处理装置中的处理模块的配置的示意图。
图27是示出了根据本发明实施方式的播放装置的配置的示意图。
图28是示出了根据本发明实施方式的视频处理方法的流程图。
图29是示出了根据本发明另一实施方式的视频处理方法的流程图。
图30是示出了根据本发明实施方式的视频处理装置的配置的示意图。
图31是示出了根据本发明另一实施方式的视频处理装置的配置的示意图。
图32是示出了根据图30或图31中所示实施方式的所述视频处理装置中的获取模块的配置的示意图。
图33是示出了根据图30或图31中所示实施方式的视频处理装置中的编辑模块的配置的示意图。
图34是示出了根据图31中所示实施方式的视频处理装置中的收集模块的配置的示意图。
图35是示出了根据图31中所示实施方式的视频处理装置中的筛选模块的配置的示意图。
图36是示出了根据本发明实施方式的显示装置的配置的示意图。
图37示出了被编程或以其他方式用于实现本文提供的方法的计算机控制系统。
具体实施方式
本文描述的方法、装置和终端提供了有效的途径,用于高效地传输和编辑由图像捕捉装置捕捉到的视频,所述图像捕捉装置诸如为位于可移动物体上或与可移动物体形成一体的图像捕捉装置,所述可移动物体诸如为无人飞行器(UAV)。本文描述的方法、装置和终端可以用于以高清晰度捕捉视频,以较低清晰度传输和编辑视频,以及以高清晰度获得和分布经编辑的视频。本文公开的方法、装置和终端可以适用于任何合适的可移动物体或静止物体。可移动物体可能能够进行自推进式移动(例如,载运工具),而静止物体可能不能够进行自推进式移动。在一些实施方式中,可移动物体可以是无人飞行器。
可以提供用于编辑由图像捕捉装置捕捉到的视频的方法,所述图像捕捉装置诸如为无人飞行器(UAV)上的图像捕捉装置。所述编辑可以在诸如手持式装置等用户终端上进行。在一些实施方式中,所述无人飞行器可以具有图像捕捉装置,所述图像捕捉装置以第一清晰度捕捉视频并且以第二清晰度向所述手持式装置传输所述捕捉到的视频。所述手持式装置可以以所述第二清晰度接收并编辑所述捕捉到的视频并且形成视频编辑请求。所述视频编辑请求可以是小体量的,并且包含经编辑视频的经编辑视频数据信息。所述视频编辑请求可以继而传输至所述无人飞行器和/或图像捕捉装置。所述无人飞行器和/或图像捕捉装置可以分析所述经编辑的视频文件,生成与所述经编辑视频数据信息相对应的视频文件,并且向所述手持式装置或另一装置传输所述生成的视频文件。
图像捕捉装置可以用于捕捉视频。在一些实施方式中,所述图像捕捉装置可以以第一清晰度(例如,高清晰度)捕捉视频,在存储器中储存所述捕捉到的视频,并且以低于所述第一清晰度的第二清晰度向用户终端传输所述捕捉到的视频。所述图像捕捉装置可以继而从所述用户终端接收视频编辑请求。所述视频编辑请求可以包含关于经编辑视频的经编辑视频数据信息。所述图像捕捉装置可以以第一清晰度对应于所述经编辑视频数据信息而生成视频文件,并且向所述用户终端传输所述生成的视频文件。在一些实施方式中,所述图像捕捉装置可以由无人飞行器支撑或者可以是其一部分。本文对无人飞行器的图像捕捉装置的任何描述均可适用于其他图像捕捉装置,所述其他图像捕捉装置由其他可移动物体或非可移动物体支撑或者是其一部分。此外,本文对无人飞行器的图像捕捉装置的任何描述均可适用于任何类型的图像捕捉装置,诸如高清晰度图像捕捉装置。
用户终端可以用于编辑视频。在一些实施方式中,所述用户终端可以以第二清晰度从图像捕捉装置接收视频,所述图像捕捉装置以高于所述第二清晰度的第一清晰度捕捉视频。所述用户终端可以编辑所述接收到的视频,形成视频编辑请求,并且向所述图像捕捉装置传输所述视频编辑请求。所述视频编辑请求可以是小体量的,并且包含关于所述经编辑视频的经编辑视频数据信息。所述用户终端可以继而从所述图像捕捉装置接收视频文件,所述视频文件对应于经编辑视频数据信息以所述第一清晰度生成。
所述用户终端可以从所述图像捕捉装置下载较低清晰度的视频,而不是高清晰度视频。所述用户终端处的用户可以在所述用户终端处编辑所述视频,向所述图像捕捉装置传输视频编辑请求,并且从所述图像捕捉装置接收与所述经编辑的视频相对应的高清晰度视频。由于并非所有的高清晰度视频都被传输,因此,对用于视频编辑的传输和计算的带宽的压力可得以缓解。本文提供的系统和方法可以有利地允许在传输延迟量和所需的处理功率量减小的情况下编辑以高清晰度捕捉到的视频。
图1示出了根据本发明的实施方式的无人飞行器(UAV)100和用户终端110的示意图。本文对无人飞行器100的任何描述均可适用于任何类型的可移动物体,诸如飞行器。对无人飞行器的描述可以适用于任何类型的无人的可移动物体(例如,其可以跨越空中、陆地、水或太空)。所述无人飞行器可以支撑图像捕捉装置或者可以具有在其上一体形成的图像捕捉装置,所述图像捕捉装置用于捕捉视频。
无人飞行器100可以具有机身120。在一些情况下,机身120可以是中央机身,所述中央机身可以具有一个或多个分支构件或“臂”。所述臂可以按径向的方式从机身向外延伸并且经由所述机身连结。在一些情况下,所述臂可以形成T字架。在一些情况下,所述臂可以是或可以不是相对于机身的其他部分可移动的。臂的数目可以匹配或可以不匹配所述无人飞行器的推进单元或旋翼的数目。例如,所述无人飞行器可以是具有四个推进单元的四轴飞行器,每个推进单元由所述无人飞行器的一个单独的臂支撑。在另一示例中,无人飞行器可以是具有四个推进单元的四轴飞行器,其中两个推进单元支撑在所述无人飞行器的T形臂的末端上。机身可以包括外壳。外壳可以将无人飞行器的一个或多个部件封闭在所述外壳内。在一些情况下,无人飞行器的一个或多个电部件可以提供在所述外壳内。例如,无人飞行器的飞行控制器可以提供在所述外壳内。飞行控制器可以控制无人飞行器的一个或多个推进单元160的操作。推进单元160可以各自包括旋翼和/或电机。
无人飞行器100可以携带多种机载传感器,包括但不限于激光传感器、激光雷达、红外传感器、惯性测量单元(IMU)、全球定位系统(GPS)传感器、音频收集传感器和光学传感器。传感器和推进单元可以由电池组合件提供动力。所述电池组合件可以包括一个或多个可以分布在无人飞行器的外壳内的电池。
无人飞行器100可以包括图像传感器122、存储器124、处理器126和通信系统128。此外,无人飞行器100可以包括图像捕捉装置180。所述图像捕捉装置可以一体形成为无人飞行器的一部分,或者可以是由所述无人飞行器支撑的可分离部件。图像传感器122可以是图像捕捉装置180的部件,或者图像传感器122可以与图像捕捉装置180进行交互,以使得图像传感器122接收由无人飞行器100的图像捕捉装置180捕捉到的图像数据。类似地,存储器124、处理器126和/或通信系统128可以是图像捕捉装置180的一部分,或者可以是在图像捕捉装置之外的、可与图像捕捉装置180或图像传感器122进行交互的无人飞行器的一部分。
此外,图1图示了用户终端110。用户终端110可以是任何类型的具有数据处理能力和通信能力的装置。在一些实施方式中,用户终端110可以是移动装置,诸如智能电话(例如,iPhone、Android电话、Windows移动电话、Blackberry等)或平板计算机(例如,iPad、Android平板计算机、Surface平板计算机)。所述用户终端可以是任何其他类型的装置,诸如膝上型计算机、台式计算机或可穿戴式物体。用户终端110可能能够与远离所述用户终端110的图像捕捉装置180相通信。用户终端可以直接与图像捕捉装置或可支撑所述图像捕捉装置的无人飞行器100相通信。在一些情况下,无人飞行器和图像捕捉装置可以合为一体。本文对与图像捕捉装置的通信的任何描述均可指与所述图像捕捉装置相通信而不与无人飞行器相通信,与支撑所述图像捕捉装置的无人飞行器或与跟所述图像捕捉装置形成一体的无人飞行器相通信,或者既与图像捕捉装置相通信又与无人飞行器相通信。用户终端可以通过无线链路与图像捕捉装置相通信,所述无线链路包括但不限于射频(RF)链路、Wi-Fi链路、蓝牙链路、2G链路、3G链路、4G链路或LTE链路。所述通信可以直接在用户终端与图像捕捉装置之间进行,或者可以遍历网络,诸如电信网络。
用户终端110可以包括通信系统116、存储器117和处理器118。所述用户终端的通信系统116可能能够经由无线信号112与无人飞行器100的通信系统128进行交互。通信系统128、通信系统116可以包括任何数目的适于无线通信的发射器、接收器和/或收发器。通信可以是单向通信,以使得数据仅在一个方向上传输。例如,单向通信可以仅包含无人飞行器100向用户终端110传输数据,或者反之亦然。
例如,单向通信可以包括诸如视频等图像数据,以及诸如视频编辑请求等附加信息。例如,视频数据可以从通信系统128的一个或多个发射器向通信系统116的一个或多个接收器传输。可以继而将所述视频数据储存在存储器117中,并且使用处理器118对其进行编辑。一旦在用户终端110处生成视频编辑请求,所述视频编辑请求就可以从通信系统116的一个或多个发射器向通信系统128的一个或多个接收器传输。
或者,所述通信可以是双向通信,以使得数据可以在无人飞行器100与用户终端110之间的全部两个方向上传输。双向通信可以包含从通信系统128的一个或多个发射器向通信系统116的一个或多个接收器传输数据,以及反之亦然。双向通信可以包括视频数据从图像捕捉装置和/或无人飞行器到用户终端,以及一个或多个视频编辑请求从用户终端到图像捕捉装置和/或无人飞行器。在一些情况下,通信可以包括一个或多个命令信号从用户终端到图像捕捉装置和/或无人飞行器。举例而言,可以使用命令信号来控制无人飞行器的操作和/或飞行。因此,可用于视频编辑的用户终端还可以用于控制无人飞行器的操作和/或飞行。在另一示例中,可以使用命令信号来控制位于无人飞行器上的一个或多个传感器或者其他部件的操作。因此,可用于视频编辑的用户终端可以用于控制无人飞行器的数据收集。可以使用命令信号来控制图像捕捉装置相对于无人飞行器的操作和/或定位。因此,可用于视频编辑的用户终端可以用于控制图像捕捉装置的操作和/或定位。可以使用相同的装置来控制这些功能中的任何或全部。或者,可以使用一个或多个不同的装置来控制各个这些功能。
在一些实施方式中,图像捕捉装置180可以是相机。相机180可以刚性耦合至无人飞行器100。或者,可以允许相机180相对于无人飞行器100移动。在一些情况下,可以允许所述相机相对于无人飞行器关于多达六个自由度而移动。相机180可以直接安装到无人飞行器100上,可以合并在无人飞行器100内或者可以耦合至安装到无人飞行器100上的载体。在一些实施方式中,所述载体可以是云台。所述载体可以允许相机围绕一个、两个、三个、四个或更多个旋转轴线旋转。这可以允许改变由相机捕捉的视野。在一些实施方式中,相机180可以是无人飞行器100的有效载荷的元件。
相机180可以捕捉无人飞行器100的环境的图像。所述图像可以包括静态图像(例如,快照)和/或视频图像。相机180可以连续地捕捉视频和/或快照。或者,相机180可以在指定频率下捕捉视频和/或快照,以随着时间产生一系列图像数据和/或视频数据。在一些实施方式中,可以在捕捉所述视频的同时记录环境音频。
在一些实施方式中,捕捉到的视频和/或图像可以储存在位于无人飞行器100上的存储器中,所述存储器诸如为存储器124。存储器124可以位于图像捕捉装置180上,或者可以与所述图像捕捉装置分离。所述存储器可以包括永久的计算机可读介质,所述永久的计算机可读介质可以包括一个或多个存储器单元(例如,可移除介质或外部存储,诸如安全数字(SD)卡或随机存取存储器(RAM)或只读存储器(ROM)或闪速存储器)。或者,捕捉到的视频和/或图像可以向远程终端传输。捕捉到的视频和/或图像的传输可以通过无线链路来实现,所述无线链路包括但不限于射频(RF)链路、Wi-Fi链路、蓝牙链路、2G链路、3G链路或LTE链路。
相机180可以包括图像传感器122以及一个或多个光学元件,诸如镜头。一个或多个镜头可用于将光引导至图像传感器。图像传感器是将光学图像转换成电子信号的装置。相机180的图像传感器可以是电荷耦合装置(CCD)类型、互补金属氧化物半导体(CMOS)类型、N型金属氧化物半导体(NMOS)类型或背照式CMOS(BSI-CMOS)类型。可选地,来自图像传感器的图像数据可以储存在位于图像捕捉装置之上或之外的存储器124中。存储器124可以位于无人飞行器上。
光学系统的焦距是对所述系统将光聚集或分离到什么强度的度量。光学镜头的焦距是起初经准直的射线被带至焦点所经过的距离。有两种类型的镜头:定焦的和变焦的。定焦镜头可以具有固定的焦距并且所述焦距可以包含单一的焦距。变焦镜头可以具有可变的焦距并且所述焦距可以包含多个焦距。在一些实施方式中,相机180的镜头可以是变焦镜头。或者,相机180的镜头可以是定焦镜头。
在一些实施方式中,适合于本发明图像捕捉装置的变焦镜头的焦距范围的下限可以小于或等于1mm、2mm、4mm、6mm、8mm、10mm、15mm、20mm、25mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm或1150mm。可选地,本发明图像捕捉装置的焦距范围的下限可以小于或等于本文描述的任何值。适合于本发明图像捕捉装置的变焦镜头的焦距范围的下限可以具有落在本文描述的任何两个值之间的范围内的值。
在一些情况下,适合于本发明图像捕捉装置的变焦镜头的焦距范围的上限可以小于或等于2mm、5mm、10mm、15mm、20mm、25mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或2000mm。可选地,适合于本发明图像捕捉装置的变焦镜头的焦距范围的上限可以小于或等于本文描述的任何值。适合于本发明图像捕捉装置的变焦镜头的焦距范围的上限可以具有落在本文描述的任何两个值之间的范围内的值。
在一些情况下,适合于本发明图像捕捉装置的定焦镜头的焦距可以小于或等于1mm、2mm、4mm、6mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。可选地,适合于本发明图像捕捉装置的定焦镜头的焦距可以小于或等于本文描述的任何值。适合于本发明的图像捕捉装置的定焦镜头的焦距可以具有落在本文描述的任何两个值之间的范围内的值。
在摄影中,视野(FOV)是在空间中特定的位置和朝向处通过相机可见的一部分世界;在拍摄图片时FOV之外的物体不被记录在照片中。FOV最常被表达成视域锥形的角度大小,作为视角。对于正常镜头,视野可以按FOV=2arctan(d/2f)计算,其中d是图像传感器大小,而f是镜头的焦距。对于具有固定大小的图像传感器,定焦镜头可以具有固定的FOV并且所述FOV可以包含单一的FOV角。对于具有固定大小的图像传感器,变焦镜头可以具有可变的FOV角度范围并且所述FOV角度范围可以包含多个FOV角。
在一些情况中,适合于本发明图像捕捉装置的定焦镜头的FOV可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。可选地,适合于本发明图像捕捉装置的定焦镜头的FOV可以小于或等于本文描述的任何值。适合于本发明图像捕捉装置的定焦镜头的FOV可以具有落在本文描述的任何两个值之间的范围内的值。
在一些情况下,适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的下限可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。可选地,适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的下限可以小于或等于本文描述的任何值。适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的下限可以具有落在本文描述的任何两个值之间的范围内的值。
在一些情况下,适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的上限可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。可选地,适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的上限可以小于或等于本文描述的任何值。适合于本发明图像捕捉装置的变焦镜头的FOV角度范围的上限可以具有落在本文描述的任何两个值之间的范围内的值。
图像捕捉装置180可以是高分辨率的图像捕捉装置。在一些实施方式中,图像捕捉装置可以是能够实现4K分辨率的4K图像捕捉装置。图像捕捉装置可能能够实现大于或等于约1000像素、2000像素、2500像素、3000像素、3500像素、4000像素、4500像素、5000像素、5500像素、6000像素、7000像素、8000像素或10000像素的水平分辨率。在一些情况下,图像捕捉装置可以实现小于或等于约4000像素、6000像素、8000像素、10000像素、12000像素、15000像素、20000像素或30000像素的水平分辨率。捕捉到的任何图像的水平分辨率可以落在本文描述的任何值之间。高分辨率的相机可能能够将图像以捕捉到所述图像时的分辨率储存在存储器中。或者,图像可能以低于捕捉到所述图像时的分辨率而被储存。所述图像可能以高分辨率(诸如本文描述的任何分辨率)储存。向用户终端110传输的图像(例如,视频或静态图像)可以处于捕捉到或储存所述图像时的分辨率下,或者处于比捕捉到或储存所述图像时的分辨率更低的分辨率下。在一些情况下,向用户终端传输的图像的分辨率可以小于捕捉到或储存所述图像时的分辨率的约100%、95%、90%、80%、70%、60%、50%、40%、30%、20%、10%或5%。在一些实施方式中,传输较低分辨率的图像可以有利地降低数据传输的延迟并降低由图像数据占据的带宽。
图2是图示了根据本发明实施方式的在用户终端上处理视频的方法200的流程图。
在步骤202中,接收第一组视频数据。具体而言,可以从图像捕捉装置接收所述第一组视频数据。本文对从图像捕捉装置接收视频数据的任何描述均可包括直接从图像捕捉装置接收视频,或者从可以支撑或包括所述图像捕捉装置的物体接收视频,所述物体诸如为无人飞行器。在一些实施方式中,第一组视频数据可以包括由图像捕捉装置实时捕捉到的直播流传输视频。在其他情况下,第一组视频数据可以包括已经储存在存储器中并且不需要直播或实时的视频。所述视频还可以在用户终端处缓冲。例如,可以在一个时延之后向用户终端提供直播馈送,以使得用户可以先与所述数据进行交互,之后再与直播流进行交互。此外,所述视频数据可以包括一个或多个视频片段。
第一组视频数据可以以第一清晰度由图像捕捉装置捕捉,并且可以以第二清晰度提供给用户终端。所述第一清晰度和第二清晰度可以是相同的或者可以是不同的。在一些情况下,第二清晰度可以低于第一清晰度(例如,具有第一清晰度的图像可以比具有第二清晰度的图像具有更高的分辨率)。具体而言,第一组视频数据在从图像捕捉装置向用户终端传输之前,在清晰度上可以被降低,以使得传输所述视频数据所需的繁重带宽以及视频数据一旦下载至用户终端时处理所述视频数据所需的繁重带宽降低。正因如此,可以以第一清晰度捕捉第一组视频数据并以低于所述第一清晰度的第二清晰度向用户终端传输所述第一组视频数据。然而,在其他示例中,对于视频数据的传输和处理可以没有带宽限制。在这些情况下,视频数据的第一清晰度和第二清晰度可以相等。
在步骤204中,编辑第一组视频数据。具体而言,在用户终端处编辑第一组视频数据,从而形成视频编辑请求。视频编辑请求可以包括编辑信息,所述编辑信息为图像捕捉装置提供指令以编辑与所述视频编辑请求相关联的视频。例如,图像捕捉装置可以将捕捉到的视频储存在可由图像捕捉装置访问的存储器中,并且可以将捕捉到的视频的拷贝以第一组视频数据的形式向用户终端发送。继而,当用户编辑所述第一组视频数据时,由于所述视频的另一拷贝可由图像捕捉装置在存储器处访问,所以所述用户可以仅需要向图像捕捉装置提供关于如何编辑储存在图像捕捉装置处的视频的指令,以便满足来自用户终端的视频编辑请求。
用户终端处的用户可以与用户终端进行交互以编辑视频。例如,用户终端可以包括显示器,所述显示器示出要被编辑的视频的图形表示。所述图形表示可以包括时间线或其他基于时间的特征。用户可以执行编辑特征,诸如剪切视频片段、删除视频片段的部分、添加视频片段、插入视频片段、修改视频片段、改变视频片段的回放速度(诸如以慢动作模式呈现视频片段或以快速播放模式呈现视频片段)、向视频片段添加一个或多个视觉效果或滤镜、向视频片段添加音频、修改视频片段的音频或者任何其他编辑任务,诸如本文其他各处更详细描述的编辑任务。用户终端可以跟踪所作出的编辑并形成视频编辑请求。基于用户终端处的经最终编辑的视频,所述用户终端可以形成所述视频编辑请求。本文对于向图像捕捉装置传输视频编辑请求或任何其他类型的数据的任何描述均可包括直接向图像捕捉装置传输视频编辑请求或其他数据,或者向可以支撑或包括所述图像捕捉装置的物体传输视频编辑请求或其他数据,所述物体诸如为无人飞行器。
在步骤204中基于编辑第一组视频数据而形成视频编辑请求之后,在步骤206中向图像捕捉装置传输所述视频编辑请求。具体而言,视频编辑请求是基于对第一组视频数据的编辑,并且包括有关于如何编辑与第一组视频数据相关联的视频数据的信息。对于所述示例,与第一组视频数据相匹配并由图像捕捉装置储存的原始捕捉到的视频数据被认为与所述第一组视频数据相关联。如先前所述,本文对由图像捕捉装置储存或编辑图像数据的任何描述均可适用于相机本身或者可以支撑或包括所述相机的物体,所述物体诸如为无人飞行器。
在步骤208中,用户终端接收对其视频编辑请求的响应。具体而言,在步骤208中,用户终端接收与视频编辑请求相对应的第二组视频数据。在一个示例中,当图像捕捉装置检索与视频编辑请求相关联的视频、基于所述视频编辑请求编辑所述视频并且向用户终端提供响应于视频编辑请求的第二组视频数据时,可以生成所述第二组视频数据。可以以第三清晰度提供第二组视频数据。在一些实施方式中,所述第三清晰度可以与捕捉图像时的第一清晰度相同。在其他情况下,第三清晰度可以低于捕捉图像时的第一清晰度。在所述第一组视频数据中,第三清晰度可以高于向用户终端提供的第二清晰度。
图3是图示了根据本发明实施方式的在图像捕捉装置上处理视频的方法的流程图220。在步骤222中,以第一清晰度捕捉视频。具体而言,由图像捕捉装置以第一清晰度捕捉视频。所述图像捕捉装置可以在可移动物体上或者是所述可移动物体的一部分,所述可移动物体诸如为无人飞行器100,并且可以以高清晰度捕捉视频。一旦捕捉到视频,就可以将所述视频储存在存储器中。所述存储器可以位于图像捕捉装置和/或可移动物体上。本文对存储器的任何描述均可适用于一个或多个存储器存储单元,所述存储器存储单元可以在单个物体上或者分布在多个物体上。在一些实施方式中,捕捉到的视频数据可以以第一清晰度(例如,高清晰度,诸如本文其他各处所述的高分辨率)储存在存储器中。或者,捕捉到的视频数据可以以不同于所述第一清晰度的清晰度(例如,以较低清晰度)储存在存储器中。在一些情况下,视频数据的单个拷贝可以储存在存储器中。或者,视频数据的多个拷贝可以储存在存储器中。所述多个拷贝可以是相同的清晰度或不同的清晰度。此外,可以向用户终端提供视频的至少一部分的拷贝,作为第一组视频数据。可以以第二清晰度提供所述第一组视频数据,其中第二清晰度可以等于第一清晰度,或者第二清晰度可以是较低清晰度。当以较低清晰度提供第一组视频数据时,所述第一组视频数据的传输可以需要较少的带宽,从而提供速度上的优势和数据网络覆盖的高效使用。
正因如此,在步骤224中,向用户终端传输第一组视频数据。一旦在用户终端处接收到所述第一组视频数据,用户就可以与所述数据交互以便创建视频编辑请求。所述视频编辑请求可以包括与第一组视频数据有关的信息以及关于如何编辑所捕捉到的视频的拷贝的指令,其中所述拷贝储存在存储器处。通过这种方式,用户终端可以向图像捕捉装置提供编辑文件,并且在不必发回第一组视频数据本身的情况下,基于第一组视频信息请求经编辑的视频。相反,用户终端可以请求图像捕捉装置从存储器检索对应的视频,所述对应的视频具有与在经编辑文件中请求的视频片段相同的视频片段。在其他示例中,从存储器检索出的视频片段可以与在视频编辑请求中请求的视频片段具有相同的内容,但可以具有更高的清晰度。
一旦已经在用户终端处生成并向图像捕捉装置传输视频编辑请求,就在步骤226中在所述图像捕捉装置处接收所述视频编辑请求。接收视频编辑请求之后,图像捕捉装置可以检索与视频编辑请求相关联的视频片段,并且在步骤228中可以基于视频编辑请求中的信息生成第二组视频数据。例如,图像捕捉装置可以检索选定的视频片段,并且将它们按视频编辑请求中描述的顺序来排列。图像捕捉装置可以生成第二组视频数据,以反映在用户终端处做出的编辑。可以以与用户终端处编辑的视频的清晰度不同的清晰度(例如,较高的清晰度)提供第二组视频数据。在一些情况下,第二组视频数据可以包括在用户终端处执行的编辑特征,诸如剪切视频片段、删除视频片段的一部分、添加视频片段、插入视频片段、修改视频片段、改变视频片段的回放速度、向视频片段添加一个或多个视觉效果或滤镜、向视频片段添加音频、修改视频片段的音频或者任何其他编辑任务,诸如本文其他各处更详细描述的编辑任务。在一些情况下,可以生成第二组视频数据,作为具有经编辑特征的单一视频文件。
一旦已经在图像捕捉装置处生成第二组视频数据,在步骤230中就可以向用户终端传输所述第二组视频数据。此外,由于可以从存储器(其以第一清晰度储存视频)检索第二组视频数据,所以可以以与第一清晰度相匹配的第三清晰度向用户终端传输所述第二组视频数据。或者,可以以不同于第一清晰度的第三清晰度从存储器中提取包括在第二组视频数据中的视频片段,以使得可以以低于第一清晰度的第三清晰度将第二组视频数据提供给用户终端。第三清晰度可以高于提供第一组视频数据所用的第二清晰度。在一些情况下,第三清晰度可以为至少比第二清晰度高10%、20%、30%、40%、50%、60%、70%、80%、90%、100%、150%、200%、300%、400%、500%、600%、700%、800%、900%或1000%的分辨率。
可以向进行视频编辑的用户终端传输第二组视频数据。或者,除了用户终端或替代于用户终端,可以向另一装置传输第二组视频数据。举例而言,可以向不同用户(例如,计算机、膝上型计算机、移动装置(例如,智能电话、平板计算机))的装置或同一用户的装置传输第二组视频数据。在一些情况下,第二组视频数据可以上传至云或文件共享网站。第二组视频数据可以上传至视频共享网站。
图4是图示了根据本发明实施方式的在图像处理系统中处理视频的方法的流程图240。在步骤242中,在图像捕捉装置处以第一清晰度捕捉视频。第一清晰度可以是高清晰度,诸如本文其他各处所述的分辨率值。此外,视频可以储存在图像捕捉装置的存储器处。此外,可以复制并向用户终端发送视频的拷贝,作为第一组视频数据。在步骤244中,向用户终端提供第一组视频数据。用户终端可以远离图像捕捉装置。在一个示例中,用户终端可以是移动装置而图像捕捉装置可以在无人飞行器上。用户终端和图像捕捉装置可以在物理上彼此分离。在一些情况下,在用户终端与图像捕捉装置和/或无人飞行器之间不提供物理连接。用户终端和图像捕捉装置可以在或可以不在彼此的视线内。图像捕捉装置可以是可移动的或者可以由可移动物体支撑,所述可移动物体可以使所述图像捕捉装置的距离和/或位置相对于用户终端而改变。在一些备选实施方式中,用户终端可以耦合至图像捕捉装置。例如,如果图像捕捉装置为静态相机,则所述静态相机可以连接至用户终端,以供用户与所述第一组视频数据进行交互。
在步骤246中,在用户终端处接收第一组视频数据。一旦在用户终端处接收到第一组视频数据,用户就可以与所述视频数据进行交互并生成视频编辑请求。具体而言,所述视频编辑请求可以包括用户想要在经编辑视频中包括的信息,所述经编辑视频由与第一组视频数据具有相同或相似内容的视频形成。因此,在步骤248中,在用户终端处形成视频编辑请求。所述视频编辑请求可以包括足够的数据,这允许图像捕捉装置根据用户在用户终端处使用第一组视频数据做出的编辑来提供第二组视频数据。
一旦形成视频编辑请求,在步骤250中就可以向图像捕捉装置提供所述视频编辑请求。在步骤252中,可以在图像捕捉装置处接收视频编辑请求。一旦已经在图像捕捉装置处接收到视频编辑请求,所述图像捕捉装置就可以基于所述视频编辑请求生成第二组视频数据。具体而言,图像捕捉装置可以通过访问存储器来标识与视频编辑请求相关联的视频片段。存储器可以储存与第一组视频数据相对应的视频数据。在一些实施方式中,储存在存储器处的视频数据可以是高清晰度的。正因如此,从存储器检索出的视频片段可以是高清晰度的。
在检索出与视频编辑请求相对应的视频片段之后,图像捕捉装置可以按由视频编辑请求提供的排列对所述视频片段进行合成。通过这种方式,图像捕捉装置可以生成第二组视频数据(步骤254),所述第二组视频数据响应于从用户终端接收到的视频编辑请求。在步骤256中,图像捕捉装置可以向用户终端提供第二组视频数据。在步骤258中,用户终端可以接收第二组视频数据。
图5图示了根据实施方式的图像相关数据在图像处理系统中的图像捕捉部件之中的示例性流动300。在一些实施方式中,图像相关的数据包括原始图像数据或经处理的图像数据以及从图像数据中提取或来源于图像数据的数据,诸如经编辑的图像数据。如图所示,原始图像数据可以由图像传感器304捕捉。所述图像传感器可以与一个或多个数据存储装置302相通信。所述图像传感器还可以与图像传输模块306和/或预处理单元308相通信。所述图像传输模块可以向用户终端312传输数据。所述预处理单元可以与处理单元310相通信,所述处理单元310可以向用户终端传输数据。在一些实施方式中,图像传感器304与图像传输模块306之间的通信以及图像传输模块306与用户终端312之间的通信可以是双向的。
图像传感器304可用于将光信号转换成电子信号。所述图像传感器可以包括半导体电荷耦合装置(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术的有源像素传感器或者任何其他类型的传感器。所述图像传感器可以耦合至可移动物体,诸如无人飞行器。例如,所述图像传感器可以是成像装置(例如,相机)的一部分,所述成像装置由具有或不具有载体的无人飞行器携带。所述图像传感器和/或成像装置可用于捕捉图片、视频或具有任何合适参数(诸如宽度、高度、宽高比、百万像素计数、分辨率或质量等)的任何其他图像数据。例如,所述成像装置可用于捕捉高清或超高清视频(例如,720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p、4320p等)。
图像传感器304可以耦合至无人飞行器,并且当所述无人飞行器处于飞行中或者以其他方式被占用时,可以利用所述图像传感器来捕捉图像数据。所述图像传感器可用于在无人飞行器处于操作状态中时和/或在无人飞行器通电或断电时捕捉图像数据。在示例中,可以直接而实时地向用户终端提供由图像传感器捕捉到的图像数据。在另一示例中,可以在向用户终端提供图像数据之前储存和/或处理所述图像数据。在一些示例中,向用户终端提供的图像数据的清晰度可以等于或小于由图像传感器304捕捉到的图像数据的清晰度。在以较低清晰度向用户终端提供图像数据的示例中,对带宽的需求可以减少。
当不直接向用户终端提供图像数据时,由图像传感器304捕捉到的图像数据可以储存在数据存储装置302中。所述图像数据可以在之后的某个时间从所述数据存储装置中得以访问,并且用于提供给用户终端。在一些情况下,来自图像传感器的图像数据可以同时储存在数据存储装置中、得到预处理或处理以及/或者向用户终端传输。
数据存储装置302可以基于半导体技术、磁技术、光学技术或任何合适的技术,并且可以包括闪速存储器、USB驱动器、存储卡、固态硬盘(SSD)、硬盘驱动器(HDD)、软盘、光盘、磁带等。例如,数据存储装置302可以包括可移除存储装置,所述可移除存储装置可以可拆卸地耦合至成像装置,诸如为任何合适格式的存储卡,诸如PC卡、压缩闪速存储器(CompactFlash)、智能介质(SmartMedia)、记忆棒、记忆棒Duo、记忆棒PRO Duo、微型卡、多媒体卡(MMC)、小型化多媒体卡(RS-MMC)、MMCmicro卡(MMCmicro)、PS2卡、安全数字(SD)卡、SxS、通用闪存(UFS)、迷你型SD、微型SD、xD-Picture卡、智慧棒(iStick)、串行闪存模块(SFM)、NT卡、XQD卡等。数据存储装置302还可以包括外部硬盘驱动器、光盘驱动器、磁带驱动器、软盘驱动器以及其他可以可操作地连接至成像装置的合适的存储装置。
由图像传感器304捕捉到的图像数据可以储存在数据存储装置302处,并且此外,可以由图像传输模块306向用户终端312传输由图像传感器304捕捉到的图像数据的拷贝。所述图像传输模块可以允许与用户终端的无线通信。可以显示出向用户终端312传输的图像数据,从而与储存在数据存储装置302处的图像数据相对应,诸如通过使用源视频标识而对应。在一些实施方式中,图像数据在由图像传输模块306传输之前,可以得到压缩或以其他方式得到处理。在其他情况下,所述图像数据在传输之前可以不得到压缩或处理。具体而言,可以压缩图像数据,以便减轻跨越网络传输图像数据的负担。这转而可以减少在用户装置上下载图像数据所花费的时间。在一些实施方式中,可以压缩图像数据,以使得对无线传输所述图像数据的需求降至最低。图像数据可被压缩至比原始数据的约95%、90%、80%、70%、60%、50%、40%、30%、20%、10%或5%更小。所传输的图像数据可以显示在用户终端312上,以使得操作用户终端312的用户可以查看所述图像数据和/或基于所述图像数据与用户终端312进行交互。
可选地,由图像传感器304捕捉到的图像数据可以由预处理单元308预处理。所述预处理单元308可以包括任何硬件、软件或其组合。预处理单元308的示例可以包括现场可编程门阵列(FPGA)。预处理单元308可以可操作地耦合至图像传感器304,用以在处理图像数据以提取特定的一则信息之前对原始图像数据进行预处理。由预处理单元308执行的任务的示例可以包括重新采样以确保图像坐标系的正确性、降噪、对比增强、尺度空间表示等。
由预处理单元308所处理的图像数据可以可选地由处理单元310进一步处理,所述处理单元310可操作地耦合至预处理单元308(例如,经由通用存储器控制器(GPMC)连接而耦合)。或者,不需要进一步处理。处理单元310可以包括一个或多个ARM处理器。处理单元310可用于执行本文描述的方法的任何合适的实施方式。由处理单元310执行的任务的示例可以包括任何合适的复杂度下的特征提取、图像分割、数据验证、图像识别、图像配准、图像匹配等。在一些实施方式中,处理单元310产生与已由图像传感器304捕捉到的图像数据有关的辅助信息。所述辅助信息可以例如包括目标在一个或多个图像内的位置、大小或其他特性。
可以经由通信模块向用户终端312提供由处理单元310所确定的辅助信息。在一些实施方式中,所述通信模块可以与上文描述的图像传输模块306分离。在其他实施方式中,所述通信模块可以包括图像传输模块306或被包括在图像传输模块306中。针对所述通信模块和/或所述图像传输模块306,可以使用任何合适的通信手段,诸如有线通信或无线通信。例如,所述通信模块和/或所述图像传输模块306可以利用以下各项中的一项或多项:局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等。可选地,可以使用中继站,诸如塔、卫星或移动站。无线通信可以是依赖于距离的或不依赖于距离的。在一些实施方式中,可以需要或可以不需要视线用于通信。除了跟踪信息之外,所述通信模块还可用于传输和/或接收来自可移动物体上的其他传感器的感测数据、通过处理所述感测数据而确定的位置信息和/或运动信息、预定的控制数据、来自远程控制终端的用户命令等。
在一些实施方式中,由图像传输模块306所提供的图像数据可以通过辅助信息而增强或者以其他方式与辅助信息相结合,所述辅助信息如由处理单元310所产生。用户还可以基于所增强的图像数据与用户终端进行交互。例如,用户可以基于所述图像数据或所增强的图像数据来编辑和/或创建视频。
在一些实施方式中,可以向用户终端312提供图像数据以响应于用户终端312的需求。例如,仅当用户选出某个查看模式时(例如,主动查看模式,其实时地请求图像数据;或延迟查看模式,其请求已缓冲的图像,以使得用户可以在近期图像数据中进行快进),用户终端312可以需要这样的图像数据。备选地或附加地,可以在用户终端312没有任何需求的情况下,向所述用户终端312提供图像数据。例如,可以定期地(例如,每0.1秒、每0.2秒、每0.5秒、每1秒或每2秒)向用户终端312推送图像数据。在一些实施方式中,可以通过图像传输模块或其他通信模块下推数据。或者,可以从用户终端下拉数据,所述用户终端可以向图像传输模块或其他通信模块发送一个或多个针对数据的请求。
图6图示了根据实施方式的图像相关数据进一步在图像处理系统中的图像编辑部件之中的示例性流动400。具体而言,图6图示了图像相关的数据的流动,所述数据在用户终端处产生编辑文件。编辑文件的示例是视频编辑请求,这在图7中得到更详细地讨论。
如图5中所讨论的,由图像捕捉装置以第一清晰度捕捉到的视频可以储存在可由所述图像捕捉装置访问的存储器中。此外,向用户终端提供所捕捉到的视频的至少一部分的拷贝,作为第一组视频数据。具体而言,以第二清晰度将所述第一组视频数据提供给用户终端,诸如图6中所图示的用户终端404。一旦在用户终端404处接收到第一组视频数据,用户402就可以与用户终端404进行交互以编辑所述第一组视频数据。可以使用用户402与用户终端404的交互来产生包括编辑信息406的编辑文件。编辑信息406可以包括与期望视频片段有关的特性,诸如估计起始时间、估计停止时间、要突出/放大/最小化的图像区域等。编辑信息还可以包括与音频文件有关的数据或者可以包括要与视频数据相组合的音频文件本身。
在一些实施方式中,当用户402经由用户终端404所提供的用户界面来编辑视频图像数据时,可以生成编辑信息406。例如,用户终端404可以允许用户402使用双击来选择起始点和结束点,以标识期望视频片段。基于所述用户选择和编辑,可以生成编辑信息406。当视频片段被用户选择时,所述视频片段的信息(属性)可被记录。例如,当用户通过双击来选择特定的视频段时,所述选择可被识别为编辑操作,所述编辑操作启动对所述视频段选择的视频标识连同编辑的其他特性的存储。这种信息可以包括在编辑信息406中,并且可以包括以下各项中的至少一项:视频流中的起始时间、视频流中的结束时间、被选择的时间、对选定的视频片段的描述、GPS信息、拍摄路线、格式、时长、清晰度等。在一些实施方式中,与选定的片段和编辑操作相关联的视频属性信息可以储存在诸如视频编辑请求等预先配置的文件中。附加地或备选地,与选定的片段相关联的属性信息可以嵌入在感兴趣的视频内。
用户402可以通过各种方式从提供给用户终端404的视频数据中选择一个或多个视频片段,所述方式包括单击、双击或按下视频流。选择视频片段的方法可以由用户从用户终端404上运行的应用程序的界面中选择。在一些实施方式中,向用户提供的视频数据可以包括来自图像捕捉装置的直播流。可以在图像捕捉装置处于操作中时和/或在无人飞行器处于飞行中时向用户提供视频数据。向用户提供的视频数据还可以是来自数据存储单元(例如,存储器)的视频数据。这可以包括最近拍摄的视频或在更远的过去捕捉到的视频。用户可能能够访问储存在数据存储单元中的视频,而不论所述视频是何时捕捉到的。举例而言,用户可能能够访问在过去的几秒内刚捕捉到的视频、在过去的几小时内捕捉到的视频、在过去的几天内捕捉到的视频、在过去的几周内捕捉到的视频或者在过去的几个月或任何其他时间段内捕捉到的视频。
如果用户402希望通过单击视频流来选择视频片段,则可以通过以单击的时间为中心而延长时间段来选择视频片段。例如,当用户在视频流的15:35处进行单击时,视频片段可以根据预设配置选自15:30至15:40或者15:33至15:43或者15:28至15:43。在附加示例中,用户可以通过延长在单击时间处起始的时间段来选择视频片段。例如,当用户在视频流的16:40处进行单击时,视频片段可以选自16:40-16:50。在另一示例中,用户可以通过反向延长在单击时间处起始的时间段来选择视频片段。例如,当用户在视频流的16:30处进行单击时,视频片段可以选自16:30-16:40。
此外,当用户希望通过双击视频流来选择视频片段时,可以选择具有与两次点击之间的时间段相等的时长的视频片段。进一步地,如果用户希望通过按住视频流来选择视频片段,则可以选择具有与按住的时间段相等的时长的视频片段。在另一示例中,可以向视频片段选择的方法中添加某个提前时间段(例如,2s)。例如,如果用户在15:35处按住视频流并且在15:40释放,则视频片段可以选自15:33至15:40。这种附加的两秒时间延迟允许用户记录所述用户可能太慢而无法在其想要开始选择的精确时刻起始的视频。
用户可能能够访问储存在数据存储单元中的任何数目的视频片段。用户可能能够看见已储存的各种视频片段的文件或缩略图。用户可以选择所述片段中的一个或多个来编辑。在一些情况下,与可用的视频片段有关的信息可以传输至用户终端,以供用户查看和选择。当用户选择一个或多个视频片段时,与所述视频片段相对应的一组视频数据可以传输至用户终端。所述组视频数据可以比原始捕捉到的视频数据处于更低的清晰度。
由与用户终端404进行交互的用户402产生的编辑信息406可以用于编辑视频片段。例如,当组合选定的视频片段时,用户可能想要按视频片段被选择的次序(所述次序可以不同于原始视频流中的次序)来组合所述视频片段,或者用户可能想要组合具有相同或相似的GPS信息的选定的视频片段。此外,当用户在视频片段之间作决定时,并非所有选定的视频片段都被选中以组合到最终的视频中。例如,用户可以根据某些准则从那些选定的片段中选择一些视频片段。或者,用户可以选择将滤镜应用于某些视频片段中,或者可以仅选择达到阈值亮度的视频片段。
因此,用户可以选择是否储存选定的视频片段,或者可以选择仅储存选定的视频片段的子集。选定的视频片段可以储存在诸如“精彩片段”等目录中。一旦已经生成目录,用户就可能想要组合随后从所述目录中选择的片段。所述选定的视频片段能够以各种格式储存,所述格式诸如为MP4、AVI、MOV。或者,可以不储存所述选定的视频片段以便节省存储空间。为了减少空间约束,用户可以选择储存选定的视频片段的信息(属性),而非完整的选定的片段本身,从而形成视频编辑请求。
在一些实施方式中,最终视频文件所包含的视频片段的信息(属性)可以储存在所述最终视频文件中。正因如此,可以在视频编辑请求中包括用以将所述属性信息储存在最终视频文件中的指令。通过这种方式,当播放最终视频文件时,用户可以得知视频片段的信息(属性),诸如每个片段的GPS信息。
此外,用户可能想要进一步编辑选定的视频片段。例如,用户可能想要进一步从选定的片段中选择视频的时长。这可以通过拖动时间窗或通过编辑视频片段的信息(属性)(例如,编辑所述视频片段的起始时间或结束时间)来执行。
在另一示例中,用户可能想要删除选定的视频片段。这可以通过将选定的视频片段从目录移除或通过移除所述视频片段的信息(属性)来执行。用户还可能想要添加新的视频片段。这可以通过从所述流中选择新的视频片段或通过添加视频片段的新信息(属性)来执行。
此外,用户在编辑视频片段时可以添加属性信息。所述选定的视频片段的属性可以包括来自用户的评级。例如,当选择视频片段时,用户可以添加他的评级(三星、四星……)。或者,当选择视频片段时,所述评级可以是默认值,并且用户可以选择之后再对其进行修正。进一步地,选定的视频片段的属性可以与所述视频片段一起储存在目录或库中,以使得用户可以在之后的时间中进一步在所述目录或库中选择片段。
在用户已经将选定的视频片段储存在诸如目录或库中之后,所述用户可以设定编辑规则,用于进一步从所述目录或库中选择要组合的视频片段。所述编辑规则可以是预设规则或自定义规则。例如,预设规则可以是:提取具有捕捉日期为###的视频片段。又例如,预设规则可以是:提取具有捕捉位置为“河边”的视频片段。又例如,预设规则可以是:提取具有高于四星的评级的视频片段。预设规则可以是以上示例的组合。预设规则可以由用户编辑。
或者,所述编辑规则可以是由用户创建的自定义规则。或者,用户可以通过从编辑规则的菜单进行选择来设定自定义规则。例如,用户可以将自定义规则设定为:提取两个具有高于四星的评级的片段,一个片段具有捕捉位置为“森林”而一个片段具有捕捉日期为“今天”。基于自定义规则,可以从片段目录或库中进一步选择满足所述编辑规则的视频片段,用于进一步处理,诸如组合。
一旦标识选定的视频片段,用户就可以请求通过简单组合来产生最终的视频。这种组合可以是按每个视频片段在原始流中的时间戳的次序、按视频片段被用户选择的次序、按评级的次序或者按位置的次序等。或者,用户可以使用模板用于视频组合和/或合成。例如,用户可以从模板库选择模板,并继而将选定的视频片段插入到所述模板中。模板可以包括预设音频、字幕和/或过渡效果(两个视频片段之间的一种片段)。
用户可以编辑模板或者可以创建自定义模板。或者,用户在对选定的视频片段进行合成时可以从音频库、字幕库和/或过渡效果库中选择音频、字幕和/或过渡效果。这些自定义可以包括在视频编辑请求中。
此外,用户可以预览组合的/合成的视频文件,并且进一步对其进行修正。例如,用户可以重新排列片段的次序。在一些实施方式中,用户可以选择“随机次序”按钮或者“摇动”终端,以便使片段重新排列。又例如,用户可以添加、删除或编辑任何要包括在最终视频文件中的片段。一旦已经组成最终的视频,就可以向处理系统408提供视频编辑请求,所述视频编辑请求包含与最终的视频相关联的编辑信息406。例如,可以经由通信模块(未示出)向处理系统408提供包括编辑信息406的编辑文件。处理系统408可以位于可移动物体(例如,无人飞行器)上。所述处理系统可以包含图像捕捉装置、可移动物体或全部二者。在一些实施方式中,图像处理系统还可以包括用户终端。
图7图示了根据实施方式的示例性视频编辑请求500,其可以是在图像处理系统的用户终端处生成的编辑文件。视频编辑请求500可以从用户终端传输至图像处理装置,诸如上文讨论的图像捕捉装置304。视频编辑请求可以是文件。视频编辑请求可以响应于用户对视频数据的编辑而在用户终端处生成。
视频编辑请求500可以包括与第一组视频数据有关的编辑信息,所述第一组视频数据储存在图像捕捉装置中或者可由图像捕捉装置访问。因此,编辑信息可以由图像捕捉装置使用以标识与视频编辑请求500相对应的视频。具体而言,编辑信息可以由图像捕捉装置使用以在第一组视频数据内标识视频段。在标识与视频编辑请求相对应的视频之后,视频捕捉装置可以生成经编辑的、符合视频编辑请求的视频数据。
如图7中所示,视频编辑请求500可以包括段规范(segment specification)502。段规范提供与期望视频段相关的信息504,诸如:源视频标识;视频片段的相对起始时间;视频片段的相对结束时间;滤镜效果;输出大小和帧速率;视频流的位速率;以及评论或其他信息。举例而言,所述评论或其他信息可以包括其他关于期望视频段的感兴趣的或补充的信息,例如,无人飞行器的型号,描述在捕捉视频段时的飞行参数的飞行信息。一旦与段规范502相关联的信息504已经提供给图像捕捉装置,所述图像捕捉装置的处理器就可以使用所述信息504来标识储存在图像捕捉装置中的视频数据并且可以编辑所述视频数据,以便与段规范502中列出的规范相一致。例如,视频编辑请求可以包括多个要按特定顺序排列的段,例如,如果用户请求编译多个视频片段时。
信息504可以包括与视频片段有关的附加细节,诸如任何可以应用于所述视频片段的视觉滤镜或效果。例如,如果对片段应用文本覆盖层或者在片段的一部分上叠加视觉图像,则这样的细节可以包括在所述信息中。此外,如果添加或修改任何音频,则所述视频编辑请求可以包括关于所述音频的信息。例如,可以跟踪伴随着视频文件的图像部分的音频,以对应于经编辑的视频文件。类似地,可以修改或添加音频。例如,可以使所述伴随音频的一个或多个段静音,或者可以添加声音或音乐覆盖层。在一些情况下,音频数据可以从图像捕捉装置和/或无人飞行器提供。源音频文件还可以从第三方来源(例如,歌曲)提供,或者可以在用户终端处生成(例如,用户可以记录所述用户的声音,所述声音可以用于解说所述视频的一部分)。这样的信息可以包括在或可以不包括在视频编辑请求中。
图8图示了根据实施方式的经编辑的图像相关数据进一步在图像处理系统中的图像生成部件之中的示例性流动600。可以在图像捕捉装置604处接收编辑文件,诸如图7中所示的视频编辑请求500。图像捕捉装置604可以位于无人飞行器上或者是无人飞行器的一部分,所述无人飞行器诸如为如图1中所见的无人飞行器100。或者,图像捕捉装置可以在任何其他类型的可移动物体上,诸如陆地载运工具、飞行器、基于水的载运工具或基于太空的载运工具。图像捕捉装置可以携带在手持式稳定器、支撑载运工具的稳定器或任何其他类型的稳定器上。图像捕捉装置可以由人类或动物穿戴。一旦图像捕捉装置604接收编辑文件,所述图像捕捉装置604就可以访问存储器602,所述存储器602储存与所述编辑文件相关联的图像数据。存储器602可以本地储存在图像捕捉装置604上,或者存储器602可以被远程访问。具体而言,可以使用存储器602来储存视频,所述视频由图像捕捉装置(诸如图像捕捉装置604)捕捉并且提供给用户终端。进一步地,编辑文件可以包括与所述视频有关的编辑信息,所述视频由图像捕捉装置捕捉并发送至用户终端。具体而言,当在用户终端处编辑视频时,与所述视频相关联的编辑信息在编辑文件中得到描述并且与储存在存储器602处的视频相关联。正因如此,图像捕捉装置不需要在用户终端处编辑的一组视频内容以便生成所请求的经编辑视频。相反,图像捕捉装置仅访问与编辑请求相关联的视频的拷贝并相应地编辑所述视频。
这种方法的一个好处是,图像捕捉装置可以编辑以高清晰度捕捉并储存的视频。相反地,出于若干原因,在用户终端处编辑的视频可能具有较低的清晰度。例如,用户装置可能不能够容易地上传高清晰度的视频。此外,用户可能不想仅仅为了形成视频请求的目的而使用与高清晰度视频相关联的带宽。用户还可能想要避免与下载高清晰度视频相关联的过多数据费用。进一步地,下载高清晰度视频所花费的时间可能显著长于下载较低清晰度视频所花费的时间。出于所有这些原因,用户可能偏好利用较低清晰度视频来形成视频编辑请求。正因如此,图像捕捉装置可以接收诸如视频编辑请求等编辑文件,所述编辑文件提供了关于图像捕捉装置要如何编辑已经储存在存储器602处的视频的指令。
为了编辑储存在存储器602处的视频,图像捕捉装置可以检索与编辑文件相关联的视频片段。具体而言,图像捕捉装置可以基于在编辑文件中提供的属性信息来检索视频片段。例如,视频编辑请求可以包括段规范,所述段规范指示出包含一个或多个选定视频片段的视频的视频标识。段规范还可以包括属性信息,所述属性信息描述期望视频片段的起始点和结束点。通过这种方式,图像捕捉装置可以从存储器602检索与视频编辑请求相关联的视频片段。
在另一示例中,图像捕捉装置可以基于嵌入在视频中的属性信息来检索视频片段。属性信息可以在捕捉数据之时由图像捕捉装置的处理器嵌入,或者属性数据可以基于来自视频编辑文件的指令而嵌入到视频中。进一步地,诸如在检测到视频合成命令后,图像捕捉装置可以找到并提取由嵌入在视频中的属性信息所指示的视频片段。视频合成可以包括视频片段的合并。在已经标识并提取视频片段之后,图像捕捉装置可以将所述视频片段合成为视频文件。在另一示例中,图像捕捉装置可以在基于属性信息从视频中提取视频片段时,调整所述视频片段的分辨率。此外,可以基于视频片段的起始点而对所提取的视频片段进行合成。
一旦已经检索出选定的视频片段,就可以从存储器602向处理器606提供与编辑文件相关联的视频片段。处理器606可用于基于所述编辑文件来编辑视频片段。具体而言,可以使用处理器606将选定的片段合成为最终的视频。可以按时间顺序对视频片段进行合成,或者可以基于在编辑文件中提供的附加指令而组织视频片段。在一个示例中,可以编辑图像数据以提供多个视频片段,所述多个视频片段按与视频编辑请求内的指令相对应的顺序而排列,所述视频编辑请求从用户终端提供至图像捕捉装置604。例如,视频编辑请求可以指定每个视频片段在预配置模板内排列的方式。例如,可以提供音乐模板,其基于音乐的节奏来组织视频段。使用音乐模板可以将音乐组织成若干段,以使得用户可以用不同的视频片段来填充音乐段的时隙。基于这些指令,处理器606可以将选定的视频片段中的每一个放置到基于编辑文件中的指令而分配的位置中。
在另一示例中,在已经从存储器602中检索到视频片段之后,所述选定的视频片段可以由处理器606进一步编辑。例如,视频编辑请求中的指令可以指定:编辑选定的视频片段中的一个或多个以包括滤镜。或者,视频编辑请求中的指令可以提供:以比其他视频片段的回放速度更高的回放速度提供某些视频片段。这些在某些视频片段的呈现中的特性差异可以由编辑指令所编码并且可以使用处理器606执行。
通过这种方式,可以将多个视频片段组织成为第二组图像数据。一旦已经将图像数据编辑到第二图像数据中,就可以经由图像传输模块608从处理器606向用户终端610提供所述图像数据。第二组视频数据可以包括多个视频片段,或者可以形成为可包含多个视频片段的单一的视频文件。
图9是图示了根据本发明实施方式的在用户终端处处理视频的方法的流程图。
在步骤3-102中,可以在用户终端处,对是否要处理由图像捕捉装置捕捉到的视频进行确定。
图像捕捉装置可以是具有视频捕捉能力的装置。在一些实施方式中,图像捕捉装置可以在可移动物体上或者是可移动物体的一部分,所述可移动物体诸如为飞行器、地面载运工具或由用户持有的移动电话。或者,图像捕捉装置可以是静止物体,诸如安装在建筑上的摄像头。用户终端可以是可经由无线链路或电缆与远程图像捕捉装置相通信的装置。在一些实施方式中,用户终端可以是智能电话。用户终端可以具有一个或多个安装在其上的应用程序。或者,在用户终端上不提供单独的应用程序。在一些情况下,用户终端可以具有安装在其上的视频编辑应用程序。用户终端可以是遥控器。在一些实施方式中,可以在用户终端上提供物理按钮,用户可以通过所述物理按钮输入指示出操作命令的信号。或者,可以在运行于用户终端上的软件应用程序上显示软按钮或虚拟按钮。用户可以通过按下或触摸软按钮来输入指示出操作命令的信号。在一些实施方式中,用户终端可以包括显示器。用户终端可以包括触摸屏。
在一些实施方式中,步骤3-102可以包括从用户终端处的用户接收输入,所述输入指示出视频处理请求。用户可以通过按下提供于用户终端上的一个或多个按钮来输入他/她的决定——关于是否要处理由诸如无人飞行器等图像捕捉装置捕捉到的视频。在一些情况下,用户可以操作无线遥控器,并且通过按下一个或多个物理按钮来输入他/她的决定。或者,用户可以操作不具有物理按钮的智能电话,并且通过按下软按钮来输入他/她的决定,所述软按钮由运行于所述智能电话上的软件应用程序显示。举例而言,用户可以向用户终端提供输入,以对视频执行编辑功能。用以执行编辑功能的输入可以是对于要处理由图像捕捉装置捕捉到的视频的指示。当用户提供指示出要对视频执行的编辑功能的输入时,可以做出对于要处理由图像捕捉装置捕捉到的视频的确定。在备选实施方式中,一个或多个处理器可以在无需人类干预的情况下提供要对视频执行编辑功能的指示。
在一些实施方式中,要对捕捉到的视频执行的处理可以包括将一个或多个视频片段合并至所述捕捉到的视频。所述一个或多个视频片段可以包括开场和/或收尾。如这里所使用的,开场可以是要添加于视频开头处的视频片段,而收尾可以是要添加于视频结尾处的视频片段。可选地,要对捕捉到的视频执行的处理可以包括将一个或多个过渡效果添加至所述捕捉到的视频。如这里所使用的,过渡效果可以是要添加于视频中间中的视频片段。可选地,要对捕捉到的视频执行的处理可以包括将一个或多个滤镜效果应用于所述捕捉到的视频。对视频的处理可以包括缩短视频片段、删除视频片段的一部分、修改或添加音频数据或者执行本文其他各处描述的任何其他编辑功能。本文将对视频片段的合并作为示例进行描述,但可以进行任何其他处理功能。
如果在步骤3-102中的确定为“是”,那么在步骤3-104中,可以在用户终端处选择一个或多个要合并至由图像捕捉装置捕捉到的视频的视频片段,从而形成视频编辑请求。如果在步骤3-102中的确定为“否”,那么所述处理保持在步骤3-102中。
在一些实施方式中,一个或多个视频片段可以包括开场、收尾和过渡效果中的至少一个。一个或多个视频片段可以选自安装在图像捕捉装置上的存储器装置。在一些情况下,所述存储器装置可以是永久的计算机可读介质,其可以包括位于无人飞行器上和/或图像捕捉装置上的一个或多个存储器单元(例如,可移除介质或外部存储,诸如安全数字(SD)卡或随机存取存储器(RAM)或只读存储器(ROM)或闪速存储器)。或者,所述一个或多个视频片段可以选自安装在用户终端上的存储器装置。可选地,一个或多个视频片段可以选自在线视频库,诸如云中的视频存储。在任一情况下,都可以在步骤3-102之前准备视频片段,所述视频片段储存在安装于图像捕捉装置上的存储器装置中,或者储存在安装于用户终端上的存储器装置中,或者储存于在线视频库中。
在一些实施方式中,可以通过播放一个或多个视频片段来选择所述一个或多个视频片段,所述视频片段可以储存在安装于图像捕捉装置上或用户终端上的存储器装置中或者储存于在线库中。例如,用户可以分别播放储存在位于无人飞行器上的SD卡中的一个或多个视频片段并且选择具有河边场景的视频片段作为开场。或者,可以通过查看一个或多个视频片段的描述来选择所述一个或多个视频片段。在一些情况下,所述描述可以是描述视频片段的内容、类别、位置、时长和/或评级的信息。例如,用户可以通过检查“河畔”类别下的对应描述来选择河边场景的视频片段作为开场。
在一些实施方式中,步骤3-104可以包括从用户终端处的用户接收输入,所述输入指示出对一个或多个视频片段的选择。在一些情况下,通过按下诸如无线遥控器等用户终端的物理按钮,可以实现用户输入。可选地,通过按下诸如智能电话等用户终端上显示的软按钮,可以实现用户输入。举例而言,用户可以操作操纵杆或者按下一个或多个按钮以从在线视频库选择具有“河边场景”的视频片段,并且确定使用所述视频片段作为开场。
在一些实施方式中,步骤3-104可以包括接收模板。在一些情况下,模板可以是系统默认模板。或者,模板可以是由用户从多个预设模板中选定的模板。所述多个预设模板可以储存在安装于诸如无人飞行器等图像捕捉装置上的存储器装置中。可选地,所述多个预设模板可以储存在安装于诸如智能电话等用户终端上的存储器装置中。可选地,所述多个预设模板可以储存于在线模板库中,诸如云中的模板存储。
在一些情况下,模板可以包括开场、收尾和过渡效果中的至少一个。可选地,模板还可以包括音频和字幕中的至少一个。举例而言,用户选定的模板可以包括一个开场、两个过渡效果和音频。在这种情况下,可以通过使捕捉到的视频适应模板来处理所述由无人飞行器捕捉到的视频,以使得经处理的视频包含开场、视频、过渡效果和背景音乐。
在一些情况下,用户可以编辑系统默认模板或在线模板,诸如修改所述模板的开场、收尾、过渡效果、音频和字幕中的至少一个。可选地,用户可以通过确定开场、收尾、过渡效果、音频和字幕中的至少一个来创建新模板。用户创建的模板可以储存作为系统默认模板或作为在线模板。
在一些实施方式中,步骤3-104可以包括将一个或多个视频片段确定为开场、收尾和过渡效果中的至少一个。开场可以指示出视频片段要被添加至视频前面。收尾可以指示出视频片段要被添加至视频结尾。过渡效果可以指示出视频片段要被插入到视频中。在完成步骤3-102后,就可以确定开场、收尾和过渡效果中的至少一个。
可选地,步骤3-104可以包括选择要应用于一个或多个视频片段的滤镜效果。举例而言,滤镜效果可以包括选自以下各种效果中的至少一种或多种:基础调谐滤镜、色彩滤镜、风格化滤镜、几何滤镜等。基础调谐滤镜的示例包括亮度、曝光度、对比修改、白平衡、高亮、阴影、对比度、色相、锐度、饱和度、降噪和伽玛。色彩滤镜的示例包括颜色反转、使用颜色的热表示、灰度、颜色修改、老电影着色、棕色和颜色LUT。风格化滤镜的示例包括卡通、素描、模糊、拉伸、像素化、色调分离、单色与灰度、金色、水墨画、水彩和油画。几何滤镜的示例包括凸出、漩涡、爆炸、球面化和镜头渐晕。通过按下用户终端上的物理按钮或者通过按下如用户终端上所显示的软按钮或虚拟按钮,用户可以从滤镜效果的列表中选择滤镜效果。
在步骤3-104中,可以在选择一个或多个要合并至由图像捕捉装置捕捉到的视频的视频片段之后,在用户终端处生成视频编辑请求。所述编辑请求可以是小体量文件,其至少包含指示出如用户在步骤3-104中所选择的要合并的开场、一个或多个过渡效果以及收尾的信息。
在步骤3-106中,在步骤3-104中所形成的视频编辑请求可以传输至图像捕捉装置,以使所述图像捕捉装置通过将一个或多个视频片段与视频相合并来处理所述视频。
可以从用户终端向图像捕捉装置传输所述视频编辑请求。由于视频编辑请求的体量较小,所以所述视频编辑请求的传输可以占用较少的带宽。举例而言,视频编辑请求的传输可以利用以下各项中的一项或多项:电缆、局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络(2G链路、3G链路或LTE链路)、云通信等。在一些情况下,出于安全原因,可以对视频编辑请求的传输进行编码和/或加密。
诸如无人飞行器等图像捕捉装置可以通过提取所记录的信息来接收并分析视频编辑请求,并且对所捕捉到的视频执行对应的视频处理。在一些情况下,如视频编辑请求中所述,由图像捕捉装置执行的处理可以至少包括将至少开场、收尾和过渡效果合并至所捕捉到的视频。例如,通过描述开场和收尾的ID和目录,视频编辑请求可以记录要合并至所捕捉到的视频的开场和收尾。通过将开场和收尾分别添加至所捕捉到的视频的开头和结尾,图像捕捉装置可以合并所述开场和所述收尾。又例如,通过描述过渡效果的ID、过渡效果的目录和过渡效果的相对起始时间,视频编辑请求可以记录要合并至所捕捉到的视频的过渡效果。通过在相对起始时间时将过渡效果插入至所捕捉到的视频中间,图像捕捉装置可以合并所述过渡效果。
在一些实施方式中,如图9中所示,根据本发明实施方式,在用户终端处处理视频的方法还可以从图像捕捉装置接收合并后的视频。所述合并后的视频可以是高清晰度视频文件,一个或多个视频片段作为开场、过渡效果和收尾合并至所述高清晰度视频文件中。在一些情况下,合并后的视频的清晰度可以等于由图像捕捉装置捕捉视频时的清晰度,诸如4K。或者,合并后的视频的清晰度可以低于由图像捕捉装置捕捉视频时的清晰度。可选地,通过插值的方式,合并后的视频的清晰度可以高于由图像捕捉装置捕捉视频时的清晰度。在一些情况下,合并后的视频的格式可以是MP4(动态图像专家组音频层IV)、AVI(音频视频交错)、MOV(Quicktime影片格式)等。
图10是根据本发明实施方式的形成于用户终端处的视频编辑请求中的内容的示例。如图10中所示的视频编辑请求中的内容仅出于说明性目的,并且可以根据各种协议而变化。如上文所述,所述编辑请求可以是至少描述了如由用户所选定的开场、一个或多个过渡效果以及收尾的文件。
在图10中所示的示例中,视频编辑请求可以至少包括要合并至所捕捉到的视频的开场、一个或多个过渡效果以及/或者收尾的描述。在一些实施方式中,所述描述可以至少包括足以用于标识视频片段的开场、过渡效果和/或收尾的信息以及用于定义视频片段的输出参数的信息。举例而言,视频编辑请求可以至少包括视频编辑请求文件标题、视频ID、用于标识存储位置的视频目录、要应用的滤镜效果、输出大小、视频片段的帧速率和视频片段的位速率。
视频编辑请求的内容可以根据不同的协议而变化。在一些情况下,视频编辑请求的内容还可以根据用户的需求而变化。举例而言,如果不止一个过渡效果要合并至所捕捉到的视频中,则可以在视频编辑请求中记录更多用于过渡效果的段。
图11是图示了根据本发明实施方式的在用户终端处准备视频片段用于开场、过渡效果和/或收尾的方法的流程图。如图11中所示的准备视频片段的方法可以在用户终端处执行,以准备要用作开场、过渡效果和/或收尾的视频片段,并且如上文所讨论的,可以可选地在如图9中所示的用户终端处处理视频的方法之前执行。
在步骤3-302中,可以确定是否要现场捕捉用于开场、过渡效果和/或收尾的视频片段。在一些实施方式中,用户可能想要捕捉并储存关于当前场景的视频片段,以使得所述视频片段可以在之后用作开场、过渡效果和/或收尾。可以由用户通过按下诸如遥控器或智能电话等用户终端上的物理按钮来作出所述确定。或者,可以通过按下如用户终端上所显示的软按钮或虚拟按钮来作出所述确定。
如果在步骤3-302中的确定为“是”,那么在步骤3-304中,关于当前场景的视频片段可以由图像捕捉装置(诸如相机、携带相机单元的无人飞行器或具有相机模块的移动电话)捕捉到。所述当前场景可以为环境的场景。在一些情况下,用户可以通过经用户装置发送指令来控制图像捕捉装置的相机单元的方向、变焦和/或效果。可以储存所捕捉到的视频片段以供未来使用。在一些情况下,所捕捉到的视频片段可以储存在安装于图像捕捉装置上的存储器装置中。或者,所捕捉到的视频片段可以通过无线链路或电缆而传输并储存在安装于用户终端上的存储器装置中。可选地,所捕捉到的视频片段可以上传至在线视频库,诸如云中的视频存储。在一些情况下,当所捕捉到的视频片段传输至用户终端时,所述捕捉到的视频片段可以与用户终端上的视频相合并。举例而言,当捕捉到视频片段时,所述视频片段可以与所标识的视频相合并。或者,可以在未来从存储器访问并合并所述视频片段。
在一些情况下,能够以YUV、Y'UV、YCbCr、YPbPr、H264、H265、MP4(动态图像专家组音频层IV)、AVI(音频视频交错)、MOV(Quicktime影片格式)等格式来传输、上传和/或储存所捕捉到的视频片段。
如果在步骤3-302中的确定为“否”,那么在步骤3-306中,可以准备现有的视频片段用于开场、过渡效果和/或收尾。在一些实施方式中,用户可以浏览多个储存在本地的现有视频片段,选择现有视频片段,将所述现有视频片段编辑为适合于开场、过渡效果或收尾的视频片段。举例而言,用户可以选择本地储存在用户终端中的视频片段,并且通过拖动时间窗来将所述视频片段编辑成具有5秒时长的片段。可选地,所准备的一个或多个视频片段可以储存在本地目录中以供未来用作为开场、过渡效果或收尾。或者,所准备的一个或多个视频片段可以上传并储存在安装于图像捕捉装置上的存储器装置中,或者储存于诸如云中的视频存储等在线视频库中。
如果步骤3-304或步骤3-306完成,则准备用于开场、过渡效果和收尾的视频片段的方法可以在步骤3-308中结束。随后,可以进行合并过程。
图12是图示了根据本发明实施方式的在图像捕捉装置处合并开场、过渡效果和/或收尾的方法的流程图。如上文参考图9所讨论的,在用户终端处处理视频的方法之后,可以在图像捕捉装置处执行合并开场、过渡效果和/或收尾的方法。
在步骤3-402中,图像捕捉装置可以捕捉视频。所述图像捕捉装置可以包括相机单元。在一些情况下,相机单元可以包括光学传感器以及一个或多个用于将光引导到所述光学传感器中的镜头。在一些实施方式中,所捕捉到的视频可以储存在位于图像捕捉装置上的存储器装置中,所述存储器装置诸如为SD卡。在一些情况下,所捕捉到的视频可以按FIFO(先入先出)的方式储存在存储器装置中,以使得仅预定长度的视频可以被储存。
在步骤3-304中,可以从用户终端接收视频编辑请求。当在用户终端处确定要处理所捕捉到的视频时,可以从选择一个或多个要合并至所捕捉到的视频的视频片段中形成视频编辑请求。如上文所讨论的,视频编辑请求可以在用户终端处形成,并且在图9的步骤3-104中描述了形成视频编辑请求的处理。视频编辑请求可以至少包含指示出要合并至所捕捉到的视频的开场、一个或多个过渡效果以及收尾的信息。如上文所讨论的,图10中描述了视频编辑请求中的内容的示例。在已经捕捉到视频之后,视频编辑请求可以在任何时间出现。这可以包括当视频正在得到流直播时、在捕捉到视频之后的若干秒内、在捕捉到视频之后的若干小时内、在捕捉到视频之后的若干天内、在捕捉到视频之后的若干月内或者在捕捉到视频的任何其他时间时。用户可以在任何时间查看捕捉到的视频并且对于编辑所述视频进行确定。当支撑用于捕捉视频的图像捕捉装置的无人飞行器处于飞行中时,用户可以对编辑所述视频进行确定。用户可能能够在无人飞行器处于飞行(例如,捕捉到所述视频的同一次飞行或之后的飞行)中时编辑所述视频。
在步骤3-406中,从接收到的视频编辑请求中标识的一个或多个视频片段可以合并至由图像捕捉装置捕捉到的视频。在一些实施方式中,步骤3-406的过程可以至少包括:基于视频编辑请求,将开场和/或收尾添加至捕捉到的视频的开头或结尾,以及/或者将过渡效果插入至捕捉到的视频中间。与由图像捕捉装置捕捉到的视频相合并的视频片段还可以由相同的图像捕捉装置捕捉。或者,可以使用不同的图像捕捉装置来捕捉视频片段。在其他情况下,可以使用装置来生成视频片段(例如,计算机生成的视频片段)。
在一些实施方式中,执行步骤3-402和步骤3-404的次序可以交替。例如,在捕捉视频之前,可以在图像捕捉装置处接收视频编辑请求。
在一些实施方式中,如图12中所示的在图像捕捉装置处合并开场、过渡效果和/或收尾的方法可以包括将合并后的视频储存在存储器装置中。在一些情况下,合并后的视频可以储存在安装于图像捕捉装置上的诸如SD卡等存储器装置中,或者储存在无人飞行器上。或者,合并后的视频可以储存在安装于用户终端上的存储器装置中。可选地,合并后的视频可以储存在云中的在线视频库中。如上文所讨论的,在一些情况下,合并后的视频可以储存在不止一个存储器装置中。
在一些实施方式中,如图12中所示的在图像捕捉装置处合并开场、过渡效果和/或收尾的方法可以包括向用户终端传输合并后的视频。在一些情况下,能够以诸如4K等高清晰度或本文其他各处所述的任何其他分辨率而传输合并后的视频。在一些实施方式中,能够以与图像捕捉装置捕捉视频时的清晰度相等的清晰度来传输合并后的视频。或者,可以以比图像捕捉装置捕捉视频时的清晰度更低的清晰度传输合并后的视频。可选地,通过插值的方式,能够以比图像捕捉装置捕捉视频时的清晰度更高的清晰度来传输合并后的视频。在一些实施方式中,用户可以在用户终端处,以与原始捕捉或创建视频和/或视频片段时的清晰度相等或比其更低的清晰度,查看由图像捕捉装置捕捉到的视频以及一个或多个要与所述视频相合并的视频片段。在用户编辑视频之后,可以向图像捕捉装置或其他外部装置或云存储发送视频编辑请求。根据所作出的用户编辑,可以向用户终端提供合并后的视频以响应于所述视频编辑请求。合并后的视频的分辨率可以低于或等于原始捕捉或创建视频和/或视频片段时的分辨率。合并后的视频的分辨率可以高于或等于在用户终端上编辑视频时的分辨率。在一些情况下,合并后的视频能够以MP4(动态图像专家组音频层IV)、AVI(音频视频交错)、MOV(Quicktime影片格式)等格式传输。
图13是图示了根据本发明实施方式的在图像捕捉装置处合并开场、过渡效果和/或收尾的方法的流程图。如上文所讨论的,图13的这种方法可以包括多个如在图12的步骤3-406中所执行的处理。
在步骤3-502中,可以合并开场。在一些实施方式中,基于视频编辑请求而标识的视频片段可被添加至要由图像捕捉装置捕捉到的视频的开头。举例而言,场景为“河边”的视频片段可以基于视频编辑请求得以标识、从在线视频库中取出并且用作要由诸如无人飞行器等图像捕捉装置捕捉的视频的开场。
在步骤3-504中,可以通过图像捕捉装置捕捉视频,所述图像捕捉装置诸如为携带相机单元的无人飞行器。在一些实施方式中,捕捉到的视频片段可以储存在存储器装置中,所述存储器装置诸如为位于图像捕捉装置上的SD卡。
在步骤3-506中,可以对过渡效果是否为当前场景的视频片段进行确定。可以通过分析从用户终端接收到的视频编辑请求来标识过渡效果。举例而言,视频编辑请求可以包含关于过渡效果的相对起始时间的信息。在这种情况下,用于过渡效果的视频片段可以在相对起始时间(例如,从捕捉到的视频开始15秒)时插入作为过渡效果。
在一些实施方式中,过渡效果可以是要从安装在图像捕捉装置上的存储器装置中取出的视频片段,所述存储器装置诸如为位于无人飞行器上的SD卡。或者,过渡效果可以是要从安装在用户终端上的存储器装置中取出的视频片段。可选地,过渡效果可以是要从云中的在线视频库下载的视频片段。
在其他实施方式中,过渡效果可以是关于当前场景的视频片段。举例而言,用户可能想要将某种滤镜效果应用于当前场景,并且将这种加了效果的视频片段用作过渡效果。
如果在步骤3-506中的确定为“是”,即,当前场景的视频片段可以用作过渡效果,那么在步骤3-508中,可以捕捉当前场景的视频片段并将其用作过渡效果。在一些实施方式中,步骤3-506可以包括将一个或多个滤镜效果应用于当前场景的视频片段。在一些情况下,从用户终端接收到的视频编辑请求可以记录用于命令图像捕捉装置将当前场景的视频片段用作过渡效果的信息,以及关于要应用在当前场景的视频片段上的滤镜效果的信息。或者,用户可以从用户终端发送即时指令(其命令图像捕捉装置将当前场景的视频片段用作过渡效果)以及关于要应用在当前场景的视频片段上的滤镜效果的信息。
如果在步骤3-506中的确定为“否”,即,外部视频片段可以用作过渡效果,那么在步骤3-510中,可以基于视频编辑请求从存储器装置中取出当前场景的视频片段。在一些情况下,从用户终端接收到的视频编辑请求可以记录关于用于过渡效果的期望视频片段的位置的信息以及/或者关于要应用在视频片段上的滤镜效果的信息。在这种情况下,可以暂停图像捕捉装置的视频捕捉,且可以接收外部视频片段并将其合并作为过渡效果。在完成接收所述外部视频片段并将其合并作为过渡效果之后,可以恢复图像捕捉装置的视频捕捉。
在步骤3-512中,可以合并收尾。在一些实施方式中,可以将基于视频编辑请求而标识的视频片段添加至由图像捕捉装置捕捉到的视频的结尾。举例而言,场景为“森林”的视频片段可以基于视频编辑请求得以标识、从位于图像捕捉装置上的SD卡中取出并且用作由诸如无人飞行器等图像捕捉装置捕捉到的视频的收尾。至此,可以产生合并后的视频。
在一些实施方式中,在如上文在图13中所讨论的方法中,执行步骤的次序可以改变。例如,可以在图像捕捉装置处完全捕捉到视频之后执行合并开场、合并过渡效果和/或合并收尾的步骤。在这种情况下,可以缓冲或储存如步骤3-508中所捕捉的当前场景的视频片段,直到视频完全由图像捕捉装置捕捉到。在一些实施方式中,用户可以选择执行开场合并、过渡效果合并和/或收尾合并中的一个、两个或全部三个。在一些情况下,单个视频片段或多个视频片段可以与视频相合并。因此,图13的一个或多个步骤可以不必进行,或者可以按不同的顺序进行。在一些情况下,要与视频相合并的视频片段可以来自相同的来源(例如,来自相同的存储器或数据存储单元),或者可以从不同的来源提供(例如,一些视频片段可以来自图像捕捉装置,一些视频片段可以来自云存储装置,一些视频片段可以来自单独的装置,一些视频片段可以来自用户终端)。在一些实施方式中,用户终端可以从单个来源或从多个来源接收视频片段和/或视频。类似地,图像捕捉装置和/或可移动物体可以使用来自单个来源(例如,图像捕捉装置的存储器和/或可移动物体的存储器)或多个来源的视频片段和/或视频来创建合并后的视频。
在一些实施方式中,如果用户希望合并相同的开场、过渡效果和/或收尾,则关于开场、过渡效果和/或收尾的配置可以保存,例如保存作为模板。通过按下诸如遥控器或智能电话等用户终端上的物理按钮或软按钮,可以保存关于开场、过渡效果和/或收尾的配置。或者,通过按下图像捕捉装置上的物理按钮或软按钮,可以保存所述配置,所述图像捕捉装置诸如为携带相机单元的无人飞行器。
图14是根据本发明实施方式的用于处理视频的系统的通过框图来说明的示意图。
如图14中所示,根据本发明实施方式,用于处理视频的系统可以包括用户终端3-602和图像捕捉装置3-604。本文对图像捕捉装置的部件的任何描述均可包括位于所述图像捕捉装置本身上的部件(例如,相机)。或者,一个或多个部件可以分布在支撑图像捕捉装置的可移动物体(例如,无人飞行器)上。
在一些实施方式中,图像捕捉装置3-604可以包括串行连接的控制模块3-606、视频捕捉模块3-608、视频处理模块3-610和视频储存模块3-612。控制模块3-606可以直接连接至视频处理模块3-610。图像捕捉装置3-604还可以包括存储器装置3-614,所述存储器装置3-614连接至视频处理模块3-610和视频储存模块3-612。在一些实施方式中,存储器装置3-614可以包括开场库3-616、过渡效果库3-618和收尾库3-620。存储器装置可以从视频储存模块接收用于所述库的视频片段。举例而言,可以使用视频捕捉模块来捕捉所述视频片段中的一个或多个。在其他情况下,可以从外部来源向存储器装置提供视频片段。在一些情况下,存储器装置将会下载用于库的数据和/或视频片段。所述下载可以周期性地进行或响应于一个事件而进行。在一些示例中,所述下载可以在图像捕捉装置开启的任何时间而进行。在其他情况下,所述下载可以按规律的或不规律的时间间隔而进行。可选地,所述下载可以响应于用户更新存储器的请求而进行。因此,所述库可以储存在位于图像捕捉装置上的存储器中。或者,所述库可以储存在图像捕捉装置之外,并且可以由所述图像捕捉装置访问。举例而言,所述库可以储存在云上,并且可以根据请求由图像捕捉装置访问。图像捕捉装置可以缓冲或暂时储存选定的视频片段或库的选定部分。
在一些实施方式中,用户终端3-602可以是遥控器或智能电话。在一些情况下,在用户终端上可以提供至少一个物理按钮。或者,在用户终端上可以提供至少一个屏幕,诸如LCD(液晶显示器)屏幕。用户终端的显示器可以是触摸屏。用户可以通过按下物理按钮或软按钮来输入指令。用户可以经由触摸屏(例如,触摸软键、轻击、滑动、夹捏、扩大、顺时针或逆时针扭转/旋转)来输入指令。在一些情况下,用户终端3-602可以至少包括:通信单元,其允许与图像捕捉装置相通信;以及一个或多个处理器,其单独地或共同地用以执行至少如上文参考图9和图11所讨论的操作。
在一些实施方式中,图像捕捉装置3-604可以是相机、携带相机单元的无人飞行器或具有相机模块的移动电话。在一些情况下,图像捕捉装置可以至少包括:图像传感器,其用于捕捉视频;通信单元(图14中未示出),其允许与用户终端相通信;以及一个或多个处理器,其单独地或共同地用以执行至少如上文参考图12和图13所讨论的操作。
在一些实施方式中,用户终端3-602可以浏览本地储存在例如存储器装置3-614中的多个现有视频片段,并且选择现有视频片段作为适合于开场、过渡效果或收尾的视频片段。用户选定的视频片段可以相应地储存在开场库3-616、过渡效果库3-618或收尾库3-620中。可选地,用户可以通过经由控制模块3-606向视频处理模块3-610发送指令来编辑现有视频片段。可选地,用户可以通过经由控制模块3-606向视频处理模块3-610发送指令来编辑捕捉到的视频片段。继而经编辑的视频片段可以相应地储存在开场库3-616、过渡效果库3-618或收尾库3-620中。或者,用户可以通过控制模块3-606命令图像捕捉模块3-608捕捉当前场景的视频片段,并且储存捕捉到的视频片段,所述视频片段将用作开场库3-616、过渡效果库3-618和收尾库3-620中之一中的开场、过渡效果或收尾。
在一些实施方式中,控制模块3-306可以从用户终端3-602接收指令,并且向视频捕捉模块3-608和视频处理模块3-610发送所述指令。
在一些实施方式中,视频捕捉模块3-608可以捕捉要处理的视频,并将捕捉到的视频馈送给视频处理模块3-610。在一些情况下,根据来自用户终端3-602的指令,视频捕捉模块3-608还可以捕捉要用作开场、过渡效果或收尾的视频片段。
在一些实施方式中,视频处理模块3-610可以将开场、过渡效果和收尾中的至少一个合并至由图像捕捉模块3-608捕捉到的视频。可选地,视频处理模块3-610可以根据来自用户终端3-602的指令来编辑现有视频片段,以使得经编辑的视频片段可以用作开场、过渡效果或收尾。可选地,视频处理模块3-610可以编辑由图像捕捉模块3-608捕捉到的视频片段,以使得经编辑的视频片段可以用作开场、过渡效果或收尾。
在一些实施方式中,视频储存模块3-612可以将由视频处理模块3-610处理的、合并后的视频储存至存储器装置3-614。可选地,视频储存模块3-612可以将由视频处理模块3-610处理的、经编辑的视频片段储存至开场库3-616、过渡效果库3-618和收尾库3-620中之一。
在一些实施方式中,存储器装置3-614可以至少包括开场库3-616、过渡效果库3-618和收尾库3-620,所述库用于储存适合于开场、过渡效果或收尾的视频片段。可选地,存储器装置3-614可以包括用于储存合并后的视频的存储器。
图15是图示了根据本发明实施方式的处理视频的方法的流程图。
在步骤3-702中,可以在图像捕捉装置处捕捉视频。步骤3-702中的操作可以与如上文参考图12所讨论的、在步骤3-402中执行的那些操作相同。类似地,可以修改所述步骤的顺序。举例而言,步骤3-702可以在步骤3-704或3-706之后进行。
在步骤3-704中,可以在用户终端处,对是否要处理由图像捕捉装置捕捉到的视频进行确定。用户可以向用户终端提供指示出要处理所述视频的输入。例如,用户可以通过按下用户终端上提供的物理按钮或软按钮来输入指示出所述确定的信号。视频编辑请求或对视频编辑的任何类型的指示均可以是要处理所述视频的指示。步骤3-704中的操作可以可选地与如上文参考图9所讨论的、在步骤3-102中执行的那些操作相同。
如果在步骤3-704中的确定为“是”,即,确定要处理所捕捉到的视频,那么在步骤3-706中,可以在用户终端处选择一个或多个要合并至由图像捕捉装置捕捉到的视频的视频片段。步骤3-706中的操作可以与如上文参考图9所讨论的、在步骤3-104中执行的那些操作相同。否则,如果在步骤3-704中的确定为“否”,即确定不处理所捕捉到的视频,那么处理流程可以返回至步骤3-702。
在步骤3-708中,可以从用户终端向图像捕捉装置提供视频编辑请求。步骤3-708中的操作可以与如上文参考图9所讨论的、在步骤3-106中执行的那些操作以及如上文参考图12所讨论的、在步骤3-404中执行的那些操作相同。
在步骤3-710中,可以在图像捕捉装置处将一个或多个视频片段合并至捕捉到的视频中。步骤3-710中的操作可以与如上文参考图12所讨论的、在步骤3-406中执行的那些操作相同。
在一些实施方式中,如图15中所示的处理视频的方法还可以包括以与由图像捕捉装置捕捉视频时的清晰度相等、比其更低或更高的清晰度,向用户终端传输合并后的视频。
可选地,在用户终端处,用户可以查看要合并的视频和/或视频片段。可以在用户终端处形成视频编辑请求,所述视频编辑请求指示出要如何合并所述视频和/或视频片段。当查看视频和/或视频片段时,用户可以以比捕捉和/或创建视频和/或视频片段时的分辨率更低或与其相等的分辨率查看它们。视频编辑请求可以提供给图像捕捉装置。图像捕捉装置可以返送合并后的视频以响应于视频编辑请求。合并后的视频的分辨率可以大于、等于或小于在用户终端处查看视频和/或视频片段的分辨率。合并后的视频的分辨率可以大于、等于或小于捕捉和/或创建视频和/或视频片段的分辨率。
图16是图示了根据本发明实施方式的通过处理视频的方法而产生的合并后的视频的配置的图表。
在一些实施方式中,通过本发明处理视频的方法而产生的合并后的视频可以包括由图像捕捉装置捕捉到的视频以及开场、过渡效果和收尾中的至少一个。在一些情况下,过渡效果的数目可以不止一个。在一些情况下,合并后的视频可以不包括开场。或者,合并后的视频可以不包括过渡效果。可选地,合并后的视频可以不包括收尾。
举例而言,图16中示出的合并后的视频可以包括由诸如无人飞行器等图像捕捉装置捕捉到的视频3-804,一个开场3-802、一个收尾3-808和多个过渡效果3-806。开场3-802可被添加于捕捉到的视频3-804的开头处。收尾3-808可被添加于捕捉到的视频3-804的结尾处。多个过渡效果3-806可被插入于捕捉到的视频3-804的中间。
在一些实施方式中,可以向视频附加一个或多个开场。举例而言,多个开场片段可以合并于视频前面。类似地,可以向视频附加一个或多个收尾。多个收尾片段可以合并于视频结尾处。可以将一个或多个过渡效果插入到视频中。多个过渡效果可以彼此相邻地插入到视频中,或者可以在所述视频内间隔开来。
在其他实施方式中,各种视频编辑技术还可以包括并排拼接视频,以使得它们可以同时播放。拼接后的视频可以彼此相邻或形成阵列。在一些情况下,拼接后的视频可以按画中画的格式同时播放,其中至少一个图像位于另一个图像内。本文对合并视频的任何描述(例如,用于开场、过渡效果和/或收尾)还可以适用于其他可进行的视频编辑。
图17是示出了根据本发明实施方式的视频处理方法的流程图。本公开内容中描述的方法可以由可播放视频的电子装置实现,所述电子装置诸如为无人飞行器、相机、遥控器、移动电话、平板计算机、计算机或膝上型计算机。
在步骤S101中,接收与目标视频相关联的编辑操作。如步骤S101中所提供,所述编辑操作可以标识选定的视频片段。例如,可以向用户播放目标视频。正在播放的目标视频可以是正被记录的视频、正被预览的视频或正在回放的视频。举例而言,诸如本文其他各处所述的那些视频,所述目标视频可以通过被图像捕捉装置捕捉而创建。在向用户播放视频的同时或在向用户播放视频之前可以捕捉所述目标视频。所述预览和回放可以在诸如相机等视频捕捉装置上进行,或者可以在诸如移动电话(例如,智能电话、平板计算机)或计算机(例如,膝上型计算机、台式计算机)等等单独的装置上播放。本文描述的装置可以指视频编辑装置。或者,所述目标视频可以是预先储存的视频,其可以源自图像捕捉装置或任何其他来源。
在播放视频期间,用户可以与视频进行交互以执行编辑操作,诸如选择视频片段。所述编辑操作可以是单击、双击或长按。在一些情况下,视频片段可以是目标视频的一部分。举例而言,可以在目标视频的两个时间点处选择视频片段的开始点和/或结束点。所述开始点和/或结束点可以通过单击、双击、长按、拖动、拖放或用户与视频的任何其他交互来标识。或者,可以从单独的视频文件提供视频片段作为目标视频。所述视频片段可以是整个单独的视频文件或者是单独的视频文件的一部分。一旦已经选定视频片段,就可以检测并接收针对目标视频的编辑操作。如果接收到所述编辑操作,则可以根据与所述编辑操作相关联的规则从目标视频中标识视频片段。
针对编辑操作的规则的实现方式可以包括以下示例:在所述示例中所述编辑操作是单击,并且可以通过以所述单击的时间点为中心在全部两个时间方向上延长预定时长,来标识具有特定时长的视频片段。在一些实施方式中,可以通过在目标视频的起始方向上延长2s并在目标视频的结束方向上延长3s,来标识具有5s时长的视频片段。在其他实施方式中,所述延长的时间可以设定成其他值。例如,可以通过在目标视频的起始方向上延长5s并在目标视频的结束方向上延长5s,来标识具有10s时长的视频片段。视频片段的时长可以是预设的,或者可以由用户确定。如以上图6中所提供的,对用户视频编辑的讨论中提供了类似的示例。
在另一示例中,所述编辑操作可以包括双击,并且视频片段可被标识为具有在两次点击的时间点之间的时长。在其他示例中,所述编辑操作可以包括长按,并且可以从目标视频中将视频片段标识为具有在所述长按的起始时间与结束时间之间的时长。在一些实施方式中,为了补偿用户按下时相对于视频播放的延迟,所述长按的起始时间可以通过提前几秒来确定,以使得所标识的视频片段为完整的视频片段。在一些情况下,当按下功能按钮时,按下的起始时间可被确定为在所述按下之前的2s。在其他实施方式中,按下的起始时间可被确定为在所述按下之前的另一时间段。或者,按下的起始时间可被确定为在所述按下之后的某一时间段。在以上图6中讨论了用户选择和交互的附加示例。
在图17的步骤S102中,记录选定的视频片段的属性。可以利用所记录的属性来编辑目标视频或编辑与目标视频相对应的视频。具体而言,在步骤S102中,可以记录在S101中选定的视频片段的属性。视频片段的属性可以记录在位于视频编辑装置上的存储器中。或者,视频片段的属性可以记录在位于视频片段发源装置(例如,如果图像捕捉装置为所述视频片段的来源,则为所述图像捕捉装置)上的存储器中。
在一些实施方式中,属性可以包括视频片段在目标视频中的起始时间和结束时间,以及从目标视频中被选择的时间。在一些实施方式中,属性可以包括描述,诸如格式、时长、存储器使用、捕捉位置、捕捉路线、所述视频片段所选自的目标视频的文件名称、清晰度和帧速率。
视频片段的属性可以用于编辑目标视频。在一些实施方式中,当接收到用于视频合成的指令时,可以从目标视频选择具有特定属性的全部视频片段,并且可以将所选定的视频片段合成至视频文件。具体而言,可以对共享特定属性的视频片段进行选择并合成。例如,可以对具有特定的用户标记(诸如星级评级)的视频片段进行选择并合成。用户标记可以包括表示特定评级的标签,诸如3星为最喜欢的、2星为较喜欢的,而1星为喜欢的。在一些情况下,可以对在特定位置之处或附近拍摄的视频片段进行选择并合成。这样的选择可以借助于一个或多个处理器而执行,而无需用户手动略览多个视频片段以找到具有特定属性的视频片段。用户可以选择要选择的属性的类型。在一些情况下,视频片段可以按在目标视频中的时间次序而归类并继而进行合成。或者,视频片段可以按被选择的时间次序而归类并继而进行合成。可以考虑用户的需求而确定用于合成的规则。
对于远离图像捕捉装置(例如,航空拍摄设备)的装置,可以从缓冲的视频中标识视频片段。在这种情况下,可以记录视频片段的属性,并且可以根据所记录的视频片段的属性,从储存在存储介质中的视频中下载对应的视频片段,所述存储介质位于飞行器(例如,无人飞行器)上,诸如为存储卡。存储卡可以位于由无人飞行器支撑的图像捕捉装置上,或者可以位于无人飞行器上而不位于图像捕捉装置上。在一些实施方式中,存储卡可以位于图像捕捉装置上,所述图像捕捉装置可以包含无人飞行器。本文对位于飞行器和/或图像装置上的部件的任何描述均可指如所描述的任何组合。在一些实施方式中,如果储存在位于飞行器上的存储介质中的视频具有较高清晰度而本地缓冲的视频具有较低清晰度,则可以从具有较低清晰度的视频确定视频片段的属性,并且继而,可以在之后从具有较高清晰度的视频中提取对应的视频片段。
当从目标视频中提取出视频片段时,可以修改所述视频片段的清晰度。在一些实施方式中,可以降低视频片段的清晰度以便节省存储空间。或者,可以通过诸如插值等技术来提高视频片段的清晰度。
在一些实施方式中,当接收到用于编辑所记录的属性的编辑指令时,可以根据所述编辑指令来编辑视频片段的属性。例如,编辑指令可以包括一个或多个指导用以修改所记录的属性,诸如添加新属性和删除属性。或者,可以添加、删除或修改部分属性,诸如视频片段的选定的起始时间。
如果编辑指令是修改所记录的属性,则可以修改视频片段的属性中的起始时间和/或结束时间,以至于可以修改所述视频片段的时长,或者可以向前或向后移动视频片段本身在视频内的位置。在一些实施方式中,可以修改其他属性,诸如捕捉位置、格式或清晰度。
在编辑指令是添加新属性的示例中,可以再次播放目标视频并且可以再次接收编辑操作。附加的一个视频片段或多个视频片段可以由编辑操作所标识,并且新视频片段的属性可被记录。在编辑指令是删除属性的另一示例中,由删除指令标识的视频片段的属性可被删除。
用户可以与装置进行交互以编辑视频,所述装置诸如为用户终端或本文描述的其他装置。在一些实施方式中,可以提供一个或多个会话,用户可以在此期间与视频片段进行交互以编辑视频。用户可以在会话之间登出或在会话之间关闭编辑应用程序。在一些情况下,编辑可以在单个会话内进行。或者,编辑可以跨越多个会话,而用户可能能够在会话之间保存所述用户的进度。当用户正在编辑视频时,所述用户可以处于编辑阶段内。在编辑阶段中,可以提供一个或多个编辑指令。在编辑阶段中,用户可以回放经编辑的视频。在一些情况下,在编辑阶段中,用户可以在回放视频与作出附加的编辑指令之间来回切换,直到所述用户觉得所述编辑已完成。在编辑阶段中,所述视频可以是本地缓冲的视频。在编辑阶段中,所述视频的清晰度可以低于或等于所述视频在原始捕捉或创建时的清晰度。当用户已经完成编辑所述视频时,可以提供视频合成指令。所述视频合成指令可以可选地为视频编辑请求。在一些实施方式中,可以从来源(例如,图像捕捉装置、飞行器)中提取用以形成最终化视频的视频片段。这可以在合成阶段中进行。最终化视频可以被递送和/或回放。最终化视频的清晰度可以大于、等于或低于所述视频在原始捕捉或创建时的清晰度。最终化视频的清晰度可以大于或等于在编辑阶段中所使用视频的清晰度。
此外,当在编辑属性之后接收到视频合成指令时,可以根据经编辑的属性从目标视频中提取视频片段,并且可以产生视频文件。在一些实施方式中,所提取的视频可以按某种格式储存在存储介质中,所述格式诸如为MP4(动态图像专家组音频层IV)、AVI(音频视频交错)或MOV(Quicktime影片格式)。用户可以播放或预览所述视频片段中的每一个,或者用户可以播放或预览所述视频片段的组合文件。在一些实施方式中,可以在一个播放过程中选择所储存的视频片段。或者,可以在不止一个播放过程中选择所储存的视频片段。因此,所述视频片段的储存时间可以不同于所述视频片段在目标视频中的时间。在一些实施方式中,可以基于储存视频片段的顺序来组合所述视频片段。或者,可以基于视频片段在目标视频中呈现的顺序来组合所述视频片段。进一步地,可以由专用软件实现从目标视频中选择视频片段、根据视频片段的属性提取视频片段以及将所述视频片段合成为视频文件的过程。
图18是示出了根据本发明另一实施方式的视频处理方法的流程图。如图18中所示,在步骤S201中接收与正在播放的目标视频有关的编辑操作。在一些示例中,正在播放的目标视频可以是正被记录的视频、正被预览的视频或正在回放的视频。此外,用户可以与目标视频进行交互以编辑所述视频。因此,在步骤S202中,标识要由编辑操作选择的视频片段。具体而言,可以由编辑操作根据与所述编辑操作相关联的规则而标识要选择的视频片段。编辑操作可以包括用户与装置的任何交互,诸如对物理按钮或应用程序的功能按钮进行单击、双击、长按、滑动或拖动运动或者拖放。编辑操作可以经由用户交互装置与任何其他类型的用户交互一起进行,所述用户交互装置诸如为鼠标、操纵杆、追踪球、触摸板、触摸屏、多点触摸、装置的倾斜或摇动、相机或者麦克风。本文对装置的用户交互的任何描述均可包括本文描述的任何交互。
如果编辑操作是单击,则可以通过以单击的时间点为中心在全部两个时间方向上延长预定时长来标识具有特定时长的视频片段。或者,如果编辑操作是双击,则视频片段可被标识为具有在两次点击的时间点之间的时长。进一步地,如果编辑操作是长按,则可以从目标视频中将视频片段标识为具有在所述长按的起始时间与结束时间之间的时长。视频片段和/或视频片段的时长可以使用任何其他用户交互而得以标识。
在步骤S203中,获取视频片段的属性。在一些实施方式中,可以在从目标视频中标识视频片段之后获取所述视频片段的属性。此外,可以储存所标识的视频片段。
在步骤S204中,属性可以记录在文件中。例如,视频片段的属性可以记录在文件中。文件的名称可以与目标视频相关联,以使得用户可以基于属性的文件名称而找到所述目标视频。在一些情况下,文件可以独立于目标视频。
在步骤S205中可以接收视频合成的指令。例如,可以接收视频合成的指令,而作为响应,可以从目标视频中提取由文件中的属性所标识的视频片段。此外,在从目标视频中提取由属性标识的视频片段之前,可以按用户的需求来编辑属性。例如,可以从文件中删除某些视频片段的属性,可以修改某些视频片段的属性,或者可以向文件添加新的视频片段的属性。在一些情况下,可以对属性进行一次以上的编辑。此外,如果包含视频片段的经编辑属性的文件满足用户的需求,则可以根据文件中的经编辑属性从目标视频中提取视频片段。
可选地,目标视频可以储存在装置上的存储器处,所述装置远离接收编辑操作的装置。例如,用户可以在用户终端处编辑视频,而目标视频可以储存在图像捕捉装置上或飞行器上(例如,在飞行器上的图像捕捉装置上,或者在飞行器上而不储存在图像捕捉装置上)。或者,所储存的目标视频可以储存在与接收编辑操作的装置相同的装置上的存储器处。
在步骤S206中,选定的视频片段可以合成到视频文件中。当合成视频文件时,视频片段可以按在目标视频中的时间次序而归类。或者,视频片段可以按被选择的时间次序而归类。随后,经归类的视频片段可以组合到视频文件中。在一些实施方式中,视频文件可以在合成之后直接播放。或者,视频文件可以导出至存储介质,诸如个人计算机、移动电话、平板或移动硬盘,以供之后播放。
视频合成可以在具有存储器的装置上进行,目标视频储存在所述存储器上。因此,视频合成可以在储存视频的本地进行。例如,用户可以在用户终端上编辑视频,而目标视频可以在图像捕捉装置上或飞行器上储存并进行合成。编辑阶段可以在第一装置上进行,而合成阶段可以在第二装置上进行。合成的视频可以在图像捕捉装置上或飞行器上回放。合成的视频可以传输至另一装置用以回放,所述另一装置诸如为用户终端或任何其他装置。合成的视频可以被传输至云存储或视频流网站。或者,视频合成可以在与原始储存目标视频的装置相分离的装置上进行。目标视频可以传输至可进行合成的另一装置。可进行合成的其他装置可以是进行编辑的装置或者可以是单独的装置。例如,用户可以在用户终端上编辑视频,目标视频可以储存在图像捕捉装置或飞行器上。目标视频可以传输至用户终端或者可进行合成的单独的装置。编辑阶段可以在第一装置上进行,而合成阶段可以在相同的第一装置上或者替代地在第三装置上进行。
在用户打开新的目标视频并从所述新的目标视频中选择视频片段的示例中,可以执行上述程序以从新的视频片段中标识视频片段并将视频片段的属性记录在新的文件中。进一步地,由于视频片段的属性记录在预设文件中,所以即使用户未能储存所标识的视频片段,也可以根据文件中记录的属性而从目标视频中提取所述视频片段。
图19是示出了根据本发明又一实施方式的视频处理方法的流程图。在步骤S301中,接收针对正在播放的目标视频的编辑操作。进一步地,在步骤S302中,根据与编辑操作相关联的规则,标识要由所述编辑操作选择的视频片段。在步骤S303中,获取视频片段的属性。此外,在步骤S304中,将属性嵌入到目标视频中。例如,可以在目标视频上标记视频片段的起始时间和结束时间,并且可以为视频片段分配名称或简要描述。或者,可以在目标视频上标记视频片段被标识的时间。视频片段的属性可以与目标视频储存在一起。用户可以打开目标视频、点击所标识的视频片段并且预览所述视频片段。
在步骤S205中,可以接收视频合成的指令。例如,如果接收到视频合成的指令,则可以从目标视频中提取由文件中的属性所标识的视频片段。此外,如果接收到视频合成的指令,则可以打开目标视频,可以提取所标识的视频片段并且可以储存所述视频片段。进一步地,在步骤S306中可以将选定的视频片段合成到视频文件中。在一些情况下,在组合所提取的视频片段之前,视频片段可以按在目标视频中的时间次序或者按被选择的时间次序而归类。继而可以对经归类的视频片段进行合成以产生视频文件。
由于图19中选定的视频片段的属性被嵌入到目标视频中,所以当目标视频播放时,用户可以知道视频片段的属性。在一些实施方式中,当目标视频播放时,用户可以实时地编辑视频片段的属性。
图20是示出了根据本发明实施方式的视频处理装置的配置的示意图。视频处理装置可以安装在可播放视频的电子装置上,所述电子装置诸如为飞行器、移动电话、电子板、相机等。视频处理装置可以是装置,或者可以安装在可在其上运行视频编辑应用程序的装置上。用户可以与视频处理装置进行交互以编辑视频。举例而言,视频处理装置可以安装在可运行视频编辑应用程序的用户终端上,用户可以通过所述视频编辑应用程序来编辑视频。
在一些实施方式中,视频处理装置可以包括:接收模块4-1,用于接收针对正在播放的目标视频的编辑操作,并且用于标识要由所述编辑操作选择的视频片段;以及记录模块4-2,用于记录选定的视频片段的属性,以使得目标视频可被编辑。
在目标视频的播放期间,可以接收用户对目标视频的编辑操作,诸如用户的单击、双击或长按。例如,根据与编辑操作相关联的规则,可以从目标视频中标识视频片段。此外,记录模块4-2可以记录由接收模块4-1选择的视频片段的属性,以使得目标视频可以根据所储存的属性而被编辑。
图21是示出了根据本发明另一实施方式的视频处理装置的配置的示意图。在一些实施方式中,视频处理装置可以用于对视频进行编辑和合成。可选地,编辑阶段和合成阶段可以在视频处理装置上进行。视频处理装置还可以包括播放模块4-3、编辑模块4-4、合成模块4-5和处理模块4-6。
播放模块4-3可以播放视频,诸如目标视频。在一些实施方式中,由播放模块4-3播放的视频可以是正被记录的视频、正被预览的视频或正在回放的视频。或者,由播放模块4-3播放的视频可以是选定的视频片段或最终合成的视频文件。
编辑模块4-4可以编辑视频片段的所记录的属性,包括修改和删除某些视频片段的属性以及添加新视频片段的属性。进一步地,合成模块4-5可以合成并产生视频文件。处理模块4-6可以执行对视频片段的处理。
图22是示出了根据图20或图21中所示实施方式的视频处理装置中的接收模块的配置的示意图。在一些实施方式中,接收模块可以包括编辑接收单元4-11和视频标记单元4-12。编辑接收单元4-11可以接收针对正在播放的目标视频的编辑操作,所述编辑操作包括本文其它各处所述的任何用户交互,诸如单击、双击或长按。根据与编辑操作相关联的规则,视频标记单元4-12可以从正在播放的目标视频中标识视频片段。
如果由编辑接收单元4-11接收的编辑操作是单击,则所述编辑接收单元4-11可以通过以单击的时间点为中心在全部两个时间方向上延长预定时长,来标识具有特定时长的视频片段。在一些实施方式中,可以通过在目标视频的起始方向上延长2s并在目标视频的结束方向上延长3s,来标识具有5s时长的视频片段。在一些实施方式中,所述延长的时间可以设定成其他值。例如,可以通过在目标视频的起始方向上延长5s并在目标视频的结束方向上延长5s,来标识具有10s时长的视频片段。
如果由编辑接收单元4-11接收的编辑操作是双击,则所述编辑接收单元4-11可以将视频标识为具有在两次点击的时间点之间的时长。
如果由编辑接收单元4-11接收的编辑操作是长按,则所述编辑接收单元4-11可以从目标视频中将视频片段标识为具有在所述长按的起始时间与结束时间之间的时长。在一些实施方式中,为了补偿用户按下时相对于视频播放的延迟,所述长按的起始时间可以通过提前几秒来确定,以使得所标识的视频片段为完整的视频片段。
在一些情况下,当按下功能按钮时,按下的起始时间可被确定为在所述按下之前的2s。在一些实施方式中,按下的起始时间可被确定为在所述按下之前的其他时间段。或者,按下的起始时间可被确定为在所述按下之后的某一时间段。
图23是示出了根据图20或图21中所示实施方式的视频处理装置中的记录模块的配置的示意图。在一些实施方式中,记录模块4-2可以包括属性获取单元4-21、第一属性存储单元4-22和第二属性存储单元4-23。
属性获取单元4-21可以获取视频片段的属性。在一些实施方式中,属性可以包括视频片段在目标视频中的起始时间和结束时间,以及被选择的时间。在一些实施方式中,属性可以包括描述,诸如格式、时长、存储器使用、捕捉位置、捕捉路线、视频片段所选自的目标视频的文件名称、清晰度和帧速率。
第一属性存储单元4-22可以在预设文件中记录由属性获取单元4-21获取的视频片段的属性。在一些实施方式中,当在文件中记录视频片段的属性时,所述文件的名称可以与目标视频相关联,以使得用户可以基于属性的文件名称而找到目标视频。或者,可以为文件分配另一名称。在一些情况下,文件可以独立于目标视频。
第二属性存储单元4-23可以向目标视频中嵌入由属性获取单元4-21获取的视频片段的属性。在一些实施方式中,可以在目标视频上标记视频片段的起始时间和结束时间,并且可以为视频片段分配名称或简要描述。或者,可以在目标视频上标记视频片段被标识的时间。视频片段的属性可以与目标视频储存在一起。用户可以打开目标视频、点击所标识的视频片段并且预览所述视频片段。
图24是示出了根据图21中所示实施方式的视频处理装置中的编辑模块的配置的示意图。编辑模块4-4可以编辑视频片段的所记录的属性。在一些实施方式中,编辑模块4-4可以包括指令接收单元4-41和编辑单元4-42。接收单元4-41可以接收用于编辑所记录的属性的编辑指令。当接收单元4-41接收到用于编辑所记录的属性的编辑指令时,编辑单元4-42可以根据接收到的编辑指令来编辑视频片段的所记录的属性。例如,属性编辑指令可以包括以下各项中的一项或多项:修改所记录的属性、添加新属性和删除属性。
如果接收单元4-41接收到修改指令,则可以修改视频片段的属性中的起始时间、结束时间中的一个或多个。或者,如果接收单元4-41接收到删除指令,则可以删除由所述删除指令标识的视频片段的属性。或者,如果接收单元4-41接收到添加指令,则可以再次播放目标视频并且可以再次接收编辑操作。附加的一个视频片段或多个视频片段可以由编辑操作标识,并且新视频片段的属性可被记录。
图25是示出根据图21中所示实施方式的视频处理装置中的合成模块的配置的示意图。合成模块4-5可以包括控制单元4-51和合成单元4-52。根据如记录模块4-2所记录的视频片段的属性,合成模块4-5可以编辑视频。
当接收到视频合成的指令时,控制单元4-51可以从目标视频中提取由属性所标识的视频片段。合成单元4-52可以组合由控制单元4-51提取的视频片段,以至于产生视频文件。当合成视频文件时,视频片段可以按在目标视频中的时间次序而归类。或者,视频片段可以按被选择的时间次序而归类。在一些实施方式中,视频文件可以在合成之后直接播放。或者,视频文件可以导出至存储介质,诸如个人计算机、移动电话、平板计算机或移动硬盘,以供之后播放。
图26是示出了根据图21中所示实施方式的视频处理装置中的处理模块的配置的示意图。处理模块4-6可以组合视频片段。在一些实施方式中,如果记录模块4-2储存由接收模块4-1标记的视频片段,则处理模块4-6可以组合所储存的视频片段。处理模块4-6可以包括视频获取单元4-61和视频处理单元4-62。视频获取单元4-61可以获取所标识的视频片段,而视频处理单元4-62可以对视频片段进行合成。在组合中,所述视频片段可以组合以便产生视频文件。在一些实施方式中,视频片段可以按在目标视频中的时间次序或者按被选择的时间次序而归类,继而可以对经归类的视频片段进行合成以产生视频文件。
在本实施方式中,可以从目标视频中标识视频片段,并且可以记录所述视频片段的属性。用户可以基于视频片段的所记录的属性而合成视频文件,并且可以通过编辑视频片段的属性而编辑所述视频文件。因此,特定的视频编辑软件都是不必要的。在一些实施方式中,可以在视频捕捉期间标记视频片段,因此在标识视频片段时不需要回放。
在一些实施方式中,用以编辑视频的用户输入可以与较低分辨率的视频一起出现。一旦用户已经完成编辑视频,就可以使用所述属性和编辑指令来从目标视频中获取视频,所述目标视频的分辨率可以等于或高于在其中进行编辑的视频的分辨率。用以产生合成的视频文件的视频获取和视频处理可以在相等的或较高的分辨率下进行。
图27是示出了根据本发明实施方式的播放装置的配置的示意图。在一些实施方式中,播放装置可以是可播放和显示视频的电子装置,诸如无人飞行器、相机、移动电话和平板计算机。播放装置可以包括播放器4-100和处理器4-200。播放器4-100可以播放视频。处理器4-200可以接收针对正在播放的目标视频的编辑操作,标识要由所述编辑操作选择的视频片段,并且记录选定的视频片段的属性,以使得目标视频可被编辑。
在一些实施方式中,播放器4-100可以播放和显示目标视频。在一些情况下,目标视频可以是正被记录的视频、正被预览的视频或正在回放的视频。或者,播放器4-100可以播放从目标视频或最终合成的视频文件标识的视频片段。在一些示例中,处理器4-200可以接收针对正在播放器4-100上播放的目标视频的编辑操作,根据与编辑操作相关联的规则来标识要由所述编辑操作选择的视频片段,并且记录选定的视频片段的属性。在其他示例中,处理器4-200可以接收对于正在播放器4-100上播放的目标视频的单击、双击和长按,根据与编辑操作相关联的规则从目标视频中标识视频片段。
如果接收到的编辑操作是单击,则可以通过以单击的时间点为中心在全部两个时间方向上延长预定时长来从目标视频中标识具有特定时长的视频片段。或者,如果接收到的编辑操作是双击,则可以从目标视频中将视频片段标识为具有在两次点击的时间点之间的时长。如果接收到的编辑操作是长按,则可以从目标视频中将视频片段标识为具有在所述长按的起始时间与结束时间之间的时长。
在一些实施方式中,处理器4-200可以获取视频片段的属性,并且在预设文件中记录视频片段的属性或者将视频片段的属性嵌入到目标视频中。在一些实施方式中,属性可以包括视频片段在目标视频中的起始时间和结束时间,以及被选择的时间。在一些实施方式中,属性可以包括描述,诸如捕捉位置、捕捉路线以及清晰度。
在一些实施方式中,如果处理器4-200接收到用于编辑所记录的属性的编辑指令,则所述处理器4-200可以根据所述编辑指令来编辑视频片段的属性。举例而言,编辑指令可以包括以下各项中的一项或多项:修改所记录的属性、添加新属性和删除属性。
如果编辑指令是修改所记录的属性,则处理器4-200可以修改视频片段的属性中的起始时间和/或结束时间中的一个或多个。此外,如果编辑指令是删除属性,则处理器4-200可以删除由删除指令标识的视频片段的属性。进一步地,如果编辑指令是添加新属性,则可以再次播放目标视频并且可以再次接收编辑操作。附加的一个视频片段或多个视频片段可以由编辑操作标识,并且新视频片段的属性可被记录。
在一些实施方式中,如果接收到视频合成的指令,则处理器4-200可以从目标视频中提取由属性标识的视频片段,并且将选定的视频片段合成到视频文件中。在一些实施方式中,当合成视频文件时,视频片段可以按在目标视频中的时间次序而归类并继而进行合成。或者,视频片段可以按被选择的时间次序而归类并继而进行合成。
在一些实施方式中,处理器4-200可以储存从目标视频标识的视频片段。因此,如果接收到视频合成的指令,则处理器4-200可以获取所储存的视频片段并按连续的顺序合成视频文件。在一些情况下,视频片段可以按在目标视频中的时间次序而归类并继而进行合成。或者,视频片段可以按被选择的时间次序而归类并继而进行合成。
图28是示出了根据本发明实施方式的视频处理方法的流程图。本公开内容中描述的方法可以由可播放视频的电子装置实现,所述电子装置诸如为飞行器、相机、移动电话或平板计算机。
在图28的步骤S2-101中,接收由用户配置的编辑规则。具体而言,用户可以选择预设的编辑规则。或者,用户可以根据需求而自定义编辑规则。在一些示例中,在接收由用户配置的编辑规则之前,可以从作为视频来源的图像捕捉装置和/或飞行器(例如,无人飞行器)接收视频数据,以至于可以获取视频片段。由图像捕捉装置和/或飞行器捕捉到的视频数据可以在本地缓冲并且用作目标视频,从所述目标视频中可以提取视频片段。视频编辑可以在捕捉视频数据的装置(例如,图像捕捉装置和/或飞行器)上或者在单独的装置(例如,用户终端)上进行。
在一些示例中,在接收由用户配置的编辑规则之前,可以执行以下操作:接收针对正在播放的目标视频的标记操作;提取正由标记操作选择的视频片段;为所选定的视频片段生成标签;以及将与生成的标签相关联的视频片段储存在视频片段库中。或者,可以从目标视频中提取视频片段,并且可以储存每个视频片段的描述,包括视频片段在目标视频中的起始时间、结束时间以及所述视频片段的清晰度。继而,根据视频片段的所记录的描述,可以从视频中提取并下载视频片段,所述视频储存在视频来源装置(例如,位于图像捕捉装置和/或飞行器上)的诸如存储卡等存储介质中。
当从目标视频中提取视频片段时,可以修改所述视频片段的清晰度。具体而言,可以降低视频片段的清晰度以便节省存储。或者,可以通过诸如插值等技术来提高视频片段的清晰度。
此外,对正在播放的目标视频的编辑操作可以是单击、双击或长按。如果编辑操作是单击,则可以通过以单击的时间点为中心在全部两个时间方向上延长预定时长来标识具有特定时长的视频片段。在一些实施方式中,可以通过在目标视频的起始方向上延长2s并在目标视频的结束方向上延长3s,来标识具有5s时长的视频片段。在一些实施方式中,所述延长的时间可以设定成其他值。例如,可以通过在目标视频的起始方向上延长5s并在目标视频的结束方向上延长5s,来标识具有10s时长的视频片段。如果编辑操作是双击,则视频片段可被标识为具有在两次点击的时间点之间的时长。
进一步地,如果编辑操作是长按,则可以从目标视频中将视频片段标识为具有在所述长按的起始时间与结束时间之间的时长。在一些实施方式中,为了补偿用户按下时相对于视频播放的延迟,所述长按的起始时间可以通过提前几秒来确定,以使得所标识的视频片段为完整的视频片段。在一些情况下,当按下功能按钮时,按下的起始时间可被确定为在所述按下之前的2s。在一些实施方式中,按下的起始时间可被确定为在所述按下之前的其他时间段。或者,按下的起始时间可被确定为在所述按下之后的某一时间段。
当选择视频片段时,可以生成捕捉位置、捕捉时间和评级信息中的一个或多个。例如,可以根据选定的视频片段的捕捉时间而为所述选定的视频片段生成时间标签。时间标签可以在无需由用户输入的情况下自动生成。在一些情况下,时间标签可以根据在用于捕捉或储存视频片段的装置上呈现的时钟来提供时间。在一些实施方式中,可以根据选定的视频片段的捕捉位置而为所述选定的视频片段生成位置标签。位置标签可以在无需由用户输入的情况下自动生成。例如,位置标签可以是地理标签,所述地理标签指示出在捕捉视频片段时用于捕捉所述视频片段的装置的位置。例如,图像捕捉装置和/或飞行器可以具有GPS定位器或其他类型的定位器,所述定位器可以提供位置信息(例如,全局坐标)。在其他情况下,可以利用用户输入而生成位置标签。举例而言,用户可以指定位置的类型(例如,海滩、住所、森林)或者提供任何与位置有关的其他个性化信息。来自用户的个性化信息可以与自动位置信息相结合。在一些实施方式中,可以根据选定的视频片段的评级而为所述选定的视频片段生成评级标签。评级标签可以在没有用户输入的情况下自动生成。举例而言,可以提供默认评级,所述默认评级可以在之后的时间中由用户修改。在另一示例中,可以基于一个或多个视频参数(例如,清晰度、对比度、分辨率等)来生成评级。可以基于来自用户的输入而提供评级标签(用户可以在捕捉视频时或在之后的时间中对所述视频进行评级)。在一些实施方式中,可以生成任何类型的分类标签,所述分类标签可以帮助用户在之后的时间中对视频进行归类。举例而言,标签可以指示出视频中示出的个体或物体(例如,家人、牛群)。标签可以指示出视频的用途(例如,个人使用、用于商业)。标签可以指示出由视频描绘的事件类型(例如,生日庆祝、音乐会、毕业)。可以生成其他类型的标签。可以根据需要为视频片段生成标签(例如,时间标签、位置标签和评级标签)。在一些示例中,可以在生成视频片段时生成评级。例如,可以将视频片段分配为三星、四星或其他评级。或者,可以为视频片段分配默认评级,而用户可以之后修改所述默认评级。或者,可以在生成视频片段之后生成标签。
此外,如果接收到编辑指令,则可以根据所述编辑指令来编辑视频片段的标签,包括时间标签、位置标签和评级标签。视频片段可以与对应的标签相关联地储存在视频片段库中。
在一些实施方式中,预设的编辑规则可以是以下各项中之一或组合:根据视频片段的时间标签而执行编辑的编辑规则、根据视频片段的位置标签而执行编辑的编辑规则以及根据视频片段的评级标签而执行编辑的编辑规则。用户自定义的编辑规则可以是根据所述用户的需求而设定的某一评级、时间和/或位置的组合。此外,正在播放的目标视频可以是正被记录的视频、正被预览的视频或正在回放的视频。
在步骤S2-102中,通过由编辑规则指示出的标签来指定从视频片段库中获取的视频。在一些示例中,如果由用户配置的编辑规则是预设的编辑规则,则可以从视频片段库中获取视频片段,所述视频片段具有如由预设的编辑规则所指示出的标签。举例而言,可以获取具有时间标签“今天”的视频片段,可以获取具有位置标签“海滩”的视频片段,或可以获取具有评级标签“三星”的视频片段。任何其他类别的标签均可适用于所述视频片段。
或者,可以获取具有时间标签、位置标签和评级标签的组合的视频片段。举例而言,可以获取具有时间标签“今天”和位置标签“海滩”的视频片段。或者,编辑规则可以是:获取来自飞行器的一条飞行路线的视频片段。
在一些示例中,如果由用户配置的编辑规则是用户自定义的编辑规则,则可以根据所述用户自定义的编辑规则中的标签来获取视频片段。举例而言,用户自定义的编辑规则可以是:获取两个具有评级标签“五星”的视频片段、一个具有位置标签“森林”的视频片段和一个具有时间标签“今天”的视频片段。在这种情况下,可以从视频片段库中获取具有这样的标签的视频片段。用户自定义的编辑规则可以通过简单的编辑操作而创建。
在步骤S2-103中,编辑所标识的视频片段。具体而言,在根据S2-102中的标签获取视频片段之后,可以将所述视频片段合成至视频文件。可以组合视频片段以产生视频文件。或者,所获取的视频片段可以插入到模板中以产生视频文件。所述模板可以是来自系统的默认模板或由用户的指令所选择的模板。
用于生成经编辑的视频文件的模板可以包括以下各项中的一项或多项:预设音频、字幕和过渡片段。在一些实施方式中,可以提供要与视频相合并的开场视频片段、收尾视频片段和/或过渡效果片段。如果所述模板包括过渡片段,则可以根据用户的指令来排列视频片段和过渡片段。在一些情况下,视频片段可以插入到过渡片段之间,以使得视频片段的合成通过过渡片段而变得流畅。例如,如果合并/合成两个具有两种不同亮度水平的视频片段,则可以使用过渡片段来调整所述片段之间的亮度。在模板包括音频和/或字幕的附加示例中,视频片段可以与所述音频和/或字幕相合成,以产生视频文件。进一步地,可以通过选择模板并插入视频片段来产生合成的视频文件。
在其他示例中,用户可以编辑模板,诸如修改音频、字幕和过渡片段中的一个或多个。此外,如果接收到编辑指令,则用户可以编辑视频文件。在一些情况下,如果编辑指令是重新排序指令,那么可以根据用户指定的顺序而记录视频片段并将其合成至视频文件。或者,可以执行“摇动”操作或按下“再次合成”按钮,以按随机的方式对所获取的视频片段进行重新排序。当所述片段按随机的方式进行重新排序时,对应的编辑可以与所述片段一起或可以不与所述片段一起重新排序。例如,如果某些字幕与某些片段相关联,则所述字幕可以与所述片段一起重新排序。或者,字幕可以保持按相同的顺序和速率播放,而不考虑视频片段是否重新排序。如果编辑指令是删除指令,则可以删除由所述删除指令指定的视频片段。如果编辑指令是添加指令,则可以根据由所述添加指令指定的标签而从视频片段库中获取新视频片段,并且可以将所述新视频片段添加至视频文件的指定位置。如果编辑指令是获取新视频片段的指令,则可以根据由所述获取新视频片段的指令所指定的标签,从视频片段库中获取新的视频片段,并且可以相应地合成新的视频文件。
图29是示出了根据本发明另一实施方式的视频处理方法的流程图。在图21的步骤S2-201中,接收由用户配置的编辑规则。在示例中,在接收由用户配置的编辑规则之前,可以执行以下操作中的一个或多个:接收针对正在播放的目标视频的标记编辑操作;提取正由标记操作选择的视频片段;为所选定的视频片段生成标签;以及将与生成的标签相关联的视频片段储存在视频片段库中。
可以通过用户交互从目标视频中选择视频片段,所述用户交互诸如为单击、双击或长按。在已经选择视频片段之后,可以提取所选定的视频片段。当选择视频片段时,可以生成捕捉时间、捕捉位置和评级信息中的一个或多个,以使得时间标签、位置标签和评级标签可以是可用的。视频片段在视频片段库中储存并与对应的标签相关联。
此外,用户可以选择预设的编辑规则。或者,用户可以根据需求而自定义编辑规则。例如,预设的编辑规则可以是以下各项中之一或组合:根据视频片段的时间标签而执行编辑的编辑规则、根据视频片段的位置标签而执行编辑的编辑规则以及根据视频片段的评级标签而执行编辑的编辑规则。在一些示例中,用户自定义的编辑规则可以是根据所述用户的需求而设定的某一评级、时间和/或位置的组合。
在步骤S2-202中,基于由编辑规则指示出的标签,可以从库中获取由所述标签标识的视频片段。在一些示例中,如果由用户配置的编辑规则是预设的编辑规则,则可以从视频片段库中获取视频片段,所述视频片段具有如由预设的编辑规则所指示出的标签。举例而言,可以获取具有某一时间标签、位置标签或评级标签的视频片段。或者,可以获取来自飞行器的一条飞行路线中的视频片段。如果由用户配置的编辑规则是用户自定义的编辑规则,则可以根据所述用户自定义的编辑规则中的标签来获取视频片段。
在步骤S2-203中,视频片段可以合成为视频样本。例如,在根据由编辑规则指定的标签而获取视频片段之后,所述视频片段可以合成至多个视频样本。此外,可以组合视频片段以产生视频样本。或者,所获取的视频片段可以插入到模板中以产生视频样本。所述模板可以是来自系统的默认模板或由用户的指令所选择的模板。在一些实施方式中,模板可以包括一个或多个模板特征,所述模板特征可以包括预设的音频、字幕和过渡片段中的一个或多个。
在一些示例中,可以对视频片段进行重新排序。进一步地,可以删除或添加一些视频片段。此外,如果根据由编辑规则指定的标签而可以从视频片段库中获取到的视频片段的数目大于预定值,则可以对所述视频片段进行分组,并且可以通过对来自每个组的某一数目的视频片段进行合成而产生多个视频样本。或者,如果根据由编辑规则指定的标签而可以从视频片段库中获取到的视频片段的数目小于预定值,则可以获取某一数目的视频片段以合成多个视频样本。
在一示例中,如果根据时间标签“今天”获取到20个视频片段,则可以从所述20个视频片段中获取某一数目的视频片段(例如,10个片段或5个片段)以产生多个视频样本。在其他示例中,如果根据时间标签“今天”获取到1,000个视频片段,则可以将这些1,000个视频片段分组成若干组,例如10个组,每个组具有100个视频片段。在这种情况下,可以获取某一数目的视频片段(例如20个视频片段)以合成多个视频样本。组的数目以及要从每个组中获取的视频片段的数目可以由用户配置。
在步骤S2-204中,可以共享视频样本。具体而言,可以将合成的视频样本上传至共享平台。在一些情况下,可以将合成的视频样本上传至网络,以使得查看者可以浏览。此外,在步骤S2-205中可以在共享视频样本期间获得对所述视频样本的评估。查看者可以通过提供评估来对视频样本进行评论。此外,可以记录对视频样本的点击数和查看视频样本的时长。可以获取评估信息,诸如查看者的评估、查看时长和点击数。
在步骤S2-206中,可以基于所述评估而筛选视频样本。例如,可以基于评估信息而从多个视频样本中选择目标样本,所述评估信息诸如为查看者的评估、查看时长和点击数。在一些情况下,目标样本可以与所述评估相关联地储存在视频片段库中。
此外,在步骤S2-207中,可以确定是否要执行进一步的合成。例如,如果在视频合成之前,所获取的视频片段的数目大于或等于预定值,则所述视频样本可以是基于从每个组获取的视频片段而合成的子样本。因此,在这种情况下,视频样本可被进一步地合成以产生最终的视频文件。或者,如果在视频合成之前,所获取的视频片段的数目小于预定值,则可以保持所筛选的视频样本作为最终的视频文件。在一些情况下,最终的视频文件可以保留在共享平台中。
图30是示出了根据本发明实施方式的视频处理装置的配置的示意图。本公开内容中描述的装置可以是电子装置的显示设备或者可以安装在其上,所述电子装置诸如为飞行器(例如,无人飞行器)、相机、移动电话或平板计算机。
接收模块5-1可以接收由用户配置的编辑规则。获取模块5-2可以从视频片段库获取由编辑规则中的标签所指定的视频片段。编辑模块5-3可以对所获取的视频片段执行一个或多个编辑。
接收模块5-1可以接收预设的编辑规则或用户自定义的编辑规则。在一些实施方式中,预设的编辑规则可以是以下各项中之一或组合:根据视频片段的时间标签而执行编辑的编辑规则、根据视频片段的位置标签而执行编辑的编辑规则以及根据视频片段的评级标签而执行编辑的编辑规则。在一些实施方式中,用户自定义的编辑规则可以是根据所述用户的需求而设定的某一评级、时间和/或位置的组合。
获取模块5-2可以从视频片段库获取视频片段,所述视频片段由预设的编辑规则或用户自定义的编辑规则指示出的标签所指定。例如,视频片段可以是基于某些标签的所获取的视频片段,所述标签诸如为某一时间标签、位置标签或评级标签。举例而言,可以基于查看者的评估来获取月最佳的视频片段或年最佳的视频片段。在一些示例中,视频片段可以具有评级标签,所述评级标签可以用于评估所述视频片段是否有资格作为最佳视频片段,并且视频片段可以具有定时标签,所述定时标签可以用于评估所述视频片段在指定的时间段中是否有资格作为最佳视频片段。
编辑模块5-3可以合成所获取的视频片段并产生视频文件。在一些实施方式中,可以组合视频片段以产生视频文件。或者,所获取的视频片段可以插入到模板中以产生视频文件。所述模板可以是来自系统的默认模板或由用户的指令所选择的模板。在一些实施方式中,如果接收到编辑指令,则用户可以编辑视频文件。
图31是示出了根据本发明另一实施方式的视频处理装置的配置的示意图。在一些实施方式中,对视频的编辑和对视频的合成可以在同一装置上进行。在一些实施方式中,视频处理装置还可以包括储存模块5-4、收集模块5-5和筛选模块5-6。
储存模块5-4可以从作为视频来源的飞行器接收视频数据,以至于可以获取视频片段。在一些情况下,储存模块5-4可以在本地缓冲由飞行器捕捉到的视频数据并且将所缓冲的视频数据用作目标视频,从所述目标视频中可以提取视频片段。
收集模块5-5可以从目标视频中选择视频片段并且为所选定的视频片段生成标签。
筛选模块5-6可以从视频片段库中提取视频片段,对所述视频片段进行合成以产生多个视频样本,在诸如网络等共享平台上共享所合成的视频样本,并且基于查看者的评估来筛选所合成的视频样本,以便选择目标样本。
图32是示出了根据图30或图31中所示实施方式的视频处理装置中的获取模块的配置的示意图。在一些实施方式中,获取模块5-2可以包括获取单元5-21和第一修改单元5-22。
获取单元5-21可以从视频片段库中获取由编辑规则中的标签所指定的视频片段。一个或多个标签可以与所获取的视频片段相关联。所述标签可以与视频片段一起被获取或者可被提供作为视频片段的一部分。
根据编辑指令,第一修改单元5-22可以编辑视频片段的标签,所述标签包括时间标签、位置标签和/或评级标签。可选地,编辑指令可以通过用户与装置上的编辑应用程序进行交互来提供。用户可以提供指示出对标签的改变的输入,并且对应的标签可以得到更新。
图33是示出了根据图30或图31中所示实施方式的视频处理装置中的编辑模块的配置的示意图。在一些实施方式中,编辑模块5-3可以包括合成单元5-31和第二修改单元5-32。
合成单元5-31可以将由获取单元5-21从视频片段库中获取的视频片段进行合成以产生视频文件。在一些实施方式中,合成单元5-31可以组合视频片段以产生视频文件。或者,合成单元5-31可以将所获取的视频片段插入到模板中以产生视频文件。所述模板可以是来自系统的默认模板或由用户的指令所选择的模板。
模板可以包括预设音频、字幕和过渡片段中的一个或多个。如果所述模板包括过渡片段,则可以根据用户的指令来排列视频片段和过渡片段。在一些情况下,视频片段可以插入到过渡片段之间,以使得所述视频片段通过过渡片段而变得流畅。如果模板包括音频和/或字幕,则视频片段可以与所述音频和/或字幕相合成以产生视频文件。合成的视频文件可以由查看者浏览。
第二修改单元5-32可以接收用于编辑视频文件的编辑指令并且根据所述编辑指令而编辑所述视频文件。在一些情况下,如果编辑指令是重新排序指令,那么可以根据用户指定的顺序而记录视频片段并将其合成至视频文件。或者,可以执行“摇动”操作或按下“再次合成”按钮,以按随机的方式对所获取的视频片段进行重新排序。如果编辑指令是删除指令,则可以删除由所述删除指令指定的视频片段。如果编辑指令是添加指令,则可以根据由所述添加指令指定的标签而从视频片段库中获取新视频片段,并且可以将所述新视频片段添加至视频文件的指定位置。如果编辑指令是获取新视频片段指令,则可以根据由所述获取新视频片段的指令所指定的标签,从视频片段库中获取新的视频片段,并且可以相应地合成新的视频文件。此外,第二修改单元5-32可以编辑模板,诸如修改音频、字幕和过渡片段中的一个或多个。
图34是示出了根据图31中所示实施方式的视频处理装置中的收集模块的配置的示意图。在一些实施方式中,收集模块5-5可以包括标记单元5-51和储存单元5-52。标记单元5-51可以接收针对正在播放的目标视频的标记操作,并且提取正由标记操作选择的视频片段。储存单元5-52可以为选定的视频片段生成标签,并且将与生成的标签相关联的视频片段储存在视频片段库中。在一些实施方式中,储存单元5-52可以执行以下操作中的一个或多个:根据选定的视频片段的捕捉时间而为所述选定的视频片段生成时间标签,根据捕捉位置而为所述选定的视频片段生成位置标签,以及根据选定的视频片段的评级而为所述选定的视频片段生成评级标签。
图35是示出了根据图31中所示实施方式的视频处理装置中的筛选模块的配置的示意图。在一些实施方式中,筛选模块5-6可以包括选择单元5-61、样本生成单元5-62、共享单元5-63、标签获取单元5-64和筛选单元5-65。
选择单元5-61可以基于视频片段的标签而获取某一数目的视频片段。例如,可以获取具有某些标签的视频片段,所述标签诸如为某一时间标签、位置标签或评级标签。或者,可以获取来自飞行器的一条飞行路线的视频片段。
此外,样本生成单元5-62可以对所获取的视频片段进行合成以产生视频样本。在一些实施方式中,如果根据由编辑规则指定的标签而可以从视频片段库中获取到的视频片段的数目大于预定值,则可以对所述视频片段进行分组,并且可以通过对来自每个组的某一数目的视频片段进行合成而产生多个视频样本。或者,如果根据由编辑规则指定的标签而可以从视频片段库中获取的视频片段的数目小于预定值,则可以获取某一数目的视频片段以合成多个视频样本。在一些情况下,组的数目以及要从每个组中获取的视频片段的数目可以由用户配置。在一些实施方式中,用于确定是否应该对视频片段进行分组的预定值也可以由用户配置。
共享单元5-63可以将视频样本上传至共享平台。在一些情况下,共享单元5-63可以将合成的视频样本上传至网络,以使得查看者可以浏览。
标签获取单元5-64可以获取查看者的评估。查看者可以通过提供评估来对视频样本进行评论。在一些实施方式中,可以记录对视频样本的点击数和查看视频样本的时长。可以获取评估信息,诸如查看者的评估、查看时长和点击数。
筛选单元5-65可以基于诸如查看者的评估、查看时长和点击数等评估信息而从多个视频样本中选择目标样本。通过这种方式,可以获取月最佳的视频片段或年最佳的视频片段
筛选模块5-6还可以包括样本储存单元5-66。样本储存单元5-66可以将与评估相关联的目标样本储存在视频片段库中。
图36是示出了根据本发明实施方式的显示装置的配置的示意图。本公开内容中描述的显示装置可以是飞行器、移动电话和平板计算机的显示设备。在一些实施方式中,显示装置可以包括显示器5-100和处理器5-200。
显示器5-100可以显示视频片段和操作信息。在接收由用户配置的编辑规则之前,处理器5-200可用于执行以下操作中的一个或多个:接收针对正在播放的目标视频的标记编辑操作;提取正由标记操作选择的视频片段;为所选定的视频片段生成标签;以及将与生成的标签相关联的视频片段储存在视频片段库中。
在一些实施方式中,处理器5-200可用于为选定的视频片段生成标签,并且将与生成的标签相关联的视频片段储存在视频片段库中。在一些实施方式中,储存单元5-52可以执行以下操作中的一个或多个:根据选定的视频片段的捕捉时间而为所述选定的视频片段生成时间标签,根据捕捉位置而为所述选定的视频片段生成位置标签,以及根据选定的视频片段的评级而为所述选定的视频片段生成评级标签。
在一些实施方式中,处理器5-200可用于接收预设的编辑规则或用户自定义的编辑规则。在一些情况下,预设的编辑规则可以是以下各项中之一或组合:根据视频片段的时间标签而执行编辑的编辑规则、根据视频片段的位置标签而执行编辑的编辑规则以及根据视频片段的评级标签而执行编辑的编辑规则。
在一些实施方式中,处理器5-200可用于在将与对应的标签相关联的所获取视频片段储存在视频片段库中之后接收编辑指令,并且根据编辑指令而编辑视频片段的标签,所述标签包括时间标签、位置标签和评级标签。
处理器5-200可用于对获取的视频片段进行合成以产生视频文件。此外,处理器5-200可用于执行以下操作中的一个或多个:对视频文件中的视频片段进行重新排序、从视频文件中删除视频片段以及向视频文件中添加新的视频片段。进一步地,处理器5-200可用于:基于视频片段的标签而从视频片段库中获取预定数目的视频片段,对所述视频片段进行合成以产生视频样本,共享所述视频样本,获取对所述视频样本的评估并且根据所述评估而筛选视频样本以选择目标样本。
处理器5-200可用于将与评估相关联的目标样本储存在视频片段库中。此外,处理器5-200可用于获取模板并且将视频片段插入到所述模板中以产生视频文件。模板可以包括以下各项中的一项或多项:预设音频、字幕和过渡片段。因此,最终的视频文件可以包括视频、音频和/或字幕。进一步地,处理器5-200可用于接收用户的指令以编辑模板,诸如修改音频、字幕和过渡片段中的一个或多个。
本公开内容提供了被编程用于实现本公开内容的方法的计算机控制系统。图37示出了被编程或以其他方式配置成用于处理视频数据的计算机系统6-501。计算机系统6-501可以调节本公开内容的处理视频数据的各个方面,举例而言,诸如捕捉视频数据、储存视频数据、编辑视频数据和合并视频数据。计算机系统6-501可以是图像捕捉系统的处理器、用户的电子装置或者相对于电子装置位于远程的计算机系统。电子装置可以是移动电子装置。
计算机系统6-501包括中央处理单元(CPU,本文中也称为“处理器”和“计算机处理器”)6-505,所述中央处理单元可以是单核处理器或多核处理器,或者用于并行处理的多个处理器。计算机系统6-501还包括存储器或存储器位置6-510(例如,随机存取存储器、只读存储器、闪速存储器),电子存储单元6-515(例如,硬盘),用于与一个或多个其他系统相通信的通信接口6-520(例如,网络适配器),以及外围装置6-525,诸如高速缓冲存储器、其他存储器、数据存储和/或电子显示适配器。存储器6-510、存储单元6-515、接口6-520和外围装置6-525通过诸如母板等通信总线(实线)与CPU 6-505相通信。存储单元6-515可以是用于储存数据的数据存储单元(或数据储存库)。计算机系统6-501可以借助于通信接口6-520而可操作地耦合至计算机网络(“网络”)6-530。网络6-530可以是因特网、互联网和/或外联网,或者与因特网相通信的内联网和/或外联网。在一些情况下,网络6-530是电信网络和/或数据网络。网络6-530可以包括一个或多个计算机服务器,所述计算机服务器可以支持分布式计算,诸如云计算。网络6-530在一些情况下借助于计算机系统6-501,可以实现对等网络,这可以使耦合至计算机系统6-501的装置能够表现为客户端或服务器。
CPU 6-505可以执行机器可读指令的序列,所述机器可读指令可以在程序或软件中具体化。所述指令可以储存在诸如存储器6-510等存储器位置中。可以将指令引导至CPU6-505,所述指令随后可以进行编程或以其他方式对CPU 6-505进行配置以实现本公开内容的方法。由CPU 6-505执行的操作的示例可以包括取回、解码、执行和回写。
CPU 6-505可以是诸如集成电路等电路的一部分。系统6-501的一个或多个其他部件可以包括在所述电路中。在一些情况下,所述电路是专用集成电路(ASIC)。
存储单元6-515可以储存文件,诸如驱动程序、库和所保存的程序。存储单元6-515可以储存用户数据,例如,用户偏好和用户程序。在一些情况下,计算机系统6-501可以包括一个或多个附加的数据存储单元,所述数据存储单元位于计算机系统6-501外部,诸如位于通过内联网或因特网与计算机系统6-501相通信的远程服务器上。
计算机系统6-501可以通过网络6-530与一个或多个远程计算机系统相通信。举例而言,计算机系统6-501可以与用户的远程计算机系统(例如,用户终端)相通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、板式或平板型PC(例如,
Figure BDA0003274596410000851
iPad、
Figure BDA0003274596410000854
Galaxy Tab)、电话、智能电话(例如,/>
Figure BDA0003274596410000852
iPhone、支持Android的装置、
Figure BDA0003274596410000853
)或个人数字助理。用户可以经由网络6-530访问计算机系统6-501。
如本文所述的方法可以通过机器(例如,计算机处理器)可执行代码的方式来实现,所述机器可执行代码储存在计算机系统6-501的电子存储位置上,举例而言,诸如储存在存储器6-510或电子存储单元6-515上。机器可执行代码或机器可读代码能够以软件的形式提供。在使用期间,代码可以由处理器6-505执行。在一些情况下,可以从存储单元6-515中检索代码并将所述代码储存在存储器6-510上,以备由处理器6-505访问。在一些情况下,可以排除电子存储单元6-515,而将机器可执行指令储存在存储器6-510上。
代码可被预编译并被配置成与具有适于执行所述代码的处理器的机器一起使用,或者可以在运行期间被编译。代码能够以编程语言提供,可以选择编程语言以使所述代码能够以预编译或即时编译的方式执行。
本文提供的系统和方法的方面(诸如计算机系统6-501)可以在编程中具体化。技术的各个方面可被认为是“产品”或“制品”,其通常是在一种类型的机器可读介质上携带或在所述介质中具体化的机器(或处理器)可执行代码和/或相关联数据的形式。机器可执行代码可以储存在诸如存储器(例如,只读存储器、随机存取存储器、闪速存储器)等电子存储单元或硬盘上。“存储”型介质可以包括计算机、处理器等的任何或全部有形存储器,或与其相关联的模块,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可以在任何时间为软件编程提供永久的存储。软件的全部或部分有时可以通过因特网或各种其他电信网络而通信。这样的通信,例如,可以支持软件从一台计算机或处理器加载到另一台计算机或处理器,例如,从管理服务器或主机计算机加载到应用服务器的计算机平台。因此,可以承载软件元素的另一种类型的介质包括光波、电波和电磁波,诸如跨本地装置之间的物理接口、通过有线和光学陆线网络以及通过各种空中链路而使用。携带这样的波的物理元件,诸如有线链路或无线链路、光学链路等,也可被认为是承载软件的介质。如本文所使用的,除非受限于永久的有形“存储”介质,否则诸如计算机或机器“可读介质”的术语是指参与为处理器提供指令以供执行的任何介质。
因此,诸如计算机可执行代码等机器可读介质可以采取许多形式,包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质例如包括光盘或磁盘,诸如包括任何一个或多个计算机等中的任何存储装置,诸如可以用于实现如附图所示的数据库等。易失性存储介质包括动态存储器,诸如这样的计算机平台的主存储器。有形传输介质包括同轴电缆;铜线和光纤,包括导线,导线包含位于计算机系统内的总线。载波传输介质可以采取电信号或电磁信号或者声波或光波的形式,诸如在射频(RF)和红外(IR)数据通信期间所产生的电信号或电磁信号或者声波或光波。因此,计算机可读介质的常见形式包括,例如:软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔洞图案的物理存储介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或匣、传送数据或指令的载波、传送这样的载波的电缆或链路,或者计算机可以从中读取编程代码和/或数据的任何其他介质。这些形式的计算机可读介质中的许多可以参与携带一个或多个指令的一个或多个序列至处理器以供执行。
计算机系统6-501可以包括电子显示器6-535或者与其相通信,所述电子显示器6-535包括用于提供例如用户终端的用户界面(UI)6-540,所述用户终端播放视频和/或允许用户在用户界面6-540处编辑视频。UI的示例包括但不限于图形用户界面(GUI)和基于网络的用户界面。
本公开内容的方法和系统可以通过一种或多种算法的方式实现。算法可以通过由中央处理单元6-505执行的软件的方式而实现。所述算法例如可以确定处理视频片段的优先次序或者对要合并的视频片段进行排序。
本文所描述的系统、装置和方法可以适用于多种物体,包括可移动物体和静止物体。如前文所提及,本文对诸如无人飞行器等飞行器的任何描述均可适用于和用于任何可移动物体。本文对飞行器的任何描述均可特定地适用于无人飞行器。本发明的可移动物体可用于在任何合适的环境内移动,诸如在空中(例如,固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车,诸如轿车、卡车、公交车、厢式货车、摩托车、自行车;可移动结构或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以是载运工具,诸如本文其他各处所描述的载运工具。在一些实施方式中,可移动物体可以由活体携带,或者从活体移去,所述活体诸如为人类或动物。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可能能够在所述环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)而自由移动。或者,可移动物体的移动可能关于一个或多个自由度受到约束,诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或电机等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力,所述能源诸如为电能、磁能、太阳能、风能、重力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述,经由推进系统而自推进。所述推进系统可以可选地依靠能源运行,所述能源诸如为电能、磁能、太阳能、风能、重力能、化学能、核能或者其任何合适的组合。或者,可移动物体可以由生物所携带。
在一些情况下,所述可移动物体可以是飞行器。例如,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋翼飞行器(例如,直升机、旋翼飞机)、同时具有固定翼和旋翼的飞行器或者既无固定翼又无旋翼的飞行器(例如,飞艇、热气球)。飞行器可以是自推进式的,诸如通过空气自推进。自推进式飞行器可以利用推进系统,诸如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的推进系统。在一些情况下,推进系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如,悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由位于可移动物体之内或之上的乘员在本地控制。可移动物体可以经由单独的载运工具内的乘员遥控。在一些实施方式中,可移动物体是无人的可移动物体,诸如无人飞行器。无人的可移动物体(诸如无人飞行器)可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如,计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人,诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可以具有能容纳人类乘员身处载运工具之内或之上的大小和/或尺寸。或者,可移动物体可以具有比能够容纳人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者,可移动物体可以大于适合于由人类搬运或携带的大小和/或尺寸。在一些情况下,可移动物体可以具有的最大尺寸(例如,长度、宽度、高度、直径、对角线)小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如,可移动物体的相对的旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者,相对的旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可以大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3
在一些实施方式中,可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地,所述占地面积可以大于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2
在一些情况下,可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可以大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于所述可移动物体所携带的负荷可以较小。如本文其他各处进一步详述,所述负荷可以包括有效载荷和/或载体。在一些示例中,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。在一些情况下,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。可选地,载体重量与负荷重量之比可以大于、小于或等于约1:1。当需要时,可移动物体的重量与负荷重量之比可以小于或等于:1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地,可移动物体的重量与负荷重量之比还可以大于或等于:2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中,可移动物体可以具有低能耗。例如,可移动物体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下,可移动物体的载体可以具有低能耗。例如,所述载体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地,可移动物体的有效载荷可以具有低能耗,诸如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。
虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围,并因此覆盖这些权利要求及其等效项的范围内的方法和结构。

Claims (14)

1.一种处理视频的方法,所述方法包括:
获取第一组视频数据,所述第一组视频数据以第一清晰度由图像捕捉装置捕捉;
以所述第一清晰度和低于所述第一清晰度的第二清晰度存储所述第一组视频数据于所述图像捕捉装置的存储器中;
发送所述第二清晰度的第一组视频数据,用于给用户编辑并根据用户的编辑生成视频编辑请求;
接收所述视频编辑请求,并根据所述视频编辑请求编辑所述第一清晰度的第一组视频数据以形成第二组视频数据;
基于视频编辑请求,将开场和/或收尾添加至所述第一组视频数据的开头或结尾,以及/或者将过渡效果插入至所述第一组视频数据中间;
所述方法还包括:根据来自用户终端的指令,所述图像捕捉装置捕捉要用作开场、过渡效果或收尾的视频片段。
2.根据权利要求1所述的方法,其中所述第二组视频数据以第三清晰度形成:
所述方法还包括:向用户发送所述第三清晰度的第二组视频数据。
3.根据权利要求2所述的方法,其中基于帧速率、视觉质量和分辨率中的任何一个或多个来确定所述第一清晰度、第二清晰度和第三清晰度。
4.根据权利要求1所述的方法,其中所述视频编辑请求是基于对所述第一组视频数据的编辑,并且包括有关于如何编辑与所述第一组视频数据相关联的视频数据的信息,与所述第一组视频数据相匹配并由所述图像捕捉装置储存的原始捕捉到的视频数据被认为与所述第一组视频数据相关联。
5.根据权利要求1所述的方法,其中编辑所述第一组视频数据包括选择一个或多个视频片段。
6.根据权利要求5所述的方法,其中选择一个或多个视频片段包括:根据所述视频片段的标签或描述来选择一个或多个视频片段。
7.根据权利要求5所述的方法,其中编辑所述第一组视频数据包括:
改变一个或多个视频片段的顺序;或者
为所述一个或多个视频片段添加视频滤镜效果;或者
编辑所述一个或多个视频片段的时长;或者
删除所述一个或多个视频片段;或者
添加一个或多个以慢动作模式呈现以及以快速播放模式呈现的视频片段;或者
将所述一个或多个视频片段组合成单一的视频文件。
8.根据权利要求5所述的方法,其中编辑所述第一组视频数据包括:
在所述视频编辑请求中储存所述一个或多个视频片段中的每一个的视频片段描述。
9.根据权利要求8所述的方法,其中所述视频片段描述包括所述视频片段在所述第一组视频数据中的起始时间和结束时间。
10.根据权利要求8所述的方法,其中所述视频片段描述包括对所述视频片段的评级。
11.根据权利要求1所述的方法,其中编辑所述第一组视频数据包括编辑音频数据。
12.根据权利要求11所述的方法,其中所述音频数据选自所述图像捕捉装置的本地音频源和/或在线音频源。
13.根据权利要求1所述的方法,其中编辑所述第一组视频数据包括添加字幕。
14.一种可移动平台,包括图像捕捉装置和处理器,其中所述图像捕捉装置用于以第一清晰度捕获第一组视频数据;
所述处理器用于执行如权利要求1至13中任一项所述的处理视频的方法。
CN202111113818.0A 2014-12-14 2015-03-31 视频处理的方法和系统 Expired - Fee Related CN113766161B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
PCT/CN2014/093785 WO2016095071A1 (zh) 2014-12-14 2014-12-14 一种视频处理方法、装置及播放装置
CNPCT/CN2014/093785 2014-12-14
CNPCT/CN2014/093786 2014-12-14
PCT/CN2014/093786 WO2016095072A1 (zh) 2014-12-14 2014-12-14 一种视频处理方法、视频处理装置及显示装置
PCT/CN2015/075458 WO2016095361A1 (en) 2014-12-14 2015-03-31 Methods and systems of video processing
CN201580009864.2A CN107005624B (zh) 2014-12-14 2015-03-31 处理视频的方法、系统、终端、装置、处理器和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580009864.2A Division CN107005624B (zh) 2014-12-14 2015-03-31 处理视频的方法、系统、终端、装置、处理器和存储介质

Publications (2)

Publication Number Publication Date
CN113766161A CN113766161A (zh) 2021-12-07
CN113766161B true CN113766161B (zh) 2023-06-20

Family

ID=56125736

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201580009864.2A Expired - Fee Related CN107005624B (zh) 2014-12-14 2015-03-31 处理视频的方法、系统、终端、装置、处理器和存储介质
CN202111113818.0A Expired - Fee Related CN113766161B (zh) 2014-12-14 2015-03-31 视频处理的方法和系统
CN202010206245.5A Pending CN111432152A (zh) 2014-12-14 2015-04-07 数据处理方法、装置和系统,非暂时性计算机可读介质
CN201580067797.XA Active CN107223316B (zh) 2014-12-14 2015-04-07 用于支持选择性回溯数据录制的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580009864.2A Expired - Fee Related CN107005624B (zh) 2014-12-14 2015-03-31 处理视频的方法、系统、终端、装置、处理器和存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010206245.5A Pending CN111432152A (zh) 2014-12-14 2015-04-07 数据处理方法、装置和系统,非暂时性计算机可读介质
CN201580067797.XA Active CN107223316B (zh) 2014-12-14 2015-04-07 用于支持选择性回溯数据录制的系统和方法

Country Status (6)

Country Link
US (6) US9973728B2 (zh)
EP (3) EP3167604B1 (zh)
CN (4) CN107005624B (zh)
DK (1) DK3123644T3 (zh)
ES (1) ES2877224T3 (zh)
WO (2) WO2016095361A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013023063A1 (en) 2011-08-09 2013-02-14 Path 36 Llc Digital media editing
EP3167604B1 (en) 2014-12-14 2021-06-30 SZ DJI Technology Co., Ltd. Methods and systems of video processing
EP3265997B1 (en) * 2015-03-02 2021-05-05 Israel Aerospace Industries Ltd. Remote detecting and tracking of objects
US10503264B1 (en) * 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
JP2017151894A (ja) * 2016-02-26 2017-08-31 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、およびプログラム
US10530731B1 (en) 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
WO2018081581A1 (en) * 2016-10-28 2018-05-03 Axon Enterprise, Inc. Systems and methods for supplementing captured data
KR102581438B1 (ko) * 2017-01-12 2023-09-21 삼성전자주식회사 무선 디스플레이 서브시스템 및 시스템-온-칩
WO2018221068A1 (ja) 2017-05-30 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10939158B2 (en) 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US20190087870A1 (en) * 2017-09-15 2019-03-21 Oneva, Inc. Personal video commercial studio system
CN107633228A (zh) * 2017-09-20 2018-01-26 北京奇虎科技有限公司 视频数据处理方法及装置、计算设备
CN109076194B (zh) * 2017-11-21 2021-04-16 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器、系统及存储介质
WO2019127332A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 视频数据处理方法、设备、系统及存储介质
CN110058887B (zh) * 2018-01-16 2022-02-18 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110622517A (zh) * 2018-01-19 2019-12-27 深圳市大疆创新科技有限公司 视频处理方法及设备
CN110121105B (zh) * 2018-02-06 2022-04-29 阿里巴巴(中国)有限公司 剪辑视频生成方法及装置
WO2019191940A1 (en) * 2018-04-04 2019-10-10 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
CN108564543A (zh) * 2018-04-11 2018-09-21 长春理工大学 一种基于电磁理论的水下图像色彩补偿方法
CN108810657B (zh) * 2018-06-15 2020-11-06 网宿科技股份有限公司 一种设置视频封面的方法和系统
CN108881928A (zh) * 2018-06-29 2018-11-23 百度在线网络技术(北京)有限公司 用于发布信息的方法和装置、用于处理信息的方法和装置
CN108924647A (zh) * 2018-07-27 2018-11-30 深圳众思科技有限公司 视频编辑方法、视频编辑装置、终端
WO2020062173A1 (zh) * 2018-09-29 2020-04-02 深圳市大疆创新科技有限公司 视频处理方法、装置、拍摄系统及计算机可读存储介质
CN109275028B (zh) * 2018-09-30 2021-02-26 北京微播视界科技有限公司 视频获取方法、装置、终端和介质
CN109348276B (zh) * 2018-11-08 2019-12-17 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
WO2020131037A1 (en) * 2018-12-18 2020-06-25 Rovi Guides, Inc. Systems and methods for automated tracking on a handheld device using a remote camera
CN113411492B (zh) * 2018-12-26 2023-04-07 深圳市道通智能航空技术股份有限公司 一种图像处理方法、装置和无人机
CN109768845B (zh) * 2018-12-28 2021-03-09 北京诺亦腾科技有限公司 数据处理方法、装置及存储介质
US10992960B2 (en) * 2019-02-06 2021-04-27 Jared Michael Cohn Accelerated video exportation to multiple destinations
CN109819338B (zh) * 2019-02-22 2021-09-14 影石创新科技股份有限公司 一种视频自动剪辑方法、装置及便携式终端
CN110139149B (zh) * 2019-06-21 2020-11-24 上海摩象网络科技有限公司 一种视频优化的方法、装置、电子设备
CN110234029B (zh) * 2019-07-31 2021-12-17 上海商汤临港智能科技有限公司 多传感器数据的播放处理方法、装置、设备和存储介质
CN117749971A (zh) 2019-09-06 2024-03-22 谷歌有限责任公司 基于事件的记录
CN110677734B (zh) * 2019-09-30 2023-03-10 北京达佳互联信息技术有限公司 视频合成方法、装置、电子设备及存储介质
CN112800805A (zh) * 2019-10-28 2021-05-14 上海哔哩哔哩科技有限公司 视频剪辑方法、系统、计算机设备及计算机存储介质
CN110784674B (zh) 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
WO2021083146A1 (zh) 2019-10-30 2021-05-06 北京字节跳动网络技术有限公司 视频处理方法、装置、终端及存储介质
CN111050066A (zh) * 2019-11-01 2020-04-21 深圳市道通智能航空技术有限公司 变焦方法、装置、飞行器、飞行系统及存储介质
WO2021102639A1 (en) * 2019-11-25 2021-06-03 SZ DJI Technology Co., Ltd. Method and system for monitoring unmanned aerial vehicle
WO2021137671A1 (en) 2020-01-03 2021-07-08 Samsung Electronics Co., Ltd. Video generation apparatus and video generation method performed by the video generation apparatus
CN111311477B (zh) * 2020-02-28 2024-05-07 深圳看到科技有限公司 图像编辑方法、装置及对应的存储介质
CN111510644B (zh) * 2020-04-24 2022-06-07 Oppo广东移动通信有限公司 一种视频处理方法、装置、移动终端及存储介质
CN112997506A (zh) * 2020-05-28 2021-06-18 深圳市大疆创新科技有限公司 视频文件编辑方法、设备、系统及计算机可读存储介质
CN111669516A (zh) * 2020-06-19 2020-09-15 江苏镭博智能科技有限公司 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法
CN111757013B (zh) 2020-07-23 2022-04-29 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN111736790B (zh) * 2020-07-31 2020-12-18 开立生物医疗科技(武汉)有限公司 一种多屏显示方法、装置、系统和主机设备
CN114125551B (zh) * 2020-08-31 2023-11-17 抖音视界有限公司 视频生成方法、装置、电子设备及计算机可读介质
US11297260B1 (en) 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
US11955144B2 (en) * 2020-12-29 2024-04-09 Snap Inc. Video creation and editing and associated user interface
TWI819275B (zh) * 2021-02-17 2023-10-21 瑞昱半導體股份有限公司 音訊轉接器的控制電路及控制方法
CN113468319B (zh) * 2021-07-21 2022-01-14 深圳市亿莱顿科技有限公司 一种基于互联网的多应用场景的会议交互系统及方法
CN113989839B (zh) * 2021-10-26 2024-08-02 浙江大学 一种基于时间戳的动物神经信号与行为视频的同步分析系统和方法
US12126791B1 (en) 2022-05-20 2024-10-22 Nvidia Corporation Conversational AI-encoded language for data compression
CN117425057A (zh) 2022-07-07 2024-01-19 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
CN115334246A (zh) 2022-09-06 2022-11-11 抖音视界有限公司 用于影像拍摄的方法、装置、设备和存储介质
US12167169B1 (en) 2022-09-19 2024-12-10 Nvidia Corporation Systems and methods to optimize video streaming using digital avatars

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0702832B1 (en) * 1993-06-10 1998-03-04 Lightworks Editing Systems Ltd Video editing systems
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
JPH11176137A (ja) 1997-12-15 1999-07-02 Matsushita Electric Ind Co Ltd 光ディスク媒体およびその記録方法およびその記録装置
CN1189019C (zh) * 1999-05-07 2005-02-09 Bts集团国际有限公司 用于利用摄像机采集和编辑信息的方法和摄像系统
US6870547B1 (en) * 1999-12-16 2005-03-22 Eastman Kodak Company Method and apparatus for rendering a low-resolution thumbnail image suitable for a low resolution display having a reference back to an original digital negative and an edit list of operations
US7068668B2 (en) * 2000-01-07 2006-06-27 Feuer Donald S Method and apparatus for interfacing a public switched telephone network and an internet protocol network for multi-media communication
JP3663362B2 (ja) 2001-03-30 2005-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーション インデックス生成装置
WO2002082275A1 (en) * 2001-04-09 2002-10-17 Monitoring Technology Corporation Data recording and playback system and method
WO2003003584A1 (en) * 2001-06-29 2003-01-09 Netcontinuum, Inc. System and method for data compression using a hybrid coding scheme
US7110026B2 (en) * 2001-07-03 2006-09-19 Logitech Europe S.A. Image tagging for post processing
JP2003256432A (ja) 2002-03-06 2003-09-12 Telecommunication Advancement Organization Of Japan 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法
US7447369B2 (en) * 2003-03-07 2008-11-04 Ricoh Co., Ltd. Communication of compressed digital images
CA2520498C (en) 2003-04-03 2012-09-25 Commvault Systems, Inc. System and method for dynamically performing storage operations in a computer network
JP4189653B2 (ja) 2003-04-14 2008-12-03 ソニー株式会社 画像記録再生方法および画像記録再生装置
US20070019072A1 (en) * 2003-07-28 2007-01-25 The Boeing Company Apparatus for processing digital images
US20050033758A1 (en) * 2003-08-08 2005-02-10 Baxter Brent A. Media indexer
JP3923932B2 (ja) 2003-09-26 2007-06-06 株式会社東芝 映像要約装置、映像要約方法及びプログラム
JP4396567B2 (ja) 2005-04-15 2010-01-13 ソニー株式会社 素材記録装置および素材記録方法
US7769819B2 (en) 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
KR20080010394A (ko) 2005-04-22 2008-01-30 톰슨 라이센싱 이전에 기록된 매체 콘텐츠에 대한 편집 조작 목록을생성하기 위한 방법, 장치 및 시스템
CN101395909A (zh) * 2006-01-13 2009-03-25 雅虎公司 用于组合编辑信息和媒体内容的方法和系统
WO2007084867A2 (en) * 2006-01-13 2007-07-26 Yahoo! Inc. Method and system for online remixing of digital multimedia
WO2008054505A2 (en) * 2006-04-10 2008-05-08 Yahoo! Inc. Topic specific generation and editing of media assets
JP2008136466A (ja) 2006-11-29 2008-06-19 Youko Furuhata 楽な草取り用具
US8020100B2 (en) 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
JP4960121B2 (ja) 2007-03-12 2012-06-27 パナソニック株式会社 コンテンツ撮影装置
JPWO2008136466A1 (ja) 2007-05-01 2010-07-29 株式会社Dep 動画編集装置
KR101341504B1 (ko) * 2007-07-12 2013-12-16 엘지전자 주식회사 휴대 단말기 및 휴대 단말기에서의 멀티미디어 컨텐츠 생성방법
JP4424389B2 (ja) 2007-08-24 2010-03-03 ソニー株式会社 動画作成装置、動画作成方法、およびプログラム
US20090259944A1 (en) 2008-04-10 2009-10-15 Industrial Technology Research Institute Methods and systems for generating a media program
CN101312535A (zh) * 2008-07-07 2008-11-26 新科电子集团有限公司 Cmmb系统的终端设备及其工作方法
US8237856B2 (en) * 2008-11-07 2012-08-07 Looxcie, Inc. Timeshifting video recording camera
CN101753941A (zh) 2008-12-19 2010-06-23 康佳集团股份有限公司 一种成像设备中实现标注信息的方法及成像设备
KR20120003794A (ko) * 2009-03-30 2012-01-11 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
JP5444878B2 (ja) * 2009-06-25 2014-03-19 横河電機株式会社 波形解析装置
CN101740082A (zh) 2009-11-30 2010-06-16 孟智平 一种基于浏览器的视频剪辑方法及系统
US20110206351A1 (en) * 2010-02-25 2011-08-25 Tal Givoli Video processing system and a method for editing a video asset
CN102215429B (zh) * 2010-04-01 2013-04-17 安凯(广州)微电子技术有限公司 一种用于移动电视的录制方法
PL211198B1 (pl) * 2010-04-21 2012-04-30 Univ Przyrodniczy We Wrocławiu Element geokompozytowy, zwłaszcza do wspomagania wegetacji roślin
JP2012049840A (ja) 2010-08-27 2012-03-08 Nippon Telegr & Teleph Corp <Ntt> 映像編集装置,映像編集方法,映像編集プログラムおよびコンピュータ読み取り可能な記録媒体
EP2617186B1 (en) 2010-09-13 2021-11-03 Contour IP Holding, LLC Portable digital video camera configured for remote image acquisition control and viewing
CN102685430A (zh) * 2011-03-18 2012-09-19 新奥特(北京)视频技术有限公司 一种通过1394连接线实现视频实时输出的方法
US8754984B2 (en) * 2011-05-02 2014-06-17 Futurewei Technologies, Inc. System and method for video caption re-overlaying for video adaptation and retargeting
CN103108190A (zh) * 2011-11-15 2013-05-15 上海宝康电子控制工程有限公司 模拟摄像机与高清摄像机之间实现图像同步的系统及方法
CN102542466A (zh) * 2011-12-02 2012-07-04 万军 一种视频溯源的方法及设备
CN103313122B (zh) 2012-03-09 2018-02-27 联想(北京)有限公司 一种数据处理方法及电子设备
TW201347521A (zh) * 2012-05-11 2013-11-16 Hon Hai Prec Ind Co Ltd 時間戳調整系統及方法
JP5988798B2 (ja) 2012-09-18 2016-09-07 キヤノン株式会社 画像表示装置及びその制御方法、プログラム、並びに記憶媒体
CN103856806B (zh) * 2012-11-28 2018-05-01 腾讯科技(北京)有限公司 视频流切换方法、装置及系统
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
CN103002330B (zh) * 2012-12-31 2014-07-09 合一网络技术(北京)有限公司 一种同时同地拍摄的多视频网络编辑方法、客户端、服务器及系统
KR101978216B1 (ko) 2013-01-04 2019-05-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN103096184B (zh) 2013-01-18 2016-04-13 深圳市同洲电子股份有限公司 一种视频编辑方法及装置
US9141866B2 (en) * 2013-01-30 2015-09-22 International Business Machines Corporation Summarizing salient events in unmanned aerial videos
JP6178099B2 (ja) * 2013-04-05 2017-08-09 ソニー株式会社 中間ユニットおよびカメラシステム
CN103412746B (zh) 2013-07-23 2017-06-06 华为技术有限公司 媒体内容分享方法和终端设备及内容分享系统
JP6277646B2 (ja) * 2013-09-25 2018-02-14 富士通株式会社 受信装置,受信方法,プログラム
CN103490842B (zh) * 2013-09-26 2016-09-28 深圳市大疆创新科技有限公司 数据传输系统及方法
CN103716712A (zh) 2013-12-31 2014-04-09 上海艾麒信息科技有限公司 一种基于移动终端的视频处理方法
CN103761985B (zh) 2014-01-24 2016-04-06 北京华科飞扬科技股份公司 一种多通道视音频在线式演播编辑系统
CN104052935B (zh) 2014-06-18 2017-10-20 广东欧珀移动通信有限公司 一种视频编辑方法及装置
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
US9570106B2 (en) * 2014-12-02 2017-02-14 Sony Corporation Sensor configuration switching for adaptation of video capturing frame rate
EP3167604B1 (en) 2014-12-14 2021-06-30 SZ DJI Technology Co., Ltd. Methods and systems of video processing
US9818451B1 (en) * 2015-12-21 2017-11-14 Amazon Technologies, Inc. Frame selection of video data

Also Published As

Publication number Publication date
WO2016095361A1 (en) 2016-06-23
US10567700B2 (en) 2020-02-18
CN107223316A (zh) 2017-09-29
US20170256288A1 (en) 2017-09-07
WO2016095367A1 (en) 2016-06-23
CN107223316B (zh) 2020-04-17
EP3167604B1 (en) 2021-06-30
CN107005624A (zh) 2017-08-01
US20180227539A1 (en) 2018-08-09
CN113766161A (zh) 2021-12-07
CN111432152A (zh) 2020-07-17
EP3846454A1 (en) 2021-07-07
EP3167604A1 (en) 2017-05-17
EP3123644B1 (en) 2021-04-07
US20170064247A1 (en) 2017-03-02
DK3123644T3 (da) 2021-05-31
US9973728B2 (en) 2018-05-15
EP3123644A4 (en) 2017-05-03
ES2877224T3 (es) 2021-11-16
EP3123644A1 (en) 2017-02-01
CN107005624B (zh) 2021-10-01
US20190174090A1 (en) 2019-06-06
US10771734B2 (en) 2020-09-08
US20200186749A1 (en) 2020-06-11
EP3167604A4 (en) 2017-07-26
US10284808B2 (en) 2019-05-07
US20200358979A1 (en) 2020-11-12
US11095847B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113766161B (zh) 视频处理的方法和系统
US20230175864A1 (en) Method, device and system for processing a flight task
US10402445B2 (en) Apparatus and methods for manipulating multicamera content using content proxy
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
US20150281305A1 (en) Selectively uploading videos to a cloud environment
US20160365115A1 (en) Video editing system and method using time-based highlight identification
US20180132006A1 (en) Highlight-based movie navigation, editing and sharing
CN108702464B (zh) 一种视频处理方法、控制终端及可移动设备
US20180102143A1 (en) Modification of media creation techniques and camera behavior based on sensor-driven events
US9871994B1 (en) Apparatus and methods for providing content context using session metadata
JP2021029044A (ja) 情報処理装置、情報処理方法、プログラム
US20180122422A1 (en) Multimedia creation, production, and presentation based on sensor-driven events
US11107506B2 (en) Method and system for combining and editing UAV operation data and video data
CN112997506A (zh) 视频文件编辑方法、设备、系统及计算机可读存储介质
CN113806306A (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
CN107615253B (zh) 用于存储器架构的系统和方法
JP6596741B2 (ja) 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
US9574893B2 (en) Apparatus and method of guiding user along travel path by using GPS information
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
JP2019159913A (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230620