CN107223316A - 用于支持选择性回溯数据录制的系统和方法 - Google Patents

Abstract

系统和方法可以支持数据处理装置。所述数据处理装置可以包括与静止物体和/或可移动物体上的数据捕捉设备相关联的数据处理器。所述数据处理器可以从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置。继而，所述数据处理器可以接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间。此外，所述数据处理器可以通过对所述数据流应用所述第一时间戳来确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

Description

用于支持选择性回溯数据录制的系统和方法

版权说明

本专利文档的公开内容的一部分包含受版权保护的材料。版权所有者并不反对任何人对与专利商标局的专利文件或记录一致的专利文档或专利公开的拓制，但除此之外保留一切版权权利。

优先权申明

本申请要求于2014年12月14日提交的申请号

PCT/CN2014/093785、于2014年12月14日提交的申请号

PCT/CN2014/093786以及于2015年3月31日提交且名为“METHODS AND SYSTEMS OFVIDEO PROCESSING”的申请号PCT/CN2015/075458的国际申请的优先权，上述申请的全部内容通过引用并入于此。

发明领域

所公开的实施方式总体上涉及数据处理，更具体而言(但不仅限于)涉及多媒体数据录制。

背景技术

诸如视频录制等数据录制在传统上是沿着时间轴在一个方向上的动作，在该时间轴上，过去已经落定而未来尚未到来。通常，录制一开始就可以对数据进行储存。然而，由于用户可能无法及时开始录制，因此可能仍会错过关键数据，比如难忘瞬间。

另一方面，存在阻碍用户无条件地录制一切事物的物理限制。例如，无人飞行器(UAV)可以用于包括监视、搜救行动、勘探和其他领域在内的广泛应用。随着图像技术的发展，需要录制的图像数据量可能飞速增长。因此，可能会消耗过高的带宽，这阻止了从无人飞行器下载捕捉到的视频。

这是本发明的实施方式旨在解决的总体领域。

发明内容

本文描述了可以支持数据处理装置的系统和方法。所述数据处理装置可以包括与静止物体和/或可移动物体上的数据捕捉设备相关联的数据处理器。所述数据处理器可以从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置。继而，所述数据处理器可以接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间。此外，所述数据处理器可以通过对所述数据流应用所述第一时间戳来确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

本文还描述了可以支持数据处理装置的系统和方法。所述数据处理装置可以包括与静止物体和/或可移动物体上的数据捕捉设备相关联的数据处理器。所述数据处理器能够以时间序列将从一个或多个数据源接收的数据储存在存储器中。继而，所述数据处理器可以在接收到同步信号之后移除储存在所述存储器中的数据的一部分。此外，当开关接通时，所述数据处理器可以在所述时间序列中的一时间段内将所移除的数据转发至存储。

本文还描述了可以支持数据处理装置的系统和方法。所述数据处理装置可以包括与静止物体和/或可移动物体上的数据捕捉设备相关联的数据处理器。所述数据处理器可以将一个或多个标签与接收自一个或多个数据源的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联。继而，数据处理器可以将所述一个或多个时间戳保存在记录中。此外，所述数据处理器可以基于所述记录中保存的所述一个或多个时间戳在所接收的数据流中选择数据子集。

附图说明

图1是根据本发明的各种实施方式的数据录制系统的示例性图示。

图2是根据本发明的各种实施方式的选择性数据录制的示例性图示。

图3是根据本发明的各种实施方式，使用缓冲器来支持选择性数据录制的示例性图示。

图4是根据本发明的各种实施方式的异步选择性数据录制的示例性图示。

图5示出了根据本发明的各种实施方式的选择性数据录制的流程图。

图6是根据本发明的各种实施方式的回溯数据录制的示例性图示。

图7是根据本发明的各种实施方式，在存储器使用率方面优化的回溯录制的示例性图示。

图8是根据本发明的各种实施方式，在计算负荷方面优化的回溯录制的示例性图示。

图9示出了根据本发明的各种实施方式的回溯数据录制的流程图。

图10是根据本发明的各种实施方式的利用标签的数据录制的示例性图示。

图11是根据本发明的各种实施方式，从利用标签的数据录制进行导出的示例性图示。

图12示出了根据本发明的各种实施方式的利用标签的数据录制的流程图。

具体实施方式

通过示例的而非通过限制的方式，在各个附图中图示了本发明，其中相似的附图标号指示类似的元件。应当注意，本公开内容中提及的“一个”或“一种”或“一些”实施方式并不一定是指相同的实施方式，并且这样的提及意指至少一个。

本发明的如下描述使用多媒体数据录制作为数据录制的示例。对于本领域技术人员显而易见的是，可以不受限制地使用其他类型的数据录制。

示例性数据录制系统

图1是根据本发明的各种实施方式的数据录制系统的示例性图示。如图1中所示，数据处理系统100可以包括数据处理器102，该数据处理器102从数据源101接收各种类型的数据。

根据本发明的各种实施方式，数据源101可以与数据捕捉设备110相关联。例如，图像传感器可以用于捕捉图像信息或视频信息，而麦克风(MIC)可以用于捕捉音频信息，并且物理键盘或虚拟键盘可以用于捕捉文本信息。

另外，数据捕捉设备110可以放置在静止物体和/或可移动物体上。例如，静止物体可以包括固定的监视设备，而可移动物体可以包括无人航空器、无人载具、手持式设备(比如相机)或机器人。

根据本发明的各种实施方式，可以使用不同的通信协议从一个或多个数据源接收数据。例如，数据源101可以物理连接至数据处理器102。或者，数据源101可以经由无线连接而与数据处理器102通信。

可以使用不同的方法来控制数据录制。传统的方法是在识别出需要之后，比如识别出关键数据时开始录制。由于录制的成功依赖于用户能够多快地开始录制过程以及系统的响应性如何，因此这种方法可能并不理想。

或者，数据处理系统100可以支持选择性回溯(backtrack)数据录制。例如，一旦开始，就可以将数据捕捉设备110配置成持续捕捉数据并将捕捉到的数据流连续推送至数据处理器102。与此同时，数据处理器102可以选择不储存所接收的数据(即，放弃所接收的数据)，除非从用户接收到或者该系统规定了要执行相反操作的指令。

继而，数据处理器102可以将所选择的数据导出至存储103。例如，数据处理器102可以将数据保存到物理连接的存储介质中。或者，处理器102可以经由网络将第一数据段发送至远程服务器。

因此，由于不依赖用户能够多快地开始录制过程和系统的响应性如何，选择性回溯数据录制方法是有益的。

另外，用户终端104可以用于不同用途，诸如控制数据捕捉设备和查看所接收的数据流。

根据本发明的各种实施方式，数据处理器102可以向用户终端104传送所接收的数据的缩减集以供预览。例如，所接收的数据可能包含多种数据类型的数据，而所接收的数据流的缩减集可以仅包含一种数据类型的数据。

另外，诸如手持式设备等用户终端104可以用于编辑由数据捕捉设备110捕捉的数据。例如，用户终端104可以用于编辑由无人飞行器(UAV)上的图像捕捉设备所捕捉的视频。

在一些实施方式中，无人飞行器可以具有以高清晰度捕捉视频并以低清晰度将所捕捉的视频传送到手持式设备的图像捕捉设备。手持式设备能够以低清晰度接收和编辑所捕捉的视频并形成视频编辑请求。视频编辑请求的大小可以是小的，并且包含针对所编辑的视频的编辑视频数据信息。继而可以将视频编辑请求传输至无人飞行器和/或图像捕捉设备。无人飞行器和/或图像捕捉设备可以分析所编辑的视频文件、生成对应于编辑视频数据信息的视频文件以及将所生成的视频文件传输至手持式设备或另一设备。

由于并未传输所有的高清晰度视频，因而可以减轻用于传输和视频编辑计算的带宽上的压力。

选择性数据录制

图2是根据本发明的各种实施方式的选择性数据录制的示例性图示。如图2中所示，数据处理系统200可以包括可从数据源210接收数据流202中的数据的数据处理器201。

根据本发明的各种实施方式，数据流202可以包括不同类型的信息。例如，数据流202中的数据可以包含使用麦克风捕捉的音频数据；使用图像传感器捕捉的视频数据；和/或使用物理键盘或虚拟键盘捕捉的文本数据。

此外，数据流202可以基于时间序列206来配置。例如，时间序列可以基于时钟时间和/或系统定义时间(诸如图像帧计数)来限定。

如图2中所示，数据处理器201可以接收控制信号203。控制信号203可以通过按下的按钮、人的手势、物体的移动和/或状态的改变来触发，并且由用户终端、运动检测器、状态监视器和/或数据分析器来生成。

此外，控制信号203与时间戳204相关联，所述时间戳指示出(或者表示)时间序列206中的时间214。当数据处理器201接收控制信号203时，数据处理器201可以对数据流202应用时间戳204,以确定与时间序列206中的时间段205相关联的数据段211。

如图2中所示，从起始时间207到结束时间208的时间段205包括时间214。这指示出数据段211包括在时间214之前的时间段(即，回溯)和在时间214之后的时间段这两者接收的数据。因此，数据处理系统200可以支持选择性回溯数据录制。

根据本发明的各种实施方式，数据处理系统200允许使用所接收的数据流的缩减集，该缩减集可以仅包含一种数据类型的数据，以便启动回溯数据录制。

继而，数据处理器201可以将选定的数据段211导出至存储。例如，数据处理器201可以将该数据段保存到物理连接的存储介质中。或者，数据处理器201可以经由网络将第一数据段发送至远程服务器。

图3是根据本发明的各种实施方式，使用缓冲器来支持选择性数据录制的示例性图示。如图3中所示，数据处理系统300可以利用存储器310中的缓冲器302来处理所接收的数据301。

在将所接收的数据301从存储器310移除之前，数据处理系统300可以使用缓冲器302来储存该数据。例如，数据处理系统300可以定期地，例如当接收到帧同步信号而缓冲器302已满时，丢弃303储存在缓冲器302中的数据(的一部分)。此外，缓冲器302的大小可以预先配置。或者，缓冲器302的大小可以例如基于策略而动态地配置。

此外，数据处理系统300可以在接收到用于储存相关数据的控制信号306之后确定数据段311。数据段311可以既包括储存在缓冲器302中的过去数据，又包括随着时间推移而到来的数据。

继而，数据处理系统300可以将数据段311导出至存储。例如，数据处理系统300可以将该数据段保存到物理连接的存储介质304中。或者，数据处理系统300可以经由网络307将第一数据段发送至远程服务器305。

图4是根据本发明的各种实施方式的异步选择性数据录制的示例性图示。如图4中所示，数据处理系统400可以利用存储器410中的缓冲器302来处理所接收的数据401。

在将所接收的数据401从存储器410移除之前，数据处理系统400可以使用缓冲器402来储存该数据。例如，数据处理系统400可以定期地，例如当接收到帧同步信号而缓冲器402已满时，丢弃403储存在缓冲器402中的数据(的一部分)。此外，缓冲器402的大小可以预先配置。或者，缓冲器402的大小可以例如基于策略而动态地配置。

如图4中所示，当数据处理系统400接收到控制信号406时，数据处理系统400可以在存储器410中创建数据段411的拷贝412。继而，数据处理系统400可以在稍后的时间(即，以异步的方式)导出数据段411的拷贝。

根据本发明的各种实施方式，数据处理系统400可以将数据段411导出至存储。例如，数据处理系统400可以将该数据段保存到物理连接的存储介质404中。或者，数据处理系统400可以经由网络407将第一数据段发送至远程服务器405。

另外，为了节省与建立网络连接有关的开销，数据处理系统400可被配置成在一次操作中导出多个数据段(其中每个数据段与不同的时间段相关联)。

图5示出了根据本发明的各种实施方式的选择性数据录制的流程图。如图5中所示，在步骤501中，数据处理器可以从一个或多个数据源接收数据流中的数据，其中该数据流是基于时间序列配置的。继而，在步骤502中，数据处理器可以接收与第一时间戳相关联的控制信号，其中第一时间戳指示出第一时间。此外，在步骤503中，数据处理器可以通过对该数据流应用第一时间戳来确定第一数据段，其中所述第一数据段与时间序列中包括第一时间的时间段相关联。

回溯数据录制

图6是根据本发明的各种实施方式的回溯数据录制的示例性图示。如图6中所示，数据处理系统600可以利用存储器602中的缓冲器606来处理数据611，所述数据611是从数据源601接收的。另外，所接收的数据611可以与时间序列610相关联。例如，所接收的数据可以包含一个或多个图像帧，并且时间序列610可以对应于图像帧计数。

根据本发明的各种实施方式，所接收的数据611可以储存在存储器602中，所述存储器602可以基于先进先出(FIFO)协议。或者，可以不受限制地使用其他类型的存储器。例如，存储器602可以基于环形缓冲器或列表。

如图6中所示，数据处理系统600可以定期地，例如在接收到同步信号620(即，当新数据到达而缓冲器已满时)之后，移除储存在存储器602中的数据的一部分(例如，一个或多个图像帧)。此外，数据处理系统600可以包括开关603，该开关603可以负责将数据引离存储器602。

数据处理系统600可以在接收到控制信号之后接通开关603。当开关603接通时，数据处理系统600可以将数据导出至存储605。存储605可以基于连接至存储器602的存储介质和/或经由网络连接的远程服务器。另一方面，当开关603关闭时，数据处理系统600可以丢弃604数据而不对其进行储存。

如图6中所示，数据处理系统600可以在时间tg接收控制信号。一旦开关603接通，就可以保持开关603达时间段T(即，时间序列610中从tg到tc)。这里，时间段T可以预先配置或规定。或者，时间段T可以基于一个或多个策略而动态地配置。

根据本发明的各种实施方式，只要存储器足够，数据处理系统600就可以使用动态确定的时间(例如，声音信号的音量超过一定值的时候，或者在场景中检测到某些移动物体的时候)作为时间段T的起始点和结束点。

例如，数据处理系统600可以使用视频分析技术来自动识别某些感兴趣的物体出现在图像中的时间。继而，数据处理系统600可以使用该时间作为时间段T的起始点。

根据本发明的各种实施方式，数据处理系统600可以支持回溯数据录制。如图6中所示，存储器602中的缓冲器606可以用于储存具有可变大小的多个图像帧。在缓冲器606中可能存在多个图像，所述缓冲器606可被配置成具有最大图像帧数M。

因此，对于时间段T，所储存的数据段可以包括具有时长Tr的过去部分，所述时长Tr等于最大图像帧数M除以图像速度fps的结果(即，M/fps)。另外，数据段可以包括具有时长Tc的当前部分，其中Tc是时间段T与过去部分的时长Tr之间的差(即，T-Tr)。

根据本发明的各种实施方式，可以出于不同目的对数据处理系统600进行优化，这取决于存储器602是如何配置的。例如，可以针对优化存储器使用率或者针对优化计算负荷(即，电池使用率)来配置回溯数据录制。

图7是根据本发明的各种实施方式，在存储器使用率方面优化的回溯录制的示例性图示。如图7中所示，数据处理系统700可以利用存储器708来处理从数据源接收的数据。

例如，数据处理系统700可以从传感器701接收各种图像信息。继而，数据处理系统700可以使用图像信号处理器(ISP)703来将图像信息变换为原始视频数据。

另外，数据处理系统700可以从麦克风(MIC)702接收各种模拟声音信息。继而，数据处理系统700可以使用模拟/数字(A/D)转换器704将模拟声音信息转换为数字音频数据。

此外，数据处理系统700可以在将编码数据储存在存储器708中之前使用不同的编码器对所接收的数据进行编码或压缩。例如，视频编码器705可以用于对来自ISP 703的原始视频数据进行编码，而音频编码器706可以用于对来自(A/D)转换器704的音频数据进行编码。另外，数据处理系统700可以使用例如AV Mux 707等多路复用器来将单独的音频数据和视频数据组合成音频/视频(A/V)数据流。

由于在将编码数据储存在存储器708中之前对所接收的数据进行编码或压缩，因此优化了存储器使用率(另一方面，可能需要更多的计算负荷)。

根据本发明的各种实施方式，存储器708可以基于先进先出(FIFO)协议。或者，可以不受限制地使用其他类型的存储器。例如，存储器708可以基于环形缓冲器或列表。

此外，数据处理系统700可以定期地，例如在接收到同步信号720之后(即，当新数据到达而缓冲器已满时)，移除储存在存储器708中的数据的一部分(例如，一个或多个图像帧)。

如图7中所示，数据处理系统700可以包括开关707和负责将视频数据和音频数据引离存储器708的开关709。数据处理系统700可以在接收到控制信号之后接通开关709。当开关709接通时，数据处理系统700可以将数据引导至存储712。另一方面，当开关709关闭时，数据处理系统700可以丢弃711数据而不对其进行储存。

如图7中所示，数据处理系统700在时间tg接收控制信号。一旦开关709接通，数据处理系统700就可以保持开关709达时间段T(即，时间序列710中从时刻tg到tc)。

因此，数据处理系统700可以支持回溯数据录制。存储器708中的缓冲器可以用于储存具有可变大小的多个图像帧。在缓冲器中可以存在多个图像，所述缓冲器可被配置成具有最大图像帧数M。

因此，对于时间段T，所储存的数据段可以包括具有时长Tr的过去部分，所述时长Tr等于最大图像帧数M除以图像速度fps的结果(即，M/fps)。另外，数据段可以包括具有时长Tc的当前部分，其中Tc是时间段T与过去部分的时长Tr之间的差(即，T-Tr)。

另外，图像处理系统700可以将所接收的数据引导至用户终端以供实时查看713。

图8是根据本发明的各种实施方式，在计算负荷方面优化的回溯录制的示例性图示。如图8中所示，数据处理系统800可以利用存储器805来处理从数据源接收的数据。

例如，数据处理系统800可以从传感器801接收各种图像信息。继而，数据处理系统800可以使用图像信号处理器(ISP)803来将图像信息变换为原始视频数据。

另外，数据处理系统800可以从麦克风(MIC)802接收各种模拟声音信息。继而，数据处理系统800可以使用模拟/数字(A/D)转换器804来将模拟声音信息转换为原始数字音频数据。

为了优化计算负荷，可以直接将原始视频数据和原始数字音频数据两者保存到存储器802中(即，需要更多存储器)。这里，由于原始视频数据和原始数字音频数据未被编码或压缩，因此数据处理系统800可以对原始视频数据和原始数字音频数据执行各种图像处理操作(例如，倒退播放)。

此外，数据处理系统800可以定期地，例如在接收到同步信号820之后(即，当新数据到达而缓冲器已满时)，移除储存在存储器805中的数据的一部分(例如，一个或多个图像帧)。

如图8中所示，数据处理系统800可以包括各自负责将视频数据和音频数据引离存储器805的开关807和开关808。

数据处理系统800可以在接收到控制信号之后接通开关807-808。当开关807-808接通时，数据处理系统800可以将数据引导至存储814。另一方面，当开关807-808关闭时，数据处理系统800可以丢弃804数据而不对其进行储存。

如图8中所示，数据处理系统800在时间tg接收控制信号。一旦开关807-808接通，数据处理系统800可以保持开关807-808达时间段T(即，时间序列810中从时刻tg到tc)。

数据处理系统800可以支持回溯数据录制。存储器805中的缓冲器可以用于储存具有可变大小的多个图像帧。在缓冲器中可以存在多个图像，所述缓冲器可被配置成具有最大图像帧数M。

因此，对于时间段T，所储存的数据段可以包括具有时长Tr的过去部分，所述时长Tr等于最大图像帧数M除以图像速度fps的结果(即，M/fps)。另外，数据段可以包括具有时长Tc的当前部分，其中Tc是时间段T与过去部分的时长Tr之间的差(即，T-Tr)。

在实际将编码数据保存在存储中之前，图像处理系统800可以使用一个或多个编码器对所接收的数据进行编码。这里，存储814可以基于连接至存储器805的存储介质和/或经由网络连接的远程服务器。

如图8中所示，数据处理系统800可以使用视频编码器805对来自ISP 803的原始视频数据进行编码，以及使用音频编码器806对来自(A/D)转换器804的音频数据进行编码。另外，数据处理系统800可以使用例如AV Mux 813等多路复用器来将单独的音频数据和视频数据组合成音频/视频(A/V)数据流。

另外，图像处理系统800可以将所接收的数据引导至用户终端以供实时查看806。

图9示出了根据本发明的各种实施方式的回溯数据录制的流程图。如图9中所示，在步骤901中，数据处理器可以将从一个或多个数据源接收的数据储存在存储器中，其中所接收的数据与时间序列相关联。继而，在步骤902中，数据处理器可以在接收到同步信号之后移除储存在存储器中的数据的一部分。此外，在步骤903中，当开关接通时，数据处理器可以在时间序列中的一时间段内将所移除的数据转发至存储。

利用标签的数据录制

图10是根据本发明的各种实施方式的利用标签的数据录制的示例性图示。如图10中所示，数据处理系统1000可以从数据源接收数据流1008。

例如，数据处理系统1000可以从传感器1001接收各种图像信息。继而，数据处理系统1000可以使用图像信号处理器(ISP)1003来将图像信息变换为原始视频数据。

另外，数据处理系统1000可以从麦克风(MIC)1002接收各种模拟声音信息。继而，数据处理系统1000可以使用模拟/数字(A/D)转换器1004来将模拟声音信息转换为数字音频数据。

此外，数据处理系统1000可以使用各种编码器对所接收的数字数据进行编码或者压缩。例如，视频编码器1005用于对来自ISP 1003的原始视频数据进行编码，而音频编码器1006用于对来自(A/D)转换器1004的音频数据进行编码。继而，数据处理系统1000可以使用诸如AV Mux 1007等多路复用器来将音频数据和视频数据组合成数据流1008的音频/视频(A/V)流。

另外，数据处理系统1000可以导出(或保存)存储1012中的音频/视频(A/V)流。例如，存储1012可以基于连接至存储器的存储介质和/或经由网络连接的远程服务器。

根据本发明的各种实施方式，数据处理系统1000可以利用一个或多个标签1030来处理接收自数据源的数据流1008中的数据。例如，用户可以在录制的时候应用一个或多个标签1030。

如图10中所示，标签1030可以与能够在时间序列1010中限定的一个或多个时间戳(例如，t0到tn)相关联。时间序列1010可以使用时钟时间来限定或者基于系统定义时间来限定。

数据处理系统1000可以向所接收的数据流中的每个图像帧分配图像帧计数(例如，录制帧编号)。可以将可基于所接收的帧同步信号1020所限定的录制帧编号用作系统定义时间的参考。而且，与标签1030相关联的时间戳可以对应于一个或多个录制帧编号。

当用户对所接收的数据流1008应用标签1030时，数据处理系统1000可以接收控制信号，例如，Tigg信号。或者，数据处理系统1000可以在对用户请求进行响应时生成控制信号。

此外，数据处理系统1000可以将时间戳t0到tn保存在记录1011中(例如，在存储器中)。基于记录1011中所保存的时间戳，数据处理系统600可以在所接收的数据流1008中选择数据子集。继而，数据处理系统1000可以出于诸如共享、播放和储存等不同目的而使用选定的数据。

另外，图像处理系统1000可以将所接收的数据流中的数据引导至用户终端以供实时查看1009。

图11是根据本发明的各种实施方式，从利用标签的数据录制进行导出的示例性图示。如图11中所示，图像处理系统可以基于记录1110中的储存的时间戳1111对存储1101中的数据进行转码。

根据本发明的各种实施方式，数据处理系统1000可以基于所保存的时间戳1111来创建数据段，诸如剪辑存储器1120中的剪辑1121。例如，数据处理系统1100可以在创建剪辑存储器1120中(例如，在存储器中)的剪辑1121之前，使用解码器1102对存储1101中的所录制的数据进行解码。

如图11中所示，数据处理系统1100可以采用搜索步骤1105来创建剪辑1121，所述剪辑1121可以包括一个或多个录制图像帧。例如，时间戳1111可以表示时间序列1106中的时间tg。数据处理系统1100可以确定时间序列1106中的时间段T(例如，从T1到T2)以及对应的录制帧计数。继而，数据处理系统1100可以确定剪辑1121，所述剪辑1121包括在所保存的时间戳之前(即，时间段Tr)录制的一个或多个图像帧和/或在所保存的时间戳之后(即，时间段Tc)录制的一个或多个图像帧。

此外，数据处理系统1100可以遍历记录中所保存的不同时间戳，并且针对每个所保存的时间戳选择数据段。

继而，数据处理系统1100可以基于剪辑存储器中的剪辑(即，所选择的数据段)使用编码器1103来创建数据流，例如AV流1104。

图12示出了根据本发明的各种实施方式的利用标签的数据录制的流程图。如图12中所示，在步骤1201中，数据处理器可以将一个或多个标签与接收自一个或多个数据源的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联。继而，在步骤1202中，数据处理器可以将所述一个或多个时间戳保存在记录中。此外，在步骤1203中，数据处理器可以基于保存在记录中的一个或多个时间戳在所接收的数据流中选择数据子集。

本发明的许多特征可以采用、使用或借助于硬件、软件、固件、或其组合来执行。因此，本发明的特征可以使用处理系统(例如，包括一个或多个处理器)来实现。示例性处理器可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。

本发明的特征可以采用、使用或借助于计算机程序产品来实现，所述计算机程序产品是具有储存在其上或其中的指令的一个或多个存储介质或者一个或多个计算机可读介质，所述指令可以用来对处理系统进行编程以执行本文所介绍的任何特征。存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微硬盘和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存器件、磁卡或光卡、纳米系统(包括分子存储器IC)，或者适合于储存指令和/或数据的任何类型的介质或设备。

储存在一个或多个机器可读介质中的任何一个上的本发明的特征可以并入在这样的软件和/或固件中：所述软件和/或固件用于控制处理系统的硬件，以及用于使得处理系统能够与利用本发明的结果的其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。

本发明的特征还可以采用例如使用诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)器件之类的硬件组件的硬件来实现。对于相关领域技术人员而言，用于执行本文中所述的功能的硬件状态机的实现是显而易见的。

另外，本发明可以使用一个或多个常规通用或专用数字计算机、计算设备、机器或微处理器来便利地实现，所述通用或专用数字计算机、计算设备、机器或微处理器包括一个或多个处理器、存储器和/或根据本公开内容的教导而编程的计算机可读存储介质。对于软件领域的技术人员而言显而易见的是，熟练的程序员可以基于本公开内容的教导而容易地准备适当的软件编码。

虽然在上文已经描述了本发明的各种实施方式，但是应当理解，这些实施方式是通过示例的方式而非限制性地介绍的。对于相关领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下可以在其形式和细节上作出各种改变。

在上文中已经借助于功能构造块描述了本发明，所述功能构造块展示了指定功能的执行及其关系。为了方便描述，这些功能构造块的界限在本文中经常是任意限定的。只要指定功能及其关系被适当地执行，就可以限定替代的界限。任何这样的替代界限因此属于本发明的范围和精神内。

出于图示和描述的目的已经提供了本发明的前文描述。其并不旨在是详尽的或将本发明限制于所公开的精确形式。本发明的广度和范围不应当由上文所述的示例性实施方式中的任何实施方式所限制。许多修改和更改对于本领域的实际从业技术人员将会是显而易见的。修改和更改包括所公开的特征的任何相关组合。选择和描述了实施方式以便最好地解释本发明的原理及其实际应用，从而使得本领域其他技术人员针对各种实施方式以及利用适于所设想的特定用途的各种修改能够理解本发明。本发明的范围旨在由以下权利要求及其等同项所限定。

Claims (90)

1.一种数据处理方法，包括：

从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置；

接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间；

通过对所述数据流应用所述第一时间戳，经由数据处理器确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

2.根据权利要求1所述的数据处理方法，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的数据捕捉设备相关联。

3.根据权利要求1所述的数据处理方法，还包括：

使用不同的通信协议从所述一个或多个数据源接收数据。

4.根据权利要求1所述的数据处理方法，其中：

所述数据流包含：

使用麦克风捕捉的音频数据；

使用图像传感器捕捉的视频数据；和/或

使用物理键盘或虚拟键盘捕捉的文本数据。

5.根据权利要求1所述的数据处理方法，其中：

所述时间序列基于时钟时间和/或系统定义时间来限定。

6.根据权利要求1所述的数据处理方法，还包括：

将所述接收的数据储存到存储器中的缓冲器中；以及

当新数据到达且所述缓冲器已满时，定期地移除所述缓冲器中所述储存的数据的一部分。

7.根据权利要求6所述的数据处理方法，其中：

所述缓冲器的大小是预先配置的，或者是基于一个或多个策略而动态地配置的。

8.根据权利要求6所述的数据处理方法，还包括：

在导出所述第一数据段之前，在所述存储器中创建所述第一数据段的拷贝。

9.根据权利要求1所述的数据处理方法，还包括：

通过以下各项来导出所述第一数据段：

将所述第一数据段保存到物理连接至所述存储器的存储介质中，和/或

经由网络将所述第一数据段发送至远程服务器。

10.根据权利要求1所述的数据处理方法，还包括：

导出所述数据流中的多个数据段，其中每个所述数据段与不同的时间段相关联。

11.根据权利要求1所述的数据处理方法，其中：

所述控制信号通过按下的按钮、人的手势、物体的移动和/或状态的改变来触发，并且

所述控制信号由用户终端、运动检测器、状态监视器和/或数据分析器来生成。

12.根据权利要求1所述的数据处理方法，还包括：

将所述接收的数据流的缩减集传输至用户终端以供预览和/或启动录制。

13.根据权利要求12所述的数据处理方法，其中：

所述接收的数据流包含多种数据类型的数据，而所述接收的数据流的所述缩减集仅包含一种数据类型的数据。

14.根据权利要求1所述的数据处理方法，还包括：

配置所述数据源以开始传输所述数据流。

15.一种数据处理装置，包括：

一个或多个微处理器；

在所述一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作用于：

从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置；

接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间；

通过对所述数据流应用所述第一时间戳来确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

16.根据权利要求15所述的数据处理装置，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的数据捕捉设备相关联。

17.根据权利要求15所述的数据处理装置，其中：

使用不同的通信协议从所述一个或多个数据源接收数据。

18.根据权利要求15所述的数据处理装置，其中：

所述数据流包含：

使用麦克风捕捉的音频数据；

使用图像传感器捕捉的视频数据；和/或

使用物理键盘或虚拟键盘捕捉的文本数据。

19.根据权利要求15所述的数据处理装置，其中：

所述时间序列基于时钟时间和/或系统定义时间来限定。

20.根据权利要求15所述的数据处理装置，其中：

所述数据处理器操作用于：

将所述接收的数据储存到存储器中的缓冲器中；以及

当新数据到达且所述缓冲器已满时，定期地移除所述缓冲器中所述储存的数据的一部分。

21.根据权利要求20所述的数据处理装置，其中：

所述缓冲器的大小是预先配置的，或者是基于一个或多个策略而动态地配置的。

22.根据权利要求20所述的数据处理装置，其中：

所述数据处理器操作为：在导出所述第一数据段之前，在所述存储器中创建所述第一数据段的拷贝。

23.根据权利要求15所述的数据处理装置，其中：

所述数据处理器操作为通过以下各项来导出所述第一数据段：

将所述第一数据段保存到物理连接至所述存储器的存储介质中，和/或

经由网络将所述第一数据段发送至远程服务器。

24.根据权利要求15所述的数据处理装置，其中：

所述数据处理器操作为：导出所述数据流中的多个数据段，其中每个所述数据段与不同的时间段相关联。

25.根据权利要求15所述的数据处理方法，其中：

所述控制信号通过按下的按钮、人的手势、物体的移动和/或状态的改变来触发，并且

所述控制信号由用户终端、运动检测器、状态监视器和/或数据分析器来生成。

26.根据权利要求15所述的数据处理方法，其中：

所述数据处理器操作为：将所述接收的数据流的缩减集传输至用户终端以供预览和/或启动录制。

27.根据权利要求26所述的数据处理方法，其中：

所述接收的数据流包含多种数据类型的数据，而所述接收的数据流的所述缩减集仅包含一种数据类型的数据。

28.根据权利要求15所述的数据处理方法，其中：

所述数据处理器操作为：配置所述数据源以开始传输所述数据流。

29.一种非暂时性计算机可读介质，在该非暂时性计算机可读介质上储存有指令，在由处理器执行时，所述指令执行包括以下各项的步骤：

从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置；

接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间；

通过对所述数据流应用所述第一时间戳，经由处理器确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

30.一种数据处理系统，包括：

位于静止物体和/或可移动物体上的数据捕捉设备；以及

在一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作为：

从一个或多个数据源接收数据流中的数据，其中所述数据流基于时间序列而配置；

接收与第一时间戳相关联的控制信号，其中所述第一时间戳指示出第一时间；

通过对所述数据流应用所述第一时间戳来确定第一数据段，其中所述第一数据段与所述时间序列中包括所述第一时间的时间段相关联。

31.一种数据处理方法，包括：

将从一个或多个数据源接收的数据储存在存储器中，其中所述接收的数据与时间序列相关联；

在接收到同步信号之后，移除储存在所述存储器中的数据的一部分；以及

当开关接通时，在所述时间序列中的一时间段内将所述移除的数据转发至一存储。

32.根据权利要求31所述的数据处理方法，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的一个或多个数据捕捉设备相关联。

33.根据权利要求31所述的数据处理方法，其中：

所述接收的数据包含：

使用图像传感器捕捉的视频数据，

使用麦克风捕捉的音频数据，和/或

使用键盘捕捉的文本数据。

34.根据权利要求31所述的数据处理方法，还包括：

使用不同的通信协议，从所述一个或多个数据源接收数据。

35.根据权利要求31所述的数据处理方法，其中：

所述存储器基于先进先出(FIFO)协议，或者所述存储器为环形缓冲器或列表。

36.根据权利要求31所述的数据处理方法，还包括：

在将编码数据储存在所述存储器中之前，使用一个或多个编码器对所述接收的数据进行编码，以及

使用多路复用器将音频数据和视频数据组合成音频/视频(A/V)数据流。

37.根据权利要求31所述的数据处理方法，还包括：

在将编码数据保存在所述存储中之前，使用一个或多个编码器对所述接收的数据进行编码，以及

使用多路复用器将音频数据和视频数据组合成音频/视频(A/V)数据流。

38.根据权利要求37所述的数据处理方法，还包括：

在编码步骤之前，对所述接收的数据执行一个或多个图像处理操作。

39.根据权利要求31所述的数据处理方法，其中：

所述存储基于：

连接至所述存储器的存储介质，以及

经由网络连接的远程服务器。

40.根据权利要求31所述的数据处理方法，还包括：

当接收到控制信号时接通所述开关，其中所述控制信号：

通过按下的按钮、人的手势、物体的移动和/或状态的改变来触发，并且

由用户终端、系统检测器、状态监视器和/或数据分析器来生成。

41.根据权利要求31所述的数据处理方法，其中：

所述接收的数据包含一个或多个图像帧，其中所述时间序列与图像帧计数相关联。

42.根据权利要求31所述的数据处理方法，还包括：

在所述存储器中提供缓冲器，其中所述缓冲器用于储存具有可变大小的多个图像帧。

43.根据权利要求31所述的数据处理方法，其中：

创建数据段，该数据段包括过去部分和当前部分。

44.根据权利要求31所述的数据处理方法，还包括：

将所述接收的数据引导至用户终端以供实时查看。

45.一种数据处理装置，包括：

一个或多个微处理器；

在所述一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作用于：

将从一个或多个数据源接收的数据以时间序列储存在存储器中；

在接收到同步信号之后，移除储存在所述存储器中的数据的一部分；以及

当开关接通时，在所述时间序列中的一时间段内将所述移除的数据转发至存储。

46.根据权利要求45所述的数据处理装置，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的一个或多个数据捕捉设备相关联。

47.根据权利要求45所述的数据处理装置，其中：

所述接收的数据包含：

使用图像传感器捕捉的视频数据，

使用麦克风捕捉的音频数据，和/或

使用键盘捕捉的文本数据。

48.根据权利要求45所述的数据处理装置，其中：

使用不同的通信协议，从所述一个或多个数据源接收数据。

49.根据权利要求45所述的数据处理装置，其中：

所述存储器基于先进先出(FIFO)协议，或者所述存储器为环形缓冲器或列表。

50.根据权利要求45所述的数据处理装置，其中：

在将编码数据储存在所述存储器中之前，使用一个或多个编码器对所述接收的数据进行编码。

51.根据权利要求45所述的数据处理装置，其中：

在将编码数据保存在所述存储中之前，使用一个或多个编码器对所述接收的数据进行编码。

52.根据权利要求45所述的数据处理装置，其中：

使用多路复用器来将音频数据和视频数据组合成音频/视频

(A/V)数据流。

53.根据权利要求45所述的数据处理装置，其中：

所述存储基于：

连接至所述存储器的存储介质，以及

经由网络连接的远程服务器。

54.根据权利要求45所述的数据处理装置，其中：

所述数据处理器操作用于在接收到控制信号时接通所述开关，其中所述控制信号：

通过按下的按钮、人的手势、物体的移动和/或状态的改变来触发，并且

由用户终端、系统检测器、状态监视器和/或数据分析器来生成。

55.根据权利要求45所述的数据处理装置，其中：

所述接收的数据包含一个或多个图像帧，其中所述时间序列与图像帧计数相关联。

56.根据权利要求45所述的数据处理装置，还包括：

所述存储器中的缓冲器，其中所述缓冲器用于储存具有可变大小的多个图像帧。

57.根据权利要求45所述的数据处理装置，其中：

所述数据处理器操作用于创建数据段，该数据段包括过去部分和当前部分。

58.根据权利要求45所述的数据处理装置，其中：

所述数据处理器操作用于将所述接收的数据引导至用户终端以供实时查看。

59.一种非暂时性计算机可读介质，在该非暂时性计算机可读介质上储存有指令，在由处理器执行时，所述指令执行包括以下各项的步骤：

将从一个或多个数据源接收的数据储存在存储器中，其中所述接收的数据与时间序列相关联；

在接收到同步信号之后，移除储存在所述存储器中的数据的一部分；以及

当开关接通时，在所述时间序列中的一时间段内将所述移除的数据转发至存储。

60.一种数据处理系统，包括：

位于静止物体和/或可移动物体上的数据捕捉设备；以及

在一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作用于：

将从一个或多个数据源接收的数据以时间序列储存在存储器中；

在接收到同步信号之后，移除储存在所述存储器中的数据的一部分；以及

当开关接通时，在所述时间序列中的一时间段内将所述移除的数据转发至存储。

61.一种数据处理方法，包括：

将一个或多个标签与从一个或多个数据源接收的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联；

将所述一个或多个时间戳保存在记录中；以及

基于在所述记录中保存的所述一个或多个时间戳，在所述接收的数据流中选择数据子集。

62.根据权利要求61所述的数据处理方法，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的一个或多个数据捕捉设备相关联。

63.根据权利要求61所述的数据处理方法，其中：

所述接收的数据包含：

使用图像传感器捕捉的视频数据，

使用麦克风捕捉的音频数据，和/或

使用键盘捕捉的文本数据。

64.根据权利要求61所述的数据处理方法，还包括：

使用不同的通信协议，从所述一个或多个数据源接收数据。

65.根据权利要求61所述的数据处理方法，还包括：

使用一个或多个编码器，对所述接收的数据流中的数据进行编码。

66.根据权利要求61所述的数据处理方法，还包括：

使用多路复用器将音频数据和视频数据组合成音频/视频(A/V)流。

67.根据权利要求61所述的数据处理方法，还包括：

导出存储中的编码数据，所述存储基于：

连接至所述存储器的存储介质，和/或

经由网络连接的远程服务器。

68.根据权利要求61所述的数据处理方法，还包括：

将所述接收的数据流中的数据引导至用户终端以供实时查看。

69.根据权利要求61所述的数据处理方法，其中：

所述接收的数据流中的数据包含一个或多个图像帧，其中向每个图像帧分配一录制帧编号。

70.根据权利要求69所述的数据处理方法，其中：

每个所述录制帧编号是基于接收到的帧同步信号而确定的。

71.根据权利要求69所述的数据处理方法，还包括：

基于保存的时间戳，选择具有一个或多个所述录制的图像帧的数据段。

72.根据权利要求69所述的数据处理方法，其中：

所述段包括在所述保存的时间戳之前录制的一个或多个图像帧，和/或

在所述保存的时间戳之后录制的一个或多个图像帧。

73.根据权利要求61所述的数据处理方法，还包括：

遍历保存在所述记录中的所述一个或多个时间戳，以及

针对每个所述保存的时间戳选择一数据段。

74.根据权利要求73所述的数据处理方法，还包括：

基于所述选择的一个或多个数据段创建数据流，所述一个或多个数据段被转码。

75.一种数据处理装置，包括：

一个或多个微处理器；

在所述一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作用于：

将一个或多个标签与从一个或多个数据源接收的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联；

将所述一个或多个时间戳保存在记录中；以及

基于在所述记录中保存的所述一个或多个时间戳，在所述接收的数据流中选择数据子集。

76.根据权利要求75所述的数据处理装置，其中：

所述一个或多个数据源与静止物体和/或可移动物体上的一个或多个数据捕捉设备相关联。

77.根据权利要求75所述的数据处理装置，其中：

所述接收的数据包含：

使用图像传感器捕捉的视频数据，

使用麦克风捕捉的音频数据，和/或

使用键盘捕捉的文本数据。

78.根据权利要求75所述的数据处理装置，其中：

使用不同的通信协议，从所述一个或多个数据源接收数据。

79.根据权利要求75所述的数据处理装置，其中：

使用一个或多个编码器，对所述接收的数据流中的数据进行编码。

80.根据权利要求75所述的数据处理装置，其中：

使用多路复用器将音频数据和视频数据组合成音频/视频(A/V)流。

81.根据权利要求75所述的数据处理装置，其中：

所述数据处理器操作用于导出存储中的编码数据，所述存储基于：

连接至所述存储器的存储介质，和/或

经由网络连接的远程服务器。

82.根据权利要求75所述的数据处理装置，其中：

所述数据处理器操作用于将所述接收的数据流中的数据引导至用户终端以供实时查看。

83.根据权利要求75所述的数据处理装置，其中：

所述接收的数据流中的数据包含一个或多个图像帧，其中向每个图像帧分配一录制帧编号。

84.根据权利要求83所述的数据处理装置，其中：

每个所述录制帧编号是基于接收到的帧同步信号而确定的。

85.根据权利要求83所述的数据处理装置，其中：

所述数据处理器操作用于：基于保存的时间戳，选择具有一个或多个所述录制的图像帧的数据段。

86.根据权利要求83所述的数据处理装置，其中：

所述段包括在所述保存的时间戳之前录制的一个或多个图像帧以及/或者在所述保存的时间戳之后录制的一个或多个图像帧。

87.根据权利要求75所述的数据处理装置，其中：

所述数据处理器操作用于：

遍历保存在所述记录中的所述一个或多个时间戳，以及

针对每个所述保存的时间戳选择一数据段。

88.根据权利要求87所述的数据处理装置，其中：

所述数据处理器操作用于基于所述选择的一个或多个数据段创建数据流，所述一个或多个数据段被转码。

89.一种具有在其上储存的指令的非暂时性计算机可读介质，所述指令在由处理器执行时，执行包括以下各项的步骤：

将一个或多个标签与从一个或多个数据源接收的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联；

将所述一个或多个时间戳保存在记录中；以及

基于所述记录中保存的所述一个或多个时间戳，在所述接收的数据流中选择数据子集。

90.一种数据处理系统，包括：

位于静止物体和/或可移动物体上的数据捕捉设备；以及

在一个或多个微处理器上运行的数据处理器，其中所述数据处理器操作用于：

将一个或多个标签与从一个或多个数据源接收的数据流相关联，其中所述一个或多个标签与一个或多个时间戳相关联；

将所述一个或多个时间戳保存在记录中；以及

基于所述记录中保存的所述一个或多个时间戳，在所述接收的数据流中选择数据子集。