CN116915978B - 触发时间确定方法、数据采集系统、车辆以及工控机 - Google Patents

Abstract

本发明实施例提供了一种触发时间确定方法、数据采集系统、车辆以及工控，涉及数据处理技术领域。触发时间确定方法包括：确定图像采集装置的多个第一触发时间；确定图像采集装置被触发采集到的多个图像的第一出图时间；基于各第一触发时间、各第一出图时间以及图像采集装置的触发出图时间差，确定多个图像中至少部分图像的触发时间。本发明中，在确定了多个第一触发时间与多个图像的第一出图时间后，利用图像采集装置的触发出图时间差，找出多个图像中需确认触发时间的至少部分图像的触发时间，以便于后续对图像数据进行回放、融合、回注等处理。

Description

触发时间确定方法、数据采集系统、车辆以及工控机

技术领域

本发明涉及数据处理技术领域，具体涉及一种触发时间确定方法、数据采集系统、车辆以及工控机。

背景技术

在设置有摄像头的车辆中，摄像头可以在触发信号的触发下进行图像采集，其所采集的一帧帧图像可形成视频。针对所采集到的视频，可用于进行查看回放，也可用于回注到控制器对控制器的算法进行验证或训练，还可用于与其他数据(例如车辆上装配的雷达采集到的点云数据)进行融合，从而满足后续图像分析处理的需求。

不论视频图像用于何种用途，往往都需要明确获悉每张图像是在什么时候触发采集的，现有技术中，缺乏能够确定触发时间的技术。

发明内容

本发明的目的是提供了一种触发时间确定方法、数据采集系统、车辆以及工控机，在确定了多个第一触发时间与多个图像的第一出图时间后，利用图像采集装置的触发出图时间差，找出多个图像中需确认触发时间的至少部分图像的触发时间，以便于后续处理，例如对图像数据进行回放、融合、回注等至少之一处理。

为实现上述目的，本发明提供了一种触发时间确定方法，包括：确定图像采集装置的多个第一触发时间；确定所述图像采集装置被触发采集到的多个图像的第一出图时间；基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间。

本发明还提供了一种工控机，用于执行上述的方法。

本发明还提供了一种系统，包括：用于触发图像采集装置的触发装置、用于确定所述图像采集装置被触发采集到的图像的出图时间的视频处理装置与上述的工控机。

本发明还提供了一种车辆，包括：至少一个图像采集装置，以及上述的工控机，所述图像采集装置与所述工控机通信连接。

在一个实施例中，所述基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间，包括：针对所述多个图像中的指定图像，计算所述指定图像的第一出图时间减去所述触发出图时间差的差值，并将与所述差值最接近的所述第一触发时间作为所述指定图像的触发时间。

在一个实施例中，所述基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间，包括：针对所述多个第一触发时间中的指定触发时间，计算所述指定触发时间与所述触发出图时间差的和值，选取出与所述和值最接近的所述第一出图时间对应的所述图像，并将所述指定触发时间作为选取出的所述图像的触发时间。

在一个实施例中，所述第一出图时间是基于所述图像采集装置采集的所述多个图像的初始图像数据信号而确定的；所述第一触发时间是基于用于触发所述图像采集装置的触发信号而确定的。

在一个实施例中，所述图像采集装置的触发出图时间差的测定方式为：在测定过程中，在所述图像采集装置启动后，向所述图像采集装置发送测试触发信号，并获取所述图像采集装置采集到的测试图像与所述测试触发信号；基于所述测试图像中的目标测试图像的第二出图时间以及与所述测试触发信号中目标测试触发信号的第二触发时间，得到所述图像采集装置的触发出图时间差，其中，每个所述目标测试图像为所述图像采集装置受控于对应的一个所述目标测试触发信号而采集到的。

在一个实施例中，所述目标测试图像为最后获取到的N个测试图像，所述目标测试触发信号为最后获取到的N个测试触发信号，其中，N为大于或等于1的整数。

附图说明

图1是已有的输入到摄像头的触发信号与摄像头输出的图像信号的波形图，其中摄像头的前两张图像并未按照触发信号的时间间隔进行出图；

图2是已有的输入到摄像头的触发信号与摄像头输出的图像信号的波形图，其中摄像头上电后未接收到触发信号时便开始连续的进行图像采集；

图3是根据本发明第一实施例中的触发时间确定方法所对应的数据采集系统的方框示意图；

图4是根据本发明第一实施例中的触发时间确定方法的具体流程图；

图5是根据本发明第二实施例的图像采集装置的触发出图时间差的测定方式的具体流程图；

图6是根据本发明第二实施例中实现上述触发出图时间差测定方法的时间差测定系统的框示意图；

图7是根据本发明第二实施例中实现上述触发出图时间差测定方法的时间差测定系统的框示意图，其中时间差测定系统还包括信号处理模块。

具体实施方式

以下将结合附图对本发明的各实施例进行详细说明，以便更清楚理解本发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。

在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“或/和”的含义使用，除非文中清楚地另外规定。

在以下描述中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语，而不应当理解为限定性词语。

对于摄像头来说，其应该响应于接收到的各个触发信号进行信号采集得到一张张图像，触发信号与图像一一对应，由此可以对触发信号和图像分别进行排序，基于表征序列的信息(例如序列号)得到每张图像所对应的触发信号。但是，由于摄像头本身的一些特性，会导致摄像头出图存在问题，无法准确得到一一对应的触发信号和图像，比如以下几种情况：

情况1，摄像头在刚刚上电后的一段时间内，即便收到触发信号，也无法准确的进行图像采集。例如，摄像头接收到触发信号不进行图像采集；又例如，摄像头接收到触发信号，但未按照触发信号的时间间隔进行图像采集，而摄像头在接收到哪个触发信号时开始准确出图，也是不确定、不固定的。请参考图1，为输入到摄像头的触发信号与摄像头输出的图像信号的波形图，在图1中，有相同时间间隔的8个触发信号被输入到摄像头，但在摄像头输出的8张图像中，前两张图像的出图时间的时间间隔与触发信号的时间间隔不同，即摄像头的前两张图像并未按照触发信号的时间间隔进行出图。

情况2，摄像头在刚刚上电后的一段时间内，会自动的或者在接收到第一个触发信号后，按照某种频率、周期进行持续一定时长的图像采集，在此持续时间内摄像头即便未接收到触发信号也会进行图像采集。请参考图2，为输入到摄像头的触发信号与摄像头输出的图像信号的波形图，在图2中摄像头上电后，未接收到触发信号时，便开始连续的进行图像采集，并且在接收到第一个触发信号后，仍然处于连续图像采集的过程中。

当然，在上电后，正常采集过程中，也可能发生因通信环境、软硬件故障等导致的异常情况，例如给摄像头触发信号但未出图像，或者未给触发信号而出图像。

基于上述情况，无法根据排序结果简单的找出摄像头采集的各张图像所对应的触发信号，即无法获取各张图像的准确触发时间，不便于后续对图像数据进行回放、融合、回注等处理。基于上述问题，申请人提出了本申请的技术方案。

本发明第一实施方式涉及一种触发时间确定方法，应用于工控机，工控机可以基于本实施例的触发时间确定方法得到图像采集装置发出图像的准确触发时间。

如图3所示，该数据采集系统能够实现上述的触发时间确定方法，数据采集系统包括：工控机1、触发装置2以及视频处理装置4，工控机1分别与触发装置2以及视频处理装置4通信连接，触发装置2与视频处理装置4均与图像采集装置3通信连接。图3中，以图像采集装置3的数量是一个为例，图像采集装置3也可以为多个，多个图像采集装置3可以连接到同一个触发装置2与视频处理装置4，或者多个图像采集装置3分别连接到不同的触发装置以及不同的视频处理装置4。

数据采集系统可用于车辆，触发装置2则为车辆中的任意信号源(例如信号发生器、控制器，再例如，若摄像头是由机械式激光雷达触发的，则机械式激光雷达则也可作为触发装置2)，图像采集装置3可以为装配在车辆上的摄像头，数量可能是一个或多个，例如图像采集装置3的数量为多个，包括：前侧摄像头、左侧摄像头、右侧摄像头以及后侧摄像头。其中的摄像头、雷达、信号源等至少之一，可以是车辆原有的部件，也可以是为了路测而加装的车载部件。

本实施方式的触发时间确定方法的具体流程如图4所示，下面结合图3中的数据采集系统对触发时间确定方法进行详细说明。需要说明的是，本实施例以确定一个图像采集装置所采集图像的触发时间为例进行说明。

步骤101，确定图像采集装置的多个第一触发时间。

具体而言，触发装置根据配置好的频率、周期生成一个个触发信号trigger，例如可以是信号的上升沿或者下降沿，并将生成的触发信号trigger发送至图像采集装置，以触发图像采集装置进行图像采集；工控机可以从触发装置获取触发装置发送到图像采集装置的触发信号的触发时间记作第一触发时间，由此可以得到多个第一触发时间，即触发装置记录生成的各触发信号的时间信息，触发信号的时间信息即为图像采集装置被触发信号触发的触发时间t_trigger，触发装置还会将各触发信号的触发时间t_trigger直接发送到工控机，由此工控机可以确定出多个触发信号的第一触发时间。

或者，第一触发时间是基于用于触发图像采集装置的触发信号而确定的；例如触发装置在将触发信号发送到图像采集装置时，也将触发信号发送到工控机，由此工控机可以直接基于触发信号的波形读取触发信号的触发时间(即第一触发时间)。

步骤102，确定图像采集装置被触发采集到的多个图像的第一出图时间。

具体而言，图像采集装置会响应于触发装置所发送的触发信号trigger进行图像采集，工控机可以通过视频处理装置确定图像采集装置被触发采集到的图像的出图时间记作第一出图时间，由此工控机可以确定出多个图像的第一出图时间。

第一出图时间是基于图像采集装置采集的多个图像的初始图像数据信号而确定的；在一个例子中，例如，图像采集装置会将采集的图像的初始图像数据信号发送至视频处理装置，由视频处理装置基于各图像的初始图像数据信号，确定各图像的出图时间，并将各图像的出图时间反馈至工控机。其中，视频处理装置为视频处理卡，还可以对接收到的图像进行处理，再将处理后的图像发送到工控机，具体处理方式包括但不限于：格式转换、分辨率转换、压缩、解码、编码、故障注入、信息嵌入、信息提取等。

在另一个例子中，图像采集装置可以直接或者间接的将采集的所有图像的初始图像数据信号发送到工控机，由此工控机可以从接收到的各图像的初始图像数据信号波形中读取出各图像的出图时间(即第一出图时间)。

另外，若图像采集装置是刚刚上电，则其可能在上电后的一段时间内会自动的或者在接收到第一个触发信号后，按照某种频率、周期进行持续一定时长的图像采集，即发生了前述的情况2，图像采集装置无触发的额外采集了一个或多个图像，此时工控机确定出的第一出图时间的数量大于第一触发时间的数量。

步骤103，基于各第一触发时间、各第一出图时间以及图像采集装置的触发出图时间差，确定多个图像中至少部分图像的触发时间。

具体而言，工控机确定出了多个图像的第一触发时间与多个图像的第一出图时间，可以再结合图像采集装置的触发出图时间差，确定出多个图像中需要确定触发时间的至少一个图像的触发时间。

对于多个图像中需要确定触发时间的指定图像，若该指定图像是图像采集装置响应于触发信号所出的图像，则可以从所确定出的多个第一触发时间中找出该指定图像的触发时间，具体方式包括以下两种：

方式一：针对多个图像中的指定图像，计算指定图像的第一出图时间减去触发出图时间差的差值，并将与差值最接近的第一触发时间作为指定图像的触发时间。具体的，以一个指定图像为例，计算该指定图像的出图时间t_image减去图像采集装置的触发出图时间差△t的时间差值(t_image-△t)，将该时间差值(t_image-△t)与所确定出的所有第一触发时间分别进行对比，或者将该时间差值(t_image-△t)与该指定图像的第一出图时间t_image前后一定时间范围的第一触发时间进行对比，选取出与该时间差值(t_image-△t)最接近的第一触发时间，该第一触发时间即为该指定图像真正的触发时间。

另外，与该时间差值(t_image-△t)最接近的第一触发时间相较于(t_image-△t)的时间差距可以是小于预设阈值的，若大于或等于该预设阈值，则可认定，针对该图像，未能找到触发时间，进而，一种示例中，对于多个图像中未能找到触发时间的图像，可以判定其为图像采集装置在上电后的额外采集的图像。

方式二：针对多个第一触发时间中的指定触发时间，计算指定触发时间与触发出图时间差的和值，选取出与和值最接近的第一出图时间对应的图像，并将指定触发时间作为选取出的图像的触发时间。具体的，以一个指定触发时间t_trigger为例，计算该指定触发时间t_trigger与图像采集装置的触发出图时间差△t的时间和值(t_trigger+△t)，将该时间和值(t_trigger+△t)与所确定出的所有第一出图时间分别进行对比，或者将该时间和值(t_trigger+△t)与该指定触发时间前后一定时间范围的第一出图时间进行对比，选取出与该时间和值(t_trigger+△t)最接近的第一出图时间，该指定触发时间t_trigger即为选取出的第一出图时间所对应的图像真正的触发时间。

另外，若是按照触发信号进行对比，由此能够准确找出图像采集装置响应于各触发信号所采集的各图像的触发时间，且不会针对图像采集装置额外采集的图像进行触发时间的获取，节约了处理时间。

本实施例提供了一种触发时间确定方法，在确定了多个第一触发时间与多个图像的第一出图时间后，利用图像采集装置的触发出图时间差，找出多个图像中需确认触发时间的至少部分图像的触发时间，以便于后续对图像数据进行回放、融合、回注等处理。

一种实施例中，由于车上设置有多个摄像头，而不同摄像头的触发时间往往是相关联的。进而，对于每一个摄像头来说，还可借鉴其他摄像头的图像的触发时间辅进行进一步的修正。在一种示例中，对于部分图像采集装置来说，不同图像采集装置可以同步触发，以图像采集装置a与图像采集装置b为例，此时，图像采集装置a的图像的各个触发时间应该与图像采集装置b的图像的各触发时间相同或相近，进而，对于不同摄像头，经上述步骤所确定的一系列图像及其触发时间理应是一一对应的，以图像采集装置a、图像采集装置b为例，若是受控于触发信号而采集的图像，则图像采集装置a的末尾多个图像与图像采集装置b的末尾多个图像应是一一对应的，相对应的图像的触发时间理应是相同或相近的。进而，针对图像采集装置a、图像采集装置b执行上述步骤S101至S103之后，可依据时间从后至前的顺序，然后，依据时间从后之前的顺序，比对图像采集装置a与图像采集装置b之间相对应的图像的触发时间，例如比对最后一个图像间的触发时间是否相同或相近，再比对倒数第二个图像间的触发时间是否相同或相近(即差距小于阈值)，以此类推，直至找到触发时间不同且不接近的倒数第r个图像(r为大于1的整数)，通常表示异常往往发生于倒数第r个图像的触发时间处或之前，所以，可剔除时间在该触发时间之前触发时间及其对应的图像，利用未被剔除的图像及触发时间用于后续处理。其中图像采集装置a与图像采集装置b可以为不同型号或品牌的图像采集装置，通常不会发生相同的异常情况，图像采集装置a与图像采集装置b也可理解为已测定出这两种图像采集装置所发生的异常是有差别的，或者一个发生异常，一个不发生异常。

以情况1为例，若图像采集装置a发生了收到触发信号但未按照触发信号的时间间隔进行图像采集，此时，利用上述步骤S101至S103，依旧有可能将某个触发信号认定为图像的触发信号，但实际这图像是未按照触发信号的时间间隔而采集到的图像，而图像采集装置b未发生异常，或发生的异常有所差别，则通过不同图像采集装置之间的比对可定位出这种异常大概发生在哪，而由于这种异常主要发生在上电后的一段时间，上述从后往前比较不同图像采集装置的图像的触发时间的方式，可较为准确定位出异常发生位置，保障了所保留用于后续处理的图像与触发信号是相对比较准到的。

本发明的第二实施例涉及一种触发时间确定方法，本实施方式相对于第一实施例而言，主要区别之处在于：本实施例提供了在确定图像的触发时间的过程中所使用的图像采集装置的触发出图时间差的一种具体测定方式。

本实施例的图像采集装置的触发出图时间差的测定方式的具体流程如图4所示。该图像采集装置的触发出图时间差的测定过程可以是在图像采集装置出厂时提前测定，也可以是在图像采集装置装配到车辆中后进行测定。

请参考图5，实现上述触发出图时间差测定方法的时间差测定系统包括：通信连接的信号发生器5与波形处理模块6，波形处理模块6、信号发生器5均与图像采集装置3通信连接；其中，信号发生器5用于按照被配置的频率、周期来生成测试触发信号，相邻的两个触发信号的时间间隔保持不变，其可以由人工配置或者波形处理模块6来配置，该信号发生器5可以是第一实施例中作为触发装置2的信号源，也可以另一个信号源。

在另一个例子中，请参考图6，时间差测定系统还包括：信号处理模块7，图像采集装置3通过信号处理模块7与波形处理模块6通信连接，信号处理模块7可用于对图像采集装置3进行初始的参数配置，包括但不限于：采集帧率、图像分辨率等参数的配置；在测定过程中，信号处理模块7还可以将图像采集装置3所采集图像的图像数据传输至波形处理模块6。

其中，波形处理模块6可以基于上述的触发出图时间差测定方法测定图像采集图像采集装置3的触发出图时间差。其中波形处理模块6可以是处理器、控制器等。本实施例中以图5的时间差测定系统为例进行说明。

步骤201，在测定过程中，在图像采集装置启动后，向图像采集装置发送测试触发信号，并获取图像采集装置采集到的测试图像与测试触发信号。

具体而言，在测定图像采集装置的触发出图时间差时，先给图像采集装置上电启动，波形处理模块控制信号发生器生成测试触发信号，并将测试触发信号发送至图像采集装置，图像采集装置则会将采集的测试图像发送至波形处理模块，其中图像采集装置所采集的图像除了受控于测试触发信号采集的测试图像，还可能包括像采集装置无触发的额外采集的一个或多个图像，即发生了前述的情况2，图像采集装置在上电后的一段时间内会自动的或者在接收到第一个测试触发信号后额外采集了一个或多个图像。

由上，波形处理模块可以获取到图像采集装置采集的测试图像以及信号发生器生成的测试触发信号。

步骤202，基于测试图像中的目标测试图像的第二出图时间以及与测试触发信号中目标测试触发信号的第二触发时间，得到图像采集装置的触发出图时间差，其中，每个目标测试图像为图像采集装置受控于对应的一个目标测试触发信号而采集到的。

具体而言，波形处理模块已从所获取的测试图像中选取至少一个目标测试图像、从所获取的测试触发信号中选取与各目标测试图像对应的目标测试触发信号，目标测试图像为图像处理装置受控于测试触发信号所采集的，即每个目标测试图像为图像采集装置受控于对应的目标测试触发信号而采集到的图像。

在一个例子中，目标测试图像为最后获取到的N个测试图像，目标测试触发信号为最后获取到的N个测试触发信号，其中，N为大于或等于1的整数。即波形处理模块按照获取的顺序对测试图像进行排序，在完成测试图像的获取后，选定最后接收到的N个测试图像作为目标测试图像，这N个目标测试图像即为图像处理装置受控于测试触发信号所采集的；类似的，波形处理模块按照获取的顺序对测试触发信号排序，选定最后接收到的N个测试触发信号作为目标测试触发信号，N个目标测试图像是受控于N个目标测试触发信号所采集的，可按照从后往前的顺序将N个目标测试图像与N个目标测试触发信号一一对应，由此获取了各目标测试图像所对应的目标测试触发信号。通过选取最后N个测试图像与测试信号，可有助于避免：上电后异常情况所导致的图像与触发信号无法基于序列而准确对应。

若选取的目标测试图像的数量为一个，则直接计算该目标测试图像的第二出图时间与对应的目标测试触发信号的第二触发时间的时间差值，该时间差值即为图像采集装置的触发出图时间差。

若选取的目标测试图像的数量为多个，则先获取各目标测试图像的第二出图时间与对应的目标测试触发信号的第二触发时间的差值的绝对值，得到多个参考时间差，即针对每个目标测试图像及其对应的目标测试触发信号，计算出一个时间差值，记作参考时间差，由此能够得到多个参考时间差；随后再基于多个参考时间差得到图像采集装置的触发出图时间差，例如通过选取中位数或者计算平均值的方式，利用多个参考时间差得到图像采集装置的触发出图时间差。

其中，目标测试图像的第二出图时间可以从所接收到的图像数据信号的波形中读取，同理目标测试触发信号的第二触发时间也可以从所接收到的触发信号的波形中读取。

需要说明的是，本实施例中也可以在示波器中展示波形处理模块接收到的测试图像与测试触发信号，由人工选取出目标测试图像与目标测试触发信号输入到波形处理模块中，再由波形处理模块完成上述触发出图时间差的获取过程。

本实施例中，在测定图像采集装置的触发出图时间差时，先启动图像采集装置，向图像采集装置发送测试触发信号，并获取图像采集装置采集到的测试图像与测试触发信号，获取测试图像中图像采集装置受控于目标测试触发信号所采集的目标测试图像，再结合目标测试图像的第二出图时间与目标测试触发信号的第二触发时间，得到图像采集装置的触发出图时间差。

下面针对前述情况1、情况2进行区分并实现时间差测定的过程进行说明，具体可分为以下两种方式。

方式一：在图像采集装置上电后，可以先对图像采集装置进行配置，例如波形处理模块通过信号处理模块对图像采集装置进行配置，在图像采集装置完成配置后，波形处理模块还未通过信号发生器向图像采集装置发出测试触发信号之前：

若波形处理模块接收到第二测试图像，即确定图像采集装置在启动后发出第二测试图像，说明图像采集装置发生了前述的情况2，图像采集装置在启动后自动进行了图像采集，将采集的图像发送到波形处理模块；此时波形处理模块先获取任意相邻的两个第二测试图像之间的时间间隔记作参考时间间隔p，并确定出一个与该参考时间间隔p不同的目标时间间隔q，目标时间间隔q可以大于或者小于参考时间间隔p，波形处理模块再以确定出的目标时间间隔q作为要向图像采集装置发出的第一测试触发信号的时间间隔，并控制信号发生器按照该目标时间间隔q向图像采集装置发出的第一测试触发信号，在图像采集装置按照目标时间间隔q出图时确定图像采集装置受控于第一测试触发信号。其中，信号发生器发出第一测试触发信号的时间间隔可以通过设定信号发生器发出触发信号的频率、周期等来实现。

波形处理模块获取图像采集装置采集到的第一测试图像与信号发生器所发出的第一测试触发信号，从获取到的第一测试图像中选取时间间隔为目标时间间隔q的一个或多个第一测试图像作为目标测试图像，并在第一测试触发信号中选出目标测试触发信号，再基于测试图像中的目标测试图像的第二出图时间以及与测试触发信号中的目标测试触发信号的第二触发时间，得到图像采集装置的触发出图时间差。

若波形处理模块未接收到第二测试图像，控制信号发生器按照该预设时间间隔向图像采集装置发出设定数量的第二测试触发信号，其中设定数量可以预设在波形处理模块中，预设时间间隔可以预设在波形处理模块或者信号发生器中，信号发生器发出第二测试触发信号的时间间隔可以通过设定信号发生器发出触发信号的频率、周期等来实现。

波形处理模块获取图像采集装置采集到的第二测试图像与信号发生器所发出的第二测试触发信号，再确定图像采集装置是否发生额外出图，额外出图表示：在停止向图像采集装置发出第二测试触发信号的预设时长后，获取到图像采集装置发出的测试图像。例如，在信号发生器发出设定数量的第二测试触发信号后，开始计时，若计时至预设时长后，仍然能接收到图像采集装置发出的第二测试图像在确定图像采集装置发生额外出图时，则说明图像采集装置在接收到第二测试触发信号后，先进行了持续一定时间自动图像采集，随后再按照第二测试触发信号进行图像采集，即图像采集装置发生了前述的情况2；此时，波形处理模块所获取的多个第二测试图像中相邻的两个第二测试图像的时间间隔有两个，一个是第二触发信号的预设时间间隔，另一个是图像采集装置自动采集图像的参考时间间隔k(该参考时间间隔k与前述的参考时间间隔p可以相等，也可以不相等)，随后波形处理模块确定出一个与该参考时间间隔k不同的目标时间间隔l，目标时间间隔l可以大于或者小于参考时间间隔k，波形处理模块再以确定出的目标时间间隔l作为要向图像采集装置发出的第一测试触发信号的时间间隔，并控制信号发生器按照该目标时间间隔l向图像采集装置发出的第一测试触发信号，在图像采集装置按照目标时间间隔l出图时确定图像采集装置受控于第一测试触发信号。其中，信号发生器发出第一测试触发信号的时间间隔可以通过设定信号发生器发出触发信号的频率、周期等来实现。

波形处理模块获取图像采集装置采集到的第一测试图像与信号发生器所发出的第一测试触发信号，从获取到的第一测试图像中选取时间间隔为目标时间间隔的一个或多个第一测试图像作为目标测试图像，并在第一测试触发信号中选出目标测试触发信号，再基于测试图像中的目标测试图像的第二出图时间以及与测试触发信号中的目标测试触发信号的第二触发时间，得到图像采集装置的触发出图时间差。

在确定图像采集装置未发生额外出图时，此时可能是发生了情况1，也能没有发生情况1；此时可以从获取到的第二测试图像中选取时间间隔为预设时间间隔的一个或多个第二测试图像作为目标测试图像，时间间隔为预设时间间隔的第二测试图像可以认为图像采集装置受控于第二测试触发信号所采集的，并在第二测试触发信号中选出目标测试触发信号；或者选取的目标测试图像为最后获取到的N个第二测试图像，选取的目标测试触发信号为最后获取到的N个第二测试触发信号；N为大于或等于1的整数。再基于测试图像中的目标测试图像的第二出图时间以及与测试触发信号中的目标测试触发信号的第二触发时间，得到图像采集装置的触发出图时间差。

方式二：波形处理模块制信号发生器按照该预设时间间隔向图像采集装置发出指定数量的第三测试触发信号，其中指定数量可以预设在波形处理模块中，预设时间间隔可以预设在波形处理模块或者信号发生器中，信号发生器发出第二测试触发信号的时间间隔可以通过设定信号发生器发出触发信号的频率、周期等来实现。

在一个例子中，指定数量的第三测试触发信号可以为数量足够多的第三测试触发信号，由此即便图像采集装置存在上述的情况1和/或情况2，由于第三测试触发信号的数量足够多，则可以保证图像采集装置所采集到的最后的一张或多张第三测试图像为受控于第三测试触发信号所采集的；此时可以直接选取从多个第三测试图像中的最后N个第三测试图像作为目标测试图像，并从获取的多个第三触发信号中选取最后获取到的N个第三测试触发信号作为目标测试触发信号；N为大于或等于1的整数。

在另一个例子中，指定数量的第三测试触发信号数量较少，无法保证在图像采集装置存在上述的情况1和/或情况2时，图像采集装置所采集到的最后的一张或多张第三测试图像为受控于第三测试触发信号所采集的；此时先确定图像采集装置是否发生额外出图，额外出图表示：在停止向图像采集装置发出第三测试触发信号的预设时长后，获取到图像采集装置发出的测试图像。例如，在信号发生器发出设定数量的第三测试触发信号后，开始计时，若计时至预设时长后，仍然能接收到图像采集装置发出的第三测试图像，则确定图像采集装置发生额外出图；若计时至预设时长后，不再接收到第三测试图像，则确定图像采集装置未发生额外出图，其中预设时长可以大于一倍的预设时间间隔且小于二倍的预设时间间隔；或者，波形处理模块将获取到的第三测试图像的数量与第三测试触发信号的数量进行对比，若第三测试图像的数量大于第三测试触发信号的数量，则确定图像采集装置发生额外出图；若第三测试图像的数量等于第三测试触发信号的数量，则确定图像采集装置未发生额外出图。

在确定图像采集装置未发生额外出图时，从获取到的第三测试图像中选取时间间隔为预设时间间隔的一个或多个第三测试图像作为目标测试图像，时间间隔为预设时间间隔的第三测试图像可以认为图像采集装置受控于第三测试触发信号所采集的，并在第三测试触发信号中选出目标测试触发信号；或者选取的目标测试图像为最后获取到的N个第三测试图像，选取的目标测试触发信号为最后获取到的N个第三测试触发信号；N为大于或等于1的整数。

另外，在确定图像采集装置发生额外出图时，则说明图像采集装置在接收到第二测试触发信号后，先进行了持续一定时间自动图像采集，随后再按照第二测试触发信号进行图像采集，即图像采集装置发生了前述的情况2，此时可以参照第二实施例关于情况2的具体处理方式进行处理，在此不再赘述。

本发明的第三实施例涉及一种工控机，工控机用于执行第一和/或第二实施例中的时间差测定方法。

本发明的第四实施例涉及一种数据采集系统，请参考图3，数据采集包括：工控机1、触发装置2以及视频处理装置4，工控机1分别与触发装置2以及视频处理装置4通信连接，触发装置2与视频处理装置4均与图像采集装置3通信连接。图3中，以图像采集装置3的数量是一个为例，图像采集装置3也可以为多个，多个图像采集装置3可以连接到同一个触发装置2与视频处理装置4，或者多个图像采集装置3分别连接到不同的触发装置以及不同的视频处理装置4。

数据采集系统可用于车辆，触发装置2则为车辆中的信号源(即信号发生器)，图像采集装置3可以为装配在车辆上的摄像头，数量可能是一个或多个，例如图像采集装置3的数量为多个，包括：前侧摄像头、左侧摄像头、右侧摄像头以及后侧摄像头。

若图像采集装置3的数量为多个，则可以设置所有的图像采集装置3连接到同一个触发装置2(图中以此为例)，也可以设置触发装置2的数量为多个，每个触发装置2连接到一个或多个图像采集装置3，即每个图像采集装置3可以连接到单独的一个触发装置2，或者多个图像采集装置3共用一个触发装置2，例如设置在同一位置的多个图像采集装置3共用一个触发装置2。

触发装置2用于触发图像采集装置，即将生成的触发信号发送到图像采集装置3。其中，若图像采集装置3的数量是多个，则输入到不同图像采集装置3的触发信号可以是同步的，也可以是不同步的，例如，车辆中还包括机械式雷达，在机械式雷达与图像采集装置3同步采集图像数据时，随着机械式雷达360度旋转扫描时，按照机械式雷达的旋转角度，触发装置2依次向不同位置的图像采集装置3发送触发信号，使得不同位置的图像采集装置3先后被触发进行图像采集，由此机械式雷达扫描到相应视角时，该视角的图像采集装置3才被触发进行图像采集。

工控机1为第三实施例中的工控机，即用于执行第一或第二实施例中的触发时间确定方法。

触发装置2还用于将用于触发所述图像采集装置3的触发信号反馈至所述工控机1。

所述工控机1还用于根据所述触发信号，确定所述第一触发时间。

图像采集装置3用于进行图像采集。

图像采集装置3会将采集的图像的初始图像数据信号发送至视频处理装置4，由视频处理装置4基于各图像的初始图像数据信号，确定各图像的第一出图时间，并将各图像的第一出图时间反馈至工控机1。其中，视频处理装置4还可以对接收到的图像进行处理，再将处理后的图像发送到工控机，具体处理方式包括但不限于：格式转换、分辨率转换、压缩、解码、编码、故障注入、信息嵌入、信息提取等。

若图像采集装置3的数量为多个，则可以设置所有的图像采集装置3连接到同一个视频处理装置4(图中以此为例)，也可以设置视频处理装置4的数量为多个，每个视频处理装置4连接到一个或多个图像采集装置3，即每个图像采集装置3可以连接到单独的一个视频处理装置4，或者多个图像采集装置3共用一个视频处理装置4，例如设置在同一位置的多个图像采集装置3共用一个视频处理装置4。

由于第一、第二实施例与本实施例相互对应，因此本实施例可与第、第二一实施例互相配合实施。第一、第二实施例中提到的相关技术细节在本实施例中依然有效，在第一、第二实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一、第二实施例中。

本发明的第五实施例涉及一种车辆，包括：至少一个图像采集装置与第三实施例中的工控机，图像采集装置与工控机通信连接。

以上已详细描述了本发明的较佳实施例，但应理解到，若需要，能修改实施例的方面来采用各种专利、申请和出版物的方面、特征和构思来提供另外的实施例。

考虑到上文的详细描述，能对实施例做出这些和其它变化。一般而言，在权利要求中，所用的术语不应被认为限制在说明书和权利要求中公开的具体实施例，而是应被理解为包括所有可能的实施例连同这些权利要求所享有的全部等同范围。

Claims (9)

1.一种触发时间确定方法，其特征在于，包括：

确定图像采集装置的多个第一触发时间；

确定所述图像采集装置被触发采集到的多个图像的第一出图时间；

基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间；其中，所述图像采集装置的触发出图时间差的测定方式为：

在测定过程中，在所述图像采集装置启动后，基于所述图像采集装置所发出的第二测试图像的参考时间间隔，确定与所述参考时间间隔不同的目标时间间隔作为第一测试触发信号的时间间隔；

向所述图像采集装置发送所述第一测试触发信号，并获取所述图像采集装置采集到的第一测试图像与所述第一测试触发信号；

从获取到的所述第一测试图像中选取时间间隔为所述目标时间间隔的一个或多个所述第一测试图像作为目标测试图像，并在所述第一测试触发信号中选出目标测试触发信号；

基于所述第一测试图像中的目标测试图像的第二出图时间以及与所述测试触发信号中目标测试触发信号的第二触发时间，得到所述图像采集装置的触发出图时间差，其中，每个所述目标测试图像为所述图像采集装置受控于对应的一个所述目标测试触发信号而采集到的。

2.根据权利要求1所述的触发时间确定方法，其特征在于，所述基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间，包括：

针对所述多个图像中的指定图像，计算所述指定图像的第一出图时间减去所述触发出图时间差的差值，并将与所述差值最接近的所述第一触发时间作为所述指定图像的触发时间。

3.根据权利要求1所述的触发时间确定方法，其特征在于，所述基于各所述第一触发时间、各所述第一出图时间以及所述图像采集装置的触发出图时间差，确定所述多个图像中至少部分图像的触发时间，包括：

针对所述多个第一触发时间中的指定触发时间，计算所述指定触发时间与所述触发出图时间差的和值，选取出与所述和值最接近的所述第一出图时间对应的所述图像，并将所述指定触发时间作为选取出的所述图像的触发时间。

4.根据权利要求1所述的触发时间确定方法，其特征在于，所述第一出图时间是基于所述图像采集装置采集的所述多个图像的初始图像数据信号而确定的；

所述第一触发时间是基于用于触发所述图像采集装置的触发信号而确定的。

5.根据权利要求1所述的触发时间确定方法，其特征在于，所述目标测试图像为最后获取到的N个测试图像，所述目标测试触发信号为最后获取到的N个测试触发信号，其中，N为大于或等于1的整数。

6.一种工控机，其特征在于，用于执行权利要求1至5中任一项所述的触发时间确定方法。

7.一种数据采集系统，其特征在于，包括：用于触发图像采集装置的触发装置、用于确定所述图像采集装置被触发采集到的图像的出图时间的视频处理装置与权利要求6所述的工控机。

8.根据权利要求7所述的数据采集系统，其特征在于，所述触发装置还用于将用于触发所述图像采集装置的触发信号反馈至所述工控机；

所述工控机还用于根据所述触发信号，确定所述第一触发时间；

所述视频处理装置具体用于：接收所述图像采集装置发出的所述图像的初始图像数据信号；基于所述初始图像数据信号，确定所述图像的所述第一出图时间；将所述图像的所述第一出图时间反馈至所述工控机。

9.一种车辆，其特征在于，包括：至少一个图像采集装置，以及权利要求6所述的工控机，所述图像采集装置与所述工控机通信连接。