CN114778076B - 基于纳秒级led流水灯的多相机同步性测量方法及装置 - Google Patents

Abstract

本发明涉及一种基于纳秒级LED流水灯的多相机同步性测量装置，包括时序逻辑单元、流水灯模组、数显阵列和计算机，流水灯模组包括若干个LED灯珠和数显阵列，时序逻辑单元通过多个IO端口将控制信号并行输出到流水灯模组，每一个LED灯珠均具备纳秒级的上升响应时间，设LED灯珠的响应时间小于T纳秒，能够在T纳秒的时间间隔内实现相邻下一个灯珠的发光，前序已发光灯珠保持发光状态；数显阵列显示的数值表示流水灯模组中所有LED灯珠均已亮过的次数；计算机，用于对多个高速相机的拍摄图像进行分析比对，实现待测高速相机间的同步性测量。

Description

基于纳秒级LED流水灯的多相机同步性测量方法及装置

技术领域

本发明属于精密测量技术领域与光学工程领域，特别是基于纳秒级LED流水灯多相机同步性测量方法及装置。

背景技术

近些年随着硬件计算能力不断提升，计算机视觉技术也有了突飞猛进的发展，计算机视觉技术广泛地应用于各种工业领域，提高了生产效率，减少了人力投入成本。其中，很多的应用场景由原来的人工检测逐步被自动化、智能化的工业相机检测所取代，并且正向着高速、高精度、大视野检测等方向发展，这就需要多个相机按照一定规则进行协同作业，同步采集图像。在所测目标为高速物体的情况下，相机需要具有高帧率，多个高帧率的相机的同步性好坏将影响到最终的检测精度。目前在低速场景下，相机获得同一个触发信号会被默认为相机同时采集到同一时刻的图像，而忽略了中间硬件响应特性的差异以及触发信号不同转换方式之间造成的时间误差问题。因此，在多相机高速采集场景下，特别是使用到不同类型的触发信号或者不同类型的相机时，多个相机间的同步性验证工作具有十分重要的现实意义。

目前常用的面阵相机同步性验证方法较为简单有效，通常为在多个相机公共视野内放置一个毫秒级计时器，然后让相机接收同步的触发信号，通过直接观测到不同相机采集图像中计时器的时间差即可完成面阵相机的同步性测量。

但是，上述通过在多个相机的公共视野内放置计时器的做法会受到计时器显示装置刷新率的影响，且常规显示装置的刷新率仅为一百左右，所以此种方法只能在验证多相机低速采集同步性时使用，很难保证在高速采集时能够得到理论的精准图像。目前，面阵高速相机之间的同步性验证尚没有一个通用性的测量方法以及相应的装置。

发明内容

本发明的目的是提供一种可以实现多相机采集的同步性精确测量的多相机同步性测量装置及测量方法。本发明基于时序逻辑电路实现纳秒级LED流水灯，将不同待测相机得到的纳秒级时间戳进行对比分析，实现多相机之间的图像采集同步性测试，可以消除常规数字显示装置刷新率不足对同步性测量的影响，提高测量精度和范围。采取的技术方案是：

一种基于纳秒级LED流水灯的多相机同步性测量装置，包括时序逻辑单元、流水灯模组和计算机，所述时序逻辑单元与流水灯模组相连，流水灯模组包括若干个LED灯珠和数显阵列，时序逻辑单元通过多个IO端口将控制信号并行输出到流水灯模组，控制信号驱动流水灯模组中的每一个LED灯珠，每一个LED灯珠均具备纳秒级的上升响应时间，设LED灯珠的响应时间小于T纳秒，在电信号到来的T纳秒之内发光，时序逻辑单元通过时序逻辑控制产生纳秒级的精确定时，能够在T纳秒的时间间隔内实现相邻下一个灯珠的发光，前序已发光灯珠保持发光状态；

数显阵列显示的数值表示流水灯模组中所有LED灯珠均已亮过的次数；

高速相机的拍摄图像包括流水灯模组中的LED灯珠和数显阵列；

计算机，用于对多个高速相机的拍摄图像进行分析比对，将不同高速相机拍摄图像的流水灯模组LED灯珠的发光个数和数显阵列的数值转换成对应的时间差值，进而能够得到不同高速相机实际采集时刻的纳米级时间差，将待测高速相机拍摄得到的流水灯模组中的LED灯珠发光情况和数显阵列的数值进行对比分析，实现待测高速相机间的同步性测量。

进一步地，时序逻辑单元通过时钟分频改变晶振时钟信号，再通过分频之后的时钟信号控制逻辑电路

进行流水灯模组的工作状态选择，流水灯模组的时序逻辑控制方法为：

a.设置时序逻辑单元的晶振时钟信号；通过计数器寄存器对晶振时钟信号进行分频；

b.流水灯状态选择寄存器存放着代表流水灯模组不同发光情况的十进制序号，流水灯状态选择寄存器的输出寄存器为流水灯模组的发光状态提供选择信号，控制流水灯模组中的LED灯珠的亮灭状态；流水灯状态寄存器为已设定固定信号模式，流水灯状态寄存器中的多位不同二进制数值代表着流水灯模组不同的发光状态，相邻的后一种工作状态总是比前一种工作状态多亮一个LED灯珠，相邻两种工作状态的时间间隔为晶振时钟信号分频之后的时钟代表的时间，分频之后的单个时钟信号代表的时间为T纳秒；在流水灯模组的每一轮循环过程中，保持流水灯LED灯珠序列中前序已经亮过的灯不再熄灭，流水灯状态寄存器中的最后一种流水灯状态信号代表的是流水灯LED全部发光的状态；

c.系统复位信号为0时有效，即低电平时有效；寄存器的复位信号输入端为时有效，即高电平时有效；系统复位信号与计数器寄存器和流水灯状态选择寄存器的复位信号输入端相连，控制计数器寄存器和流水灯状态选择寄存器的复位操作；当系统复位信号作用于计数器寄存器时，系统复位信号取反与计数器寄存器的低两位输出信号通过与门之后的与门输出信号通过或门，输出到计数器寄存器的复位信号输入端；当系统复位信号作用于流水灯状态选择寄存器时，系统复位信号直接与流水灯状态选择寄存器的复位信号输入端口相连，当系统复位信号有效时，保持流水灯状态选择寄存器的复位置零状态，此时流水灯状态选择寄存器不会接收状态选择寄存器输入端的加法器的结果，相当于状态选择寄存器输入端的加法器失效，等待系统复位信号的失效；当系统复位信号失效时，状态选择寄存器输入端的加法器开始工作，将信号输出至流水灯状态选择寄存器的输出寄存器，输出信号即为最终的LED状态选择信号，该LED状态选择信号通过多路选择器对流水灯状态寄存器中的流水灯模组的状态信号进行选择和输出，显示于流水灯模组的发光状态；

本发明同时提供一种利用上述装置实现的多相机同步性测量方法，包括下列步骤：

(1)将流水灯模组置于多个高速相机的共同视野中，对高速相机进行对焦调节，使流水灯模组在视野中清晰成像；

(2)纳秒级同步触发器的同步触发信号通过触发信号传输线传输至高速相机中，多个高速相机在同步触发信号控制下，对同步测试装置LED流水灯模组进行同步拍摄，各个高速相机拍摄的图像传输至计算机；

(3)计算机对多个高速相机的拍摄图像进行分析比对，将不同高速相机拍摄图像的流水灯模组LED灯珠的发光个数和数显阵列的数值转换成对应的时间差值，进而能够得到不同高速相机实际采集时刻的纳米级时间差，将待测高速相机拍摄得到的流水灯模组中的LED灯珠发光情况和数显阵列的数值进行对比分析，实现待测高速相机间的同步性测量。

进一步地，步骤(3)中，得到不同高速相机实际采集时刻的纳米级时间差的方法如下：

a.高速相机和流水灯模组的位置固定后，在点亮流水灯模组之前，先触发高速相机对未发光的流水灯模组进行拍摄，作为参考图像。使流水灯模组正常工作。纳秒级同步触发器将同步触发信号传输至多个高速相机的外触发信号接收端，使每个接收外部触发信号的高速相机进行同步拍摄。获取不同高速相机同步采集得到的流水灯模组图像中LED灯珠的发光状态和数显阵列的数值，并与之前拍摄的未通电流水灯模组的参考图像对比，获取对应采集图像的LED灯珠发光个数和数显阵列的数值。

b.进行高速相机采集时刻的纳秒级时间戳计算，纳秒级时间戳是指LED灯珠点亮时间间隔的累计结果，n为流水灯模组中LED灯珠的总个数，若不同高速相机采集的流水灯模组中显示的LED灯珠发光个数差值为N，且数显阵列的数字差值为k时，则不同高速相机的同步采集时间差是从0纳秒一直累加到T*k*n+T*(N+1)纳秒；随着数显阵列数值的增加，对应时间测量区间也在增加。

本发明有益效果如下：

(1)本发明提供的一种基于时序逻辑电路的纳秒级LED流水灯多相机同步性测量装置，布置灵活，适用于不同视野和角度下的相机采集同步性精确测量，具有广阔的应用场景；

(2)本发明提供一种基于时序逻辑电路的纳秒级LED流水灯多相机同步性测量方法，将不同待测相机得到的纳秒级时间戳进行对比分析，实现多相机之间的图像采集同步性测量，适合于各种高速相机间的采集同步性的精确测量；

(3)本发明提供一种流水灯测量多相机同步性的方法，消除普通数字显示装置刷新率不足对同步性测量的影响，提高测量精度和范围。

附图说明

图1为本发明的流水灯多相机同步测试原理图。

图2为本发明的流水灯FPGA时序逻辑控制原理图。

图1中：1为电源；2为时序逻辑单元；3为流水灯模组；4为高速相机；5为纳秒级同步触发器；6为网络交换机；7为PC存储单元。

图2中：8为系统复位信号；9为晶振时钟信号；10为计数器寄存器；11为计数器寄存器的输出信号；12为计数器寄存器输入端的加法器；13为与门；14为或门；15为计数器寄存器的复位信号端；16为与门的输出信号；17为状态选择寄存器输入端的加法器；18为流水灯状态选择寄存器；19为流水灯状态选择寄存器的输出寄存器；20为流水灯状态寄存器；21为多路选择器。

具体实施方式

下面结合附图和具体实施方式对本发明作详细描述。最佳实施方式由以下部分组成：

第一部分，提供一种基于时序逻辑电路的纳秒级LED流水灯多相机同步性测量装置；

本发明的基于时序逻辑电路的纳秒级LED流水灯多相机同步性测量装置，包括电源1、时序逻辑单元2、流水灯模组3构成。本实施例的时序逻辑单元采用FPGA开发板实现。所述时序逻辑单元2与流水灯模组3相连，电源1通过电源传输线为时序逻辑单元2供电，流水灯模组3包括若干个LED灯珠和一个数显阵列，时序逻辑单元2通过多个IO端口将控制信号并行输出到流水灯模组3，控制信号驱动流水灯模组3的每一个LED灯珠，每一个LED灯珠均具备小于30纳秒的上升响应时间，在电信号到来的30纳秒之内发光，时序逻辑单元通过时序逻辑控制产生纳秒级的精确定时，能够在30纳秒的时间间隔内实现相邻下一个灯珠的发光，前序已发光灯珠保持发光状态，避免LED灯珠的熄灭响应时间过长对于整个流水灯发光情况的影响，数显阵列显示的数值表示流水灯模组中所有LED灯珠均已亮过的次数，可以实现LED流水灯模组更长时间范围的同步性测试。

第二部分，针对第一部分的测量装置结构提供一种多相机同步性测量方法；

如图1，流水灯多相机同步测量原理图。电源1、时序逻辑单元2和流水灯模组3组成同步测试装置，将整个同步测试装置其放置于多个高速相机4的共同视野中，对高速相机4进行对焦调节，使其在视野中清晰成像。纳秒级同步触发器5的同步触发信号传输至高速相机4中，多个高速相机4在多通道的同步触发信号控制下，对同步测试装置LED流水灯模组3进行同步拍摄，同时将拍摄图像通过万兆网线传输至网络交换机6，再由网络交换机6通过万兆网线传输至PC存储单元7。对于PC存储单元7中的多个高速相机4的拍摄图像进行分析比对，将不同高速相机4拍摄图像的流水灯模组3中LED灯珠的发光个数转换成对应的时间差值，进而能够得到不同高速相机4实际采集时刻的纳米级时间差，将待测高速相机4拍摄得到的流水灯模组3中的LED灯珠发光情况进行对比分析，实现待测高速相机4间的同步性测量。

多相机同步性测量包括纳秒级LED流水灯的同步拍摄采集和相机采集时间戳的计算，分以下几个步骤实现：

a.高速相机4和流水灯模组3的位置固定后，在点亮流水灯模组3之前，先触发高速相机4对未发光的流水灯模组3进行拍摄，作为参考图像。然后打开同步测试装置的电源，使流水灯模组3正常工作。纳秒级同步触发器5通过触发信号传输线将同步触发信号传输至多个高速相机4的外触发信号接收端，使每个接收外部触发信号的高速相机4进行同步拍摄。获取不同高速相机4同步采集得到的流水灯模组3图像中LED灯珠的发光状态和数显阵列的数值，并与之前拍摄的未通电流水灯模组3的参考图像对比，来获取对应采集图像的LED灯珠发光个数和数显阵列的数值。

b.进行高速相机4采集时间的时间戳计算，纳秒级时间戳是LED灯珠点亮时间间隔的累计结果，是不同数量发光LED灯珠代表的不同时间间隔的问题，n为流水灯模组3中LED灯珠的总个数，若不同高速相机4采集的流水灯模组3中显示的LED灯珠发光个数差值为N，且数显阵列的数字差值为k时，同步延迟时间纳秒级时间戳是从0纳秒一直累加到30*k*(n+1)+30*(N+1)纳秒。此外，随着数显阵列数值的增加，对应时间测量区间也在增加。

第三部分，针对第一部分的流水灯模组提供一种时序逻辑控制方法；

时序逻辑单元通过时钟分频改变晶振时钟信号，再通过分频之后的时钟信号控制逻辑电路进行流水灯模组的工作状态选择，如图2，流水灯时序逻辑控制原理图。时序逻辑控制方法分以下几个步骤实现：

a.设置时序逻辑单元2的晶振时钟信号9为100MHz。通过计数器寄存器10对晶振时钟信号9进行三分频，计数器寄存器10由两位二进制数timer_cnt[0]和timer_cnt[1]组成，只有当timer_cnt[0]＝0和timer_cnt[1]＝1时，通过与门13的输出信号16为高电平1，其余情况通过与门13的输出信号16均为低电平0，由于加法器12的加1操作，计数器寄存器10的初始值为01，并且值为10时进行计数器寄存器10的置零操作，返回00状态，即计数器寄存器10保持01->10->00->01->10…的循环数值，重复循环此过程，完成计数器寄存器10对晶振时钟信号9的三分频操作。

b.流水灯状态选择寄存器18存放着代表流水灯模组3不同发光情况的十进制序号，流水灯状态选择寄存器的输出寄存器19为流水灯模组3的发光状态提供选择信号，控制流水灯模组3中的LED灯珠的亮灭状态。流水灯状态寄存器20为已设定固定信号模式，流水灯状态寄存器20中的多位不同二进制数值代表着流水灯模组3不同的发光状态，相邻的后一种工作状态总是比前一种工作状态多亮一个LED灯珠，相邻两种工作状态的时间间隔为晶振时钟信号9分频之后的时钟代表的时间，即在晶振时钟信号9为100M的情况下，通过计数器寄存器10进行三分频的情况下，分频之后的单个时钟信号代表的时间为30纳秒。为了消除LED灯珠熄灭响应时间的影响，在流水灯模组3的每一轮循环过程中，保持流水灯LED灯珠序列中前序已经亮过的灯不再熄灭，即流水灯状态寄存器20中的最后一种流水灯状态信号代表的是流水灯LED全部发光的状态。

c.系统复位信号8为0时有效，即低电平时有效。寄存器的复位信号输入端为1时有效，即高电平时有效。系统复位信号8与计数器寄存器10和流水灯状态选择寄存器18的复位信号输入端相连，控制计数器寄存器10和流水灯状态选择寄存器18的复位操作。当系统复位信号8作用于计数器寄存器10时，系统复位信号8取反与计数器寄存器10的低两位输出信号通过与门13之后的与门输出信号16通过或门14，输出到计数器寄存器10的复位信号输入端；当系统复位信号8作用于流水灯状态选择寄存器18时，系统复位信号8直接与流水灯状态选择寄存器18的复位信号输入端口相连，当系统复位信号8有效时，保持流水灯状态选择寄存器18的复位置零状态，此时流水灯状态选择寄存器18不会接收状态选择寄存器输入端的加法器17的结果，相当于状态选择寄存器输入端的加法器17失效，等待系统复位信号8的失效。当系统复位信号8失效时，状态选择寄存器输入端的加法器21开始工作，将信号输出至流水灯状态选择寄存器的输出寄存器，输出信号即为最终的LED状态选择信号，该LED状态选择信号通过多路选择器21对流水灯状态寄存器20中的流水灯模组3的状态信号进行选择和输出，改变流水灯模组3的工作状态。

Claims (3)

1.一种基于纳秒级LED流水灯的多相机同步性测量装置，包括时序逻辑单元、流水灯模组和计算机，所述时序逻辑单元与流水灯模组相连，流水灯模组包括若干个LED灯珠和数显阵列，时序逻辑单元通过多个IO端口将控制信号并行输出到流水灯模组，控制信号驱动流水灯模组中的每一个LED灯珠，每一个LED灯珠均具备纳秒级的上升响应时间，设LED灯珠的响应时间小于T纳秒，在电信号到来的T纳秒之内发光，时序逻辑单元通过时序逻辑控制产生纳秒级的精确定时，能够在T纳秒的时间间隔内实现相邻下一个灯珠的发光，前序已发光灯珠保持发光状态；

数显阵列显示的数值表示流水灯模组中所有LED灯珠均已亮过的次数；

高速相机的拍摄图像包括流水灯模组中的LED灯珠和数显阵列；

计算机，用于对多个高速相机的拍摄图像进行分析比对，将不同高速相机拍摄图像的流水灯模组中LED灯珠的发光个数和数显阵列的数值转换成对应的时间差值，进而能够得到不同高速相机实际采集时刻的纳米级时间差，将待测高速相机拍摄得到的流水灯模组中的LED灯珠发光情况和数显阵列的数值进行对比分析，实现待测高速相机间的同步性测量；

其中，时序逻辑单元通过时钟分频改变晶振时钟信号，再通过分频之后的时钟信号控制逻辑电路进行流水灯模组的工作状态选择，流水灯模组的时序逻辑控制方法为：

a.设置时序逻辑单元的晶振时钟信号；通过计数器寄存器对晶振时钟信号进行分频；

b.流水灯状态选择寄存器存放着代表流水灯模组不同发光情况的十进制序号，流水灯状态选择寄存器的输出寄存器为流水灯模组的发光状态提供选择信号，控制流水灯模组中的LED灯珠的亮灭状态；流水灯状态寄存器为已设定固定信号模式，流水灯状态寄存器中的多位不同二进制数值代表着流水灯模组不同的发光状态，相邻的后一种工作状态总是比前一种工作状态多亮一个LED灯珠，相邻两种工作状态的时间间隔为晶振时钟信号分频之后的时钟代表的时间，分频之后的单个时钟信号代表的时间为T纳秒；在流水灯模组的每一轮循环过程中，保持流水灯LED灯珠序列中前序已经亮过的灯不再熄灭，流水灯状态寄存器中的最后一种流水灯状态信号代表的是流水灯LED全部发光的状态；

c.系统复位信号为0时有效，即低电平时有效；寄存器的复位信号输入端为时有效，即高电平时有效；系统复位信号与计数器寄存器和流水灯状态选择寄存器的复位信号输入端相连，控制计数器寄存器和流水灯状态选择寄存器的复位操作；当系统复位信号作用于计数器寄存器时，系统复位信号取反与计数器寄存器的低两位输出信号通过与门之后的与门输出信号通过或门，输出到计数器寄存器的复位信号输入端；当系统复位信号作用于流水灯状态选择寄存器时，系统复位信号直接与流水灯状态选择寄存器的复位信号输入端口相连，当系统复位信号有效时，保持流水灯状态选择寄存器的复位置零状态，此时流水灯状态选择寄存器不会接收状态选择寄存器输入端的加法器的结果，相当于状态选择寄存器输入端的加法器失效，等待系统复位信号的失效；当系统复位信号失效时，状态选择寄存器输入端的加法器开始工作，将信号输出至流水灯状态选择寄存器的输出寄存器，输出信号即为最终的LED状态选择信号，该LED状态选择信号通过多路选择器对流水灯状态寄存器中的流水灯模组的状态信号进行选择和输出，显示于流水灯模组的发光状态。

2.采用权利要求1所述的装置实现的多相机同步性测量方法，包括下列步骤：

（1）将流水灯模组置于多个高速相机的共同视野中，对高速相机进行对焦调节，使流水灯模组在视野中清晰成像；

（2）纳秒级同步触发器的同步触发信号通过触发信号传输线传输至高速相机中，多个高速相机在同步触发信号控制下，对同步测试装置LED流水灯模组进行同步拍摄，各个高速相机拍摄的图像传输至计算机；

（3）计算机对多个高速相机的拍摄图像进行分析比对，将不同高速相机拍摄图像的流水灯模组LED灯珠的发光个数和数显阵列的数值转换成对应的时间差值，进而能够得到不同高速相机实际采集时刻的纳米级时间差，将待测高速相机拍摄得到的流水灯模组中的LED灯珠发光情况和数显阵列的数值进行对比分析，实现待测高速相机间的同步性测量。

3.根据权利要求2所述的多相机同步性测量方法，其特征在于，步骤（3）中，得到不同高速相机实际采集时刻的纳米级时间差的方法如下：

a. 高速相机和流水灯模组的位置固定后，在点亮流水灯模组之前，先触发高速相机对未发光的流水灯模组进行拍摄，作为参考图像；使流水灯模组正常工作；纳秒级同步触发器将同步触发信号传输至多个高速相机的外触发信号接收端，使每个接收外部触发信号的高速相机进行同步拍摄；获取不同高速相机同步采集得到的流水灯模组图像中LED灯珠的发光状态和数显阵列的数值，并与之前拍摄的未通电流水灯模组的参考图像对比，获取对应采集图像的LED灯珠发光个数和数显阵列的数值；

b.进行高速相机采集时刻的纳秒级时间戳计算，纳秒级时间戳是指LED灯珠点亮时间间隔的累计结果，n为流水灯模组中LED灯珠的总个数，若不同高速相机采集的流水灯模组中显示的LED灯珠发光个数差值为N，且数显阵列的数字差值为k时，则不同高速相机的同步采集时间差是从0纳秒一直累加到T*k*n +T*(N+1)纳秒；随着数显阵列数值的增加，对应时间测量区间也在增加。