CN104601900B - 用于智能交互微投设备的图像数据采集方法 - Google Patents

Abstract

本发明提出了一种用于智能交互微投设备的图像数据采集方法，所用的采集系统包括主控单元、微投单元和图像采集单元，主控单元分别与微投单元和图像采集单元电连接，包括如下步骤：启动微投图像数据传输；微投图像数据传输时，主控单元检测输入信号端是否有输入高电平的场同步信号，若有则主控单元根据曝光需求在输出信号端产生触发信号，并将触发信号传送到图像采集单元的可控曝光引脚；图像采集单元在投影的空窗期完成可控曝光，采集图像数据；图像采集单元将采集到的图像数据传输给主控单元。本发明成本低，应用范围广，能采集到色彩图像，较之现有智能交互设备的灰度图像，采集到的图像内容更丰富、做图像数据处理更加灵活。

Description

用于智能交互微投设备的图像数据采集方法

技术领域

本发明涉及图像数据处理技术领域，尤其是指一种用于智能交互微投设备的图像数据采集方法。

背景技术

目前，与微投相关的产品得到快速的发展，投影技术契合智能人机交互将是未来投影设备的创新方向。

为了消除智能交互投影设备产生的投影光对交互的图像处理算法中造成的影响，现有的智能交互投影设备采用的是近红外图像采集技术，在采集到的图像信息中投影的内容是不可见的。

现有的智能交互投影设备所采用的图像采集方法至少存在如下问题：现有技术由于采用近红外图像采集技术，从而硬件成本、图像处理算法开发成本较高；现有技术采用非全局曝光的图像采集设备，易产生运动图像信息出现“倾斜”、“摇摆不定”或者“部分曝光”等任意组合现象，从而导致智能交互投影设备的识别精度低、识别的准确性差；现有技术由于滤去了图像信息中的色彩信息，从而易导致后续图像处理算法选择面窄，智能交互投影设备的应用范围受到了限制。

发明内容

为了解决现有智能交互投影设备所采用图像采集方法存在成本高、精度低、应用范围受限制的问题，本发明提出了一种用于智能交互微投设备的图像数据采集方法，实现了在投影的空窗期进行曝光，从而避免了图像信息出现“倾斜”、“摇摆不定”或者“部分曝光”等情况，成本低，应用范围广。

本发明所采用的技术方案是：所用可集成于智能交互微投设备的采集系统包括主控单元、微投单元和图像采集单元，主控单元具有场同步信号端、输入信号端和输出信号端，微投单元具有微投场同步信号端，图像采集单元具有可控曝光引脚，主控单元的场同步信号端、输入信号端相连，主控单元的场同步信号端与微投单元的微投场同步信号端电连接，主控单元的输出信号端和图像采集单元的可控曝光引脚电连接，包括如下步骤：

(1)启动微投图像数据传输，即主控单元将需投影的图像数据传输到微投单元；

(2)微投图像数据传输时，主控单元检测输入信号端是否有输入高电平的场同步信号，若有则进入步骤(3)，若无则继续进行微投图像数据传输；

(3)主控单元根据曝光需求在输出信号端产生触发信号，并将触发信号传送到图像采集单元的可控曝光引脚；

(4)图像采集单元在投影的空窗期完成可控曝光，采集图像数据；

(5)图像采集单元将采集到的图像数据传输给主控单元，结束后返回步骤(2)。

作为优选，所述的步骤(3)中，当输入信号端持续为低电平时，主控单元处于循环检测输入信号状态；当输入信号端电平为高时，主控单元将进行触发延时，触发延时完成后主控单元将切换至输出信号的脉冲发生状态产生触发信号。

作为优选，所述的步骤(4)中，图像采集单元的可控曝光引脚接收到触发信号后，进行曝光延时，曝光延时完成后进行可控曝光。

作为优选，所述的步骤(5)中，主控单元与图像采集单元进行图像数据传输还包括检测步骤，具体为：若主控单元未检测到图像数据，主控单元将切换至延时检测状态中；当主控单元检测到图像数据，主控单元开始与图像采集单元进行图像数据传输；当图像采集单元出错，即延时超时图像采集单元还未出图像数据，对主控单元状态机进行复位。

所述图像采集单元在空窗期内的可控曝光需满足以下两个条件：

(a)T_VSYNC+T_VERBACKPORCH+T_VERTOPBORDER≥T_DELAY1+T_E2LED+T_EXPOSURETIME；

(b)T_VADDRTIME≥T_{VERTICALBLANK}+T_FRAMETIME。

其中，T_VSYNC为场同步信号的脉宽，T_VERBACKPORCH为场同步信号脉冲的后沿时间，T_VERTOPBORDER为投影单元的图像数据前端的传输时间，T_DELAY1为触发延时，T_E2LED为图像采集单元中图像传感器曝光控制信号产生到有效曝光的曝光延时，T_EXPOSURETIME为曝光时间，T_VSYNC+T_VERBACKPORCH+T_VERTOPBORDER即为投影的空窗期，T_VADDRTIME为投影单元的有效图像数据传输时间，T_{VERTICALBLANK}+T_FRAMETIME为图像采集单元的一帧有效图像数据传输时间。

本发明采用了投影单元和图像采集单元的同步采集图像信息的技术，能够实现有效的消除投影单元投影出的投影光对交互的图像处理算法中造成的影响，满足智能交互微投设备对于图像采集单元的基本需求。本发明采用的图像采集单元能灵活、同步的控制图像传感器的曝光，开发人员能根据应用场景的需要，调整同步曝光的时序，从而满足选择性图像采集的需求。较之现有智能交互设备的图像采集方法，增加了适用的应用场景。

作为优选，所述的图像采集单元为全局快门方式的CMOS传感器。图像采集单元优选全局快门方式的CMOS传感器，能有效的抑制图像采集单元采集运动图像时产生的“倾斜”、“摇摆不定”或者“部分曝光”等任意组合的现象，清晰、稳定的图像能够有效的提高后续图像分析、处理的精度。全局快门方式的CMOS传感器，优于现有智能交互微投设备中所采用的图像传感器，同时较之现有智能交互微投设备中图像采集单元，不需要近红外滤光片，总体成本也更低廉。

本发明的有益效果是：实现了在投影的空窗期进行曝光，从而避免了图像信息出现“倾斜”、“摇摆不定”或者“部分曝光”等情况，成本低，应用范围广，能采集到色彩图像，较之现有智能交互设备的灰度图像，采集到的图像内容更丰富、做图像数据处理更加灵活。

附图说明

图1是本发明所用采集系统的一种结构示意图；

图2是本发明所用采集系统的使用示意图；

图3是本发明所用采集方法的一种流程图；

图4是本发明所用采集方法的时序图。

图中，1-主控单元，2-微投单元，3-图像采集单元，4-外部时钟，5-交互平面，6-投影区域，7-图像采集区域。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

如图1所示，本发明所用可集成于智能交互微投设备的采集系统包括主控单元1、微投单元2和图像采集单元3，主控单元通过并行总线接口分别与微投单元和图像采集单元电连接，其中主控单元具有场同步信号端(LCD_VSYNC)、时钟信号端(LCD_CLK)、输入信号端(GPIO1)和输出信号端(GPIO2)，微投单元具有微投场同步信号端(VSYNC)和微投时钟信号端(PCLK)，图像采集单元具有可控曝光引脚(TRIG)和外部时钟端(MCLK)，主控单元的场同步信号端、输入信号端相连，主控单元的场同步信号端与微投单元的微投场同步信号端电连接，主控单元的时钟信号端与微投单元的微投时钟信号端电连接，主控单元的输出信号端和图像采集单元的可控曝光引脚电连接，图像采集单元的外部时钟端连接外部时钟4。

主控单元将投影图像传输到微投单元，主控单元的输入信号端能检测场同步信号是处于高电平还是低电平。主控单元的输出信号电连接图像采集单元的可控曝光引脚，此可控曝光引脚可以控制图像采集单元的曝光的起点。使用时如图2所示，微投单元的投影区域6和图像采集单元的图像采集区域7都位于智能交互微投设备正前方的交互平面5上。

用于智能交互微投设备的图像数据采集方法，如图3所示。

先通过初始化图像采集单元(对其进行初始参数设置、配置工作模式、等待图像采集单元处于正常工作状态)、初始化微投单元(对其进行初始化参数设置、配置工作模式、等待微投单元处于正常工作状态)，启动微投图像数据传输，即主控单元将需投影的图像数据传输到微投单元。

在微投单元进行图像数据传输时，即主控单元将微投单元需要显示的内容以并行数据传输模式传输数据，主控单元检测输入信号端是否有输入高电平的场同步信号：若无，即输入信号(GPIO1)持续为低电平时，主控单元处于循环检测输入信号状态，继续进行微投图像数据传输；若有则主控单元将进行预置的触发延时，若延时未完成，主控单元将持续处于延时等待的状态，若延时完成，主控单元将切换至输出信号的脉冲发生状态产生触发信号，并将触发信号从输出信号端传送到图像采集单元的可控曝光引脚。

图像采集单元的可控曝光引脚接收到触发信号后，脉冲长度不足时进行曝光延时，曝光延时完成后在投影的空窗期完成可控曝光。

此后，主控单元将切换至图像数据检测状态，若主控单元未检测到图像数据，主控单元将切换至延时检测状态中，当主控单元检测到图像数据，主控单元将与图像采集单元进行图像数据传输；当图像采集单元出错，即延时超时图像采集单元还未出图像数据，将对主控单元状态机进行复位初始化。

如图4所示为本发明采集方法的时序图，投影的空窗期即图中的场同步信号脉宽、后沿时间和图像数据前端的传输时间的总和，也就是说图像采集单元可控曝光需要在这个时间段内完成。因此，在功能上为了消除智能交互投影设备产生的投影光对交互的图像处理算法中造成的影响，需要满足一下两个条件：

(a)T_VSYNC+T_VERBACKPORCH+T_VERTOPBORDER≥T_DELAY1+T_E2LED+T_EXPOSURETIME；

(b)T_VADDRTIME≥T_{VERTICALBLANK}+T_FRAMETIME；

其中，T_VSYNC为场同步信号的脉宽，T_VERBACKPORCH为场同步信号脉冲的后沿时间，T_VERTOPBORDER为投影单元的图像数据前端的传输时间，T_DELAY1为触发延时，T_E2LED为图像采集单元中图像传感器曝光控制信号产生到有效曝光的曝光延时，T_EXPOSURETIME为曝光时间，T_VADDRTIME为投影单元的有效图像数据传输时间，T_VSYNC+T_VERBACKPORCH+T_VERTOPBORDER即为投影的空窗期，T_{VERTICALBLANK}+T_FRAMETIME为图像采集单元的一帧有效图像数据传输时间。

下面，投影单元像素为640x480，刷新率(AVF)为60Hz，图像采集单元中采用MT9V034为光学传感器，主控单元以CYUSB3014为主控制器为例，投影单元投射影像数据传输遵循VESA Timming Version 1.0，对本发明进行实例阐述，验证需满足的条件。相关的参数如下表：

场同步信号脉宽：

T_VSYNC＝VERSYNC*T_LINES＝4*33.3us＝133.3us

场同步信号脉冲的后沿时间：

T_VERBACKPORCH＝VERBACKPORCH*T_LINES＝13*33.3us＝432.9us

触发延时：

曝光延时：

T_E2LED＝259SYSCLK＝10.29us

根据条件一，计算得出应满足的条件：

T_EXPOSURETIME≤T_VSYNC+T_VERBACKPORCH+T_VERTOPBORDER-T_DELAY1-T_E2LED＝555.91-T_DELAY1

因此，预置的触发延迟时间和曝光时间满足上述条件即可。

T_VADDRTIME＝VERADDR*HORTOTAL*T_PIXELCLOCK＝480*800*41.67ns＝16ms

T_{VERTICALBLANK}＝(VERBLANKING-4)*T_ROW-156SYSCLK＝53*29.17us-156*39.74ns＝1539.7us

T_FRAMETIME＝ROWS*T_ROW＝480*29.17us＝14ms

根据条件二，计算满足相应的条件：

(T_VADDRTIME＝16ms)≥(T_{VERTICALBLANK}+T_FRAMETIME＝15.54ms)

满足以上条件的本发明在微投单元以一定的刷新率投射投影光到交互平面上时，主控单元可以根据微投单元的投射时的空窗期，产生图像采集单元所需的曝光控制时序，图像采集单元可控的进行曝光，最终实现图像采集单元可选择性的采集图像信息，以消除投影光对交互的图像采集单元造成的影响。其中本发明智能交互微投设备图像数据采集同步方法可以用于多种基于图像处理算法的智能交互微投设备中，其中包括基于手势识别算法的、基于激光笔的图像处理算法的、基于特征颜色手套的图像处理算法的交互方式中；此外，本发明的图像数据采集同步方法，经过调整同步曝光的相应参数可以实现可选择性的采集单通道的图像数据信息。本发明可广泛用于工业、个人消费类电子等领域的图像数据采集中。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明的保护范围之内。

Claims (6)

1.一种用于智能交互微投设备的图像数据采集方法，其特征在于：所用可集成于智能交互微投设备的采集系统包括主控单元、微投单元和图像采集单元，主控单元具有场同步信号端、输入信号端和输出信号端，微投单元具有微投场同步信号端，图像采集单元具有可控曝光引脚，主控单元的场同步信号端、输入信号端相连，主控单元的场同步信号端与微投单元的微投场同步信号端电连接，主控单元的输出信号端和图像采集单元的可控曝光引脚电连接，包括如下步骤：

(1)启动微投图像数据传输，即主控单元将需投影的图像数据传输到微投单元；

(2)微投图像数据传输时，主控单元检测输入信号端是否有输入高电平的场同步信号，若有则进入步骤(3)，若无则继续进行微投图像数据传输；

(3)主控单元根据曝光需求在输出信号端产生触发信号，并将触发信号传送到图像采集单元的可控曝光引脚；

(4)图像采集单元在投影的空窗期完成可控曝光，采集图像数据，所述投影的空窗期即图中的场同步信号脉宽、后沿时间和图像数据前端的传输时间的总和；

(5)图像采集单元将采集到的图像数据传输给主控单元，结束后返回步骤(2)。

2.根据权利要求1所述的用于智能交互微投设备的图像数据采集方法，其特征在于：所述的图像采集单元为全局快门方式的CMOS传感器。

3.根据权利要求1所述的用于智能交互微投设备的图像数据采集方法，其特征在于：所述的步骤(3)中，当输入信号端持续为低电平时，主控单元处于循环检测输入信号状态；当输入信号端电平为高时，主控单元将进行触发延时，触发延时完成后主控单元将切换至输出信号的脉冲发生状态产生触发信号。

4.根据权利要求3所述的用于智能交互微投设备的图像数据采集方法，其特征在于：所述的步骤(4)中，图像采集单元的可控曝光引脚接收到触发信号后，进行曝光延时，曝光延时完成后进行可控曝光。

5.根据权利要求1所述的用于智能交互微投设备的图像数据采集方法，其特征在于：所述的步骤(5)中，主控单元与图像采集单元进行图像数据传输还包括检测步骤，具体为：若主控单元未检测到图像数据，主控单元将切换至延时检测状态中；当主控单元检测到图像数据，主控单元开始与图像采集单元进行图像数据传输；当图像采集单元出错，即延时超时图像采集单元还未出图像数据，对主控单元状态机进行复位。

6.根据权利要求4所述的用于智能交互微投设备的图像数据采集方法，其特征在于：所述图像采集单元在空窗期内的可控曝光需满足以下两个条件：

(a)TVSYNC+TVERBACKPORCH+TVERTOPBORDER≥TDELAY1+TE2LED+TEXPOSURETIME；

(b)TVADDRTIME≥TVERTICALBLANK+TFRAMETIME；

其中，TVSYNC为场同步信号的脉宽，TVERBACKPORCH为场同步信号脉冲的后沿时间，TVERTOPBORDER为投影单元的图像数据前端的传输时间，TDELAY1为触发延时，TE2LED为图像采集单元中图像传感器曝光控制信号产生到有效曝光的曝光延时，TEXPOSURETIME为曝光时间，TVSYNC+TVERBACKPORCH+TVERTOPBORDER即为投影的空窗期，TVADDRTIME为投影单元的有效图像数据传输时间，TVERTICALBLANK+TFRAMETIME为图像采集单元的一帧有效图像数据传输时间。