CN100481913C - 实时图像异步采集接口装置 - Google Patents

Abstract

本发明涉及一种实时图像异步采集接口装置，用于对图像传感器输出的二进制图像数据流进行同步处理，供图像处理模块读取，该装置包括控制逻辑部分和数据缓存部分，其数据缓存部分为一寄存器堆，在逻辑上划分为两个寄存器组，图像传感器输出的二进制图像数据以组为单位交替写入所述两个逻辑寄存器组的寄存器，图像处理模块以组为单位且以大于所述图像传感器数据输出的速度对所述两个逻辑寄存器组的寄存器中的图像数据进行读取。本发明的实时图像异步采集接口装置硬件成本低廉，能够达到较高的采集速度，并能容忍畸变程度较大的参考时钟输入，有较宽的工作环境适应范围。

Description

实时图像异步采集接口装置

【技术领域】

本发明涉及一种实时图像异步采集接口装置，特别是一种适用于便携设备的实时图像异步采集接口装置。

【背景技术】

为了降低系统成本，缩小设备体积，对于便携式设备中的实时图像处理芯片而言，所处理的外部图像传感器信号一般以二进制数据流的方式直接进入芯片。

一种普遍的情况是图像传感器在输出二进制的图像数据流时，其输出所参考的时钟与图像处理芯片正常工作所参考的时钟，两者之间存在诸如频率、相位等差异。显然，图像处理芯片必须包含有异步图像采集接口，以正确读取输入二进制图像数据流中的信息。正确读取图像传感器所提供的数据是图像处理系统所必备的基本功能之一。

请参阅图1，为图像处理系统的一种典型构造。其中，PCLK为图像传感器11输出的二进制图像数据流所采用的参考时钟，CLK为图像处理模块的工作参考时钟。图像传感器11输出未经调制的二进制图像数据流到实时图像异步采集接口装置13，实时图像异步采集接口装置13对接收到的图像数据流进行同步处理，将其转换为经过调制的二进制图像数据流，传送至实时图像处理主模块。

目前，主要的图像传感器包括CCD(Charge Coupled Device，电荷耦合装置)和CMOS(Complementary Metal-Oxide-Semiconductor Transistor，互补型金属氧化物半导体)两类。图像传感器的工作原理均为通过光—电转换效应，将采集到光学信号转换成电信号后再通过模拟—数字转换电路加以输出。输出的数据流可以是原始Bayer数据格式(美国柯达公司提出的一种原始图像数据格式)，也可以是其他经过色域空间转换后的数据格式，如YCbCr 4:2:2格式(一种国际通用的视频图像传输数据格式)。除了像素数据输出外，图像传感器还会输出表征一帧图像开始/结束的帧同步时序信号(VSYNC)以及一帧中每行像素数据开始/结束的行同步时序信号(HREF)。

图2描述了一种时序信号和图像数据(DATA)间的时序关系。但各图像传感器生产厂家在定义时序信号时存在差异。图2中所示的帧同步信号在保持低电平，且行同步信号在保持高电平时，图像数据才会有效。某些厂家生产的图像传感器规定的帧同步信号可能是高电平有效，而行同步信号也可能会规定为低电平有效。另外，某些厂家可能规定用参考时钟(PCLK)的上升沿对图像数据进行采样，而另外厂商则规定用PCLK的下降沿进行采样。

在设计实时图像异步采集接口装置时，对输入信号的时序假定需要符合实际所采用的图像传感器的时序定义。在手持便携设备应用中，由于图像传感器在输出连续图像的数据流时，其输出中途不能被打断。为了保证整个图像处理流程不会发生溢出错误，图像处理芯片接收数据的参考时钟频率会高于图像传感器的输出数据参考时钟频率。目前的集成电路生产工艺可以很容易的满足图像处理芯片的速度要求。

现有用于便携设备的图像异步采集接口装置设计存在两种技术方案：

第一种方案是采用两级D触发器串连。请参阅图3，图像传感器输出的未经调制的二进制图像数据流通过两级串连的D触发器21后，转换为经过调制的二进制图像数据流进入图像处理芯片。该方案虽然设计简单，但正确工作的限制条件较多，适用范围偏窄。由于需要保证在图像处理芯片的工作时钟域看来，经过同步的图像数据总线中的每一位信号在图像处理芯片的工作时钟的工作触发沿(有些芯片设置的是时钟上升沿，有些芯片设置的是时钟下降沿)都必须有效，因此需要确保图像处理芯片的数据接收参考时钟频率必须至少是图像传感器的输出数据参考时钟频率的三倍。如果参考时钟信号存在较大畸变，则异步采样接口能够正确工作所要求的频率差会更大。显然，本方案存在较明显的速度限制。当图像处理芯片要求处理大分辨率的图像时，其硬件支持的需求较高。故本方案虽然成本较低，但不能满足实时图像采集的高速要求。

第二种方案是对图像信号总线中的每一位信号均采用一个异步FIFO(First-In First-Out，先入先出队列)作为缓存。请参阅图4，图像传感器输出的图像数据写入FIFO 21中，图像处理模块从FIFO 21中读取数据。读写控制逻辑必须保证FIFO 21不出现溢出。本方案存在两个主要缺点：FIFO 21的读写控制逻辑设计难度较高，且FIFO 21物理实现所采用的存储器结构具有硬件开销较大的缺陷。而由于消费类便携设备对降低成本具有较高的要求，故该方案虽然能够满足工作速度的要求，但是由于成本缺陷，而不适用于消费类便携式设备。

【发明内容】

本发明所要解决的技术问题在于提供一种实时图像异步采集接口装置，特别是一种适用于便携设备的实时图像异步采集接口装置。

为解决上述技术问题，本发明所采用的技术方案是：一种实时图像异步采集接口装置，用于对图像传感器输出的经模数转换的二进制图像数据流进行同步处理，供图像处理模块读取，该装置包括控制逻辑部分和数据缓存部分，其数据缓存部分为一寄存器堆，在逻辑上划分为两个寄存器组，图像传感器输出的二进制图像数据以组为单位交替写入所述两个逻辑寄存器组的寄存器，图像处理模块以组为单位且以大于或等于所述图像传感器数据输出的速度对所述两个逻辑寄存器组的寄存器中的图像数据进行读取。

本发明的实时图像异步采集接口装置不但硬件成本十分低廉，能够达到较高的采集速度，并能容忍畸变程度较大的参考时钟输入，能够有较宽的工作环境适应范围。

【附图说明】

图1是图像处理系统的一种典型构造框图。

图2是图像处理系统时序信号和图像数据间的时序关系图。

图3是现有图像异步采集接口装置采用两级D触发器串连方案结构框图。

图4是现有图像异步采集接口装置采用异步FIFO作为缓存方案结构框图。

图5是本发明图像异步采集接口装置的结构框图。

图6是本发明数据缓存部分逻辑划分的示意图。

图7是本发明对数据缓存部分的寄存器组进行读写操作的流程图。

【具体实施方式】

下面结合附图对本发明作进一步的描述。

本发明是一种适用于便携设备的实时图像异步采集接口装置，该装置的作用在于对图像传感器的输出信号作出调整，使其能够被图像处理芯片正确读取。该装置对图像数据流的调整也被称为“同步处理”。

本发明中设计的装置所针对的实际应用环境存在下述特殊之处：图像传感器的输出为二进制数字信号，模拟信号需要经过模数转换才能支持；图像传感器的数据输出速度不超过图像处理芯片处理数据速度。

请一并参阅图5至图7，本发明的实时图像异步采集接口装置采用纯硬件电路，分为控制逻辑部分、数据缓存部分以及两级串连的D触发器。其中逻辑控制部分主要完成图7所示的控制功能，同时管理数据缓存部分所包含的两个寄存器组的读写端口的切换。两级串连的D触发器用于传输帧同步时序信号以及行同步时序信号。

该数据缓存部分物理上可以是一个整体的寄存器堆，也可以是两个或多个小的寄存器堆。其包括偶数个寄存器，逻辑上划分为两个组寄存器组41与寄存器组42，其中归属于两个逻辑寄存器堆的寄存器容量相同。

图像传感器输出数据以组为单位交替顺序写入寄存器组41与寄存器组42所包含的寄存器。当寄存器组41的寄存器写满时，发出寄存器组41对应的满标志信号，同时后续图像传感器输出数据写入寄存器组42的寄存器。当寄存器组42的寄存器写满时，发出寄存器组42对应的满标志信号，同时后续图像传感器输出数据写入寄存器组41的寄存器。

当寄存器组41满标志信号有效后，图像处理模块开始读取寄存器组41所包含寄存器的值。读取完成后将寄存器组41满标志信号无效化。类似的，当寄存器组42满标志信号有效后，图像处理模块开始读取寄存器组42所包含寄存器的值。读取完成后将寄存器组42满标志信号无效化。所述两个寄存器组的满标志信号通过两级串连的D触发器从图像传感器工作参考时钟域传送到图像处理模块工作参考时钟域。

在上述流程中，图像传感器数据交替写入双寄存器组是不受控、连续的的；图像处理芯片交替读取双寄存器组是可控、非连续的。故其主流程为交替写入操作，交替读取操作位于从属地位。此外，顺序读取寄存器组A中所有数据的操作必须在下一次写满寄存器组B的操作结束前完成。同样，顺序读取寄存器组B中所有数据的操作必须在下一次写满寄存器组A的操作结束前完成。

由于图像处理模块的工作参考时钟频率要高于图像传感器的工作参考时钟的频率，虽然图像传感器输出数据在写入寄存器堆时不受寄存器组41(或42)满标志信号的控制，但只要合理设置每组的寄存器数量，仍然可以保证在图像传感器输出数据新写入某组寄存器堆时，这组寄存器堆中之前存储的数据已经被图像处理模块完全读取。

每组寄存器的数量由图像处理模块工作速度和图像传感器工作速度的差异确定。取每组寄存器由m个寄存器构成，图像处理模块取数据的工作时钟周期时间长度为T_clk，图像传感器输出数据的工作时钟周期时间长度为T_pclk。则寄存器堆中的寄存器数量m必须满足如下式所示的关系：

$\frac{m+2}{m}\≤\frac{T_{\mathrm{pclk}}}{T_{\mathrm{clk}}}$                      式(1)

根据式(1)可知，当图像处理模块比图像传感器工作速度快1倍时，整个异步接口仅需要2×m＝4个寄存器。当图像处理模块比图像传感器工作速度快2倍及以上时，整个异步接口仅需要2个寄存器。同时，由于本方案设计中引入了数据缓存的设计，即使图像传感器和图像处理模块的工作参考时钟有一定程度的畸变，数据依然能够准确的得到采集。

对于一帧图像开始/结束的帧同步时序信号(VSYNC)以及一帧中每行像素数据开始/结束的行同步时序信号(HREF)，由于这两个时序信号都是一位宽的信号，采用两级串连的D触发器进行传输即可满足要求。此外，也可以将这两个时序信号当作是像素数据额外的两位，对应的将寄存器堆中的寄存器位宽扩展两位用来存储这两个时序信号的信息。而在读取像素数据时，把存储时序信息的这额外的两位识别为VSYNC和HREF信号。如此也可实现VSYNC和HREF时序信号的异步实时采集。

以下为一个实际应用的例子：CMOS图像传感器以27兆赫兹的参考时钟频率输出连续图像信号。该图像信号为30fps(帧/秒)，分辨率为640×480的YCbCr 4:2:2格式的连续图像信号。图像传感器所连接的多媒体处理芯片集成了本发明的实时图像异步采集接口以及实时图像处理单元。芯片的工作参考时钟频率为60兆赫兹。图像传感器与多媒图处理芯片的工作频率之比略小于1:2。异步图像采集接口中的每个寄存器堆中包含两个寄存器，即总共只有4个寄存器。该集成的实时图像异步采集接口在60兆赫兹的工作频率下能够正确的采集以27兆赫兹频率工作的CMOS图像传感器的输出。

而对于手持便携式设备而言，分辨率为352×288，30fps的连续图像就可以被认为是实时性的。工作在15兆赫兹频率的仅使用4个寄存器的实时图像异步采集接口装置就可以支持这种实时图像输入的正确采集。因此，本发明的技术方案可以很好的满足图像采集的要求。

Claims (10)

1、一种实时图像异步采集接口装置，用于对图像传感器输出的经模数转换的二进制图像数据流进行同步处理，供图像处理模块读取，所述装置包括控制逻辑部分和数据缓存部分，其特征在于，所述数据缓存部分为一寄存器堆，在逻辑上划分为第一寄存器组与第二寄存器组，所述图像传感器输出的经模数转换的二进制图像数据以组为单位交替写入所述两个逻辑寄存器组的寄存器，所述图像处理模块以组为单位且以大于或等于所述图像传感器数据输出的速度对所述两个逻辑寄存器组的寄存器中的图像数据进行交替读取。

2、如权利要求1所述的实时图像异步采集接口装置，其特征在于，所述装置进一步包括两组两级串连的D触发器。

3、如权利要求1所述的实时图像异步采集接口装置，其特征在于，所述数据缓存部分物理上包括若干小寄存器堆，其中归属于所述两个逻辑寄存器组的寄存器容量相同。

4、如权利要求1所述的实时图像异步采集接口装置，其特征在于，所述两个逻辑寄存器组的数据写入流程为：

将图像传感器输出的图像数据写入所述第一寄存器组的寄存器；

当所述第一寄存器组写满时，发出其对应的满标志信号，同时将后续数据写入所述第二寄存器组的寄存器；

当所述第二寄存器组写满时，发出其对应的满标志信号，同时将后续数据写入所述第一寄存器组的寄存器。

5、如权利要求4所述的实时图像异步采集接口装置，其特征在于，所述两个逻辑寄存器组的数据读取流程为：

当所述第一寄存器组的满标志信号有效后，所述图像处理模块对所述第一寄存器组所包含寄存器的值进行读取，读取完成后，将其满标志信号无效化；

当所述第二寄存器组的满标志信号有效后，所述图像处理模块对所述第二寄存器组所包含寄存器的值进行读取，读取完成后，将其满标志信号无效化。

6、如权利要求4或5所述的实时图像异步采集接口装置，其特征在于，所述两个逻辑寄存器组的满标志信号通过两级串连的D触发器从图像传感器工作参考时钟域传送到图像处理模块工作参考时钟域。

7、如权利要求1所述的实时图像异步采集接口装置，其特征在于，若取所述逻辑寄存器组每组的寄存器数量为m，所述图像处理模块取数据的工作时钟周期时间长度为T_clk，所述图像传感器输出数据的工作时钟周期时间长度为T_pclk，则所述寄存器数量m由下式决定：

$\frac{m+2}{m}\≤\frac{T_{\mathrm{pclk}}}{T_{\mathrm{clk}}}.$

8、如权利要求2所述的实时图像异步采集接口装置，其特征在于，所述两级串连的D触发器用于传输帧同步时序信号以及行同步时序信号。

9、如权利要求1所述的实时图像异步采集接口装置，其特征在于，所述装置的帧同步时序信号以及行同步时序信号作为图像数据额外的两位，其存储于所述逻辑寄存器组中的寄存器扩展的两位中进行传输，在读取图像数据时，将存储所述帧同步时序信号以及行同步时序信号的两位分别识别为帧同步时序信号及行同步时序信号。

10、一种对实时图像数据流进行同步处理的方法，用于对图像传感器输出的经模数转换的实时二进制图像数据进行处理，供图像处理模块读取，其特征在于，所述方法包括以下步骤：

将实时图像异步采集接口装置的数据缓存部分在逻辑上划分为两个寄存器组；

将所述图像传感器输出的图像数据以组为单位交替写入所述两个逻辑寄存器组的寄存器；

使所述图像处理模块以组为单位且以大于或等于所述图像传感器写入所述两个逻辑寄存器组的寄存器的速度对所述两个逻辑寄存器组的寄存器中的图像数据进行交替读取。

Images