CN1297899C - 数字图像匹配芯片 - Google Patents
数字图像匹配芯片 Download PDFInfo
- Publication number
- CN1297899C CN1297899C CN 03134554 CN03134554A CN1297899C CN 1297899 C CN1297899 C CN 1297899C CN 03134554 CN03134554 CN 03134554 CN 03134554 A CN03134554 A CN 03134554A CN 1297899 C CN1297899 C CN 1297899C
- Authority
- CN
- China
- Prior art keywords
- module
- address
- data
- circuit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000002093 peripheral effect Effects 0.000 claims abstract 15
- 230000015654 memory Effects 0.000 claims description 57
- 238000009825 accumulation Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 8
- 101000885321 Homo sapiens Serine/threonine-protein kinase DCLK1 Proteins 0.000 claims description 5
- 102100039758 Serine/threonine-protein kinase DCLK1 Human genes 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 101100113692 Caenorhabditis elegans clk-2 gene Proteins 0.000 claims description 4
- 101100003180 Colletotrichum lindemuthianum ATG1 gene Proteins 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 4
- 230000002596 correlated effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 claims 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 101001072765 Homo sapiens Neutral alpha-glucosidase AB Proteins 0.000 description 1
- 102100036592 Neutral alpha-glucosidase AB Human genes 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种数字图像匹配电路结构。包括地址产生电路，主、从相关处理电路，比较定位及控制逻辑产生电路，先入先出存贮器，外部控制接口电路；该外部控制接口电路将外部输入的地址和对应的数据分别输出给地址产生电路、主从相关处理电路、比较定位及控制逻辑产生电路，地址产生电路产生四路搜索区像素地址和中断信号，从相关电路对该控制接口电路输入的数据与搜索区像素数据进行运算输给主相关处理电路，并与从相关处理电路和先入先出存贮器输入的数据及搜索区像素数据进行运算后得到最佳匹配位置。本发明结构简单，匹配及搜索运算速度快，用于模式识别，目标检测，序列图像编码，导航，医学图像处理及其它需要对图像进行精确定位的系统。
Description
技术领域
本发明涉及基本电子元件技术领域，具体的说是一种用于数字图像匹配的芯片结构。
背景技术
所谓图像匹配就是一种用来确定一幅较小图像(通常称为模板图像)在另一幅较大图像(通常称为搜索区图像)中的位置。它被广泛用于模式识别，目标检测，火力控制，序列图像编码，导航，医学图像处理及其它需要对图像进行精确定位的系统中。
现有的图像匹配一般采用数字信号处理器DSP和采用数字信号处理器和现场可编程门阵列DSP+FPGA结构实现，这种匹配运算的最大不足是速度慢，成本高，而且不利于扩展。国外Ting-Pang Lin and Chaur-Heh Hsieh曾提出了一种灵活，快速的图像匹配硬件结构(A Modular and Flexible Achitecture for Real-time Image Template Matching，IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS-I：FUNDMENTAL THEORY ANDAPPLICATIONS VOL.41，NO.6，JUNE 1994：457-461)。但这种结构对于实用中所要求的32×32的模板在80×80的搜索区图像内匹配时，则需要32个运算处理单元PU，而且32个硬件单元在运算前期是逐步使用的，这样就使得在运算前期许多运算处理单元PU是在执行空操作，造成资源浪费。另外运算处理单元PU数量的增多，必然导致运算控制单元PU的资源也必然增加，而且控制的复杂度也增加。因此这种硬件结构存在结构复杂，占用资源多的缺点，且只能靠增加硬件的规模去扩大匹配模板和搜索区的范围。
2002年国内张遂南和黄士坦等人在《一种面向图像匹配算法的高性能专用集成电路设计》，北京师范大学学报(自然科学版)，2002年2月，38卷第一期48-52文章中，又提出了一种面向图像匹配的专用集成电路设计，但该设计只完成了图像匹配部分算法的硬件实现，而其它运算还是依靠数字信号处理器(DSP)实现，并没完成整个图像匹配运算器的硬件设计，图像匹配器的性能也没有得到实质性的提高。
发明的内容
本发明的目的在于克服上述已有技术的不足，提供一种结构简单的数字图像匹配硬件结构，即数字图像匹配芯片，以在提高运算速度的同时提高硬件的使用效率。
实现本发明目的的技术方案，是用芯片开发工具QUARUS II在现场可编程门阵列(FPGA)系列芯片上设计图像匹配电路，构成数字图像匹配芯片。该图像匹配电路包括：
一个由一个译码器、两个锁存器和一个总线型三态门构成的外部控制接口电路，该译码器的输出连接到锁存器的锁存时钟端，该总线型三态门的输出连接到锁存器的输入端；
一个由五个计数器C、D、E、F、G为外部的搜索区图像存储器提供顺序输入输出地址，并向外部控制器产生中断指示信号的地址产生电路，这些计数器均与外部控制器数据线连接；
一个由触发器、输入搜索区图像移位寄存器、子模板数据缓冲寄存器子模板数据运算寄存器、运算单元、并行累加单元组成的从相关处理电路，该子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板数据运算寄存器连接；
一个由触发器、输入搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元、与从相关结果累加单元及与先入先出存贮电路FIFO内运算结果累加单元组成的主相关处理电路，该子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板运算数据寄存器连接；
一个由输入锁存模块、比较判断模块、锁存更新模块、地址锁存模块、地址计数模块、时钟转换模块及总时钟产生模块、译码模块组成的比较定位及控制逻辑产生电路；该输入锁存模块分别与比较判断模块、锁存更新单元和时钟转换模块连接，该比较判断模块的输出与锁存更新模块和地址计数模块双向连接，地址锁存模块与锁存更新模块双向连接，时钟转换模块分别与地址计数模块和比较判断模块连接；总时钟产生模块与主、从相关处理模块，先入先出存贮电路(FIFO)相连接；译码模块与外部控制器相连接；
所述外部控制接口电路将外部控制器输入的地址和对应的数据分别输出给地址产生电路、从相关处理电路、主相关处理电路、比较定位及控制逻辑产生电路和先入先出存贮器(FIFO)；地址产生电路对该外部控制接口电路输入的数据通过计数产生四路搜索区像素地址和中断信号连接至片外；从相关电路将该外部控制接口电路输入的数据与外部输入的搜索区像素数据经过运算后输出给主相关处理电路；主相关处理电路将该外部控制接口电路输入的数据与从相关处理电路和先入先出存贮器(FIFO)输入的数据及搜索区像素数据进行运算，并将其运算结果分别输出给先入先出存贮器(FIFO)和比较定位及控制逻辑产生电路，通过该比较定位及控制逻辑产生电路对主相关处理电路输入的数据进行处理，得到最佳匹配位置再输出给外部控制接口电路。
上述图像匹配器，其中外部控制器接口电路主要由一个译码器、一个总线型三态门及两个锁存器组成，译码器输出的两个选通信号clk1和clk2分别输入两个锁存器的锁存时钟端，总线型三态门的输出与锁存器的输入端相连接，均接至外部控制器数据线。
该外部控制器接口电路输出的多种控制信号包括：
比较开关信号(clean)、匹配结果读出允许信号(oe)、地址译码允许信号(cecoun)、图像分辨率控制信号(selclk)、总时钟开关(conlk)、搜索图像存储器读写控制信号(sel_r)，均连接到比较定位与控制逻辑产生电路的输入端；
外部控制器接口电路输出的模板置换信号(le)和模板写入有效信号(mce)分别输出到主从相关电路；
外部控制器接口电路输出的清零信号(fifors)和读有效信号(ren)连接至先入先出存贮电路(FIFO)。
上述图像匹配器，其中比较定位电路主要由输入锁存模块、比较判断模块、锁存更新模块、地址锁存模块、地址计数模块、时钟转换模块组成，其中：
输入锁存模块是对用18位二进制数所表示的匹配度量值进行锁存，以确保比较操作期间数据稳定，该模块的输出分别与比较判断模块、锁存更新单元及时钟转换模块相连接；
比较判断模块用于对输入锁存模块输入的前一个被锁存下来的数据进行比较，再将其锁存允许信号输入到锁存更新单元，对锁存数据进行更新；
地址计数模块的输入、输出端分别与时钟转换模块和地址锁存模块相连接，该模块用于记录参与比较判断的匹配度量值的数目，以确定匹配度量值所对应的搜索区的坐标；
地址锁存单元与锁存更新单元双向连接，用于对地址计数模块输入的地址计数值进行锁存，记录下新的更小的匹配度量值所对应的地址进行输出；
时钟转换模块是将连续的输入时钟(CLK)转换为比较判断和地址计数时钟(DCLK)，该模块输出的地址计数时钟(DCLK)同时输入到地址计数模块和比较判断模块。
上述图像匹配器，其中控制逻辑产生电路包括总时钟产生模块和译码模块组成，总时钟产生模块根据输入的像素时钟和外部时钟控制字产生主从相关处理模块运算时钟，先入先出存贮器(FIFO)读写时钟，外部搜索区图像存储器读写信号和输出允许控制信号；译码模块是将外部控制器发过来的地址译码，产生相应的地址产生器置初值允许信号。
上述图像匹配器，其中的主相关电路主要由触发器、搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元、从相关结果累加单元及与先入先出存贮器(FIFO)内运算结果累加单元组成；触发器将图像数据进行同步读入后进入搜索区图像移位寄存器形成数据窗，搜索区图像移位寄存器和子模板数据运算寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值绝对值输出，该输出值经并行累加单元得到搜索图与子模板图的灰度差累加后与从相关电路过来的运算结果并行累加，该并行累加结果再与从先入先出存贮器(FIFO)读出的前几次跌代的结果并行累加得到本次跌代结果输出。
上述图像匹配器，其中的从相关电路主要由触发器、搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元组成，触发器将图像数据进行同步读入后进入搜索区移位图像寄存器形成数据窗，搜索区图像移位寄存器和子模板数据运算寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值绝对值输出，该输出值经两路运算结果并行累加得到搜索图与子模板图的灰度差。
上述图像匹配器，其中的地址产生电路由五个计数器组成，四个计数器用于为外部的搜索区图像存储器提供顺序输入输出地址，另一个计数器用于统计相关运算的进程，在一个子模板匹配结束时发出一高电平中断指示信号，五个计数器共用地址产生器时钟信号(addresclk)和外部控制器数据线。
上述图像匹配器，其中先入先出存储器(FIFO)直接采用芯片开发工具QUARUS II提供的参数化兆功能模块库(LPMs)内的模块来实现。
本发明由于以可编程逻辑(FPGA)为开发平台，采用高效的流水线结构和大规模的并行处理技术，其功能单元的利用率为100％，单处理模块在20M时钟的条件下，2ms内可以完成32×32象素大小的模板图像在80×80象素范围内的匹配及搜索运算，模板及搜索范围可变，并实时给出不低于象素级精度的匹配定位结果。该硬件结构实现了国际通用的绝对差和度量(SAD)数字全匹配全搜索，可应用于红外/视频目标跟踪器，在20ms内实时完成目标匹配与跟踪运算。如果采用特定用途集成电路(ASIC)技术，性能指标还会有较大提高，系统结构将更为紧凑，并可满足运动图像编码，改进运动估计补偿及其他方面的需要，更有利于军事及工业领域的大规模应用。
附图说明：
图1是本发明的整体电路结构框图
图2是本发明的主相关处理电路结构框图
图3是本发明的从相关处理电路结构框图
图4是本发明的比较定位电路结构框图
图5是本发明的控制逻辑产生电路结构框图
图6是本发明地址产生电路图结构框图
图7是本发明外部控制接口电路结构框图
图8是本发明的外部连接框图
具体实施方式：
以下参照附图详细说明本发明的结构。
参照图1，本发明的硬件结构是在ALTERA公司的大规模可编程逻辑器件EP20K300EBC652-3上设计电路，通过特定的模块搭配与连接而构成。该电路包括地址产生电路，主相关处理电路，从相关处理电路，比较定位及控制逻辑产生电路，先入先出存贮器(FIFO)和外部控制器接口电路。其中：
地址产生电路为搜索区像素提供外部存储地址和读入地址，并向外部控制器产生中断指示信号。主相关处理电路和从相关电路有三项功能，一是并行完成对每块小模板的流水线处理；二是对每块小模板数据进行两级缓存，实现各子模板的并行操作；三是对输入的搜索区图像数据进行移位寄存，以模拟模板图像在搜索区内的移动。先入先出存贮器(FIFO)用来存储匹配运算的中间结果，并将该结果在计算下一块子模板的时候读出来进行累加；比较定位及控制逻辑模块完成三项功能，一是对匹配结果进行比较判断以确定最佳匹配点位置；二是产生有严格时序关系的时钟信号来同步外部搜索区图像存储体的读写、流水线和先入先出存贮器(FIFO)的读写；三是对图像的分辨率和图像模板的大小进行控制。外部控制器接口电路主要是根据外部输入的控制器地址和数据产生相应的控制信号，该控制信号包括比较开关信号，匹配结果读出允许信号，地址译码允许信号，图像分辨率控制信号，总时钟开关，搜索图像存储器读写控制信号，外部控制器接口电路输出的模板置换信号，模板写入有效信号，外部控制器接口电路输出的清零信号和读有效信号。
各模块电路的连接关系及工作过程如下：
主相关处理电路和从相关处理电路与四路搜索区像素数字信号相连接，即两路搜索区像素数字输入到主相关处理电路，另两路搜索区像素数字输入到从处理模块电路。
外部控制器地址线和外部控制器数据线与外部控制器接口电路的输入端相连接，同时，外部控制器地址线还与主、从相关处理电路、比较定位及控制逻辑产生电路相连接，外部控制器数据线还与主、从相关处理电路、地址产生电路相连接。外部控制器接口电路输出的各种控制信号即外部控制器输入的地址和对应数据，分别连接到主从相关处理电路，地址产生电路，比较定位及控制逻辑产生电路，先入先出存储器(FIFO)。从相关处理电路输出的运算结果输入至主相关处理电路，主相关处理电路输出的运算中间结果输入至先入先出存储器(FIFO)，先入先出存储器(FIFO)的输出与主相关处理电路的输入相连接。主相关处理电路输出的运算结果还与比较定位及控制逻辑产生电路相连接。比较定位及控制逻辑产生电路的输出与外部控制接口电路相连接。
参照图2，本发明的主相关电路主要由触发器，输入搜索区图像移位寄存器，子模板数据缓冲寄存器，子模板数据运算寄存器，运算单元，并行累加单元，与从相关结果累加单元及与先入先出存贮电路FIFO内运算结果累加单元组成。从搜索区图像存储器出来的图像数据经触发器同步读入后进入移位寄存器形成2×32的数据窗。同时子模板数据通过外部控制器地址线和数据线写入子模板数据缓冲寄存器，并在一次迭代运算开始前将子模板数据缓冲寄存器内的模板数据置入子模板运算寄存器。搜索区像素移位寄存器和子模板运算寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值的绝对值。该值经并行累加单元得到该2×32搜索图与子模板图的灰度差，该差累加后再与从相关模块来的运算结果累加后，从先入先出存贮电路FIFO读出的前几次迭代结果得到本次迭代结果。
参照图3，本发明的从相关处理电路的结构比主相关处理电路少最后两级累加器，即由触发器，输入搜索区图像移位寄存器，子模板数据缓冲寄存器，子模板数据运算寄存器，运算单元，并行累加单元组成，各单元连接关系同主相关处理电路相同，从相关处理电路输出的运算结果输入至主相关处理电路。
参照图2，本发明的主相关电路主要由触发器，输入搜索区图像移位寄存器，子模板数据缓冲寄存器，子模板数据运算寄存器，运算单元，并行累加单元，与从相关结果累加单元及与先入先出存贮电路FIFO内运算结果累加单元组成。从搜索区图像存储器出来的图像数据经触发器同步读入后进入移位寄存器形成2×32的数据窗。同时子模板数据通过外部控制器地址线和数据线写入子模板数据缓冲寄存器，并在一次迭代运算开始前将子模板数据缓冲寄存器内的模板数据置入子模板运算寄存器。搜索区像素移位寄存器和子模板运算寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值的绝对值。该值经并行累加单元得到该2×32搜索图与子模板图的灰度差，该差累加后再与从相关模块过来的运算结果累加后，从先入先出存贮电路FIFO读出的前几次迭代的结果得到本次迭代结果。
参照图3，本发明的从相关处理电路的结构比主相关处理电路少最后两级累加器，即由触发器，输入搜索区图像移位寄存器，子模板数据缓冲寄存器，子模板数据运算寄存器，运算单元，并行累加单元组成，各单元连接关系同主相关处理电路相同，从相关处理电路输出的运算结果输入至主相关处理电路。
参照图4，本发明的比较定位电路主要由输入锁存模块、比较判断模块、锁存更新模块、地址锁存模块、地址计数模块、时钟转换模块组成，其中：
输入锁存模块是对用18位二进制数所表示的匹配度量值进行锁存，以确保比较操作期间数据稳定，该模块的输出分别与比较判断模块、锁存更新单元及时钟转换模块相连接；
比较判断模块的输出与锁存更新模块和地址计数模块双向连接，该模块对输入数据和前一个被锁存下来的匹配度量值数据进行比较，如果输入数据比被锁存下来的数据小，它将给出一个锁存允许信号，锁存更新单元收到该信号后，对锁存数据进行更新，将新的数据锁存下来供下一次比较判断使用；如果输入数据比被锁存下来的数据大，锁存更新单元继续保持原锁存数据，此数据继续参与下一次比较；
地址计数模块的输入、输出端分别与时钟转换模块和地址锁存模块相连接，该模块负责记录参与比较判断的匹配度量值的数目，通过该数值可以确定匹配度量值所对应的搜索区的坐标；
地址锁存单元收到锁存允许信号后，对此时的地址计数值进行锁存，记录下新的更小的匹配度量值所对应的地址，当所有匹配度量值都经过比较判断后，地址锁存器内所保留下来的就是最小匹配度量值在整个匹配度量值序列中的位置。
时钟转换模块是将连续的输入时钟(CLK)转换为比较判断和地址计数时钟(DCLK)。当比较开关信号(clean)为高时，比较模块开始工作；当匹配结果读出允许信号(oe)为高时，读出最佳匹配点的地址。
参照图5，控制逻辑产生部分由总时钟产生模块和译码模块组成。总时钟产生模块根据输入的像素时钟和外部时钟控制字产生主从相关处理模块运算时钟，先入先出存贮器FIFO读写时钟，外部搜索区图像存储器读写信号和输出允许控制信号；译码模块是将外部控制器发过来的地址译码，产生相应的地址产生模块置入初始值置允许信号。当地址译码允许信号(Cecoun)低时，对外部控制器输入的地址译码，产生地址产生器置入初始值允许信号(decode0，decode1，decode2，decode3，decode4)接至地址产生模块。
总时钟产生模块由时钟选择模块、时钟产生模块、搜索区图像存储器控制信号产生模块组成。
时钟选择模块主要是针对搜索区图像存储时使用像素时钟(clk100)，而运算时使用20M外部时钟(clk50)而设计。通过数据选择器实现对两种时钟的选择，当搜索图像存储器读写控制信号(sel_r)为高时选择外部20M时钟，为低时选择像素时钟。由于在运算时还需要使用该两时钟的2分频时钟，所以在像素时钟和外部时钟部分又分别使用了一个数据选择器和一个2分频器。当图像分辨率控制信号(selclk)为高时，选择像素时钟，产生的地址计数时钟与像素同步，实现对像素的逐点存储；为低时，选择像素时钟的2分频时钟信号作为地址计数时钟，实现对像素的隔点存取。波门信号field与像素时钟部分的逻辑组合可实现对输入搜索区图像范围的控制，当波门信号field为高时，打开像素时钟输入，为低时，关闭像素时钟输入。外部时钟输入部分之所以设置2分频器主要是因为在进行匹配运算时，前七次迭代使用20M时钟，而最后一次由于要进行比较运算使用10M时钟。当比较开关信号Clean为低时，20M时钟直接输出；当Clean为高时，20M时钟经2分频后以10M时钟输出。
搜索区图像存储器控制信号产生模块主要是实现搜索图像存储器读写控制信号(sel_r)、像素时钟(clk100)、地址产生器的时钟信号(addresclk)、波门信号(field)、总时钟开关(conclk)、fifo写时钟(fifowclk)、fifo读时钟(fiforclk)对对搜索区图像的输出允许信号(dpsramoe)和外部搜索区图像存储器读写信号(dpsramrw)的联合控制。当外部搜索区图像存储器写入数据时搜索区图像的输出允许信号(dpsramoe)呈高电平，外部搜索区图像存储器读写信号(dpsramrw)高低电平更替，在其低电平时将像素数据写入存储器。当读出数据时，搜索区图像的输出允许信号(dpsramoe)呈低电平，外部搜索区图像存储器读写信号(dpsramrw)呈高电平，依靠变化的地址将像素数据读出。
时钟产生模块主要是实现在总时钟开关信号(conclk)为高电平时打开fifo读时钟(fiforclk)、fifo写时钟(fifowclk)、地址产生器的时钟(addresclk)、匹配运算时钟(Corclk)。当子模板匹配运算结束中断指示信号(int)为高时关闭以上各时钟功能。该模块还实现地址产生器时钟(addresclk)、匹配运算时钟Corclk滞后fifo读时钟(fiforclk)一个时钟周期，超前fifo写时钟(fifowclk)一个时钟周期，以实现迭代运算时对应数据之间严格的对应关系。匹配运算时钟(Corclk)连接到主从相关器。地址产生器的时钟信号(addresclk)接至地址产生模块。
参照图6，本发明的地址产生电路模块由五个计数器C、D、E、F、G组成，计数器C、D、E、F为外部的搜索区图像存储器提供顺序输入输出地址。计数器G统计相关运算的进程，在一个子模板匹配结束时发出一高电平中断指示信号。五个计数器共用地址产生器时钟信号(addresclk)和外部控制器数据线。该地址模块的工作过程为：
在运算开始前对应不同的外部控制器地址和数据产生相应的计数器置值允许信号，将数据线上的地址初值写入计数器；在运算开始后地址产生器的时钟信号(addresclk)来到，计数器C、D、E、F遂产生对应于不同地址初值的顺序地址，使在写入时搜索区图像能在相同的地址并行进入搜索区图像存储器，而在读出时能够对应不同的地址初值的四行搜索区像素数据并行进入数字图像匹配器。计数器G的工作原理同上述四计数器，计数器的最高位数据输出作为输出。
地址产生电路器输出四个搜索区像素的地址和中断信号连接至片外。
参照图7，本发明的外部控制器模块接口电路由一个译码器和数据锁存器组成。该接口电路用于完成两种功能，一是提供双向的输入输出数据接口，以节省资源；二是根据对应的地址锁入相应的控制字。
双向数据输入输出数据接口的实现是由一组总线型的三态门实现的，输入的数据直接接至各模块，而输出的最佳匹配点的地址经三态门输出，三门门的控制有外部控制器输入的读写信号实现。
控制字产生部分由译码器和两个锁存器组成。
外部控制器数据选通信号(iocs)连接到译码器的使能端(G2AN)；外部控制器地址线ca[10]连接到译码器的另一使能端；
外部控制器地址线ca[7]、ca[8]、ca[9]分别连至译码器的三个输入端；
外部控制器地址线ca[7]、ca[8]、ca[9]、ca[10]的不同逻辑组合可产生相应的匹配结果读出允许信号(oe)、conce地址译码允许信号(cecoun)、模板写入有效信号(mce)及两锁存器锁存时钟信号clk1和clk2；
两锁存器锁存时钟信号clk1和clk2分别连至锁存器的锁存时钟信号clk端，在不同锁存信号clk的上升沿，锁入不同的控制字，产生相应的信号；
外部控制器接口电路输出的比较开关信号(clean)、匹配结果读出允许信号(oe)、地址译码允许信号(cecoun)、图像分辨率控制信号(selclk)、总时钟开关(conlk)、搜索图像存储器读写控制信号(sel_r)，均连接到比较定位与控制逻辑产生电路的输入端。
先入先出存储器(FIFO)读有效信号(ren)、清零信号(fifors)连接至先入先出存储器(FIFO)；
模板置换信号(le)、模板写入有效信号(mce)连接至主从相关电路器；同时搜索图像存储器读写控制信号(sel_r)也输出至片外。
参照图8，使用本发明时需辅以外存储器和控制器。两片双端口静态存储器为搜索区图像存储器，各片内都存有整个搜索区的图像数据。74245主要是在匹配运算进行时，用以隔离外部视频数据与搜索区存储器内像素数据的读出。控制器主要完成双端口存储器的写操作控制(主要内容包括确定搜索区图像的分辨率、搜索区图像的范围大小、搜索区图像在存储器内的存放起始位置)、匹配器各单元硬件的初始化(主要包括对地址计数器和中断计数器清零、各子模板寄存器清零、各级流水线清零、匹配位置寄存器清零、先进先出存储器复位)；控制器的内容还包括设置各地址计数器和中断计数器的初始值，确定先进先出存储器的工作状态，确定匹配单元是否打开，确定运算时钟的频率。将要参加运算的子模板从缓冲寄存器倒入运算寄存器，确定对子模板进行运算的时间。在中断来到后，关闭匹配运算单元的所有时钟，以确保各器件所采用的时钟之间的严格同步，正确设置中断计数器的初值。
匹配器外部管脚中设有四组8位搜索区图像输入接口、四组搜索区像素对应的地址接口、搜索区图像存储器的读写信号接口、搜索区图像的输出允许信号接口、搜索区图像存储器的读写控制输出接口、相关运算完毕中断指示信号、外部时钟输入接口、像素时钟输入接口、外部控制器数据读写信号输入接口、外部控制地址接口、外部控制器数据接口选通信号及搜索区图像范围波门指示信号。
Claims (9)
1.一种数字图像匹配器，包括：
一个用于存储匹配运算的中间结果，并将该结果在计算下一块子模板的时候读出来进行累加的先入先出存贮器(FIFO)；
一个由一个译码器、两个锁存器和一个总线型三态门构成的外部控制接口电路，该译码器的输出连接到锁存器的锁存时钟端，该总线型三态门的输出连接到锁存器的输入端；
一个由五个计数器(C、D、E、F、G)为外部的搜索区图像存储器提供顺序输入输出地址，并向外部控制器产生中断指示信号的地址产生电路，这些计数器均与外部控制器数据线连接；
一个由触发器、输入搜索区图像移位寄存器、子模板数据缓冲寄存器子模板数据运算寄存器、运算单元、并行累加单元组成的从相关处理电路，该子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板数据运算寄存器连接；
一个由触发器、输入搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元、与从相关结果累加单元及与先入先出存贮电路(FIFO)内运算结果累加单元组成的主相关处理电路，该子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板运算数据寄存器连接；
一个由输入锁存模块、比较判断模块、锁存更新模块、地址锁存模块、地址计数模块、时钟转换模块及总时钟产生模块、译码模块组成的比较定位及控制逻辑产生电路；该输入锁存模块分别与比较判断模块、锁存更新单元和时钟转换模块连接，该比较判断模块的输出与锁存更新模块和地址计数模块双向连接，地址锁存模块与锁存更新模块双向连接，时钟转换模块分别与地址计数模块和比较判断模块连接；总时钟产生模块与主、从相关处理模块，先入先出存贮电路(FIFO)项连接；译码模块与外部控制器相连接；
所述外部控制接口电路将外部控制器输入的地址和对应的数据分别输出给地址产生电路、从相关处理电路、主相关处理电路、比较定位及控制逻辑产生电路和先入先出存贮器(FIFO)；该地址产生电路对该外部控制接口电路输入的数据通过计数产生四路搜索区像素地址和中断信号连接至片外；从相关电路将该外部控制接口电路输入的数据与外部输入的搜索区像素数据经过运算后输出给主相关处理电路；该主相关处理电路将该外部控制接口电路输入的数据与从相关处理电路和先入先出存贮器(FIFO)输入的数据及搜索区像素数据进行运算，并将其运算结果分别输出给先入先出存贮器(FIFO)和比较定位及控制逻辑产生电路，通过该比较定位及控制逻辑产生电路对主相关处理电路输入的数据进行处理，得到最佳匹配位置再输出给外部控制接口电路。
2.根据权利要求1所述的图像匹配器，其特征在于外部控制接口电路主要由一个译码器、一个总线型三态门及两个锁存器组成，译码器输出的第一选通信号(clk1)和第二选通信号(clk2)分别输入到两个锁存器的锁存时钟端，总线型三态门的输出与锁存器的输入端相连接，均接至外部控制器数据线。
3.根据权利要求1或2所述的图像匹配器，其特征在于外部控制接口电路输出的多种控制信号包括：
比较开关信号(clean)、匹配结果读出允许信号(oe)、地址译码允许信号(cecoun)、图像分辨率控制信号(selclk)、总时钟开关(conlk)、搜索图像存储器读写控制信号(sel_r)，均连接到比较定位与控制逻辑产生电路的输入端；
外部控制器接口电路输出的模板置换信号(le)和模板写入有效信号(mce)分别输出到主、从相关处理电路；
外部控制器接口电路输出的清零信号(fifors)和读有效信号(ren)连接至先入先出存贮电路(FIFO)。
4.根据权利要求1所述的图像匹配器，其特征在于比较定位电路主要由输入锁存模块、比较判断模块、锁存更新单元、时钟转换模块、地址计数模块和地址锁存单元组成，其中：
输入锁存模块采用18位二进制数所表示的匹配度量值进行锁存，该模块的输出同时输入到比较判断模块、锁存更新单元和时钟转换模块；
比较判断模块的输出与锁存更新模块和地址计数模块双向连接，该模块对输入数据和前一个被锁存下来的匹配度量值数据进行比较，根据比较结果锁存最佳匹配度量值及最佳匹配位置；
地址计数模块用于记录参与比较判断的匹配度量值的数目，并将数目输入到地址锁存单元；
地址锁存单元与锁存更新单元双向连接，用于对地址计数模块输入的地址计数值进行锁存，记录下新的更小的匹配度量值所对应的地址进行输出；
时钟转换模块用于把连续的输入时钟(CLK)转换为比较判断和地址计数时钟(DCLK)，该模块输出的地址计数时钟(DCLK)同时输入到地址计数模块和比较判断模块。
5.根据权利要求1所述的图像匹配器，其特征在于控制逻辑产生电路由总时钟产生模块和译码模块组成，总时钟产生模块根据输入的像素时钟和外部时钟控制数字产生主、从相关处理模块运算时钟，先入先出存贮电路(FIFO)读写时钟，外部搜索区图像存储器读写信号和输出允许控制信号；译码模块是将外部控制器发过来的地址译码，产生相应的产生地址产生模块置初始值允许信号。
6.根据权利要求1所述的图像匹配器，其特征在于主相关电路主要由触发器、搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元、从相关结果累加单元及与先入先出存贮器(FIFO)内运算结果累加单元组成，子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板运算数据寄存器连接；触发器将图像数据进行同步读入后进入搜索区图像移位寄存器形成数据窗，搜索区图像移位寄存器和子模板运算数据寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值绝对值输出，该输出值经并行累加单元得到搜索图与子模板图的灰度差累加后与从相关电路过来的运算结果并行累加，该并行累加结果再与从先入先出存贮器(FIFO)读出的前几次迭代的结果并行累加得到本次迭代结果输出。
7.根据权利要求1所述的图像匹配器，其特征在于从相关电路主要由触发器、搜索区图像移位寄存器、子模板数据缓冲寄存器、子模板数据运算寄存器、运算单元、并行累加单元组成，子模板数据缓冲寄存器的输入与外部控制器地址线和数据线连接，其输出与子模板数据运算寄存器连接，触发器将图像数据进行同步读入后进入搜索区图像移位寄存器形成数据窗，搜索区图像移位寄存器和子模板数据运算寄存器的输出数据共同进入运算单元得到搜索区图像和模板图像的差值绝对值输出，该输出值经两路运算结果并行累加得到搜索图与子模板图的灰度差。
8.根据权利要求1所述的图像匹配器，其特征在于地址产生电路由第一计数器(C)、第二计数器(D)、第三计数器(E)、第四计数器(F)、第五计数器(G)组成，第一计数器、第二计数器、第三计数器、第四计数器为外部的搜索区图像存储器提供顺序输入输出地址，第五计数器统计相关运算的进程，在一个子模板匹配结束时发出一高电平中断指示信号，这些计数器共用地址产生器时钟信号(addresclk)和外部控制器数据线。
9.根据权利要求1所述的图像匹配器，其特征在于先入先出存储器(FIFO)直接采用芯片开发工具QUARUS II提供的参数化兆功能模块库(LPMs)内的模块实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03134554 CN1297899C (zh) | 2003-09-08 | 2003-09-08 | 数字图像匹配芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03134554 CN1297899C (zh) | 2003-09-08 | 2003-09-08 | 数字图像匹配芯片 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1523506A CN1523506A (zh) | 2004-08-25 |
| CN1297899C true CN1297899C (zh) | 2007-01-31 |
Family
ID=34286139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03134554 Expired - Fee Related CN1297899C (zh) | 2003-09-08 | 2003-09-08 | 数字图像匹配芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1297899C (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100432986C (zh) * | 2005-06-17 | 2008-11-12 | 艾默生网络能源系统有限公司 | 快速编程/调试设备 |
| CN102682282B (zh) * | 2012-04-05 | 2014-03-26 | 北京航空航天大学 | 基于DaVinci架构和嵌入式图像检测技术的在线型号识别仪 |
| CN102802038A (zh) * | 2012-07-25 | 2012-11-28 | 华中科技大学 | 一种基于并行比特流处理器的二值图像模板匹配系统 |
| CN103839219B (zh) * | 2012-11-26 | 2017-04-26 | 中国航天科工集团第三研究院第八三五七研究所 | 一种应用于8位灰度图像匹配的高性能并行乘加电路 |
| CN104835116B (zh) * | 2015-04-10 | 2018-11-20 | 山东师范大学 | 一种基于轮廓的二维碎片拼接方法 |
| US10599566B2 (en) * | 2016-11-29 | 2020-03-24 | Qualcomm Incorporated | Multi-mode cache invalidation |
| CN109643391B (zh) * | 2018-01-15 | 2023-06-13 | 深圳鲲云信息科技有限公司 | 流水处理接口结构、电子器件及电子装置 |
-
2003
- 2003-09-08 CN CN 03134554 patent/CN1297899C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1523506A (zh) | 2004-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | An fpga-based reconfigurable cnn accelerator for yolo | |
| CN107980118B (zh) | 使用多线程处理的多核处理器设备 | |
| CN101231632A (zh) | 应用fpga进行浮点fft处理的方法 | |
| CN1297899C (zh) | 数字图像匹配芯片 | |
| Benes et al. | A fast asynchronous Huffman decoder for compressed-code embedded processors | |
| US20140201506A1 (en) | Method for determining instruction order using triggers | |
| CN101320344B (zh) | 一种多核或众核处理器功能验证设备及方法 | |
| Li et al. | ASADI: Accelerating sparse attention using diagonal-based in-situ computing | |
| CN102129419B (zh) | 基于快速傅立叶变换的处理器 | |
| US9570125B1 (en) | Apparatuses and methods for shifting data during a masked write to a buffer | |
| WO2015094721A2 (en) | Apparatuses and methods for writing masked data to a buffer | |
| CN111274171B (zh) | 一种数据传输装置及方法 | |
| CN114996638A (zh) | 一种顺序架构的可配置快速傅里叶变换电路 | |
| CN102802038A (zh) | 一种基于并行比特流处理器的二值图像模板匹配系统 | |
| Zheng et al. | An rram-based neural radiance field processor | |
| CN1707403A (zh) | 输入输出接口控制器 | |
| Belforte et al. | The SVT hit buffer | |
| CN105893326A (zh) | 基于fpga实现65536点fft的装置和方法 | |
| Wang | Low-power design of advanced image processing algorithms under fpga in real-time applications | |
| CN102306142B (zh) | 一种fft倒序操作存储器数据调度方法及电路 | |
| Guo et al. | Cambricon-u: A systolic random increment memory architecture for unary computing | |
| Tsao et al. | Parameterized and low power DSP core for embedded systems | |
| US9378782B1 (en) | Apparatus with write-back buffer and associated methods | |
| CN1238788C (zh) | 可处理变长数据的先进先出寄存器队列装置及控制方法 | |
| CN102855335A (zh) | 一种基于fpga的短时串口数据采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |