CN101763445B - 一种高光谱图像降维芯片 - Google Patents

Abstract

本发明属于图像处理领域，它提出了一种高光谱图像数据降维处理芯片。该芯片主要完成海量高光谱图像数据的实时降维处理。芯片采用VHDL语言完成，基于现场可编程门阵列实现。系统芯片主要包括系统控制模块、自相关模块、特征值求解模块、特征值提取模块、降维实现模块共五部分。本发明可完成高光谱图像数据的实时降维处理，开发周期短，设计费用低，研发风险小。

Description

一种高光谱图像降维芯片

技术领域

本发明属于图像处理领域，涉及一种高光谱图像降维芯片及实现方法。

背景技术

高光谱图像是由高光谱成像仪从可见光到近红外的几百个连续的窄波段内获取的地物图像，因此高光谱图像具有波段多、光谱分辨率高、包含信息量多、数据量庞大等特点，然而它所带来的问题是信息冗余度高、数据存储所需空间大、处理时间长等。因此，在对高光谱图像进行处理、分析之前进行降维非常重要。

海量高光谱图像的实时处理问题是国内外研究的热点，解决高光谱图像实时数据处理问题的主要技术途径是对高光谱图像数据进行降维。高光谱图像数据维数很高的特点使得其相邻波段相关性高、信息冗余量巨大，因而可以对高光谱图像数据进行预处理去掉其中的冗余信息，也即是对高光谱图像数据进行降维处理。降维后的高光谱图像数据量得到大大降低，为高光谱信息的后处理如：分类、异常检测等创造条件，使高光谱信息更便于后续利用。

目前国外田纳西大学的Hongtao Du，Hairong Qi和GregoryD.Peterson在论文“Parallel ICA and its hardware implementation inhyperspectral image analysis”中提出了利用FPGA实现高光谱图像降维的思想，但是他们没有实现实时处理的功能。国内的高光谱图像数据降维技术均处于理论研究阶段，没有人利用FPGA进行硬件实现高光谱图像的实时降维处理。

发明内容

为了解决上述问题，本发明的目的是提供一种高光谱图像实时降维芯片，该芯片对海量高光谱图像数据进行实时降维处理，降维后的高光谱图像数据的后续应用处理如奇异检测、分类等提供了极大的便利。

本发明解决其技术问题所采取的技术方案是：基于SoC完成高光谱图像降维芯片的设计，通过六个步骤完成芯片的具体设计：(I)高光谱图像降维算法确定；(II)高光谱图像降维芯片设计参数确定；(III)高光谱图像降维芯片系统设计；(IV)高光谱图像降维芯片设计软件编写；(V)高光谱图像降维芯片设计仿真；(VI)高光谱图像降维芯片的FPGA实现。

其中步骤(I)确定了基于片上系统(SoC)实现高光谱图像降维的算法，步骤(II)优化并给出了高光谱图像降维芯片设计的各种参数，步骤(III)、(IV)、(V)采用VHDL语言完成芯片的设计，步骤(VI)基于现场可编程门阵列完成了高光谱图像实时降维芯片的实现，芯片设计软件采用模块化设计，具体由五个模块组成，它们是系统控制模块(1)、自相关模块(2)、特征值求解模块(3)、特征值提取模块(4)、降维实现模块(5)，芯片采用自顶向下(Top-Down)的层次化结构设计方法。该层次化结构包括顶层模块和底层模块，并通过通过模块组合，完成高光谱图像降维的实时处理。

所述的一种高光谱图像降维芯片的设计方法给出了高光谱图像降维芯片设计优化参数。

所述的一种高光谱图像降维芯片的设计方法采用可编程门阵列完成高光谱图像降维芯片设计。

所述的一种高光谱图像降维芯片的设计方法芯片完成了高光谱图像降维的实时处理。

一种高光谱图像降维芯片的设计方法，其高光谱图像降维芯片的设计软件采用模块化设计，具体包括作为顶层模块的系统控制模块(1)和具有不同功能的底层模块：自相关模块(2)、特征值求解模块(3)、特征值提取模块(4)、降维实现模块(5)，通过模块组合，完成高光谱图像降维的实时处理。

一种高光谱图像降维芯片，其特征在于：由上述任一种方法获得的芯片，包括：片上系统，自顶向下层次化的模块组合。

本发明的主要技术特征是利用FPGA实现高光谱图像的实时奇异值分解降维处理。在基于FPGA的基础上，本发明采用自顶向下的思想，将奇异值分解降维芯片划分为五个模块，分别是系统控制模块、自相关模块、特征值求解模块、特征值提取模块和降维实现模块。其中系统控制模块对整个芯片系统进行控制，协调芯片中其它各个模块间数据传输和各模块之间的信号联系，使他们都能准确进行各自模块的工作。自相关模块的功能是：接收高光谱图像数据并对其数据矩阵进行自相关运算，并将得到的自相关运算结果数据类型转换为特征值求解模块所要求类型。特征值求解模块的功能是：求解自相关模块得到的自相关矩阵结果矩阵的特征值和特征向量。特征值提取模块的功能是：对特征值求解模块得到的特征值进行排序，提取包含信息量大的前N个特征值对应的特征向量，组成包含图像信息量大的N个特征向量矩阵。降维实现模块的功能是：把原始高光谱图像矩阵与特征值提取矩阵得到的特征向量矩阵相乘，得到降维后的图像矩阵。

本发明是这样实现的：经过一定预处理的高光谱图像数据通过网口传输到芯片内部，图像数据在系统控制模块的控制下，先后通过自相关模块进行自相关运算、通过特征值求解模块计算特征值和特征向量、通过特征提取模块提取出特征值和特征向量、最后通过降维实现模块实现整幅高光谱图像的降维，并可以得到降维后的图像数据用于后续利用。

由于采用了上述的技术方案，本发明的有益效果是：选取奇异值分解算法进行降维便于FPGA硬件实现。采用顶层设计思想开发降维芯片，开发周期短、设计费用低、研发风险小。基于片上系统(SOC)完成奇异值分解高光谱图像降维，开发的芯片达到了小型化低功耗的功能。对芯片进行模块化设计，各个模块可以设计成独立的IP核，可以在其它功能下移植调用，模块利用效能高。

附图说明

图1是芯片系统模块结构关系图

图2是数据输入缓存模块调度图

图3是自相关模块结构图

图4是特征值提取模块程序流程图

具体实施例

下面结合附图和具体实施例对本发明进一步说明。

参见图1芯片系统模块结构关系图。本实施例采用Xilinx公司的Vertix5系列实验板对降维芯片进行设计、仿真和验证。整个芯片系统可以划分为五个模块：系统控制模块、自相关模块、特征值求解模块、特征值提取模块、降维实现模块。因为高光谱图像数据的海量性，FPGA内部没有足够的存储单元来存储整幅高光谱图像，因而需要在外部另加一个存储单元，同时需要在图像传输前端加一个数据输入缓存器，使高光谱图像数据以分块矩阵的形式输出给后续的模块利用。划分后的各个模块彼此相互独立，可以分别单独调用、仿真，在一定程度上降低了程序的仿真测试难度，便于程序的仿真测试。下面分别对各个模块的实现过程进行分析：

(一)输入数据缓存的设计

正确对高光谱图像数据进行调度是个比较繁琐而严谨的工作，数据调度的正确与否将直接影响降维的结果，若数据调度错误将直接导致降维后要进行的工作无法开展。为了能对图像数据进行实时处理，对图像数据进行缓存需要用到两个BlockRAM来对图像数据进行协调缓存，其中一个BlockRAM用来接收输入的图像数据，另一个的数据传送给自相关模块进行自相关运算。两个BlockRAM协调工作模式参见图2。

(二)自相关模块的设计

进行自相关模块设计时，考虑高光谱图像仪采集到的高光谱图像数据矩阵数据量大。以波段数为128，空间分辨率为512×512×12bit的高光谱图像数据为例，这样的高光谱图像每幅图像的大小约为402M，FPGA内部RAM无法一次存储如此大的数据量。考虑到矩阵自相关的运算特性，对图像数据矩阵进行分块相乘运算，

其中b_ij＝a_i1×a_1j+a_i2×a_2j+…+a_in×a_nj，m为图像波段数，n为图像空间大小。由上述矩阵乘法运算知，可以把高光谱图像矩阵按列分块，做自相关运算时每次仅对一列数据相乘并累加上一列相乘所得结果，便得到自相关后的矩阵。考虑到实时性处理的要求，此中选取32个乘法其同时做自相关的乘法运算。又考虑到做奇异值分解算法的模块所需要的数据为浮点型，做完自相关运算后还需要把自相关结果矩阵数据转换成浮点型数据。自相关模块又可以分为几个基本的小模块，其基本的模块关系见图3。

(三)特征值求解模块的设计

进行特征值求解模块设计时，需要设计选取求解特征值、特征向量的数值算法，并对他们进行优化。计算矩阵特征值的方法有很多种，但是考虑到自相关矩阵是实对称矩阵，而且需要求出特征向量，综合分析则选取雅可比法或者雅可比过关法实现。下面介绍雅可比法与雅克比过关法。

1)雅可比法求特征值和特征向量

雅可比法的基本思想为：对于任意的一个实对称矩阵A，只要能够求得一个正交矩阵U，使得U^TAU成为一个对角矩阵D，则就得到了A的所有特征值和对应的特征向量。基于这个思想，可以通过一系列特殊的正交相似变换——雅可比旋转，使实对称矩阵近似对角化从而求得特征值与特征向量的方法。记A₀＝A，其中A为实对称矩阵，作正交相似序列：

$A_k=R_k^T{A}_{k-1}{R}_k(k=\mathrm{1,2},\·\·\·)---\left(2\right)$

其中R_k是超平面(p，q)的雅可比旋转矩阵，即：

(p，q)的选取应使a_pq ^(k-1)是A_k-1中非对角元素绝对值最大者。A_k-1和A_k仅在第p行(列)和第q行(列)不同，它们之间的关系为

$a_{\mathrm{pi}}^{\left(k\right)}=a_{\mathrm{ip}}^{\left(k\right)}=a_{\mathrm{ip}}^{(k-1)}\cos \mathrm{\θ}+a_{\mathrm{iq}}^{(k-1)}\sin \mathrm{\θ},---\left(4\right)$

$a_{\mathrm{qi}}^{\left(k\right)}=a_{\mathrm{iq}}^{\left(k\right)}=-a_{\mathrm{ip}}^{(k-1)}\sin \mathrm{\θ}+a_{\mathrm{iq}}^{(k-1)}\cos \mathrm{\θ},---\left(5\right)$

$a_{\mathrm{pp}}^{\left(k\right)}=a_{\mathrm{pp}}^{(k-1)}{\cos }^2\mathrm{\θ}+2a_{\mathrm{pq}}^{(k-1)}\sin \mathrm{\θ}\cos \mathrm{\θ}+a_{\mathrm{qq}}^{(k-1)}{\sin }^2\mathrm{\θ},---\left(6\right)$

$a_{\mathrm{qq}}^{\left(k\right)}=a_{\mathrm{pp}}^{(k-1)}{\sin }^2\mathrm{\θ}-2a_{\mathrm{pq}}^{(k-1)}\sin \mathrm{\θ}\cos \mathrm{\θ}+a_{\mathrm{qq}}^{(k-1)}{\cos }^2\mathrm{\θ},---\left(7\right)$

$a_{\mathrm{pq}}^{\left(k\right)}=a_{\mathrm{qp}}^{\left(k\right)}=(a_{\mathrm{qq}}^{(k-1)}-a_{\mathrm{pp}}^{(k-1)})\sin \mathrm{\θ}\cos \mathrm{\θ}+a_{\mathrm{pq}}^{(k-1)}({\cos }^2\mathrm{\θ}-{\sin }^2\mathrm{\θ})---\left(8\right)$

选取： $\mathrm{\θ}=\frac{1}{2}\arctan \frac{{2a}_{\mathrm{pq}}^{(k-1)}}{a_{\mathrm{pp}}^{(k-1)}-a_{\mathrm{qq}}^{(k-1)}},(-\frac{\mathrm{\π}}{4}\≤\mathrm{\θ}\≤\frac{\mathrm{\π}}{4})---\left(9\right)$

可使： $a_{\mathrm{pq}}^{\left(k\right)}=a_{\mathrm{qp}}^{\left(k\right)}=0---\left(10\right)$

可以看出，对称矩阵A经过每一次变换，就将选定的最大非对角线元素消去了，且其对角线元素的平方之和增加了2a_pq ²，而非对角线元素的平方之和减少了2a_pq ²，矩阵总的元素平方之和不变，但经过这样的变换以后，非对角线上的其他零元素就往往不再是零了。总之，每经过一次旋转变换，其矩阵的非对角线元素的平方之和总是“向零接近了一步”，对过反复选取主元素，并做旋转变换，就可以逐步将矩阵A变为对角矩阵。实际上，作为一个迭代过程，只要满足一定的精度要求就可以了。

2)雅可比过关法求特征值和特征向量

在雅可比方法中，每进行一次旋转变换前都需要遍历所有非对角线的元素，选取绝对值最大的元素，这是很费时间的。雅可比过关法对此做了改进。

首先计算对称矩阵A的所有非对角线元素平方之和的平方根，即：

$E=\sqrt{2\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{n}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}^2}---\left(11\right)$

然后设置第一道关口r₁＝E/n，对A中非对角线元素进行逐行(逐列)扫描，分别与进行比较。若|a_ij|＜r₁，则让其过关，否则用旋转变换R(i，j，θ)将a_ij化为零。

需要指出的是，在某次旋转变换变为零的元素中，在以后的旋转变换中可能又变成非零元素，因此，要重复进行上述的扫描过程，直到约化到对于所有非对角线元素均满足条件为止。

矩阵A中所有非对角线元素都过了第一道关口后，再设置第二道关口r₂＝r₁/n＝E/n²，然后重复上述过程，经过一系列关口r₁，r₂，…，直到对于某个关口满足条件γ_n＜ε为止，其中ε为预先给定的精度要求。

3)奇异值分解算法确定

综合上述两中特征值数值解法进行MATLAB仿真，采用数据源C求得自相关矩阵，然后分别利用雅可比法与雅可比过关法计算特征值与特征向量，比较计算时间与计算次数如表1。

由表1可以看到，使用MATLAB仿真时，当自相关矩阵大小为113×113、ε＝0.0001时，雅可比法计算需要8.1秒，而雅可比过关法只需要2.4秒。

雅可比旋转一次需要113×12次乘法、113×6次加法。假设FPGA中乘法、加法与比较都只用一个机器周期完成，则雅可比法大约需要用162262576个机器周期，而雅可比过关法需要54362492个机器周期。比较可以看出，在利用同样资源的条件下，雅可比法所需时间是雅可比过关法的三倍多，综合上述结论于是选取雅可比过关法来求矩阵特征值与特征向量。

4)算法主要参数确定

一方面，随着传感器技术的发展，数据采集速率越来越快，单位时间内获得的数据量急剧增加，这就需要数据处理速度不断提高；同时对用户而言，数据处理结果误差越小，就越有利于后期处理，得到正确结果。利用主成份分析法对高光谱图像进行降维后，图像的数据量锐减，大大地降低了计算量，信息处理的时效性也大大的得到提高，但是考虑到FPGA的特点，其硬件资源有限，不可能使用无限高精度的数据类型进行计算，也不可能无限制的提高运算速度。

综合以上两方面考虑，因此在进行FPGA系统设计之前必须先确定好系统参数，利用有限的FPGA硬件资源，最大限度地提高运算速度与运算精度，以满足数据处理速度和运算误差要求。

系统的运算精度由其数据类型和字长决定，结合雅可比过关法求特征值、特征向量的特点，知其特征向量值为小数，故不能使用整型数据，而需要使用浮点型数据。

对于同一种数据类型，计算字长越长，计算精度越高；计算字长越短，计算精度越低。XILINX公司提供了一系列符合IEEE-754标准的浮点型IP核可供用户选择，包括单精度浮点型(32位)、双精度浮点型(64位)和用户自定义类型。考虑到FPGA中资源的利用率，结合实际数据处理精度和时间要求，在本发明中选取单精度浮点型数据进行数据处理。其中单精度浮点型数据由8位指数部分和24位小数部分组成，精确到6-7位有效数字，都可以满足要求。

(四)特征值提取模块的设计

进行特征值提取模块的设计时，特征值提取模块对特征值求解模块求出的矩阵特征值从大到小进行排序，根据用户需求提取特征值最大的前几个或者几十个特征值对应的特征向量。把提取出来的特征向量矩阵与原始图像矩阵相乘就得到原始图像的几个或者几十个主成份图像，而不是原始全波段图像，大大降低了图像的数据量，实现了预想的图像数据降维。此模块的主要工作是对特征值进行排序，并找出与特征值对应的特征向量，考虑到用户的需求，需要的主成份不会太多。主成份太多则降维后的数据量依然很大，就达不到降维的目的，且通过实验验证了少量有限的几个主成份已经能很好的代表整个高光谱图像的基本特征。于是在这个模块中不需要对整个矩阵进行排序，只需要提取出特征值矩阵的最大几个特征值，并找出他们对应的特征向量即可，在本研究中采用经典的冒泡法进行排序。整个模块的程序流程图如图4所示。

(五)降维实现模块的设计

高光谱图像数据的降维实现即是利用原始高光谱图像数据阵与提取出的特征向量矩阵相乘得到的图像数据阵。它的实现原理与自相关模块的实现基本相似，因而可以像处理自相关模块一样处理降维实现模块。

(六)系统控制模块的设计

系统控制模块搭接设计好的各个子模块，协调好各个模块间的信号与数据传输，实现模块间数据和信号流的准确调度和控制，并实现整个降维芯片的具体功能。

表1是雅可比法与雅可比过关法运算比较

方法	矩阵大小	ε值	所需时间	比较次数m	旋转次数n
						雅可比法	113×113	0.0001	8.1s	122794840	19404
雅可比过关法	113×113	0.0001	2.4s	164528	26646

Claims (1)

1.一种高光谱图像降维芯片的设计方法，基于SoC完成高光谱图像降维芯片的设计，高光谱图像降维芯片设计的具体步骤如下：

(I)高光谱图像降维算法确定；

(II)高光谱图像降维芯片设计参数确定；

(III)高光谱图像降维芯片系统设计；

(IV)高光谱图像降维芯片设计软件编写；

(V)高光谱图像降维芯片设计仿真；

(VI)高光谱图像降维芯片的FPGA实现；

其特征在于：上述第(I)采用奇异值分解算法，并且选取雅可比过关法来求矩阵特征值与特征向量，第(II)给出高光谱图像降维芯片设计的各种参数，其中选取单精度浮点型数据进行数据处理，单精度浮点型数据由8位指数部分和24位小数部分组成，精确到6-7位有效数字，第(III)、第(IV)、第(V)采用VHDL语言完成芯片的设计，第(VI)基于现场可编程门阵列完成高光谱图像降维芯片的实现，芯片设计软件由五个模块组成，它们是系统控制模块(1)、自相关模块(2)、特征值求解模块(3)、特征值提取模块(4)、降维实现模块(5)，其中系统控制模块对整个芯片系统进行控制，协调芯片中其它各个模块间数据传输和各模块之间的信号联系，使它们都能准确进行各自模块的工作；自相关模块接收高光谱图像数据并对其数据矩阵进行自相关运算，并将得到的自相关运算结果数据类型转换为特征值求解模块所要求类型；特征值求解模块求解自相关模块得到的自相关矩阵结果矩阵的特征值和特征向量；特征值提取模块对特征值求解模块得到的特征值进行排序，提取包含信息量大的前N个特征值对应的特征向量，组成包含图像信息量大的N个特征向量矩阵；降维实现模块把原始高光谱图像矩阵与特征值提取矩阵得到的特征向量矩阵相乘，得到降维后的图像矩阵；芯片采用自顶向下的层次化结构设计方法，该层次化结构包括顶层模块和底层模块。

Images