CN102567968A - 基于微多光谱滤光片的图像算法 - Google Patents

Abstract

本发明提供一种基于微多光谱滤光片的图像算法，该算法将一副贴有多(N)道滤光片的图像传感器获得的图像分类为多(N)个单色图像，标定光学滤光像素和图像传感器像素，获取所述单色图像的多光谱成像像素和多光谱成像灰度值。该算法包括在理想情况下的图像算法公式，以及在滤光片有工差、滤光片与图像传感器组装过程中误差等非理想情况下经过修正后也可以应用的校正方法。

Description

基于微多光谱滤光片的图像算法

技术领域

本发明涉及一种图像校正方法，尤其是涉及一种基于微多光谱滤光片的图像算法。

背景技术

在生物医学临床诊断检查中，生物发色团和生物标志物表现出其自身的一组离散波长的吸收峰发色团的光学特性，也即人类指纹物质发色团的光学信息，在病变组织和正常组织之间，病变组织在三或四个波段上与正常组织有所不同。通过微型窄带滤光器与图像传感器集成并有选择性的这组特征指纹物质成像，实时观测它们的光学特性和空间分布，对疾病的临床医学生物诊断意义重大。

在过去50年，多光谱技术在仪器中经常使用的滤波器件是一种简单的滤光轮盘，目前它依旧是许多实际应用中正在用的多光谱仪器。其体积约为35cm×35cm×35cm，重量约为2kg。体积大，分量重，造价昂贵，机械本身和人为的运动造成成像的失真。同时，滤波轮盘滤波方式一次暴光只能获取一个波长的图像，要获取不同波长的多幅图像就要不断的调整滤光轮盘。对需要获得多个波长的图像数据时，需要不断重复调整滤光器通过光谱带中心波长，直到对应于多个不同波长的图像全部生成。在图像数据的不断获取中，容易造成如下问题：其一在大多数情况下，滤光器都有相对于图像传感器的机械运动和振动；其二在获取这几幅多光谱图像的过程中，被捕捉的目标物体或部分物体也在运动，尤其是活性生物体也在运动(呼吸，心跳)。这样，由于设备本身和被摄物体的移动造成实际物体在获得的多光谱的前后图像间存在错位与变形。在正式对诊断目标进行分析之前，需要投入大量的计算力量来进行空间校准。这就使得传统多光谱成像技术操作繁琐，运用耗时。

发明内容

本发明所要解决的技术问题是提供一种基于微多光谱滤光片的图像算法，其能够解决现有技术中由于设备本身和被摄物体的移动或传感器像素造成的多光谱的前后图像间错位与变形的技术问题。

为解决上述技术问题，本发明的技术方案是提供一种基于微多光谱滤光片的图像算法，在图像传感器上贴多道滤光片，使一个原始图像对应多个单色图像，具体包括：

步骤S1：判断滤光片是否精确覆盖所述图像传感器的整数个像素，若是，则判定为理想状况，计算图像灰度值；若否，则判断为在非理想状况，转到步骤S2；

步骤S2：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，用于修正滤光片与图像传感器组装过程中所造成平移；估算角度位移用于修正滤光片与图像传感器组装过程中所造成转动误差；估算周期比率用于纠正滤光片没有覆盖整数个图像传感器像素的位移，把光学滤光像素分成分别对应多个波长的光学通道，获得每个光学通道的指数图，再进行图像灰度值的计算。

所述步骤S1中图像灰度值的计算方法具体包括，

$I(x,y)=\frac{1}{n^2}\underset{i=0,j=0}{\overset{i=3,j=3}{\mathrm{\Σ}}}X(2\mathrm{nx}+i,2\mathrm{ny}+j),\mathrm{wherex}\∈\left[\mathrm{1,160}\right],y\∈[1,\stackrel{15}{128}]$

其中，所述n为滤光片的个数，每一组(x，y)代表一个光学像素的位置，指数(i_te、j_te)是成像传感器的单位像素，I(x，y)为光学滤光像素点位置为(x，y)处的灰度值，从而根据光学像素的位置(x，y)以及指数(i_te、j_te)获取图像灰度值。

所述步骤S2中计算角度位移的方法是：

角度位移为多光谱滤光片的光学滤光像素和图像传感器像素之间的角度的位移，指数(i₁，j₁)是指第一个像素指数，(i_f，j_f)是指光场的最后一个图像传感器的像素。

所述步骤S2中周期比率的估算方法是，

所述周期比率为成像像素的数量与光场方格的数量比；指数N为光场的个数。

所述步骤S2中，获取获得每个光学通道的指数图，具体包括以下步骤，

S201：从S1中获取的像素指数(i_te、j_te)作为初始起步位置，设置第一个4×4光学滤光像素属于第一波长；

S202：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，获取S2中的角度位移和周期比率的值，估算下一个光场方格的位置；

S203：在S202步骤中获取的光场方格的估算位置周围，寻找最亮的像素指数，并将这些像素指数标记为属于第一波长的光学通道；

S204：重复步骤S202-S203直至所有原始图像全被搜索，作为第一波长的光学通道全部完成，并记录所有属于第一波长的像素指数为第一波长的指数图；

S205：重复步骤S201-S204，为所有波长分别建立相应的光学通道，将3×3像素方格的所有左上角的坐标保存在一个160×128矩阵，每个矩阵对应一个光谱通道。

采用上述技术方案，对比现有技术中多光谱成像错位与变形的问题，本发明的有益效果是：由于采用了对线性位移和角度位移及周期律不匹配所产生的映像偏差，提出按照它属于的那个通道的最高概率，将原始图像的每一个像素分类成四个多光谱的一个图像像素里的误差补偿，通过获取每个光通道的指数图，在多光谱所获得的原始图像的像素和相同的波长的多光谱成像之间建立了位置校正。

附图说明

图1是本发明所提供的基于微多光谱滤光片的图校正方法的流程图；

图2是本发明提供应用于早期压疮检测的微多光谱滤光片的光学滤光像素网格图；

图3是本发明提供的多光谱滤光片的网格图；

图4是本发明提供的多光谱滤光片的单色波长光的一排原始图像。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

在本发明中，多光谱滤光片被设计成棋盘式网格，每个微型多光谱滤光片的面积为7mm×8mm，它含有128×160个um量级的光学滤光像素。每个光学滤光像素大小为20.8um×20.8um。这些um量级的光学滤光像素按棋盘式布局排列成二维阵列。微滤片通过微制作和微组装方式可以直接粘贴在一个商用单色相机CCD/CMOS图像传感器上。光学滤光像素与图像传感器像素之间对准，使得一次曝光在一个照相或摄像系统能同时实时地获得对应于不同波长的多幅图像。单色图像传感器CCD/CMOS的像素尺寸大小与光学滤光像素在几何尺寸上存有差异，例如像素尺寸为5.2um×5.2um或像素尺寸为4.65um×4.65um。因此要获得像素与像素，图像与图像之间对准的多幅图像，要对光学滤光像素与图像传感器像素的每一个多光谱成像结果进行一次校正标定。理想情况是网格单元光学滤光像素准确的覆盖一个成像传感器像素的整数倍，但是实际应用时会有X-Y维度的线性位移或角度的位移，这种位移在微滤片与传感器集成中出现一些光学滤光像素可能会覆盖成像传感器像素的一个非整数倍。X和Y维度的线性位移和旋转角度的位移导致属于不同光谱通道的一些相邻像素之间的错位。此外由于制作的滤光片的误差或像素大小对CMOS图像传感器像素不是5.2um×5.2um(例如对CCD图像传感器像素是4.65um×4.65um)也会引起成像的偏差。

单色图像传感器CCD/CMOS的像素尺寸大小与光学滤光像素在几何尺寸上存有差异，例如像素尺寸为5.2um×5.2um或像素尺寸为4.65um×4.65um。因此要获得像素与像素，图像与图像之间对准的多幅图像，要对光学滤光像素与图像传感器像素的每一个多光谱成像结果进行一次校正标定。

请参阅图1和图2，在一具体实施例中，在压疮检测的具体应用中，相关的发色团分别是黑色素，有氧血红蛋白，无氧血红蛋白和水。它们包含一组四个中心波长λ1＝650nm，λ2＝577nm，λ3＝540nm，λ4＝970nm的光学信息。540nm的波长和577nm相应于血红蛋白的吸收峰，650nm给出一个黑色素或背景图像，970nm标志水的峰值。

在本实施例中，光学滤光像素几何尺寸为20.8um×20.8um，所采用的单色图像传感器CMOS的像素尺寸大小为5.2um×5.2um。因此要获得像素与像素，图像与图像之间对准的多幅图像，要对光学滤光像素与图像传感器像素的每一个多光谱成像结果进行一次标定。理想情况是网格单元光学滤光像素准确的覆盖一个成像传感器像素的整数倍，例如网格41.6um×41.6um光学滤光像素包括8×8CMOS像素。

在某些实施例中，误差来源主要是：

1、在制作微型多光谱滤光片时，如图2所示，计量误差导致网格单元大小严格来说不是一个常数(41.6μm×41.6μm)，理想情况是网格单元光学滤光像素准确的覆盖一个成像传感器像素的整数倍，例如网格41.6um×41.6um光学滤光像素包括8×8CCD像素。此外由于制作的滤光片误差或像素大小不是5.2um×5.2um也会引起光学滤光像素与成像传感器像素之间的错位。

2、在微型多光谱滤光片与图像传感器紧密粘贴集成中，光学滤光像素与图像传感器像素之间会有X-Y维度线性位移，结果导致一些网格单元可能会覆盖成像传感器像素的一个非整数倍。在网格单元中所包含的光学过滤像素之间，形成1-2nm差距的边界效应。由此会产生映像错误。

3、在微型多光谱滤光片与图像传感器紧密粘贴集成中，光学滤光像素与图像传感器像素之间会有旋转角度的位移。

4、在微滤片与传感器集成中，同时出现X和Y维度的线性位移和旋转角度位移，会引入属于不同光谱通道的一些相邻像素之间的错位。

为此，本实施例提供一种基于微多光谱滤光片的图像算法，

当滤光片精确覆盖所述图像传感器的整数个像素时为理想状况，计算图像灰度值；在非理想状况下，估算X-Y维度线性位移，用于修正滤光片与图像传感器组装过程中所造成平移；估算角度位移用于修正滤光片与图像传感器组装过程中所造成转动误差；估算周期比率用于纠正滤光片没有覆盖整数个图像传感器像素的位移。

在理想状况下，计算图像灰度值，以下步骤，

S1：获取像素指数(i_te、j_te)，估算X-Y维度线性位移；

所述步骤S1中获取像素指数(i_te、j_te)具体包括：搜索第一个4×4明亮像素，操作者手动顶部光场对准左列估算线性位移，其左上角的指数(i_te、j_te)是成像传感器的单位像素在X-Y方向上的线性位移，(次像素大小将产生um单位级的线性位移)。具体的，当微多光谱滤光片的第一个网格覆盖第一个成像传感器的像素时，那么指数(i_te、j_te)两个都是0。

请参阅图3，多光谱成像获得的单色波长光的一个原始图像左上角部分，微滤片第一个网格单元左上角光学滤光像素的波长通道线性位移，对于早期压疮检测应用实例，用于校准的单色光是波长650nm。依据图像坐标系统的像素指数，估算微滤片和潜在的成像传感器之间所选择部分的线性位移。

其中，估算X-Y维度线性位移具体包括：由于该实施例中，具有四个不同的波长，因此需要设置4个滤光片与成像传感器相对应，即n＝4，由于本发明采用的灰度值的计算方法是，对光学滤光像素和图像传感器像素的标定，

$I(x,y)=\frac{1}{n^2}\underset{i=0,j=0}{\overset{i=3,j=3}{\mathrm{\Σ}}}X(2\mathrm{nx}+i,2\mathrm{ny}+j),\mathrm{wherex}\∈\left[\mathrm{1,160}\right],y\∈\left[\mathrm{1,128}\right]$

由于n＝4，则上述公式则为：

其中，I为对应波长的图像灰度值，(i，j)为步骤S1中相应的像素指数，每一组(x，y)代表一个光学滤光像素的位置，即所要获得的X-Y维度线性位移。

例如，取得波长650nm的当前像素指数(i，j)，通过上述公式，采用数学方法，就能够得到(x，y)的值，从而得到波长650nm的图像灰度值。

在非理想状况下，进行步骤S2：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，用于修正滤光片与图像传感器组装过程中所造成平移，估算角度位移和周期比率，所述角度位移为多光谱滤光片和图像传感器之间的角度的位移，

所述周期比率为成像像素的数量与光场方格的数量比；

请参阅图4，多光谱成像获得的单色波长光的一排原始图像，微多光谱滤光片第一个网格光学滤光像素单元左上角单色波长通道不匹配，对于早期压疮检测实例，被用于校准的单色光是波长650nm绿光。可以选择任何排(如全部平行排)估算微多光谱滤光片和图像传感器之间角度的位移。

所述步骤S2中角度位移的计算方式是：

指数(i₁，j₁)指第一个方格的第一个像素，(i_f，j_f)是指光场的最后一个图像传感器像素。

所述步骤S2中周期比率的计算方式是：

指数N为光场的个数。

步骤S2中，获得每个光学通道的指数图，具体包括以下步骤，

S201：从S1中获取的像素指数(i_te、j_te)作为初始起步位置，设置第一个4×4光学滤光像素属于第一波长；

S202：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，获取S2中的角度位移和周期比率的值，估算下一个光场方格的位置；

S203：在S202步骤中获取的光场方格的估算位置周围，寻找最亮的像素指数，并将这些像素指数标记为属于第一波长的光学通道；

S204：重复步骤S202-S203直至所有原始图像全被搜索，作为第一波长

的光学通道全部完成，并记录所有属于第一波长的像素指数为第一波长的指数图；

S205：重复步骤S201-S204，为所有波长分别建立相应的光学通道，将3×3像素方格的所有左上角的坐标保存在一个160×128矩阵，每个矩阵对应一个光谱通道。

经过上述修正步骤后可以运用算法公式计算相应所有波长的多光谱灰度值。

本发明除了压疮检测应用实例，其基于微多光谱滤光片成像的图像算法以及成像偏差的校正方法还具有普遍的一般适用性。对于不同的应用，根据所测目标指纹物质特征光谱波长的数目，微多光谱滤光片几何形状尺寸和反映特征波长的光学滤光像素数目可以有所不同，光学滤光像素几何尺寸可以是几个微米到几十个微米，反映特征波长的光学滤光像素数目可以是2-N个，每一个反映特征波长的光学滤光像素组可以包含一组多个图像传感器像素，理想情况是网格单元光学滤光像素组准确的覆盖一个成像传感器像素的整数倍。图像传感器可以是任何像素尺寸的CMOS或CCD，对于不同像素大小的图像传感器，微多光谱滤光片设计出与图像传感器像素相匹配的光学滤光像素单元，本发明的算法都可以对微多光谱滤光片的光学滤光像素和图像传感器像素进行标定，并由算法公式计算出图像灰度值I，对微多光谱滤波器与图像传感器高度集成出现的像素线性位移、角度位移及周期率不匹配的成像偏差进行估算和校正。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于微多光谱滤光片的图像算法，其特征在于：将一副贴有多道滤光片的图像传感器获得的图像分类为多个单色图像，标定光学滤光像素和图像传感器像素，并获取所述多个单色图像的多光谱成像像素和灰度值，具体包括：

步骤S1：判断滤光片是否精确覆盖所述图像传感器的整数个像素，若是，则判定为理想状况，计算图像灰度值；若否，则判断为在非理想状况，转到步骤S2；

步骤S2：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，用于修正滤光片与图像传感器组装过程中所造成平移；估算角度位移用于修正滤光片与图像传感器组装过程中所造成转动误差；估算周期比率用于纠正滤光片没有覆盖整数个图像传感器像素的位移，把光学滤光像素分成分别对应多个波长的光学通道，获得每个光学通道的指数图，再进行图像灰度值的计算。

2.根据权利要求1所述的基于微多光谱滤光片的图像算法，其特征在于：所述步骤S1中图像灰度值的计算方法具体包括，

$I(x,y)=\frac{1}{n^2}\underset{i=0,j=0}{\overset{i=3,j=3}{\mathrm{\Σ}}}X(2\mathrm{nx}+i,2\mathrm{ny}+j),\mathrm{wherex}\∈\left[\mathrm{1,160}\right],y\∈[1,\underset{15}{128}]$

其中，所述n为滤光片的个数，每一组(x，y)代表一个光学像素的位置，指数(i_te、j_te)是成像传感器的单位像素，I₁(x，y)为光学滤光像素点位置为(x，y)处的灰度值，从而根据光学像素的位置(x，y)以及指数(i_te、j_te)获取图像灰度值。

3.根据权利要求1所述的基于微多光谱滤光片的图像算法，其特征在于，所述步骤S2中计算角度位移的方法是：

角度位移为多光谱滤光片的光学滤光像素和图像传感器像素之间的角度的位移，指数(i₁，j₁)是指第一个像素指数，(i_f，j_f)是指光场的最后一个图像传感器的像素。

4.根据权利要求1所述的基于微多光谱滤光片的图像算法，其特征在于，所述步骤S2中周期比率的估算方法是，

所述周期比率为成像像素的数量与光场方格的数量比；指数N为光场的个数。

5.根据权利要求1所述的基于微多光谱滤光片的图像算法，其特征在于，所述步骤S2中，获取获得每个光学通道的指数图，具体包括以下步骤，

S201：从S1中获取的像素指数(i_te、j_te)作为初始起步位置，设置第一个4×4光学滤光像素属于第一波长；

S202：获取像素指数(i_te、j_te)，估算X-Y维度线性位移，获取S2中的角度位移和周期比率的值，估算下一个光场方格的位置；

S203：在S202步骤中获取的光场方格的估算位置周围，寻找最亮的像素指数，并将这些像素指数标记为属于第一波长的光学通道；

S204：重复步骤S202-S203直至所有原始图像全被搜索，作为第一波长的光学通道全部完成，并记录所有属于第一波长的像素指数为第一波长的指数图；

S205：重复步骤S201-S204，为所有波长分别建立相应的光学通道，将3×3像素方格的所有左上角的坐标保存在一个160×128矩阵，每个矩阵对应一个光谱通道。

Images