CN108801457B - 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 - Google Patents
基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 Download PDFInfo
- Publication number
- CN108801457B CN108801457B CN201810260821.7A CN201810260821A CN108801457B CN 108801457 B CN108801457 B CN 108801457B CN 201810260821 A CN201810260821 A CN 201810260821A CN 108801457 B CN108801457 B CN 108801457B
- Authority
- CN
- China
- Prior art keywords
- coding
- dimensional
- sampling plate
- energy constraint
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,携带三维信息的外界光通过设计的压缩编码板采样,而后经色散形成频谱混叠图像并成像于黑白图像传感器上,通过TwIst算法初步复原后,经过二次能量约束校正,多组采样图谱融合形成最终的重建三维图谱。本发明具有高的可执行性,提高了算法中能量利用率以及图谱复原精确度,减小了传统分光光谱探测系统中的图谱数据量。
Description
技术领域
本发明涉及图像计算领域,尤其一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法。
背景技术
随着科学技术的发展,人们已经不满足于仅仅将眼睛所能观察到的事物记录下来,而是希望能够获得事物在现实生活中所包含的隐藏信息——光谱信息。光谱成像技术正是这样一种能够展示事物更加丰富信息的成像技术。由于光谱成像仪能够提供被测物许多的附加信息,这一特征近年来被逐步发现并成为一种新兴的科学和工程应用工具,其集成了光学、精密机械、光谱学、信号处理等多种技术。
传统的成像手段通过获取两维空间的标量值来表示一个场景的强度信息,如照相机等。而光谱成像技术是一种‘图谱合一’的成像技术,其在普通的二维空间成像的基础上增加了光谱维信息,所得数据是一种三维数据,包括两维的空间坐标和一维的光谱坐标,通常称之为图谱数据立方体。图谱数据立方体可以提供每一个波段的光谱图像数据,也可以为每一个像元提供连续的光谱曲线,为物质的分析和场景甄别提供了强有力的手段。三十多年来光谱成像技术得到了飞速的发展,在军事应用、航天航空遥感、大气探测等领域得到了十分广泛的应用,成为光学探测技术的重要分支。
光谱成像的发展趋势要求成像系统具有更高的分辨率,包括空间分辨率和光谱分辨率,但同时减少数据总量。极其丰富的信息使光谱数据量巨大,给数据存储、处理带来了沉重的负担,对硬件系统带来了很高的要求。在商业应用中,则要求成像系统更小、结构简单、成像速度快并且成本低。因此,一种能够快速获取目标空间三维图谱并进行重建的方法显得尤为重要。
目前,本领域中缺乏一种完善的三维图谱获取及重建方法,传统的图谱获取方法多通过增加滤波片或扫描组件色散分光,硬件系统复杂且获取的图谱数据量大。因此,一种基于压缩采样及复原计算的三维图谱获取方法便显得尤为重要了。
发明内容
本发明就是为了克服现有技术的不足,提供一种简便、高效的三维图谱获取及重建方法,所采用的具体技术方案如下:
一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,包括以下步骤:
1)携带三维图谱信息的外界光通过准直后形成平行光;
2)平行光通过编号为i的编码采样板(i=1,2,....,n)进行压缩采样;
3)对采样后的平行光进行多光谱色散,形成频谱混叠;
4)频谱混叠的图像通过黑白单色的图像传感器进行成像,获得第i幅频谱混叠黑白图像;
5)更新不同编号的编码采样板,循环步骤1)~4)的操作,得到n幅频谱混叠黑白图像;
6)将已获得的n幅频谱混叠黑白图像,分别通过二步迭代收缩阈值算法进行复原,复原后的n组三维图谱分别进行二次能量约束校正,最后将复原校正后的n组三维图谱相加组合形成重建的三维图谱。
在所述步骤1)中,平行准直后的三维图谱尺寸为a*b*s,其中a*b为待重建图谱的二维图像尺寸,s为光谱维。
在所述步骤2)中,编码采样板的数量一共有n块,每块采样板的尺寸为a*b,与待重建图谱的二维图像尺寸相同,像素单元大小与步骤4)中黑白单色传感器的像素单元大小一致。
在所述步骤2)中,每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为a*b。
同时,编码采样板有‘first’和‘second’两种。对于‘first’编码板,其中每块板中1的个数为elenum_first,‘first’板中0的个数为masknum_first。对于‘second’编码板,其中每块板中1的个数为elenum_second,‘second’板中0的个数为masknum_second。并且,每块采样板上的1和0随机分布。以上参数需满足:
elenum_first=floor(a*b/n),floor为向下取整;
elenum_second=elenum_first+1
masknum_first=n*elenum_second-a*b
masknum_second=n-elenum_first
在所述步骤2)中,‘first’编码板与‘second’编码板出现顺序随机。
在所述步骤6)中,通过二步迭代收缩阈值算法(TwIst)进行单组三维图谱复原时,应在傅里叶频谱域完成重建,再对复原数据进行傅里叶逆变换得到复原的三维图谱。
在所述步骤6)中,首先对复原的三维图谱进行第一次能量约束校正。假设第i组复原后的三维图谱为Ri,尺寸为a*b*s,相应第i块由0和1组成的编码采样板尺寸为a*b,若在采样板中数据为0点的位置集合为A,则相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,s)。而其余位置的三维图谱值不变,即
而后,对复原的三维图谱进行第二次能量约束校正。对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...a;y=1,2,...,b;z=1,2,...,s),在经过步骤3)时,压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤s)个频谱通道的混叠,则第二次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z)),
(x=1,2,...,a;y=1,2,...,b;z=1,2,...,s;i=1,2,...,n)
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,计算方法为初始化全1的三维图谱矩阵(尺寸同为a*b*s)的(x,y,z)点在经过所述步骤(2-4)后的频谱混叠结果值,满足1≤Corr≤s。
本发明的三维图谱获取及重建方法具有高的可执行性,同时,该方法提高了算法中能量利用率以及图谱复原精确度,减小了传统分光光谱探测系统中的图谱数据量。
附图说明
图1为本发明中三维图谱获取及重建流程图;
图2为本发明中三维图谱获取装置的光学结构示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不仅限于此。
本发明的基本思想是通过设计多组采样编码板以及二次能量约束实现三维图谱的高效获取及重建。
本发明的主要目的是通过压缩感知的方式获取并复原目标空间的三维图谱信息。为此,首先使携带三维信息的外界光通过设计的压缩编码板采样,而后经色散系统色散形成频谱混叠图像并成像于黑白CCD上,通过TwIst算法初步复原后,经过二次能量约束校正,多组采样图谱融合形成最终的重建三维图谱。
如图2所示的三维图谱获取装置,包括准直透镜组1,采样编码板2,色散元件3,成像透镜4和图像传感器5。
本实施例中,目标空间三维图谱获取及复原包含以下步骤:
1)首先,目标空间携带三维图谱信息的外界光经过准直透镜组1进行平行光准直,假设此处平行光携带33个光谱段的信息,光谱范围为(440~760nm),各谱段均匀分别在该区间;
2)平行光通过编号为i(i=1,2,....,50),大小为256*256的编码采样板2进行压缩采样。
采样板设计方法:
编码采样板一共有50块。每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为65536。其中‘first’类型板有14块,每块上面的‘1’个数为1310,‘0’个数为64226;‘second’类型板有36块,每块上面的‘1’个数为1311,‘0’个数为64225。每块板上‘1’和‘0’随机分布,而在步骤2)中,‘first’和‘second’两种采样板出现顺序随机。
3)采样后的平行光经过色散元件3(如色散棱镜,但不仅限于色散棱镜)进行多光谱色散,形成频谱混叠;
4)频谱混叠的光经过成像透镜4在黑白单色的图像传感器5(如CCD,但不仅限于CCD)上成像,其中相邻光谱的图像在CCD中成像位置相差1个单元像素,最终在CCD上形成256*288的黑白图像;
5)更新i,循环步骤(1-4);
6)将已获得的50幅频谱混叠黑白图像,分别在傅里叶频谱域通过二步迭代收缩阈值算法(TwIst)算法进行复原,再对复原数据进行傅里叶逆变换得到复原的三维图谱Ri,尺寸为256*256*33。
接下来对三维图谱Ri进行第一次能量约束校正。由0和1组成的编码采样板尺寸为256*256,若在第i块采样板中数据为0点的位置集合为A,则第i组三维图谱Ri相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,33)。而其余位置的三维图谱值不变,即
而后,对复原的三维图谱进行第二次能量约束校正。对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...256;y=1,2,...,256;z=1,2,...,33),在经过步骤3)时,压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤33)个频谱通道的混叠,则第二次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z)),
(x=1,2,...,256;y=1,2,...,256;z=1,2,...,33;i=1,2,...,50)
本实施例中,
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,计算方法为初始化全1的三维图谱矩阵(尺寸同为256*256*33)的(x,y,z)点在经过所述步骤(2-4)后的频谱混叠结果值,满足1≤Corr≤33。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,包括以下步骤:
1)携带三维图谱信息的外界光通过准直后形成平行光;
2)平行光通过编号为i的编码采样板进行压缩采样;
3)对采样后的平行光进行多光谱色散,形成频谱混叠;
4)频谱混叠的图像通过黑白单色的图像传感器进行成像,获得第i幅频谱混叠黑白图像;
5)更新不同编号的编码采样板,循环步骤1)~4)的操作,共得到n幅频谱混叠黑白图像;
6)将已获得的n幅频谱混叠黑白图像,分别通过二步迭代收缩阈值算法进行复原,复原后的n组三维图谱分别进行二次能量约束校正,最后将复原校正后的n组三维图谱相加组合形成重建的三维图谱;
在步骤6)中,对复原的三维图谱进行第一次能量约束校正:假设第i组复原后的三维图谱为Ri,尺寸为a*b*s,相应第i块由0和1组成的编码采样板尺寸为a*b,若在采样板中数据为0点的位置集合为A,则相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,s);而其余位置的三维图谱值不变,即R1i(x,y,z)=Ri(x,y,z),
对复原的三维图谱进行第二次能量约束校正:对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...a;y=1,2,...,b;z=1,2,...,s),压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤s)个频谱通道的混叠,则第二次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z))
(x=1,2,...,a;y=1,2,...,b;z=1,2,...,s;i=1,2,...,n)
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,Corri(x,y,z)为初始化全1的三维图谱矩阵的(x,y,z)点的频谱混叠结果值,其中,1≤Corr≤s;
2.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤1)中,平行准直后的三维图谱尺寸为a*b*s,其中a*b为待重建图谱的二维图像尺寸,s为光谱维。
3.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤2)中,每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为a*b。
4.如权利要求3所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,每块编码采样板上的1和0随机分布。
5.如权利要求3所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,所述编码采样板分为‘first’和‘second’两种;
对于‘first’编码板,其中每块板中1的个数为elenum_first,‘first’编码板中0的个数为masknum_first;
对于‘second’编码板,其中每块板中1的个数为elenum_second,‘second’编码板中0的个数为masknum_second;
以上参数需满足:
elenum_first=floor(a*b/n)
elenum_second=elenum_first+1
masknum_first=n*elenum_second-a*b
masknum_second=n-elenum_first
其中,floor为向下取整。
6.如权利要求5所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,‘first’编码板与‘second’编码板出现顺序随机。
7.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤2)中,编码采样板的数量一共有n块,每块采样板的尺寸为a*b,像素单元大小与步骤4)中图像传感器的像素单元大小一致。
8.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤6)中,通过二步迭代收缩阈值算法进行单组三维图谱复原时,应在傅里叶频谱域完成重建,再对复原数据进行傅里叶逆变换得到复原的三维图谱。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810260821.7A CN108801457B (zh) | 2018-03-27 | 2018-03-27 | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810260821.7A CN108801457B (zh) | 2018-03-27 | 2018-03-27 | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108801457A CN108801457A (zh) | 2018-11-13 |
CN108801457B true CN108801457B (zh) | 2021-02-09 |
Family
ID=64094611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810260821.7A Active CN108801457B (zh) | 2018-03-27 | 2018-03-27 | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108801457B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802135B (zh) * | 2021-01-15 | 2022-12-02 | 安徽大学 | 一种超薄无透镜可分离压缩成像系统及其标定与重建方法 |
CN113048907B (zh) * | 2021-02-08 | 2022-04-22 | 浙江大学 | 一种基于宏像素分割的单像素多光谱成像方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914367A (zh) * | 2012-10-25 | 2013-02-06 | 浙江大学 | 基于压缩感知的多光谱成像装置和方法 |
CN106679808A (zh) * | 2016-12-26 | 2017-05-17 | 中国科学院合肥物质科学研究院 | 基于压缩光谱的关联成像系统及其方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1097724C (zh) * | 1999-04-28 | 2003-01-01 | 中国科学院长春光学精密机械研究所 | 光栅与棱镜组合式超光谱图像测量方法 |
CN103743482B (zh) * | 2013-11-22 | 2016-08-17 | 中国科学院光电研究院 | 一种光谱成像装置及光谱成像反演方法 |
CN104390705B (zh) * | 2014-11-24 | 2017-07-14 | 中国科学院光电研究院 | 一种推扫式编码孔径光谱成像方法及装置 |
WO2018194985A1 (en) * | 2017-04-19 | 2018-10-25 | Drs Network & Imaging Systems, Llc | Active hyperspectral imager |
-
2018
- 2018-03-27 CN CN201810260821.7A patent/CN108801457B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102914367A (zh) * | 2012-10-25 | 2013-02-06 | 浙江大学 | 基于压缩感知的多光谱成像装置和方法 |
CN106679808A (zh) * | 2016-12-26 | 2017-05-17 | 中国科学院合肥物质科学研究院 | 基于压缩光谱的关联成像系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108801457A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Mst++: Multi-stage spectral-wise transformer for efficient spectral reconstruction | |
Xiong et al. | Hscnn: Cnn-based hyperspectral image recovery from spectrally undersampled projections | |
Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
CN111174912B (zh) | 一种快照型解色散模糊的高光谱成像方法 | |
CN111862251B (zh) | 医学图像重建技术的方法、装置、存储介质和电子设备 | |
Li et al. | Drcr net: Dense residual channel re-calibration network with non-local purification for spectral super resolution | |
Hu et al. | Convolutional sparse coding for RGB+ NIR imaging | |
CN106997581A (zh) | 一种利用深度学习重建高光谱图像的方法 | |
CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
KR101723738B1 (ko) | 딕셔너리 학습 기반 해상도 향상 장치 및 방법 | |
CN110490937B (zh) | 一种加速高光谱视频重建的方法及其装置 | |
Indhumadhi et al. | Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm | |
He et al. | Meta‐attention network based spectral reconstruction with snapshot near‐infrared metasurface | |
CN109087262B (zh) | 一种多视图光谱图像的重建方法、存储介质 | |
CN108801457B (zh) | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 | |
CN116609942A (zh) | 一种分孔径压缩感知偏振超分辨率成像系统及方法 | |
CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
Yin et al. | A deep network based on wavelet transform for image compressed sensing | |
CN113538285B (zh) | 一种光谱图像的确定方法、装置、终端和存储介质 | |
Cai et al. | Momentum accelerated unfolding network with spectral–spatial prior for computational spectral imaging | |
CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
Jia et al. | Learning rich information for quad bayer remosaicing and denoising | |
Huang et al. | High-fidelity hyperspectral snapshot of physical world: system architecture, dataset and model | |
CN117974909A (zh) | 一种双阶段多尺度的高光谱快照压缩成像图像重建方法 | |
Yuan et al. | Global cross-attention network for single-sensor multispectral imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |