CN113223106A - 一种基于深度学习的少角度数字全息层析重建算法 - Google Patents
一种基于深度学习的少角度数字全息层析重建算法 Download PDFInfo
- Publication number
- CN113223106A CN113223106A CN202110494353.1A CN202110494353A CN113223106A CN 113223106 A CN113223106 A CN 113223106A CN 202110494353 A CN202110494353 A CN 202110494353A CN 113223106 A CN113223106 A CN 113223106A
- Authority
- CN
- China
- Prior art keywords
- sample
- angle
- reconstruction algorithm
- digital holographic
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000010587 phase diagram Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000835 fiber Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005210 holographic interferometry Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000010363 phase shift Effects 0.000 claims description 2
- 239000004038 photonic crystal Substances 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 abstract description 2
- 239000013307 optical fiber Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/421—Filtered back projection [FBP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Holo Graphy (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的少角度数字全息层析重建算法，通过构建深度卷积神经网络模型，建立少角度下层析重建的模拟数据集和实验数据集并对网络进行训练，在投影数据较少情况下，快速高效地对图像进行高质量三维重建。该方法不需要采集大量角度的弦图，计算迅速，不需迭代，降低环境对装置的影响，提高系统稳定性和测量精度。
Description
技术领域
本发明涉及光学领域，特别涉及数字全息和图像重建领域。
背景技术
光学层析成像技术近年来发展迅速，但该技术对于少量投影数据下的层析重建效果依旧欠佳。滤波反投影算法(FBP)简单实用，但在投影数据较少的情况下，重建质量会大大降低。基于组稀疏正则化的同时代数迭代重建算法(GSR-SART)虽然可以较好地实现少角度投影数据的重建，但重建时间很长，时间成本高。
发明内容
为克服现有技术的上述问题，本发明提出一种基于深度学习的少角度数字全息层析重建算法，通过构建深度卷积神经网络模型，建立少角度下层析重建的模拟数据集和实验数据集并对网络进行训练，实现在投影数据较少情况下，快速高效地对图像进行高质量三维重建的目的。
为实现上述目的，本发明采用的技术方案如下：一种基于深度学习的少角度数字全息层析重建算法，其特征在于：包括训练和测试两个阶段：
分为如下步骤：
a.训练阶段的步骤为：
S1.调整光路，不放置样品的情况下使物光束与参考光束干涉，使用相机在物光束与参考光束的干涉平面采集背景全息图，记作Ho；
S2.调整光路，使得物光束穿过样品，调整物光束与样品之间的角度theta，使得theta在360°内每隔相同角度间隔rhy，均使用相机在物光束与参考光束的干涉平面采集全息图Hn，其中n＝1,2,3,4…j，j为采集的全息图数量；
S3.使用数字全息重建算法，由背景全息图Ho和全息图Hn数值重建计算获得相应角度下的样品的相位图Pn；
S4.提取出各个角度下的相位图中对应行的数据组成投影矩阵即弦图，使用层析重建算法对弦图进行重建得到样品的相位分布截面图Dm，其中m＝1,2,3,4…k，k为重建的相位分布截面图数量；
S5.对样品的相位分布截面图Dm进行Randn变换得到少角度delta下的弦图Sm，其中delta范围在0.1°～45°；
S6.建立神经网络模型，初始化网络模型参数，将少角度弦图Sm作为网络的输入，相应的样品截面图作为网络的标准输出结果，计算网络的输出与黄金标准的损失函数值，并将损失函数值的梯度反向传播以更新网络模型的参数，直至损失函数值小于设定条件，则停止更新网络模型参数，得到训练完备的神经网络；
b.测试阶段的步骤为：
S7.调整光路，使得物光束穿过待测样品，调整物光束与待测样品之间的角度theta，使得theta在360°内每隔相同角度间隔delta，均使用相机在物光束与参考光束的干涉平面采集全息图Hd，其中d＝1,2,3,4…i，i为采集的全息图数量；
S8.使用数字全息干涉术，由背景全息图Ho和Hd数值重建计算获得相应角度下的待测样品的相位图Pd；
S9.提取出待测样品的相位图中对应行的数据组成投影矩阵，得到少角度delta下的弦图Sd；
S10.将少角度弦图Pd输入训练完成的神经网络模型，即可得到待测样品相位截面图。
所述步骤S2中样品与物光束之间的角度，可以通过光照方向不变，旋转样品的方式，改变光照方式，样品固定不变的方式来改变，以获得不同角度的投影信息。
所述步骤S2的角度间隔rhy可在1°～5°内选择可以被360°整除的数，与之对应的j为360°除以rhy后向上取整。
所述步骤S2的样品为任何用于成像的样品，包括但不限于扭转保偏光纤，光子晶体光纤，生物细胞样品，复杂流场等。
所述步骤S3中的数字全息重建算法为数字全息图的数值重建算法，通过计算可以获得全息再现像的强度和相位信息，算法可以基于菲涅尔变换法，卷积法，迭代算法，也可以相移算法等。
所述步骤S4中的层析重建算法采用滤波反投影算法，计算公式为：
|kDx|是傅里叶空间中的斜坡滤波器，即滤波反投影算法，kDx的积分是在整个频域空间(-∞,+∞)上计算的。
所述步骤S6中的损失函数可以是MSE等任意衡量图像差异性的损失函数，设定条件可选损失函数不再下降。
所述步骤S6中的神经网络模型是加入了注意力机制和残差块的深度卷积神经网络，框架可选Tensorflow,Pytorch等深度网络框架，网络只需训练一次，之后将样品少角度的弦图输入便可重建出样品的内部截面结构图。
本发明的有益效果在于该方法的网络只需训练一次，此后将同类型的数据集输入网络中便可实现少角度投影数据的快速重建。该算法相比于FBP算法可大大提高图像重建质量，相比于GSR-SART算法则可以大大减少重建时间，且可以进一步提高重建质量。相比于普通的离轴全息光路，共光路剪切干涉数字全息光路可使参考光与物光经历完全相同的路径，使外界干扰对两束光造成相同的影响，从而降低环境对装置的影响，提高系统稳定性和测量精度。
附图说明
图1为基于深度学习的少角度数字全息层析重建算法的流程图；
图2为实施例中使用的卷积神经网络的结构图；
图3为实施例中一种基于深度学习的少角度数字全息层析重建算法的光路图；
图1中：实线部分为训练阶段，虚线部分为测试阶段；
图2中：网络结构中，下采样过程使用带有残差网络的卷积网络，上采样过程使用带有残差网络的转置卷积网络，所有卷积核大小为3x3，卷积和转置卷积后进行批量标准化和非线性激活；
图3中：1-激光器，2-光束扩束器，3-透明物镜，4-样品区域，5-显微物镜，6-平面反射镜，7-CCD相机。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
实施例1：一种实现本发明所述基于深度学习的少角度数字全息层析重建算法的工作流程如下：
采用如图3所述的共光路剪切干涉数字全息光路，包括：激光器1，光束扩束器2，透明物镜3，样品区域4，显微物镜5，平面反射镜6，CCD相机7。
使用如图3所示的光路，调整光路，使得不放置训练扭转保偏光纤样品的物光束与参考光束干涉，使用相机在物光束与参考光束的干涉平面采集背景全息图，记作Ho；然后调整光路，使得物光束穿过训练扭转保偏光纤样品，操纵电动旋转位移台每隔固定2°旋转一次训练扭转保偏光纤样品，均使用相机在物光束与参考光束的干涉平面采集全息图，共采集180张全息图Hn，其中n＝1,2,3,4…180。使用数字全息重建算法，由背景全息图Ho和全息图Hn数值重建计算获得相应角度下的样品的相位图Pn。提取出各个角度下的相位图中对应行的数据组成投影矩阵即弦图，使用层析重建算法对弦图进行重建得到样品的相位分布截面图Dm，其中m＝1,2,3,4…k，k为重建的相位分布截面图数量。对样品的相位分布截面图Dm进行Randn变换得到30°下的弦图Sm。建立神经网络模型，初始化网络模型参数，将少角度弦图Sm作为网络的输入，相应的样品截面图作为网络的标准输出结果，计算网络的输出与黄金标准的MSE数值，并将损失函数值的梯度反向传播以更新网络模型的参数，直至损失函数值不再下降，停止更新网络模型参数，得到训练完备的神经网络。调整光路，使得物光束穿过待测扭转保偏光纤样品，操纵电动旋转位移台每隔固定30°旋转一次训练扭转保偏光纤样品，用相机在物光束与参考光束的干涉平面采集全息图Hd，其中d＝1,2,3,4…12。使用数字全息干涉术，由背景全息图Ho和Hd数值重建计算获得相应角度下的待测扭转保偏光纤样品的相位图Pd。对待测样品的相位图Pd进行Randn变换得到少角度delta下的弦图Sd。将少角度弦图Pd输入训练完备神经网络模型，即可得到待测扭转保偏光纤样品相位截面图。
Claims (8)
1.一种基于深度学习的少角度数字全息层析重建算法，其特征在于：包括训练和测试两个阶段：
分为如下步骤：
a.训练阶段的步骤为：
S1.调整光路，不放置样品情形下使物光束与参考光束干涉，使用相机在物光束与参考光束的干涉平面采集背景全息图，记作Ho；
S2.调整光路，使得物光束穿过样品，调整物光束与训练样品之间的角度theta，使得theta在360°内每隔相同角度间隔rhy，均使用相机在物光束与参考光束的干涉平面采集全息图Hn，其中n＝1,2,3,4…j，j为采集的全息图数量；
S3.使用数字全息干涉术，由背景全息图Ho和全息图Hn数值重建计算获得相应角度下的样品的相位图Pn；
S4.提取出各个角度下的相位图中对应行的数据组成投影矩阵即弦图，使用层析重建算法对弦图进行重建得到样品的相位分布截面图Dm，其中m＝1,2,3,4…k，k为重建的相位分布截面图数量；
S5.对样品的相位分布截面图Dm进行Randn变换得到少角度delta下的弦图Sm，其中delta范围在0.1°～45°；
S6.建立神经网络模型，初始化网络模型参数，将少角度弦图Sm作为网络的输入，相应的样品截面图作为网络的标准输出结果，计算网络的输出与黄金标准的损失函数值，并将损失函数值的梯度反向传播以更新网络模型的参数，直至损失函数值小于设定条件，则停止更新网络模型参数，得到训练完备的神经网络；
b.测试阶段的步骤为：
S7.调整光路，使得物光束穿过待测样品，调整物光束与待测样品之间的角度theta，使得theta在360°内每隔相同角度间隔delta，均使用相机在物光束与参考光束的干涉平面采集全息图Hd，其中d＝1,2,3,4…i，i为采集的全息图数量；
S8.使用数字全息干涉术，由背景全息图Ho和Hd数值重建计算获得相应角度下的待测样品的相位图Pd；
S9.提取出待测样品的相位图中对应行的数据组成投影矩阵，得到少角度delta下的弦图Sd；
S10.将少角度弦图Pd输入训练完成的神经网络模型，即可得到待测样品相位截面图。
2.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：样品与物光束之间的角度，可以通过光照方向不变，旋转样品的方式，改变光照方式，样品固定不变的方式来改变，以获得不同角度的投影信息。
3.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：角度间隔rhy可在1°～5°内选择可以被360°整除的数，与之对应的j为360°除以rhy后向上取整。
4.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：训练样品为任何用于成像的样品，包括但不限于扭转保偏光纤，光子晶体光纤，生物细胞样品，复杂流场等。
5.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：所述步骤中的数字全息重建算法为数字全息图的数值重建算法，通过计算可以获得全息再现像的强度和相位信息，算法可以基于菲涅尔变换法，卷积法，迭代算法，也可以相移算法等。
6.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：所述步骤中的层析重建算法采用滤波反投影算法，计算公式为：
|kDx|是傅里叶空间中的斜坡滤波器，即滤波反投影算法，kDx的积分是在整个频域空间(-∞,+∞)上计算的。
7.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：所述步骤中的损失函数可以是MSE等任意衡量图像差异性的损失函数，设定条件可选损失函数不再下降。
8.根据权利要求1所述的基于深度学习的少角度数字全息层析重建算法，其特征在于：所述步骤中的神经网络模型是加入了注意力机制和残差块的深度卷积神经网络，框架可选Tensorflow,Pytorch等深度网络框架，网络只需训练一次，之后将样品少角度的弦图输入便可重建出样品的内部截面结构图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494353.1A CN113223106A (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度学习的少角度数字全息层析重建算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494353.1A CN113223106A (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度学习的少角度数字全息层析重建算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113223106A true CN113223106A (zh) | 2021-08-06 |
Family
ID=77091323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110494353.1A Pending CN113223106A (zh) | 2021-05-07 | 2021-05-07 | 一种基于深度学习的少角度数字全息层析重建算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223106A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114002931A (zh) * | 2021-10-08 | 2022-02-01 | 清华大学深圳国际研究生院 | 基于深度学习加速计算的大视场全息投影方法及系统 |
| CN118565381A (zh) * | 2024-07-31 | 2024-08-30 | 宁波舜宇光电信息有限公司 | 反射镜面型测量系统、反射镜面型测量方法和电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109459923A (zh) * | 2019-01-02 | 2019-03-12 | 西北工业大学 | 一种基于深度学习的全息重建算法 |
-
2021
- 2021-05-07 CN CN202110494353.1A patent/CN113223106A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109459923A (zh) * | 2019-01-02 | 2019-03-12 | 西北工业大学 | 一种基于深度学习的全息重建算法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANGLEI DI等: "Sparse-view imaging of a fiber internal structure in holographic diffraction tomography via a convolutional neural network", 《APPLIED OPTICS》 * |
| 周文静等: "少量投影数字全息层析重建实验研究", 《物理学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114002931A (zh) * | 2021-10-08 | 2022-02-01 | 清华大学深圳国际研究生院 | 基于深度学习加速计算的大视场全息投影方法及系统 |
| CN118565381A (zh) * | 2024-07-31 | 2024-08-30 | 宁波舜宇光电信息有限公司 | 反射镜面型测量系统、反射镜面型测量方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109459923B (zh) | 一种基于深度学习的全息重建算法 | |
| CN110308547B (zh) | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 | |
| CN110378473A (zh) | 基于深度学习和随机图案的相位层析方法及装置 | |
| CN113223106A (zh) | 一种基于深度学习的少角度数字全息层析重建算法 | |
| CN115220211A (zh) | 基于深度学习和光场成像的显微成像系统及方法 | |
| CN115099389A (zh) | 基于复数神经网络的非训练相位重建方法及装置 | |
| Madsen et al. | On-axis digital holographic microscopy: Current trends and algorithms | |
| WO2024087406A1 (zh) | 一种基于深度学习的数字全息包裹相位畸变补偿方法 | |
| CN118625622A (zh) | 一种基于深度学习的计算全息重建方法 | |
| CN110221421B (zh) | 基于机器学习的结构光照明超分辨显微成像方法 | |
| CN114529476B (zh) | 基于解耦-融合网络的无透镜全息显微成像相位恢复方法 | |
| CN116523789A (zh) | 基于Unet卷积神经网络的物体全息环纹噪声消除方法 | |
| CN117270360A (zh) | 一种基于sift算法的合成孔径成像方法 | |
| CN106204622A (zh) | 一种基于tv约束的断层相位显微镜重建方法 | |
| CN115602318A (zh) | 一种基于色散的显微成像方法及其应用 | |
| Bai et al. | HoloFormer: Contrastive Regularization Based Transformer for Holographic Image Reconstruction | |
| Hu et al. | Hybrid method for accurate phase retrieval based on higher order transport of intensity equation and multiplane iteration | |
| Saavedra et al. | Recent advances in digital holographic microscopy | |
| CN118570079B (zh) | 基于空间像素平移的去除相干光纤束蜂窝图案的方法 | |
| Memmolo et al. | Single-cell phase-contrast tomograms data encoded by 3D Zernike descriptors | |
| US20250085191A1 (en) | 3D Refractive Index Estimation Based on Partially-Coherent Optical Diffraction Tomography (PC-ODT) and Deep Learning | |
| TWI871125B (zh) | 剪切干涉測定方法及剪切干涉測定裝置 | |
| Shevkunov et al. | CNN-assisted quantitative phase microscopy for biological cell imaging. | |
| CN114518654B (zh) | 一种高分辨大景深成像方法 | |
| CN112907481A (zh) | 一种对于噪声鲁棒的高质量无透镜成像方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210806 |
|
| WD01 | Invention patent application deemed withdrawn after publication |