CN117760571B - 基于哈特曼探测器的无监督学习波前探测方法 - Google Patents

Abstract

本发明公开了一种基于哈特曼探测器的无监督学习波前探测方法，所述波前探测方法包括如下步骤：生成第一哈特曼图像；输入包括编码器和解码器的自编码神经网络生成第二哈特曼图像；以改进的负皮尔逊相关系数作为损失函数，对所述编码器的参数进行优化；重复前述步骤以无监督学习的方式训练所述编码器；输入待测哈特曼图像至所述编码器，所述编码器的输出即为所述待测波前相位畸变。本发明通过神经网络的编码器和光学解析模型的解码器形成自编码神经网络，不仅避免了传统神经网络模型训练的海量数据标注，提高了训练效率，而且可以直接采集大气真实数据进行模型训练，提高了模型探测精度。

Description

基于哈特曼探测器的无监督学习波前探测方法

本申请是根据原发明申请《基于哈特曼探测器的波前探测方法》说明书实施例内容提出的分案申请，原申请的申请日：2022年7月18日，申请号：202210844505.0。

技术领域

本发明涉及自适应光学领域，尤其涉及基于哈特曼探测器的无监督学习波前探测方法。

背景技术

哈特曼探测器，因结构简单和鲁棒性强，在激光大气传输和天文学领域的自适应光学波前探测技术中被广泛应用。

如附图1所示，哈特曼探测器包括微透镜阵列1和放置在微透镜阵列1焦平面上的光电探测器2。其探测入射光束的波前相位分布的工作原理如下：光束入射时，每个微透镜构成一个子孔径，传统哈特曼探测器的子孔径直径小于大气相干长度，使得子孔径区域内的光可近似为平面光，其在光电探测器2上能聚焦形成一个小光斑，所以，入射光束入射传统哈特曼探测器时在光电探测器2上会形成一个对应的光斑阵列。测量时，以正入射平面光束的光斑阵列为参考基准，入射光束在某一个子孔径区域内相对于正入射平面光的波前畸变，将造成对应光斑的位置偏离。通过计算整个光斑阵列各光斑的偏移量，即能获取入射光束的波前相位分布。

由于哈特曼探测器利用微透镜阵列1对入射光束波面进行划分，当入射光束能量较低时，哈特曼探测器的信噪比和测量精度均会降低，严重时会导致探测器无法工作。

发明内容

为了克服上述缺陷，本发明的技术方案通过增加传统哈特曼探测器的子孔径直径，并结合深度学习技术，提供了一种高信噪比、高测量精度的波前探测方法，解决了传统哈特曼探测器在信标能量较低时测量困难的问题。

为了实现上述目的，本发明采用以下技术方案：

一种基于哈特曼探测器的无监督学习波前探测方法，其特征在于，所述波前探测方法包括如下步骤：

SP1:生成第一哈特曼图像；

SP2:将所述第一哈特曼图像输入自编码神经网络，生成第二哈特曼图像；所述自编码神经网络包括编码器和解码器，所述编码器用于将所述第一哈特曼图像转变为波前相位畸变输出；所述解码器用于将所述波前相位畸变转变为第二哈特曼图像输出；所述第一哈特曼图像和所述第二哈特曼图像的图像向量维度相同；

SP3:以负皮尔逊相关系数(Negative Pearson Correlation Coefficient，NPCC)作为所述自编码神经网络的损失函数，通过约束所述第二哈特曼图像等于所述第一哈特曼图像，对所述编码器的模型参数进行优化，训练所述编码器；

SP4:生成待测哈特曼图像，输入所述待测哈特曼图像至所述编码器，所述编码器的输出即为所述待测哈特曼图像对应的波前相位畸变。

进一步地，所述第一哈特曼图像和/或所述待测哈特曼图像由大气环境真实数据生成。

进一步地，所述编码器的网络模型为卷积网络模型ResNet50。

优选地，所述解码器实现从所述波前相位畸变到所述第二哈特曼图像的计算过程如下：

其中，φ(x₁,y₁)表示波前相位畸变，t(x₁,y₁)表示微透镜阵列的相位屏函数，P(x₁,y₁)表示光瞳函数，假设光瞳内的光强是均匀的，(x₁,y₁)表示第一哈特曼图像的二维坐标，(x₂,y₂)表示第二哈特曼图像的二维坐标，f表示微透镜焦距，λ表示光波长，e^ikz/iλz表示常指数因子。

优选地，所述损失函数采用改进的NPCC进行计算，具体为：

SS1:对所述第一哈特曼图像进行阈值滤波；

SS2:将所述第一哈特曼图像和所述第二哈特曼图像的像素值进行归一化；

SS3:分别对所述第一哈特曼图像和所述第二哈特曼图像开平方根；

SS4:计算所述第二哈特曼图像平方根和所述第一哈特曼图像平方根的负皮尔逊相关系数：

其中，I和I^′分别表示自编码网络的所述第一哈特曼图像和所述第二哈特曼图像。

进一步地，该方法还包括对所述第一哈特曼图像和所述待测哈特曼图像进行预处理，所述预处理包括去除背景光和/或阈值滤波。

本发明还提供了一种基于哈特曼探测器的自适应光学波前探测系统，所述自适应波前探测系统至少包括哈特曼探测器，所述哈特曼探测器包括微透镜阵列和光电探测器，所述微透镜阵列的子孔径直径不超过大气相干长度的3倍；所述光电探测器设置在所述微透镜阵列的焦平面上，用于生成所述第一哈特曼图像或所述待测哈特曼图像。

优选地，所述自适应波前探测系统还包括光源，用于产生准直光束，所述准直光束用于照射大气环境后被所述哈特曼探测器接收，生成所述第一哈特曼图像或所述待测哈特曼图像。

由上可知，本发明提供的技术方案可产生如下有益效果：

1)利用自编码神经网络模型，构建基于哈特曼探测器的无监督学习波前探测方法，在无标注的情况下实现网络模型的训练过程，不仅提高了训练速度，而且通过直接采集大气真实数据训练，提升哈特曼探测器的探测精度；

2)通过对哈特曼图像的预处理，以及改进自编码神经网络的损失函数，提高哈特曼图像的信噪比，进一步提升系统的计算速度和波前探测的精度。

附图说明

图1为哈特曼探测器的结构示意图；

图2为基于哈特曼探测器的波前探测方法的流程图；

图3为本发明实施例采用的自适应光学波前探测系统的结构示意图；

图4为本发明实施例的神经网络模型的结构示意图；

图5为本发明实施例波前探测方法和传统模式法的测试结果对比图；

图6为本发明实施例解码器的网络结构示意图；

图7为本发明实施例修正前与修正后损失函数波前复原结果对比图；

图8为本发明实施例三的自编码神经网络的自适应闭环校正过程图；

图中各标号分别表示：

1、微透镜阵列；2、光电探测器；3、激光光源；4、波前校正器；5、哈特曼探测器；6、光束适配器；7、哈特曼图像；8、Zernike系数向量；200、校正前光斑图；201、传统模式法校正后光斑图；202、波前探测法校正后光斑图；301、传统模式法校正残差图；302、波前探测法校正后残差图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例对本发明的具体实施方式作进一步详细描述。应该理解，此处所描述的实施例仅用于解释本发明，但不用于限制本发明的范围。

实施例一

请参阅附图2和附图3，附图2为本发明实施例的基于哈特曼探测器的波前探测方法的流程图，附图3为本发明实施例采用的自适应光学波前探测系统的结构示意图。本发明实施例的波前探测方法基于自适应光学波前探测系统对波前畸变进行探测，自适应光学波前探测系统包括激光光源3，波前校正器4和哈特曼探测器5，由图可知，该方法包括：

S1:生成一个畸变相位屏，将畸变相位屏载入波前校正器4，以使准直光束产生波前畸变；使用哈特曼探测器5获取训练哈特曼图像，构建一组训练数据；在本发明实施例中，畸变相位屏的产生方式具体为：先产生畸变向量，根据畸变向量对应生成一个畸变相位屏。其中，畸变向量为Zernike系数向量8，畸变相位屏为畸变向量引起的畸变波前与平面光理想波前的相位差空间分布。特别地，本实施例使用Zernike多项式拟合生成畸变相位屏的计算如下：

假设使用前N项Zernike多项式的线性组合来生成畸变相位屏，则该畸变相位屏W_z(ρ,θ)可表示为：

a_n表示第n阶Zernike多项式的系数，则[a₁,a₂,...,a_N]为一组Zernike系数向量8，即为畸变向量。

在本发明其他实施例中，也可以利用频谱特性进行反演得到畸变相位屏，以大气湍流相位屏为例，几种常见的频率谱分布形式包括Kolmogorov谱，von Karman谱和改进的von karman谱，它们的函数形式分别是：

其中，r₀代表大气相干长度，f代表空间频率，f_m和f₀分别是由大气内尺度和外尺度计算得到的参数。通过频率谱函数计算畸变相位屏的具体过程为：

其中，F表示傅立叶变换，表示一个单位振幅随机相位的复数向量。在得到畸变相位屏后，利用最小二乘法计算可以拟合Zernike系数向量8。

在本发明实施例中，以训练哈特曼图像作为数据，以对应的畸变向量作为标签，构建一组训练数据。在其他实施例中，也可以训练哈特曼图像作为数据，以对应畸变相位屏作为标签，构建一组训练数据。

另外，也可先将训练哈特曼图像进行预处理，再以预处理后的训练哈特曼图像作为数据，以对应的畸变向量作为标签或者以对应畸变相位屏作为标签，构建一组训练数据。其中，预处理包括去除背景光和/或进行阈值滤波。

S2:重复S1的步骤，构建一个训练数据集；训练数据集包括M组训练数据，M的取值不小于50000。

S3:训练神经网络模型，得到训练后神经网络。具体为：选取卷积神经网络ResNet50作为神经网络模型，把训练哈特曼图像堆叠为一个三位数组作为神经网络模型的输入，使神经网络模型的输入与训练哈特曼图像维度匹配，使神经网络模型的输出与畸变向量维度匹配；

采用监督学习的方式，用步骤S2构建的训练数据集对神经网络模型进行训练，对模型各参数进行优化。具体在本发明实施例中，利用反向传播算法对参数进行优化，优化过程的损失函数是波前残差的均方根误差(root mean squre,RMS),其表达式为

损失函数的意义相当于把优化目标设定为最小化波前残差的RMS值，这个优化目标和实际的自适应光学控制系统的目标一致。另外，本发明实施例选择自适应矩估计算法作为梯度下降算法中的优化器，它能够在优化过程中自适应地调整各参数的学习率，并通过指数平均梯度来进行梯度估计修正，从而提高优化速度。为了得到更好的训练效果并抑制可能出现的过拟合，所有哈特曼图像7的像素值都被归一化到(0，1)之间以消除光能量起伏带来的影响。特别地，训练过程引入Dropout机制，Dropout概率为0.2。本发明实施例中，优化过程使用的其他超参数设置如下：批量化样本数batch size50,初始学习率0.0001，训练循环次数10。本实施例采用Matlab2020a版本的深度学习工具箱在云服务器上(IntelXeon Gold 6278C CPU,NVIDIA Tesla T2 GPU)完成。

请参阅附图4，本实施例中神经网络模型的结构示意图。在本发明实施例中，分辨率为320×320的哈特曼图像7经过多个残差块进行特征提取得到大小为5×5×2048的特征图，其中残差块的数量分别为[3,3,3,3]，特征图经过全局平均池化后得到一组2048维的特征向量，这些特征向量经过3个全连接层逐渐降维，得到63个维度的输出，分别表示前66项的Zernike多项式系数(移除活塞和倾斜项)，构成Zernike系数向量8。

S4:将波前校正器4归零，将待测光束入射至波前校正器4，使用哈特曼探测器5获取待测哈特曼图像，将待测哈特曼图像输入训练后神经网络，训练后神经网络的输出即为待测光束的Zernike系数向量8。在本发明实施例中，将待测哈特曼图像直接输入训练后神经网络，在本发明其他实施例中，若训练数据集的数据为预处理后的训练哈特曼图像，则在探测过程中，需要将待测哈特曼图像进行预处理以后再输入训练后神经网络。

本发明实施例同时还提出了一种基于哈特曼探测器的自适应光学波前探测系统，该波前探测系统采用上述的波前探测方法，见附图3，由图可知，该波前探测系统包括激光光源3，用于产生准直光束。波前校正器4，用于使准直光束产生波前畸变，以满足大气湍流相位统计特征；哈特曼探测器5，包括微透镜阵列1和光电探测器2，光电探测器2设置在微透镜阵列1的焦平面上，用于生成哈特曼图像7。微透镜阵列1的子孔径直径不超过大气相干长度的3倍，哈特曼图像7包括训练哈特曼图像和待测哈特曼图像。本发明实施例的微透镜参数为：微透镜口径，500μm；排布方式，矩形排列；焦距，30mm；基片尺寸，10mm×10mm；材料：石英玻璃。光电探测器2选用MVI-D312I-160-CL系列CMOS相机。

在本发明实施例中，该波前探测系统还包括光束适配器6，用于调整入射光束口径，使其与哈特曼探测器5的探测口径相适配。

请参阅附图5，图5为本发明实施例波前探测方法和传统模式的波前探测方法的测试结果对比图。图中，200为校正前光斑图，201为传统模式法校正后光斑图，202为波前探测法校正后光斑图，301为传统模式法校正残差图，302为波前探测法校正后残差图。这里的传统模式波前探测方法是指，采用微透镜阵列1子孔径直径小于大气相干长度的哈特曼探测器5并通过计算质心偏移获取波前畸变的方法。由图可知，传统模式法和本发明实施例波前探测法的平均波前残差RMS分别是0.0605和0.0372，校正后远场光强的SR值分别是0.492和0.542。所以，本发明提供的基于哈特曼探测器的波前探测法在波前残差的RMS和校正后远场光斑的SR结果看，相比于传统模式法，能够取得更高的波前探测精度。

另外，由于在本发明实施例中，哈特曼探测器5的子孔径数量仅为6×6，相比于采集焦平面图像特征的相位差法，本发明提供的技术方案采用稀疏子孔径哈特曼探测器5对入射光束进行波面分割，简化了光斑形态和图像特征提取，不需要从焦平面的复杂光斑形态直接提取特征，简化神经网络结构，使深度学习的计算速度显著上升。

特别地，将本发明提供的波前探测方法应用于大气湍流引起的波前探测时，优选将子孔径尺寸设置为大气相干波长3倍之内，这样既能提高哈特曼图像7信噪比，又能得到高精度的波前探测。

实施例二

在本发明实施例一的神经网络结构的基础上结合解码器，形成新的自编码神经网络结构，该结构进行无监督学习，通过在深度学习框架内对物理过程进行建模，让神经网络自动求解第一哈特曼图像和波前相位畸变之间的映射关系，不需要标注数据。

如附图6所示，为本发明实施例解码器的网络结构示意图。在本发明的实施例中，解码器的功能是实现物理光学中的Fresnel衍射积分，以波前畸变分布为输入，计算从相位到第二哈特曼图像的物理过程。因此，本发明实施例的解码器没有可学习的参数。以φ(x₁,y₁)表示波前相位畸变，以t(x₁,y₁)表示微透镜阵列的相位屏函数，以P(x₁,y₁)表示光瞳函数，假设光瞳内的光强是均匀的，具体的物理光学计算过程如下：

其中，(x₁,y₁)表示第一哈特曼图像的二维坐标，(x₂,y₂)表示第二哈特曼图像的二维坐标，f表示微透镜焦距，λ表示光波长，e^ikz/iλz表示常指数因子。利用matlab 2020a深度学习工具箱中自定义的Deep Learning Layer的功能，实现解码器的前向和反向传播。在解码器的最后，对第二哈特曼图像进行归一化，将图像的像素值缩放到0-1之间。

本发明实施例的自编码网络选择图像的相似度函数作为损失函数，具体为负皮尔逊相关系数(Negative Pearson Correlation Coefficient,NPCC)。该损失函数把图像看作一个向量，通过计算两个向量之间的夹角来评估图像之间的相似性，其本质是计算两个图像在减去均值后的余弦夹角。在本发明实施例中，NPCC具体的计算形式如下：

其中，X_i是所述第一哈特曼图像向量归一化后的分量，是各分量X_i的平均值，Y_i是所述第二哈特曼图像向量归一化后的分量，/>是各分量Y_i的平均值。

本发明实施例中的自解码神经网络以第一哈特曼图像作为输入，输出形式是和第一哈特曼图像维度大小相等的数组，即第二哈特曼图像，通过约束输出等于输入，模型参数便可以在无监督的方式下进行优化，而不需要额外的标签。在模型训练结束后，去掉解码器部分，编码器的输出就是第一哈特曼图像对应的波前畸变相位分布。同时可以注意到，编码器部分实际就是本发明实施例一中的神经网络，而且解码器网络是没有可训练参数的。

实施例三

由于大气湍流通过哈特曼探测器获得的图像中绝大部分像素值为零或者为噪声像素，同时少部分像素(比如，子孔径光斑所在的像素位置)的像素值很高。像素值高的像素点在计算相关系数的过程中贡献较大，而像素值较低的贡献较小。由于波前畸变的相位分布主要与光能量的整体分布形态有关，像素值小的像素点可能对相位分布有重要的影响，所以利用实施例二中NPCC损失函数计算的相关系数复原精度受到限制。为了进一步提高探测精度，本发明实施例提出一种改进的NPCC损失函数。具体地，首先对输入图像(第一哈特曼图像)进行阈值滤波，然后将输入图像(第一哈特曼图像)和输出图像(第二哈特曼图像)的像素值都归一化0-1之间，对图像开平方根，再计算图像平方根的负皮尔逊相关系数。这样能够在保持图像值域不变的条件下，有效地放大像素数值，提高其在相关系数计算中的贡献度。

修改后的损失函数可以表示为

其中I和I^′分别表示自编码网络的输入图像(第一哈特曼图像)和输出图像(第二哈特曼图像)。

利用该修改后的损失函数进行计算，如附图7所示的本发明实施例修正前与修正后损失函数波前复原结果对比图。其中，图(a)为修正前损失函数的波前残差RMS分布图，图(b)为修正后损失函数的波前残差RMS分布图，图(c)为校正前远场光斑图，图(d)为使用修正前损失函数获得的校正后远场光斑图，图(e)为使用修正后损失函数获得的校正后远场光斑图。由图可知，相比于修正前的损失函数，修改后的损失函数使波前测量精度有了进一步的提高。波前残差的平均RMS从前一次训练的0.152λ进一步下降至0.0743λ，校正后远场光斑的平均SR也从0.3678提高至0.5013(校正Zernike前66项)。

本发明实施例二的无监督学习的神经网络模型，首次实现了波动光学中的衍射传输过程，使得神经网络模型的训练可以舍弃标签，并脱离实验室环境，尤其是在外大气自适应光学系统中可直接采集大气环境中的真实数据集来训练神经网络模型。由于训练数据集和实际大气湍流的特性是完全相同的，优化后的神经网络可进一步提高波前探测精度。如附图8所示，附图8为实施例三的自编码神经网络的自适应闭环校正过程图。为了实现闭环控制，首先生成湍流相位屏，然后以自编码神经网络模型进行波前复原，应用比例积分控制对波前进行校正，其中比例积分因子是0.3。闭环控制过程可以表述为：

U(t)＝U(t-1)+bG_zcf(I)

式中U表示变形镜控制电压，b表示积分系数，G_zc表示交互矩阵，f表示神经网络的前馈计算过程，I表示第一哈特曼图像。由附图8可知，随着闭环控制过程的进行，远场光能量分布逐渐集中，校正结束时波前残差为0.1249λ，远场光能量SR是0.5701。

另外，本发明实施例三中，总共生成了500组湍流相位屏，分别进行基于深度学习的比例积分自适应闭环校正。500次校正结果中，波前平均残差是0.138λ，校正后远场的平均SR是0.5055。上述闭环控制结果验证了在非监督学习条件下，本发明实施例技术方案的自适应校正力，证明了本发明实施例训练的自编码神经网络具有较强的泛化能力，可以通过对波前残差的测量逐步控制波前校正器4实现自适应校正。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于哈特曼探测器的无监督学习波前探测方法，其特征在于，所述波前探测方法包括如下步骤：

SP1:生成第一哈特曼图像；

SP2:将所述第一哈特曼图像输入自编码神经网络，生成第二哈特曼图像；所述自编码神经网络包括编码器和解码器，所述编码器用于将所述第一哈特曼图像转变为波前相位畸变输出；所述解码器用于将所述波前相位畸变转变为第二哈特曼图像输出；所述第一哈特曼图像和所述第二哈特曼图像的图像向量维度相同；

SP3:以负皮尔逊相关系数(Negative Pearson Correlation Coefficient，NPCC)作为所述自编码神经网络的损失函数，通过约束所述第二哈特曼图像等于所述第一哈特曼图像，对所述编码器的模型参数进行优化，训练所述编码器；

SP4:生成待测哈特曼图像，输入所述待测哈特曼图像至所述编码器，所述编码器的输出即为所述待测哈特曼图像对应的波前相位畸变。

2.根据权利要求1所述的波前探测方法，其特征在于，所述第一哈特曼图像和/或所述待测哈特曼图像由大气环境真实数据生成。

3.根据权利要求1所述的波前探测方法，其特征在于，所述编码器的网络模型为卷积网络模型ResNet50。

4.根据权利要求1所述的波前探测方法，其特征在于，所述解码器实现从所述波前相位畸变到所述第二哈特曼图像的计算过程如下：

其中，φ(x₁,y₁)表示波前相位畸变，t(x₁,y₁)表示微透镜阵列的相位屏函数，P(x₁,y₁)表示光瞳函数，假设光瞳内的光强是均匀的，(x₁,y₁)表示第一哈特曼图像的二维坐标，(x₂,y₂)表示第二哈特曼图像的二维坐标，f表示微透镜焦距，λ表示光波长，e^ikz/iλz表示常指数因子。

5.根据权利要求1所述的波前探测方法，其特征在于，所述损失函数采用改进的NPCC进行计算，具体为：

SS1:对所述第一哈特曼图像进行阈值滤波；

SS2:将所述第一哈特曼图像和所述第二哈特曼图像的像素值进行归一化；

SS3:分别对所述第一哈特曼图像和所述第二哈特曼图像开平方根；

SS4:计算所述第二哈特曼图像平方根和所述第一哈特曼图像平方根的负皮尔逊相关系数：

其中，I和I^′分别表示自编码网络的所述第一哈特曼图像和所述第二哈特曼图像。

6.根据权利要求1所述的波前探测方法，其特征在于，该方法还包括对所述第一哈特曼图像和所述待测哈特曼图像进行预处理，所述预处理包括去除背景光和/或阈值滤波。

7.一种基于哈特曼探测器的自适应光学波前探测系统，所述波前探测系统采用权利要求1-6中任意一项权利要求所述的波前探测方法，其特征在于，所述自适应光学波前探测系统至少包括哈特曼探测器，所述哈特曼探测器包括微透镜阵列和光电探测器，所述微透镜阵列的子孔径直径不超过大气相干长度的3倍；所述光电探测器设置在所述微透镜阵列的焦平面上，用于生成所述第一哈特曼图像或所述待测哈特曼图像。

8.根据权利要求7的自适应光学波前探测系统，其特征在于，所述自适应光学波前探测系统还包括光源，用于产生准直光束，所述准直光束用于照射大气环境后被所述哈特曼探测器接收，生成所述第一哈特曼图像或所述待测哈特曼图像。