[go: up one dir, main page]

CN111008945B - 基于机器学习的多像质参数自适应像差矫正方法及装置 - Google Patents

基于机器学习的多像质参数自适应像差矫正方法及装置 Download PDF

Info

Publication number
CN111008945B
CN111008945B CN201911423325.XA CN201911423325A CN111008945B CN 111008945 B CN111008945 B CN 111008945B CN 201911423325 A CN201911423325 A CN 201911423325A CN 111008945 B CN111008945 B CN 111008945B
Authority
CN
China
Prior art keywords
image
relative
value
aberration
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911423325.XA
Other languages
English (en)
Other versions
CN111008945A (zh
Inventor
王伟波
谭久彬
李晓君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Original Assignee
Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute filed Critical Harbin Institute Of Technology Robot (zhongshan) Unmanned Equipment And Artificial Intelligence Research Institute
Priority to CN201911423325.XA priority Critical patent/CN111008945B/zh
Publication of CN111008945A publication Critical patent/CN111008945A/zh
Application granted granted Critical
Publication of CN111008945B publication Critical patent/CN111008945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于机器学习的多像质参数自适应像差矫正方法及装置，该方法先获取图像的相对图像评价数据；将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正。采用本发明技术方案不仅能够提高像差的矫正效率，还能够提高像差矫正精度。

Description

基于机器学习的多像质参数自适应像差矫正方法及装置
技术领域
本发明涉及光学显微成像领域，尤其涉及一种基于机器学习的多像质参数自适应像差矫正方法及装置。
背景技术
目前，自适应像差矫正方法主要分为基于波前传感器的直接波前探测方法和无波前传感器的间接探测方法，然而直接波前探测方法引入了波前传感器，不仅增加光学系统的成本和设计难度，还提高光源能量的要求，从而使得直接波前探测法难以推广和应用。
现有技术中，无波前传感器的间接探测法主要分为两种，一种为无模型的随机搜索算法，虽然无模型的随机搜索算法的矫正范围大，但是矫正结果的准确度不高，需要反复测试才能获得相对较好的矫正结果，从而导致像差的矫正效率低。另一种是基于模型的模式法，虽然基于模型的模式法的矫正速度比随机搜索算法的矫正速度快，但是基于模型的模式法的像差矫正范围小，需要多次测试才能完成矫正，从而导致像差的矫正效率低。
发明内容
本发明实施例提供了一种基于机器学习的多像质参数自适应像差矫正方法及装置，不仅能够提高像差的矫正效率，还能够提高像差矫正精度。
为了解决上述技术问题，本发明实施例提供了一种基于机器学习的多像质参数自适应像差矫正方法，包括：
获取图像的相对图像评价数据；
将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；
根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正。
作为优选方案，所述相对图像评价数据包括以下至少任一：相对图像强度评价值、相对图像灰度方差值、相对图像锐度值。
作为优选方案，所述获取图像的相对图像强度评价值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的图像强度，获得待调整图像强度评价值；
计算所述标准图像的图像强度，获得标准图像强度评价值；
以所述待调整图像强度评价值为被除数，以所述标准图像强度评价值为除数，获得的商作为所述相对图像强度评价值。
作为优选方案，所述获取图像的相对图像灰度方差值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的灰度方差，获得待调整图像灰度方差值；
计算所述标准图像像的灰度方差，获得标准图像灰度方差值；
以所述待调整图像灰度方差值为被除数，以所述标准图像灰度方差值为除数，获得的商作为所述相对图像灰度方差值。
作为优选方案，所述获取图像的相对图像锐度值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的图像锐度，获得待调整图像锐度值；
计算所述标准图像的图像锐度，获得标准图像锐度值；
以所述待调整图像锐度值为被除数，以所述标准图像锐度值为除数，获得的商作为所述相对图像锐度值。
作为优选方案，所述获取标准图像，具体为：
通过超分辨显微镜采集样品表层图像，并将所述样品表层图像标记为所述标准图像。
作为优选方案，所述获取标准图像，具体为：
通过超分辨显微镜采集样品表面图像，并利用模式法或随机并行梯度下降算法进行像差校正，以像差校正后获得的像质清晰的图像为标准图像。
作为优选方案，所述机器学习模型是由基于误差逆传播算法的BP神经网络构建的。
作为优选方案，所述根据所述像差泽尼克系数的预测的结果进行像差的矫正，具体为：
根据所述像差泽尼克系数的预测的结果，获得波前畸变相位分布数据；
根据所述波前畸变相位分布数据，通过变形镜或空间光调制器进行像差的波前相位调制，从而实现像差的矫正。
相应地，本发明实施例还提供一种基于机器学习的多像质参数自适应像差矫正装置，包括：
数据获取模块，用于获取图像的相对图像评价数据；
模型训练模块，用于将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；
矫正模块，用于根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的基于机器学习的多像质参数自适应像差矫正方法，该方法获取图像的相对图像评价数据；将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正。相比于现有技术采用无模型的随机搜索算法或基于模型的模式法进行像差的矫正，本发明技术方案通过获取的相对图像评价数据并根据训练得到的像差泽尼克系数的预测模型进行判断和返回输出结果，以便于根据预测结果及时进行像差矫正，从而提高像差的矫正效率和矫正精度。
附图说明
图1是本发明提供的基于机器学习的多像质参数自适应像差矫正方法的第一实施例的流程示意图；
图2是本发明提供的反射式共焦显微系统的光路图；
图3是误差逆传播算法的BP神经网络的结构示意图；
图4是本发明提供的基于机器学习的多像质参数自适应像差矫正装置的第二实施例的结构示意图；
其中，说明书附图中的附图标记如下：
1、激光器；2、准直扩束系统；3、分束镜；4、扫描振镜；5、扫描透镜；6、管镜；7、变形镜；8、显微物镜；9、载物台；10、收集透镜；11、针孔；12、光电倍增管。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
参见图1，是本发明提供的基于机器学习的多像质参数自适应像差矫正方法的一种实施例的流程示意图。如图1，该构建方法包括步骤101至步骤103，各步骤具体如下：
步骤101：获取图像的相对图像评价数据。
在其中一种优选实施例中，相对图像评价数据包括以下至少任一：相对图像强度评价值、相对图像灰度方差值、相对图像锐度值。
在其中一种优选的实施例中，获取图像的相对图像强度评价值的步骤如下：获取待调整图像和标准图像；计算待调整图像的图像强度，获得待调整图像强度评价值；计算标准图像的图像强度，获得标准图像强度评价值；以待调整图像强度评价值为被除数，以标准图像强度评价值为除数，获得的商作为相对图像强度评价值。其中，图像强度评价值的计算方法如下：
其中，I(x,y)为对应像素点的光强值，M和N为图像的横轴和纵轴像素数目，K1为图像强度评价值。
在其中一种优选实施例中，获取图像的相对图像灰度方差值的步骤如下：获取待调整图像和标准图像；计算待调整图像的灰度方差，获得待调整图像灰度方差值；计算标准图像像的灰度方差，获得标准图像灰度方差值；以待调整图像灰度方差值为被除数，以标准图像灰度方差值为除数，获得的商作为相对图像灰度方差值；其中，图像灰度方差值的计算方法如下：
其中，I(x,y)为对应像素点的光强值，M和N为图像的横轴和纵轴像素数目，I为图像光强平均值，K2为图像灰度方差值。
在其中一种优选实施例中，获取图像的相对图像锐度值的步骤如下：获取待调整图像和标准图像；计算待调整图像的图像锐度，获得待调整图像锐度值；计算标准图像的图像锐度，获得标准图像锐度值；以待调整图像锐度值为被除数，以标准图像锐度值为除数，获得的商作为相对图像锐度值；其中，图像锐度值的计算方法如下：
其中，I(x,y)为对应像素点的光强值，K3为图像锐度值。
在本实施例中，将相对图像强度评价值、相对图像灰度方差值、相对图像锐度值作为输入数据，像差泽尼克系数作为输出数据，使获取到像差泽尼克系数的预测模型的准确度更高，需说明的是，选取的相对图像评价数据不局限于相对图像强度评价值、相对图像灰度方差值、相对图像锐度值这几个维度，但为了保证算法的有效性，选择的相对图像评价数据之间的相关性小。
在其中一种优选实施例中，参照图2，通过超分辨显微镜获取待调整图像的步骤流程如下：
步骤一，激光器1发射的激光经过准直扩束系统2射出；
步骤二，分束镜3将经过准直扩束系统2射出的激光反射至扫描振镜4；
步骤三，扫描透镜5将扫描振镜4发出的光波进行聚焦；
步骤四，经过扫描透镜5聚焦后的光波经过管镜6射出平行光；
步骤五，该平行光经变形镜7反射后由显微物镜8聚焦至放置在载物台9的样品上；
步骤六，显微物镜8将样品信息返回至变形镜7；
步骤七，受到变形镜7的波前相位调制后继续原路返回至分束镜3；
步骤八，从分束镜3出射的光波由收集透镜10聚焦后，其光强信息由位于针孔11后面的光电倍增管12接收；
步骤九，光电倍增管12获取待调整图像。
在本实施例中，分光镜3能够使激光器1出射的光波反射至扫描振镜，使样品反射回来的光波透射后进入聚焦透镜11，其分光面与扫描振镜4、聚焦透镜10、针孔11及光电倍增管12所在的光路呈135°，扫描振镜4、变形镜7呈预设角度放置，其中预设角度的范围在0°～180°之间，需说明的是，0°、90°、180°不可选取，作为优选地，预设角度为45°或135°时效果最佳，通过上述结构，使获取到的待调整图像更加清晰，从而使获取到的待调整图像强度评价值、待调整图像灰度方差值和待调整图像锐度值更为准确，进而提高像差矫正的精度。
在其中一种优选实施例中，标准图像的获取步骤与待调整图像的获取步骤相同，区别在于：待调整图像为有像差的图像，是通过超分辨显微镜采集的样品图像；标准图像是无像差的图像，是通过超分辨显微镜采集的样品表层图像，只有当获取样品表层图像的清晰度不高时，才会通过超分辨显微镜采集样品表面图像，并利用模式法或随机并行梯度下降算法进行像差校正，以像差校正后获得的像质清晰的图像为标准图像。
在一些实施例中，含有相同像差的不同图像，观测环境的不同或所观测样品的差异性过大，都可能导致图像的评价数据(强度评价值、灰度方差值、锐度值)有很大差异，因此要选取无像差时该样品在同一观测环境下的图像作为标准图像，一般认为超分辨显微镜在对生物样品表面成像时并没有太大像差，而成像到样品内部时由于光与生物样品的散射折射等效应会引入像差，所以选取超分辨显微镜对生物样品表面成像结果作为标准图像，若表面成像就不太清晰的情况下，先用模式法或随机并行梯度下降算法方法进行像差矫正，获得清晰图像作为标准图像。
作为本实施例的一种举例，可通过其他显微镜采集待调整图像和标准图像，此时只需要将图像获取步骤进行相应的调整，也能实现本发明所述的基于机器学习的多像质参数自适应像差矫正方法。
步骤102：将相对图像评价数据和相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型。
在其中一种优选实施例中，训练集包括若干组训练数据，其中，每一组训练数据包括相对图像评价数据和像差泽尼克系数；将相对图像评价数据作为输入数据，将像差泽尼克系数作为输出数据，输入至机器学习模型中进行训练，训练数据的自变量为相对图像评价数据，因变量为像差泽尼克系数。需要说明的是：在一些例子中，在获取到标准图像之后，保持光路及样品位置不变，变形镜7生成的一组随机数作为像差泽尼克系数。可以理解，在一些例子中，输入机器学习模型的像差泽尼克系数还可以是所述机器学习模型上一次输出的像差泽尼克系数。
在本实施例中，确立表征成像对比度、强度、锐度的多个不同的相对图像评价数据，以泽尼克多项式表征成像波前畸变，机器学习模型训练的目的为确立相对图像评价数据与泽尼克多项式系数之间的映射关系。
在其中一种优选实施例中，可参见图3，机器学习模型是由基于误差逆传播算法的BP神经网络构建的，其原理是利用BP算法来优化各连接权的值以及隐藏层与输出层的阈值。需说明的是，本发明技术方案为了防止过拟合情况的出现，将训练数据分为训练集和验证集，训练集用于计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。
步骤103：根据像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据像差泽尼克系数的预测的结果进行像差的矫正。
在其中一种优选实施例中，根据像差泽尼克系数的预测的结果进行像差的矫正，具体为：根据像差泽尼克系数的预测的结果，获得波前畸变相位分布数据；根据波前畸变相位分布数据，通过变形镜或空间光调制器进行像差的波前相位调制，从而实现像差的矫正。
在本实施例中，根据像差泽尼克系数的预测的结果，并通过下列公式计算获得波前畸变相位分布数据：
其中，r，θ为光瞳面的归一化极坐标，i为泽尼克多项式阶数，ψ(r,θ)为波前畸变相位分布数据，Zi(r,θ)为第i阶泽尼克基函数，ai为第i阶泽尼克像差的系数，i的选取依据实际情况而定，本实施例选用5-36阶泽尼克基函数之和表示像差。
在本实施例中，利用相对图像评价数据和该相对图像评价数据对应的像差泽尼克系数，获得像差泽尼克系数的预测模型，后续只需要获取待检测图像的相对图像评价数据，就能够快速获取该相对图像评价数据对应的像差泽尼克系数，从而提高像差矫正的效率；不仅如此，本发明技术方案的像差泽尼克系数的预测模型是由大量的训练数据获得，准确度高，从而提高像差的矫正精度。
为了更好的说明本实施例的流程和原理，以下面的例子进行具体说明：
步骤一：从光电倍增管12中获取样品的第一待调整图像，并计算第一待调整图像的图像强度、图像灰度方差和图像锐度，获得第一待调整图像强度评价值、第一待调整图像灰度方差值、第一待调整图像锐度值；
步骤二：从光电倍增管12中获取样品表层的图像，并计算样品表层的图像的图像强度、图像灰度方差和图像锐度，获得标准图像强度评价值、标准图像灰度方差值和标准图像锐度值；
步骤三：根据第一待调整图像强度评价值、第一待调整图像灰度方差值、第一待调整图像锐度值、标准图像强度评价值、标准图像灰度方差值和标准图像锐度值，计算获得第一相对图像强度评价值、第一相对图像灰度方差值和第一相对图像锐度值；
步骤四，将第一相对图像强度评价值、第一相对图像灰度方差值和第一相对图像锐度值输入到像差泽尼克系数的预测模型，输出第一泽尼克系数；
步骤五，由第一泽尼克系数获得第一波前相位分布式数据，并通过变形镜或空间光调制器进行像差的波前相位调制，从而实现像差的矫正；
步骤六，若步骤五获得的矫正结果小于预设阈值时，使用经过步骤五矫正后的显微器来采集样品的第二待调整待调整图像，并获取第二待调整图像强度评价值、第二待调整图像灰度方差值、第二待调整图像锐度值；
步骤七，根据第二待调整图像强度评价值、第二待调整图像灰度方差值、第二待调整图像锐度值和步骤二获取的标准图像强度评价值、标准图像灰度方差值和标准图像锐度值，计算获得第二相对图像强度评价值、第二相对图像灰度方差值和第二相对图像锐度值；
步骤八，将第二相对图像强度评价值、第二相对图像灰度方差值和第二相对图像锐度值输入到像差泽尼克系数的预测模型，输出第二泽尼克系数；
步骤九，由第二泽尼克系数获得第二波前相位分布式数据，并通过变形镜或空间光调制器进行像差的波前相位调制，从而实现像差的矫正；
步骤十，若步骤九获得的矫正结果大于或等于预设阈值时，则停止矫正，若步骤九获得的矫正结果小于预设阈值时，重复步骤六至步骤九，直到最后矫正结果大于或等于预设阈值，需说明的是，这里可以没有定量的评判标准，以成像像质清晰为主，也可以用图像性能指标(如对比度/锐度/强度)来评判成像质量。
由上可见，本发明实施例提供的基于机器学习的多像质参数自适应像差矫正方法，该方法获取图像的相对图像评价数据；将相对图像评价数据和相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；根据像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据像差泽尼克系数的预测的结果进行像差的矫正。相比于现有技术采用无模型的随机搜索算法或基于模型的模式法进行像差的矫正，本发明技术方案通过获取的相对图像评价数据并根据训练得到的像差泽尼克系数的预测模型进行判断和返回输出结果，以便于根据预测结果及时进行像差矫正，从而提高像差的矫正效率和矫正精度。
第二实施例：
请参见图4，是本发明提供的一种基于机器学习的多像质参数自适应像差矫正装置的第二实施例的结构示意图。该装置包括：数据获取模块201、模型训练模块202和矫正模块203。
数据获取模块201，用于获取图像的相对图像评价数据；
模型训练模块202，用于将相对图像评价数据和相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；
矫正模块203，用于根据像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据像差泽尼克系数的预测的结果进行像差的矫正。
本实施例更详细的工作原理和流程可以但不限于参见第一实施例的基于机器学习的多像质参数自适应像差矫正方法。
由上可见，本发明技术方案通过获取的相对图像评价数据并根据训练得到的像差泽尼克系数的预测模型进行判断和返回输出结果，以便于根据预测结果及时进行像差矫正，从而提高像差的矫正效率和矫正精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于机器学习的多像质参数自适应像差矫正方法，其特征在于，包括：
获取图像的相对图像评价数据；
将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；
根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正；
其中，所述相对图像评价数据包括以下至少任一项：相对图像强度评价值、相对图像灰度方差值、相对图像锐度值；
在所述相对图像评价数据包括相对图像强度评价值的情况下：所述获取图像的相对图像强度评价值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的图像强度，获得待调整图像强度评价值；
计算所述标准图像的图像强度，获得标准图像强度评价值；
以所述待调整图像强度评价值为被除数，以所述标准图像强度评价值为除数，获得的商作为所述相对图像强度评价值；
在所述相对图像评价数据包括相对图像灰度方差值的情况下：所述获取图像的相对图像灰度方差值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的灰度方差，获得待调整图像灰度方差值；
计算所述标准图像像的灰度方差，获得标准图像灰度方差值；
以所述待调整图像灰度方差值为被除数，以所述标准图像灰度方差值为除数，获得的商作为所述相对图像灰度方差值；
在所述相对图像评价数据包括图像的相对图像锐度值的情况下，所述获取图像的相对图像锐度值，具体为：
获取待调整图像和标准图像；
计算所述待调整图像的图像锐度，获得待调整图像锐度值；
计算所述标准图像的图像锐度，获得标准图像锐度值；
以所述待调整图像锐度值为被除数，以所述标准图像锐度值为除数，获得的商作为所述相对图像锐度值。
2.如权利要求1所述的基于机器学习的多像质参数自适应像差矫正方法，其特征在于，所述获取标准图像，具体为：
通过超分辨显微镜采集样品表层图像，并将所述样品表层图像标记为所述标准图像。
3.如权利要求1所述的基于机器学习的多像质参数自适应像差矫正方法，其特征在于，所述获取标准图像，具体为：
通过超分辨显微镜采集样品表面图像，并利用模式法或随机并行梯度下降算法进行像差校正，以像差校正后获得的像质清晰的图像为标准图像。
4.如权利要求1所述的基于机器学习的多像质参数自适应像差矫正方法，其特征在于，所述机器学习模型是由基于误差逆传播算法的BP神经网络构建的。
5.如权利要求1所述的基于机器学习的多像质参数自适应像差矫正方法，其特征在于，所述根据所述像差泽尼克系数的预测的结果进行像差的矫正，具体为：
根据所述像差泽尼克系数的预测的结果，获得波前畸变相位分布数据；
根据所述波前畸变相位分布数据，通过变形镜或空间光调制器进行像差的波前相位调制，从而实现像差的矫正。
6.一种基于机器学习的多像质参数自适应像差矫正装置，其特征在于，包括：
数据获取模块，用于获取图像的相对图像评价数据；其中，所述相对图像评价数据包括以下至少任一项：相对图像强度评价值、相对图像灰度方差值、相对图像锐度值；在所述相对图像评价数据包括相对图像强度评价值的情况下：所述获取图像的相对图像强度评价值，具体为：获取待调整图像和标准图像；计算所述待调整图像的图像强度，获得待调整图像强度评价值；计算所述标准图像的图像强度，获得标准图像强度评价值；以所述待调整图像强度评价值为被除数，以所述标准图像强度评价值为除数，获得的商作为所述相对图像强度评价值；在所述相对图像评价数据包括相对图像灰度方差值的情况下：所述获取图像的相对图像灰度方差值，具体为：获取待调整图像和标准图像；计算所述待调整图像的灰度方差，获得待调整图像灰度方差值；计算所述标准图像像的灰度方差，获得标准图像灰度方差值；以所述待调整图像灰度方差值为被除数，以所述标准图像灰度方差值为除数，获得的商作为所述相对图像灰度方差值；在所述相对图像评价数据包括图像的相对图像锐度值的情况下，所述获取图像的相对图像锐度值，具体为：获取待调整图像和标准图像；计算所述待调整图像的图像锐度，获得待调整图像锐度值；计算所述标准图像的图像锐度，获得标准图像锐度值；以所述待调整图像锐度值为被除数，以所述标准图像锐度值为除数，获得的商作为所述相对图像锐度值；
模型训练模块，用于将所述相对图像评价数据和所述相对图像评价数据对应的像差泽尼克系数作为训练集，输入至机器学习模型中进行训练，以构建训练好的像差泽尼克系数的预测模型；
矫正模块，用于根据所述像差泽尼克系数的预测模型，对待检测图像的相对图像评价数据进行像差泽尼克系数的预测，并根据所述像差泽尼克系数的预测的结果进行像差的矫正。
CN201911423325.XA 2019-12-31 2019-12-31 基于机器学习的多像质参数自适应像差矫正方法及装置 Active CN111008945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911423325.XA CN111008945B (zh) 2019-12-31 2019-12-31 基于机器学习的多像质参数自适应像差矫正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423325.XA CN111008945B (zh) 2019-12-31 2019-12-31 基于机器学习的多像质参数自适应像差矫正方法及装置

Publications (2)

Publication Number Publication Date
CN111008945A CN111008945A (zh) 2020-04-14
CN111008945B true CN111008945B (zh) 2024-03-29

Family

ID=70120386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423325.XA Active CN111008945B (zh) 2019-12-31 2019-12-31 基于机器学习的多像质参数自适应像差矫正方法及装置

Country Status (1)

Country Link
CN (1) CN111008945B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474698B (zh) * 2020-04-30 2022-09-02 重庆邮电大学 一种双光源光学显微成像系统及图像处理方法
CN111580271B (zh) * 2020-06-24 2022-02-18 哈工大机器人(中山)无人装备与人工智能研究院 自适应像差校正方法及基于该方法的光片显微成像装置
CN113283162B (zh) * 2021-04-30 2022-10-28 晋城鸿智纳米光机电研究院有限公司 塑料光学镜片面形误差预测方法、电子装置及存储介质
GB202200966D0 (en) * 2022-01-25 2022-03-09 Univ Oxford Innovation Ltd Determining optical aberration

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181913A (ja) * 1992-12-21 1994-07-05 Yokogawa Medical Syst Ltd Ｍｒｉシネ画像処理装置
JP2006084787A (ja) * 2004-09-16 2006-03-30 Nikon Corp 結像光学系の評価方法、結像光学系の調整方法、露光装置および露光方法
JP2009198234A (ja) * 2008-02-20 2009-09-03 Nikon Corp 光学系評価装置
JP2010283720A (ja) * 2009-06-08 2010-12-16 Panasonic Corp 収差補正装置
JP2012130444A (ja) * 2010-12-20 2012-07-12 Canon Inc 眼底撮像方法、眼底撮像装置、およびプログラム
CN105283118A (zh) * 2013-06-10 2016-01-27 埃西勒国际通用光学公司 用于确定待测试光学系统的波前像差数据的方法
CN105278090A (zh) * 2014-06-05 2016-01-27 卡尔蔡司显微镜有限责任公司 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法
CN106650816A (zh) * 2016-12-28 2017-05-10 深圳信息职业技术学院 一种视频质量评价方法和装置
CN106873152A (zh) * 2017-01-11 2017-06-20 浙江大学 一种基于机器学习的高速像差校正方法
CN108037075A (zh) * 2017-11-30 2018-05-15 哈尔滨工业大学 共焦显微镜模式像差矫正方法
CN109528161A (zh) * 2018-11-06 2019-03-29 浙江大学 一种基于机器学习的高速高分辨扫描显微成像系统与方法
CN109741285A (zh) * 2019-01-28 2019-05-10 上海海洋大学 一种水下图像数据集的构建方法及系统
CN109903256A (zh) * 2019-03-07 2019-06-18 京东方科技集团股份有限公司 模型训练方法、色差校正方法、装置、介质和电子设备
CN109923618A (zh) * 2016-11-14 2019-06-21 卡尔蔡司光学国际有限公司 用于确定预测主观验光数据或预测矫正值的设备和计算机程序
CN110458901A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于计算成像的光电成像系统的全局性优化设计方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181913A (ja) * 1992-12-21 1994-07-05 Yokogawa Medical Syst Ltd Ｍｒｉシネ画像処理装置
JP2006084787A (ja) * 2004-09-16 2006-03-30 Nikon Corp 結像光学系の評価方法、結像光学系の調整方法、露光装置および露光方法
JP2009198234A (ja) * 2008-02-20 2009-09-03 Nikon Corp 光学系評価装置
JP2010283720A (ja) * 2009-06-08 2010-12-16 Panasonic Corp 収差補正装置
JP2012130444A (ja) * 2010-12-20 2012-07-12 Canon Inc 眼底撮像方法、眼底撮像装置、およびプログラム
CN105283118A (zh) * 2013-06-10 2016-01-27 埃西勒国际通用光学公司 用于确定待测试光学系统的波前像差数据的方法
CN105278090A (zh) * 2014-06-05 2016-01-27 卡尔蔡司显微镜有限责任公司 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法
CN109923618A (zh) * 2016-11-14 2019-06-21 卡尔蔡司光学国际有限公司 用于确定预测主观验光数据或预测矫正值的设备和计算机程序
CN106650816A (zh) * 2016-12-28 2017-05-10 深圳信息职业技术学院 一种视频质量评价方法和装置
CN106873152A (zh) * 2017-01-11 2017-06-20 浙江大学 一种基于机器学习的高速像差校正方法
CN108037075A (zh) * 2017-11-30 2018-05-15 哈尔滨工业大学 共焦显微镜模式像差矫正方法
CN109528161A (zh) * 2018-11-06 2019-03-29 浙江大学 一种基于机器学习的高速高分辨扫描显微成像系统与方法
CN109741285A (zh) * 2019-01-28 2019-05-10 上海海洋大学 一种水下图像数据集的构建方法及系统
CN109903256A (zh) * 2019-03-07 2019-06-18 京东方科技集团股份有限公司 模型训练方法、色差校正方法、装置、介质和电子设备
CN110458901A (zh) * 2019-06-26 2019-11-15 西安电子科技大学 一种基于计算成像的光电成像系统的全局性优化设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李战国 ; 李邦明 ; 李常伟 ; 张思炯 ; .一种基于Shack-Hartmann传感器的自适应波前重建算法.量子电子学报.2013,(04),全文. *

Also Published As

Publication number Publication date
CN111008945A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111008945B (zh) 基于机器学习的多像质参数自适应像差矫正方法及装置
US11972542B2 (en) Optical correction via machine learning
US20220381695A1 (en) Focus scan type imaging device for imaging target object in sample that induces aberration
Antonello et al. Optimization-based wavefront sensorless adaptive optics for multiphoton microscopy
CN112651468A (zh) 一种多尺度轻量化图像分类方法及其存储介质
WO2020081125A1 (en) Analyzing complex single molecule emission patterns with deep learning
Santos et al. Model-based resolution: applying the theory in quantitative microscopy
CN111077085B (zh) 基于深度学习的无波前探测器自适应点扫描成像方法
Lehmann et al. Resolution and accuracy of nonlinear regression of point spread function with artificial neural networks
Vinogradova et al. Estimation of optical aberrations in 3D microscopic bioimages
KR20230006106A (ko) 스테레오 영상을 이용한 고심도 영상 생성 방법 및 장치, 고심도 영상 생성 모델 학습 장치
Gao et al. Accurate piecewise centroid calculation algorithm for wavefront measurement in adaptive optics
Vishniakou et al. Differentiable optimization of the Debye-Wolf integral for light shaping and adaptive optics in two-photon microscopy
JP7600147B2 (ja) 顕微鏡対物レンズの視野を横断する合焦平面の変動を補正するためのシステムおよび方法
JPH09230954A (ja) ベクトル規格化装置
KR102073712B1 (ko) 센서리스 적응광학 시스템, 이를 적용한 이미지 장치 및 통신 장치
WO2018230615A1 (ja) 画像処理装置、コンピュータプログラム及び画像補完方法
Hu et al. HiLo microscopy with caustic illumination
Fang et al. Measurement precision bounds on aberrated single-molecule emission patterns
CN115696041B (zh) 基于波前调制迭代的非侵入式散射介质内部聚焦成像方法
CN117689993A (zh) 波前畸变信息预测方法、装置、电子设备及存储介质
Kok et al. Practical aberration correction using deep transfer learning with limited experimental data
CN117218332A (zh) 基于全息投影的循环神经网络辅助波前传感方法及设备
US8577638B1 (en) Imaging system and associated methods
Kok et al. Direct Zernike Coefficient Prediction and Correction from Aberrated Images using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant