CN118655691B - 一种实时的显微镜聚焦方法、装置以及电子设备 - Google Patents
一种实时的显微镜聚焦方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN118655691B CN118655691B CN202411147340.7A CN202411147340A CN118655691B CN 118655691 B CN118655691 B CN 118655691B CN 202411147340 A CN202411147340 A CN 202411147340A CN 118655691 B CN118655691 B CN 118655691B
- Authority
- CN
- China
- Prior art keywords
- mobilenetv
- focusing
- network
- real
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006870 function Effects 0.000 claims description 65
- 238000012549 training Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 241001156002 Anthonomus pomorum Species 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 12
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 230000035945 sensitivity Effects 0.000 abstract description 5
- 239000012535 impurity Substances 0.000 abstract description 4
- 239000011521 glass Substances 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及光学聚焦技术领域，本发明公开了一种实时的显微镜聚焦方法、装置以及电子设备，包括以下步骤：将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；基于洛伦兹函数拟合的曲线计算实时的聚焦位置；移动显微镜平台至步骤S3中计算的聚焦位置。本发明有效减少了扫描过程中轴向拍照的次数，节省了大量的时间；将传统显微镜聚焦轴向扫描至少要单点拍摄三次才可以确定焦平面，简化为只需轴向拍照一次。同时本发明的聚焦精度更高，L1损失函数的加入使得对异常值敏感性降低，减少了玻片表面杂质的干扰。
Description
技术领域
本发明涉及玻片聚焦技术领域，更具体地说，本发明涉及一种实时的显微镜聚焦方法、装置以及电子设备。
背景技术
随着医学影像技术的飞速发展，通过高级显微镜自动扫描和拍摄细胞图像的自动阅片技术已经成为医学诊断领域的一个重要分支。在自动阅片技术中，显微镜的聚焦过程至关重要。目前传统的聚焦方法主要包括主动聚焦和被动聚焦。主动聚焦依赖于测量镜头与拍摄物体之间的距离，并据此调整镜头至合适的焦点位置。被动聚焦则通过分析图像信号的清晰度来调整焦点。
主动聚焦方法通常依赖于复杂的测距技术，在高分辨率显微镜中的应用受到限制，不仅增加了成本，而且在实际应用中难以实现。被动聚焦技术因其简便性在自动显微镜中得到了广泛应用，但在处理高分辨率图像和大量采集图像时，仍然存在明显的局限性。需要在多个轴向位置上扫描并比较图像的清晰度，以确定最佳的焦点位置。这一过程不仅耗时，而且在高分辨率图像处理时尤为缓慢。此外，由于聚焦评价函数的局限性，这种方法在准确性上也存在一定的不足。例如，当图像中缺乏足够的纹理或对比度时，评价函数可能无法准确反映图像的清晰度，从而导致聚焦不准确。
另外使用拟合曲线的方式多用插值法求取最大值，但是受到插值次数、异常值的影响会导致预测结果与实际结果相差甚远；而聚焦算法在处理大量图像时效率较低，尤其在需要快速处理和分析大量样本的临床环境中，这一点尤为突出。这不仅影响了诊断的效率，还可能导致重要信息的延误。因此，尝试利用深度学习和人工智能算法来优化聚焦过程，但深度学习模型训练耗时极长，模型复杂度较高需要较为昂贵的硬件设备支持，并且深度学习算法通常预测离焦距离，但是离焦距离通常无法判断方向。
鉴于此，本发明提供一种实时的显微镜聚焦方法、装置以及电子设备。
发明内容
为了克服现有技术中的问题，本发明提出一种实时的显微镜聚焦方法、装置以及电子设备，通过使用Brenner梯度函数计算图像清晰度，以洛伦兹函数进行柯西拟合清晰度-聚焦位置曲线，以达到单次拍摄可以计算出准焦距离和Z轴移动方向。
本发明提供一种实时的显微镜聚焦方法，包括以下步骤：
S1、将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
S2、修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
S3、基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
S4、移动显微镜平台至步骤S3中计算的聚焦位置。
在一个优选的实施方式中，所述显微图像为显微镜聚焦轴向扫描一次获取。
在一个优选的实施方式中，所述步骤S2中修改MobileNetV3网络包括如下步骤：
S201、基于原始MobileNetV3网络架构适应性调整全连接层；
S202、在调整全连接层之前添加一个全局平均池化层；
S203、更换损失函数；
S204、适应性调整优化器，从而获得修改后的MobileNetV3网络。
在一个优选的实施方式中，所述步骤S201中，在全连接层中删除激活函数和修改全连接层神经元数量。
在一个优选的实施方式中，所述预测结果对应的是连续数值，将预测结果与实际结果进行比对分析获得差异，基于差异反向采用L1损失函数更新瓶颈层的输出参数。
在一个优选的实施方式中，所述洛伦兹函数包括：
；
式中：表示Brenner梯度值，可以计算出，表示当前位置，从而推断出的准确值；表示聚焦位置；和表示步骤S1中的预测结果对应洛伦兹函数中的参数。
在一个优选的实施方式中，修改后的MobileNetV3 网络的学习训练，包括以下步骤：
步骤A1：采集训练数据，所述训练数据包括Z坐标值与当前显微图像对应的清晰度评价值：
步骤A2：学习训练修改后的MobileNetV3 网络，将训练数据作为MobileNetV3网络的输入，输出预测结果为连续数值，连续数值作为洛伦兹函数中的参数和。
在一个优选的实施方式中，采集所述训练数据为采用多间隔采样缩小采集空间，采集空间包含准焦面，并且以准焦面为0平面。
第二方面，本发明提供一种实时的显微镜聚焦装置，基于第一方面的实现，包括：
图像采集模块，将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
图像处理模块，修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
聚焦分析模块，基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
聚焦控制模块，移动显微镜平台至聚焦位置。
第三方面，本发明提供一种电子设备包括：包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述方法。
本发明一种实时的显微镜聚焦方法、装置以及电子设备的技术效果和优点：
1.本发明只需轴向拍照一次即可以确定准焦位置，曲线形状使得移动具有方向性。
2.模型轻量化并且修改后的深度学习网络对异常值敏感性降低，减少了玻片表面杂质的干扰。
3.训练数据的采集方法可以使得聚焦区间的数据更连续，从而增加结果的准确性。
4.有效减少了扫描过程中轴向拍照的次数，节省了大量的时间。
附图说明
图1为原始MobileNetV3网络的结构示意图；
图2为修改后的MobileNetV3网络的网络结构图；
图3为洛伦兹曲线分布图；
图4为本发明聚焦方法流程图；
图5为本发明MobileNetV3网络修改方法流程图；
图6为本发明修改后的MobileNetV3 网络的学习训练流程图；
图7为本发明多间隔采样示意图；
图8为本发明聚焦装置结构示意图；
图9为本发明电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图4所示，本实施例所述一种实时的显微镜聚焦方法，包括以下步骤：
S1、将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
具体来说，显微图像为显微镜聚焦轴向扫描一次获取，在显微镜聚焦轴向扫描时，当前显微图像对应的Z坐标位置是固定的，因此将显微图像和显微图像对应的Z坐标位置作为输入。利用MobileNetV3网络生成了洛伦兹函数中的参数，基于洛伦兹函数自动拟合曲线，只需轴向拍照一次，可以确定准焦面，并且以准焦面为0平面，传统显微镜聚焦轴向扫描至少要单点拍摄三次才可以确定焦平面，因而有效减少了扫描过程中轴向拍照的次数，节省了大量的时间。
S2、修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
具体地说，修改后的MobileNetV3网络包括将原始MobileNetV3模型从分类任务修改为回归任务，基于回归任务修改全连接层的预测结果，所述预测结果为连续数值；
其中：原始MobileNetV3网络是一个轻量级的深度学习模型，主要用于图像分类任务，如图1所示，原始MobileNetV3网络包括多个卷积层和深度可分离卷积，以减少模型的计算量和参数数量，主要用于分类任务，其全连接层输出的预测结果为类别概率；修改后的MobileNetV3网络如图2所示，在回归任务中将分类输出对应的全连接层修改为两个回归结果的全连接层，所述回归结果为预测连续数值，这样就可以将原本用于分类的全连接层修改为用于预测连续数值的全连接层；使得修改后的MobileNetV3网络适应回归任务，将回归结果作为洛伦兹函数中的参数和。
修改后的MobileNetV3网络与原始MobileNetV3网络在结构上的改变主要集中在网络末端：即全连接层的调整，其他深层次的特征提取部分大多保持不变，整体框架和训练的顺序不会发生变化，但需要在数据处理、损失计算和评估指标上做适当调整。
更具体来说，修改后的MobileNetV3网络从卷积开始，进入瓶颈层，随后进入全局平均池化层进行全局平均池化，全局平均池化的数据通过1x1卷积进入全连接层输出预测结果，所述预测结果对应的是连续数值，将预测结果与实际结果进行比对分析获得差异，基于差异反向采用损失函数更新瓶颈层的输出参数，从而保证预测结果的准确性，在处理过程中，模型训练并采集模型训练数据，输出两个值，对应于和，使用L1损失函数作为损失函数来优化模型，回归任务需要量化预测值与实际值之间的差异，采用训练数据采集方法的特性，即扩大了采集区间，又不会使计算量过大，还因为其覆盖性使得对异常值敏感性降低。
如图5所示，修改MobileNetV3网络的具体修改步骤如下：
S201、基于原始MobileNetV3网络架构适应性调整全连接层，在全连接层中删除激活函数和修改全连接层神经元数量：
具体来说，删除softmax层：原始MobileNetV3网络的设计用于分类任务，在全连接层包括一个激活函数（如softmax），用于将输出规范为概率分布。在回归模型中，回归任务不需要softmax函数，则需要移除这类激活函数，这样可以使得预测结果为连续数值，从而取代原始MobileNetV3网络的概率分布。修改全连接层神经元数量：将全连接层的神经元数量修改为与目标回归任务相匹配的数量。例如，本实施例为后续分析洛伦兹函数中的参数为2个，则全连接层设置有两个神经元。
需要说明的是：在实际应用中，修改后的MobileNetV3网络预测1个和预测2个的网络在设计全连接层和损失函数的时候会存在区别，预测1个神经元时，假设输出是X，那么损失函数采用L1(x)，若2个神经元时，假设输出是X,Y，那么损失函数采用的是L1（X+αY),α需要提前设置。在本实施例中α根据采集的训练数据中计算A与γ互相关所确定具体数值。
S202、在调整全连接层之前添加一个全局平均池化层；
具体来说，本实施例采用全局平均池化有助于减少模型参数，防止过拟合，同时保持空间信息，而原始MobileNetV3网络采用的是Max pooling最大池化；在实际应用中，选择哪种池化方法取决于具体的任务需求和网络设计。例如，Max Pooling最大池化主要用于强调特征图中最显著变化的场景中，如物体识别；全局平均池化被用来将特征图转换为全连接层之前，替代传统的全连接层，以减少参数数量和计算量。
S203、更换损失函数；
具体来说，分类任务常用的损失函数如交叉熵不适用于回归任务。回归任务常用的损失函数包括均方误差（MSE）、平均绝对误差（MAE）和平滑L1损失等。这些损失函数能够衡量预测值与真实值之间的差异，因而适应性选择合适的损失函数。
更具体来说，本实施例使用平滑L1损失，即Smooth L1 Loss：是一种结合了L1损失（绝对值损失）和L2损失（平方损失）的特点的损失函数，使用L1损失函数作为损失函数来优化模型，回归任务需要量化预测值与实际值之间的差异，采用L1损失函数的原因是其对异常值不敏感，因为玻片表面杂质的影响，清晰度计算可能存在异常值干扰。
S204、适应性调整优化器，从而获得修改后的MobileNetV3网络。
具体来说，在模型训练过程中使用 Adam 优化器，Adam 优化器结合了动量和自适应学习率，通常在多种深度学习任务中表现良好，根据回归任务的特性，适应性调整优化器的学习率或其他优化器参数以获得更好的性能。
修改后的MobileNetV3网络，将实时显微图像作为输入，以洛伦兹函数所需要的参数为输出，对应为和，使用L1损失函数作为损失函数来优化模型，回归任务需要量化预测值与实际值之间的差异，采用训练数据采集方法的特性，即扩大了采集区间，又不会使计算量过大，还因为其覆盖性使得对异常值敏感性降低。使用修改后的MobileNetV3网络和新的损失函数对模型进行重新训练，在保留原始模型特征提取部分权重的情况下，只训练修改后的全连接层，全连接层不使用激活函数，回归任务不需要非线性激活函数，因为本方案预测的是连续值。
S3、将步骤S2中的预测结果作为洛伦兹函数的参数和，基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
洛伦兹曲线分布如图3所示，所述洛伦兹函数包括：
；
式中：表示Brenner梯度值，可以计算出，表示当前位置，从而推断出的准确值；表示曲线峰值位置，所述曲线峰值位置为聚焦位置；和表示步骤S1中的预测结果对应洛伦兹函数中的参数。
S4、移动显微镜平台至步骤S3中计算的聚焦位置。
具体来说，本实施例采集了显微图像利用MobileNetV3网络生成的参数用于自动拟合，有效减少了扫描过程中轴向拍照的次数，节省了大量的时间，聚焦效果更好。
实施例2：请参阅图6所示，本实施例未详述部分如实施例1所示，本实施例还提供修改后的MobileNetV3 网络的学习训练，包括以下步骤：
步骤A1：采集所述训练数据：采用多间隔采样缩小采集空间，采集空间包含准焦面，并且以准焦面为0平面。
具体来说，基于步骤A1的方式采集900组训练数据，所述训练数据包括Z坐标值与当前显微图像对应的清晰度评价值，当前显微图像对应的坐标值为0，Z坐标值表征当前显微图像与准焦位置的离焦距离值，当前显微图像对应的清晰度评价值为洛伦兹函数计算的Brenner梯度值。
更具体来说，以准焦平面为0面，多间隔采样如图7所示，从（-30，30），（-29，31），(-31,29)三个离焦区间，每间隔3μm采集一次，每一组训练数据包含三组采样。这种方式来弥补区间的不连贯性。具体包括：
第一组采样从-30μm~30μm，以间隔3μm采样。采样包含：采集相应位置的图像，并计算其对应的清晰度评价值，L(z)=Brenner(z)。
第二组采样从-29μm~31μm，以间隔3μm采样。采样包含：采集相应位置的图像，并计算其对应的清晰度评价值,L(z)=Brenner(z)。
第三组采样从-31μm~29μm，以间隔3μm采样。采样包含：采集相应位置的图像，并计算其对应的清晰度评价值,L(z)=Brenner(z)。
多间隔采样既缩小了采样间隔，还扩大了采样区间，同时使得每一组训练数据不会过于庞大,减少了计算成本。
步骤A2：学习训练修改后的MobileNetV3 网络：
具体来说，将训练数据作为MobileNetV3网络的输入，输出预测结果为连续数值，连续数值作为洛伦兹函数中的参数和。
在模型训练过程中使用 Adam 优化器，Adam 优化器结合了动量和自适应学习率，通常在多种深度学习任务中表现良好。再用洛伦兹函数拟合的曲线计算实时的聚焦位置。
更具体来说，训练数据采集过程中，需要确保图像数据的质量和一致性，进行必要的预处理步骤，如缩放、归一化等，虽然修改后的MobileNetV3 网络采用L1损失函数对异常值有一定的鲁棒性，但在数据预处理阶段也可以考虑异常值的识别和处理策略。
实施例3：如图8所示，本实施例未详述部分详见实施例1，本实施例提供了一种实时的显微镜聚焦装置，包括图像采集模块、图像处理模块、聚焦分析模块和聚焦控制模块，各个模块之间通过有线或无线连接：
图像采集模块，将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
图像处理模块，修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
聚焦分析模块，基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
聚焦控制模块，移动显微镜平台至聚焦位置。
实施例4：如图9所示，本实施例未详述部分详见实施例1，本实施例提供了一种电子设备包括：包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的一种实时的显微镜聚焦方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
实施例5：本实施例未详述部分详见实施例1，本实施例提供了一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行上述的一种实时的显微镜聚焦方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本实施例可以在单次拍照后快速确定准焦位置，因此有效减少了在扫描过程中需要进行的轴向拍照次数。在数据采集中通过采用多间隔采样方法使得聚焦区间的数据采集更加连续，提高聚焦结果的准确性，更细致地评估不同焦距下的图像清晰度，从而更准确地确定最佳焦距。
通过修改深度学习网络，降低对异常值的敏感性，变得更加轻量化，可减少了由于玻片表面杂质等因素造成的干扰，提高了聚焦的准确性和可靠性提高显微镜聚焦效率和准确性的同时，还减少了操作的复杂性和时间成本，对于提升医学影像分析的自动化水平具有重要意义。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种实时的显微镜聚焦方法，其特征在于，包括以下步骤：
S1、将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
所述显微图像为显微镜聚焦轴向扫描一次获取；
S2、修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
修改MobileNetV3网络包括如下步骤：
S201、基于原始MobileNetV3网络架构适应性调整全连接层，在全连接层中删除激活函数和修改全连接层神经元数量；
S202、在调整全连接层之前添加一个全局平均池化层；
S203、更换损失函数；
S204、适应性调整优化器，从而获得修改后的MobileNetV3网络；
所述预测结果对应的是连续数值，将预测结果与实际结果进行比对分析获得差异，基于差异反向采用L1损失函数更新瓶颈层的输出参数；
所述洛伦兹函数包括：
；
式中：表示Brenner梯度值，计算出，表示当前位置，从而推断出的准确值；表示聚焦位置；和表示步骤S1中的预测结果对应洛伦兹函数中的参数；
S3、基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
S4、移动显微镜平台至步骤S3中计算的聚焦位置。
2.根据权利要求1所述的一种实时的显微镜聚焦方法，其特征在于，修改后的MobileNetV3 网络的学习训练，包括以下步骤：
步骤A1：采集训练数据，所述训练数据包括Z坐标值与当前显微图像对应的清晰度评价值：
步骤A2：学习训练修改后的MobileNetV3 网络，将训练数据作为MobileNetV3网络的输入，输出预测结果为连续数值，连续数值作为洛伦兹函数中的参数和。
3.根据权利要求2所述的一种实时的显微镜聚焦方法，其特征在于，采集训练数据为采用多间隔采样缩小采集空间，采集空间包含准焦面，并且以准焦面为0平面。
4.一种实时的显微镜聚焦装置，如权利要求1-3任一项所述的一种实时的显微镜聚焦方法的实现，其特征在于，包括：
图像采集模块，将显微图像和显微图像对应的Z坐标位置发送至修改后的MobileNetV3网络；
图像处理模块，修改后的MobileNetV3网络将预测结果作为洛伦兹函数中的参数；
聚焦分析模块，基于洛伦兹函数拟合的曲线计算实时的聚焦位置；
聚焦控制模块，移动显微镜平台至聚焦位置。
5.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-3任一项所述的一种实时的显微镜聚焦方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411147340.7A CN118655691B (zh) | 2024-08-21 | 2024-08-21 | 一种实时的显微镜聚焦方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411147340.7A CN118655691B (zh) | 2024-08-21 | 2024-08-21 | 一种实时的显微镜聚焦方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118655691A CN118655691A (zh) | 2024-09-17 |
| CN118655691B true CN118655691B (zh) | 2024-12-27 |
Family
ID=92704464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411147340.7A Active CN118655691B (zh) | 2024-08-21 | 2024-08-21 | 一种实时的显微镜聚焦方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118655691B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823384A (zh) * | 2021-06-21 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 切片的焦点地图获取方法、装置、计算机设备及存储介质 |
| CN116450941A (zh) * | 2023-04-13 | 2023-07-18 | 齐鲁工业大学(山东省科学院) | 基于洛伦兹图卷积网络的书籍推荐方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612092A (zh) * | 2023-05-25 | 2023-08-18 | 浙江农林大学 | 一种基于改进的MobileViT网络的显微镜图像清晰度评价方法 |
| CN117031680A (zh) * | 2023-06-21 | 2023-11-10 | 上海隶创科技有限公司 | 一种自动对焦方法、相机以及病理扫描仪 |
| CN117671024A (zh) * | 2023-11-30 | 2024-03-08 | 广东工业大学 | 一种图像去离焦模糊模型训练方法及相机参数标定方法 |
| CN117970595B (zh) * | 2024-03-27 | 2024-06-18 | 笑纳科技(苏州)有限公司 | 一种基于深度学习和图像处理的显微镜自动对焦方法 |
-
2024
- 2024-08-21 CN CN202411147340.7A patent/CN118655691B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823384A (zh) * | 2021-06-21 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 切片的焦点地图获取方法、装置、计算机设备及存储介质 |
| CN116450941A (zh) * | 2023-04-13 | 2023-07-18 | 齐鲁工业大学(山东省科学院) | 基于洛伦兹图卷积网络的书籍推荐方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118655691A (zh) | 2024-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689183B (zh) | 一种集群光伏功率概率预测方法、系统、介质及电子设备 | |
| CN113267258B (zh) | 红外测温方法、装置、设备、智能巡检机器人及存储介质 | |
| Qian et al. | FESSD: SSD target detection based on feature fusion and feature enhancement | |
| CN113228096B (zh) | 通过机器学习进行光学矫正 | |
| CN114972085B (zh) | 一种基于对比学习的细粒度噪声估计方法和系统 | |
| CN117528238A (zh) | 单幅图像估计离焦量的光学成像系统自动调焦方法 | |
| CN112434600A (zh) | 一种无人机巡检方法及系统 | |
| CN117649526A (zh) | 一种面向自动驾驶道路场景的高精度语义分割方法 | |
| CN113706590A (zh) | 基于强化学习的自动对焦方法、系统及其应用设备 | |
| CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN118212240A (zh) | 一种汽车齿轮生产缺陷检测方法 | |
| CN117666109A (zh) | 一种基于三角域的焦平面拟合方法 | |
| CN111832693B (zh) | 神经网络层运算、模型训练方法、装置及设备 | |
| CN118655691B (zh) | 一种实时的显微镜聚焦方法、装置以及电子设备 | |
| CN118758253B (zh) | 一种适用于建筑工程质量的楼房沉降检测方法及相关产品 | |
| CN109544584B (zh) | 一种实现巡检稳像精度测量的方法及系统 | |
| CN118864425A (zh) | 换流阀的故障检测方法、装置、计算机设备和存储介质 | |
| CN117268345B (zh) | 一种高实时性单目深度估计测量方法、装置及电子设备 | |
| CN116416468B (zh) | 一种基于神经架构搜索的sar目标检测方法 | |
| CN115835016B (zh) | 抗辐射摄像机开环式自动对焦方法、装置、设备及介质 | |
| CN117310962A (zh) | 显微成像的对焦控制方法及装置 | |
| US20230073357A1 (en) | Information processing apparatus, machine learning model, information processing method, and storage medium | |
| CN114757097B (zh) | 一种线路故障诊断方法及装置 | |
| KR102516199B1 (ko) | 특징검출을 위한 필터가 포함된 인공신경망을 이용한 비전 검사를 위한 장치 및 이를 위한 방법 | |
| CN110942448B (zh) | 一种基于卷积神经网络的定量相位图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |