[go: up one dir, main page]

CN111381357B - 图像三维信息提取方法、对象成像方法、装置及系统 - Google Patents

图像三维信息提取方法、对象成像方法、装置及系统 Download PDF

Info

Publication number
CN111381357B
CN111381357B CN201811635501.1A CN201811635501A CN111381357B CN 111381357 B CN111381357 B CN 111381357B CN 201811635501 A CN201811635501 A CN 201811635501A CN 111381357 B CN111381357 B CN 111381357B
Authority
CN
China
Prior art keywords
images
image
intensity
dimensional information
overlapping area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811635501.1A
Other languages
English (en)
Other versions
CN111381357A (zh
Inventor
高玉峰
郑炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811635501.1A priority Critical patent/CN111381357B/zh
Priority to PCT/CN2019/124508 priority patent/WO2020135040A1/zh
Publication of CN111381357A publication Critical patent/CN111381357A/zh
Application granted granted Critical
Publication of CN111381357B publication Critical patent/CN111381357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本申请提供一种图像三维信息提取方法、对象成像方法、装置及系统，方法包括：获取待提取三维信息的两个目标图像；其中，所述两个目标图像为显微镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；对两个所述目标图像进行预处理；其中，所述预处理包括减背景操作和平均滤波操作；对预处理后的两个所述目标图像进行强度转位置处理；提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像；基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图。本申请能够基于轴向光强的梯度变化快速提取出图像中的三维信息，从而提高对象成像速度。

Description

图像三维信息提取方法、对象成像方法、装置及系统
技术领域
本申请涉及光学成像技术领域，尤其涉及一种图像三维信息提取方法、对象成像方法、装置及系统。
背景技术
现有的双光子荧光显微镜主要通过非线性效应在能量最高的焦点处激发荧光信号提供光学切片能力，因此它能对某一深度的样品进行成像，如图1中的(a)所示。如果实现三维大体积的成像，需要借助z轴的步进电机或者变焦透镜实现焦点的轴向移动，因此该方案体积成像的速度很慢。目前实现体成像的技术有两种：技术一如图1中的(b)所示，通过贝塞尔光束拉长的焦点，单次成像能够探测到一个大体积的范围内的荧光信号。普通的双光子成像一次只能够成像500um*500um*1um的区域，而该技术可以成像500um*500um*60um的区域，但是这种方式缺乏轴向的位置信息。技术二如图1中的(c)所示，将入射焦点设计成V型，将轴向的位置信息转化为横向的位置信息。同一个荧光信号在图像中有两个对应的位置，而这两个位置的间距和荧光信号的轴向位置有关，因此可以定位出荧光信号的轴向位置，但是以这种方式提取三维信息速度很慢。
申请内容
有鉴于此，本申请实施例提供一种图像三维信息提取方法、对象成像方法、装置及系统，能够基于轴向光强的梯度变化快速提取出图像中的三维信息，从而提高对象成像速度。
根据本申请的一个方面，提供一种图像三维信息提取方法，所述方法包括：获取待提取三维信息的两个目标图像；其中，所述两个目标图像为显微镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；对两个所述目标图像进行预处理；其中，所述预处理包括减背景操作和平均滤波操作；对预处理后的两个所述目标图像进行强度转位置处理；提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像；基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图。
在一些实施例中，对预处理后的两个所述目标图像进行强度转位置处理的步骤，包括：通过下式将所述预处理后的两个目标图像中的强度转换为轴向位置：
Figure BDA0001929949260000021
其中，y表示所述光束的强度，L表示所述光束的长度，x表示轴向位置。
在一些实施例中，提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像的步骤，包括：将所述强度转位置处理后的两个所述目标图像转换为两个二值图像；对两个所述二值图像取交集，得到所述强度转位置处理后的两个所述目标图像的相同区域；将所述相同区域对应的图像，作为两个所述目标图像对应的交叠区域图像。
在一些实施例中，基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图的步骤，包括：获取所述交叠区域图像的强度图像；将所述强度图像进行强度转位置运算，得到所述交叠区域图像的位置图像；对所述交叠区域图像的强度图像和所述位置图像进行编码，得到两个所述目标图像对应的交叠区域图像的三维信息图。
在一些实施例中，将所述强度图像进行强度转位置运算，得到所述交叠区域图像的位置图像的步骤，包括：通过下式对所述强度图像进行位置信息归一化：
Figure BDA0001929949260000031
其中，xposition为位置信息的归一化；Im3-1、Im3-2表示两个所述经过强度转位置处理后的图像的位置信息；求取所述xposition与所述光束长度的一半的乘积，得到所述交叠区域图像的位置图像。
根据本申请的另一个方面，提供一种对象成像方法，所述方法包括：采集目标对象的图像源数据；所述图像源数据为双光子显示镜在光束的强度呈梯度变化，且光斑在轴向的步进量为光束长度的一半的情况下，所采集的所述目标对象的至少两个图像；按所述轴向的图像采集顺序，以任意相邻的两个图像为一组，将所述图像源数据中的多个图像分为多组图像；将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，所述三维信息提取模型预存有上述任一项所述方法对应的算法；将多组图像对应的交叠区域图像的三维信息图进行级联，得到所述目标对象的三维成像图。
在一些实施例中，所述显微镜为双光子显微镜，所述光束为贝赛尔光束。
根据本申请的另一个方面，提供一种图像的三维信息的提取装置，所述装置包括：图像获取模块，用于获取待提取三维信息的两个目标图像；其中，所述两个目标图像为显示镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；预处理模块，用于对两个所述目标图像进行预处理；其中，所述预处理包括减背景操作和平均滤波操作；强度转位置模块，用于对预处理后的两个所述目标图像进行强度转位置处理；区域提取模块，用于提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像；三维信息图生成模块，用于基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图。
根据本申请的另一个方面，提供一种对象成像装置，所述装置包括：数据采集模块，用于采集目标对象的图像源数据；所述图像源数据为显示镜在光束的强度呈梯度变化，且光斑在轴向的步进量为光束长度的一半的情况下，所采集的所述目标对象的至少两个图像；分组模块，用于按所述轴向的图像采集顺序，以任意相邻的两个图像为一组，将所述图像源数据中的多个图像分为多组图像；三维信息提取模块，用于将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，所述三维信息提取模型预存有上述装置对应的算法；图像级联模块，用于将多组图像对应的交叠区域图像的三维信息图进行级联，得到所述目标对象的三维成像图。
根据本申请的另一个方面，提供一种对象成像系统，所述系统包括：反射镜、锥透镜、凸透镜、环形掩模板、显微镜和控制器；所述显微镜中设置有激光器；所述锥透镜设置于所述凸透镜的前焦面；所述环形掩模板设置于所述凸透镜的后焦面；所述激光器发射的激光经过所述反射镜反射后到达所述锥透镜，并通过凸透镜和所述环形掩模板，生成光束；所述显微镜在所述光束的强度呈梯度变化，且所述光束在轴向的步进量为所述光束长度的一半的情况下，采集目标对象的多个图像；所述控制器上安装有如上一方面所述的对象成像装置；所述控制器接收所述显微镜所发送的所述目标对象的多个图像，并通过所述对象成像装置，得到所述目标对象的三维成像图。
本申请提供的图像三维信息提取方法及装置中，首先获取待提取三维信息的两个目标图像；其中，两个目标图像为显微镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；对两个目标图像进行预处理；其中，预处理包括减背景操作和平均滤波操作；对预处理后的两个目标图像进行强度转位置处理；提取强度转位置处理后的两个目标图像的相同区域，得到交叠区域图像；基于交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图。本申请能够基于轴向光强的梯度变化快速提取出图像中的三维信息，从而提高对象成像速度。
为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了现有技术中的三种成像示意图；
图2示出了本申请实施例所提供的一种图像三维信息提取方法的流程图；
图3示出了本申请实施例所提供的一种图像三维信息提取方法对应的图像处理过程图；
图4示出了本申请实施例所提供的一种图像三维信息提取方法中光束及步进量的示意图；
图5示出了本申请实施例所提供的一种图像三维信息提取方法中强度转位置关系示意图；
图6示出了本申请实施例所提供的一种对象成像方法的流程图；
图7示出了本申请实施例所提供的一种图像三维信息提取装置的框图；
图8示出了本申请实施例所提供的一种对象成像装置的框图；
图9示出了本申请实施例所提供的一种图像三维信息提取系统的示意图；
图10示出了本申请实施例所提供的一种电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前现有的成像技术中，无论是通过贝塞尔光束拉长的焦点，单次探测到一个大体积的范围内的荧光信号进行成像，还是将入射焦点设计成V型，将轴向的位置信息转化为横向的位置信息的方式来成像，其速度都很慢。基于此，本申请实施例提供的一种图像三维信息提取方法、对象成像方法、装置及系统，能够基于轴向光强的梯度变化快速提取出图像中的三维信息，从而提高对象成像速度。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像三维信息提取方法进行详细介绍。
图2示出了本申请实施例提供的一种图像三维信息提取方法的流程图，该方法应用于诸如对象成像系统中的服务器，图3示出了本申请实施例提供的图像三维信息提取方法对应的图像处理过程图，上述图像三维信息提取方法具体包括以下步骤：
步骤S202，获取待提取三维信息的两个目标图像。
其中，两个目标图像为显微镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的，如图4所示，光束在轴向的步进量为光束长度的一半。
具体实施时，显微镜在光束的强度呈梯度变化的情况下，采集第一个图像，然后在轴向即z方向通过位移台或者电控调焦透镜将光束焦点移动预设步进量，该步进量为上述光束的一半，此时，再通过显微镜采集第二个图像，将这两个图像作为待提取三维信息的两个目标图像，如图3中所示的Im1-1和Im1-2。
需要说明的是，上述显微镜可以采用多种类型的显微镜，比如双光子荧光显微镜，上述光束也可以采用多种满足强度梯度变化的光束，作为一种优选实施方式，本实施例中的光束采用贝赛尔光束。
步骤S204，对两个目标图像进行预处理。
其中，预处理包括减背景操作和平均滤波操作。通过减背景操作和平均滤波操作可以提高信噪比。由目标图像Im1-1和Im1-2滤波降噪得到图3中的Im2-1和Im2-2。
步骤S206，对预处理后的两个目标图像进行强度转位置处理。
具体的，将贝塞尔光束强度分布映射为和轴向位置成线性关系的强度，参见图5所示，(a)表示贝塞尔光束的强度分布图，(b)表示经过映射后的强度与位置成线性关系图。通过下式将预处理后的两个目标图像，Im2-1和Im2-2中的每一个强度y转换为轴向位置x，得到如图3中所示的Im3-1和Im3-2：
Figure BDA0001929949260000071
其中，y表示光束的强度，L表示光束的长度，x表示轴向位置。
步骤S208，提取强度转位置处理后的两个目标图像的相同区域，得到交叠区域图像。
具体的，将强度转位置处理后的两个目标图像Im3-1和Im3-2转换为两个二值图像；对两个二值图像取交集，得到强度转位置处理后的两个目标图像的相同区域；将相同区域对应的图像，作为两个目标图像对应的交叠区域图像，如图3中的Im4。
步骤S210，基于交叠区域图像的强度图像和位置图像，得到两个目标图像对应的交叠区域图像的三维信息图。
具体的，首先获取交叠区域图像的强度图像，如图3中所示的Im5-1；将强度图像Im5-1进行强度转位置运算，得到交叠区域图像的位置图像，如图3中所示的Im5-2；对交叠区域图像的强度图像Im5-1和位置图像Im5-2进行编码，得到两个目标图像对应的交叠区域图像Im4的三维信息图Im6。
上述将强度图像进行强度转位置运算，得到交叠区域图像的位置图像的步骤具体包括：
通过下式对强度图像进行位置信息归一化：
Figure BDA0001929949260000081
其中，xposition为位置信息的归一化；Im3-1、Im3-2表示两个经过强度转位置处理后的图像的位置信息；求取所述xposition与所述光束长度的一半的乘积，得到交叠区域图像的位置图像。
本申请实施例提供的图像三维信息提取方法，能够基于轴向光强的梯度变化快速提取出图像中的三维信息，从而提高对象成像速度。
基于上述图像三维信息提取方法实施例，本申请实施例还提供一种对象成像方法，该方法同样应用于上述服务器，参见图6所示，该对象成像方法具体包括以下步骤：
步骤S602，采集目标对象的图像源数据。
其中，图像源数据为双光子显示镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下，所采集的目标对象的至少两个图像。图像采集过程同上一实施例，在此不再赘述。优选的，上述光束为贝赛尔光束。
步骤S604，按轴向的图像采集顺序，以任意相邻的两个图像为一组，将图像源数据中的多个图像分为多组图像。
步骤S606，将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，三维信息提取模型预存有上述实施例所述方法对应的算法。
步骤S608，将多组图像对应的交叠区域图像的三维信息图进行级联，得到目标对象的三维成像图。
通过上一实施例中的图像三维信息提取方法，对每组图像中的两个图像进行三维信息提取操作，得到多组图像对应的交叠区域图像的三维信息图。最后将上述得到的多个交叠区域图像的三维信息图级联起来，即按顺序进行拼接，得到目标对象的三维成像图。
采用本实施例提供的对象成像方法，可以提高对象成像速度，可以实现比传统双光子显微镜快10倍以上的体成像速度，而且不会造成过多的光漂白和光损伤，特别适用于胚胎发育和神经活动的成像。此外，该方法不要求成像系统的重大改变，简单易用。
基于上述方法实施例，图7示出了本申请实施例提供的一种图像的三维信息提取装置的框图，该装置可以应用于上述服务器，该装置包括：图像获取模块702、预处理模块704、强度转位置模块706、区域提取模块708和三维信息图生成模块710。
其中，图像获取模块702，用于获取待提取三维信息的两个目标图像；其中，两个目标图像为显示镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；预处理模块704，用于对两个目标图像进行预处理；其中，预处理包括减背景操作和平均滤波操作；强度转位置模块706，用于对预处理后的两个目标图像进行强度转位置处理；区域提取模块708，用于提取强度转位置处理后的两个目标图像的相同区域，得到交叠区域图像；三维信息图生成模块710，用于基于交叠区域图像的强度图像和位置图像，得到两个目标图像对应的交叠区域图像的三维信息图。
图8示出了本申请实施例提供的一种对象成像装置的框图，该装置可以应用于上述服务器，该装置包括：数据采集模块802、分组模块804和三维信息提取模块806和图像级联模块808。
其中，数据采集模块802，用于采集目标对象的图像源数据；图像源数据为显示镜在光束的强度呈梯度变化，且光斑在轴向的步进量为光束长度的一半的情况下，所采集的目标对象的至少两个图像；分组模块804，用于按轴向的图像采集顺序，以任意相邻的两个图像为一组，将图像源数据中的多个图像分为多组图像；三维信息提取模块806，用于将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，三维信息提取模型预存有上述实施例装置对应的算法；图像级联模块808，用于将多组图像对应的交叠区域图像的三维信息图进行级联，得到目标对象的三维成像图。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。
基于上述方法及装置，图9示出了本申请实施例提供的一种对象成像系统，该系统包括：反射镜2、锥透镜3、凸透镜4、环形掩模板5、显微镜1和控制器6；显微镜1中设置有激光器。
其中，锥透镜3设置于凸透镜4的前焦面；环形掩模板5设置于凸透镜4的后焦面；激光器发射的激光经过反射镜2反射后到达锥透镜3，并通过凸透镜4和环形掩模板5，生成光束，如贝赛尔光束；显微镜1在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下，采集目标对象的多个图像；控制器6上安装有上述实施例所述的对象成像装置；控制器6接收显微镜1所发送的目标对象的多个图像，并通过对象成像装置，得到目标对象的三维成像图。
本实施例提供的系统可以生成贝塞尔光束，其核心组合是锥透镜，透镜和环形掩模板的组合，锥透镜放置在透镜的前焦面上，由于透镜的作用后焦面形成环形光束，环形掩模板和通光部分和环形光束对齐，即二者同心，并且掩模板要挡大约50％的光，这样才能够形成对称的贝塞尔光束。环形掩模板要使用4f透镜系统和物镜的后背孔径共轭。
生成贝塞尔光束后，使用荧光微珠测量光束，应符合如图5中(a)所示的强度分布。此时采集图像，并且将轴向即z轴的步进量调整为光束长度的一半，这样可以利用交叠区域的强度分布计算出该交叠区域的z轴位置信息，即三维信息。
需要说明的是，为了得到更高数值孔径效果，选择合适的锥透镜3、凸透镜4使环形光束与物镜最外圈匹配。贝赛尔光束还可以通过空间光调制器和掩模板的组全来实现。
为便于理解，图10示出根据本申请的一些实施例的可以实现本申请思想的电子设备1000的示例性硬件和软件组件的示意图。例如，处理器1020可以用于电子设备1000上，并且用于执行本申请中的功能。
电子设备1000可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的图像三维信息提取方法或对象成像方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备1000可以包括连接到网络的网络端口1010、用于执行程序指令的一个或多个处理器1020、通信总线1030和不同形式的存储介质1040，例如，磁盘、ROM或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM或其他类型的非暂时性存储介质或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备1000还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口1050。
为了便于说明，在电子设备1000中仅描述了一个处理器。然而，应当注意，本申请中的电子设备1000还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备1000的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任一图像三维信息提取方法或对象成像方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
另外，在本申请实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种图像三维信息提取方法，其特征在于，所述方法包括：
获取待提取三维信息的两个目标图像；其中，所述两个目标图像为显微镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；
对两个所述目标图像进行预处理；其中，所述预处理包括减背景操作和平均滤波操作；
对预处理后的两个所述目标图像进行强度转位置处理；
提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像；
基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图；
对预处理后的两个所述目标图像进行强度转位置处理的步骤，包括：
通过下式将所述预处理后的两个目标图像中的强度转换为轴向位置：
Figure FDA0003032457250000011
其中，y表示所述光束的强度，L表示所述光束的长度，x表示轴向位置；
基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图的步骤，包括：
获取所述交叠区域图像的强度图像；
将所述强度图像进行强度转位置运算，得到所述交叠区域图像的位置图像；
对所述交叠区域图像的强度图像和所述位置图像进行编码，得到两个所述目标图像对应的交叠区域图像的三维信息图。
2.根据权利要求1所述的方法，其特征在于，提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像的步骤，包括：
将所述强度转位置处理后的两个所述目标图像转换为两个二值图像；
对两个所述二值图像取交集，得到所述强度转位置处理后的两个所述目标图像的相同区域；
将所述相同区域对应的图像，作为两个所述目标图像对应的交叠区域图像。
3.根据权利要求1所述的方法，其特征在于，将所述强度图像进行强度转位置运算，得到所述交叠区域图像的位置图像的步骤，包括：
通过下式对所述强度图像进行位置信息归一化：
Figure FDA0003032457250000021
其中，xposition为位置信息的归一化；Im3-1、Im3-2表示两个经过强度转位置处理后的图像的位置信息；
求取所述xpoSItion与所述光束长度的一半的乘积，得到所述交叠区域图像的位置图像。
4.一种对象成像方法，其特征在于，所述方法包括：
采集目标对象的图像源数据；所述图像源数据为双光子显示镜在光束的强度呈梯度变化，且光斑在轴向的步进量为光束长度的一半的情况下，所采集的所述目标对象的至少两个图像；
按所述轴向的图像采集顺序，以任意相邻的两个图像为一组，将所述图像源数据中的多个图像分为多组图像；
将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，所述三维信息提取模型预存有权利要求1-3任一项所述方法对应的算法；
将多组图像对应的交叠区域图像的三维信息图进行级联，得到所述目标对象的三维成像图。
5.根据权利要求4所述的方法，其特征在于，所述显微镜为双光子显微镜，所述光束为贝赛尔光束。
6.一种图像三维信息提取装置，其特征在于，所述装置包括：
图像获取模块，用于获取待提取三维信息的两个目标图像；其中，所述两个目标图像为显示镜在光束的强度呈梯度变化，且光束在轴向的步进量为光束长度的一半的情况下所采集的；
预处理模块，用于对两个所述目标图像进行预处理；其中，所述预处理包括减背景操作和平均滤波操作；
强度转位置模块，用于对预处理后的两个所述目标图像进行强度转位置处理；
区域提取模块，用于提取所述强度转位置处理后的两个所述目标图像的相同区域，得到交叠区域图像；
三维信息图生成模块，用于基于所述交叠区域图像的强度图像和位置图像，得到两个所述目标图像对应的交叠区域图像的三维信息图；
所述强度转位置模块通过下式将所述预处理后的两个目标图像中的强度转换为轴向位置：
Figure FDA0003032457250000031
其中，y表示所述光束的强度，L表示所述光束的长度，x表示轴向位置；
所述三维信息图生成模块获取所述交叠区域图像的强度图像；将所述强度图像进行强度转位置运算，得到所述交叠区域图像的位置图像；对所述交叠区域图像的强度图像和所述位置图像进行编码，得到两个所述目标图像对应的交叠区域图像的三维信息图。
7.一种对象成像装置，其特征在于，所述装置包括：
数据采集模块，用于采集目标对象的图像源数据；所述图像源数据为显示镜在光束的强度呈梯度变化，且光斑在轴向的步进量为光束长度的一半的情况下，所采集的所述目标对象的至少两个图像；
分组模块，用于按所述轴向的图像采集顺序，以任意相邻的两个图像为一组，将所述图像源数据中的多个图像分为多组图像；
三维信息提取模块，用于将每组图像输入预设的三维信息提取模型，得到每组图像对应的交叠区域图像的三维信息图；其中，所述三维信息提取模型预存有权利要求1-3任一项所述方法对应的算法；
图像级联模块，用于将多组图像对应的交叠区域图像的三维信息图进行级联，得到所述目标对象的三维成像图。
8.一种对象成像系统，其特征在于，所述系统包括：反射镜、锥透镜、凸透镜、环形掩模板、显微镜和控制器；
所述显微镜中设置有激光器；
所述锥透镜设置于所述凸透镜的前焦面；
所述环形掩模板设置于所述凸透镜的后焦面；
所述激光器发射的激光经过所述反射镜反射后到达所述锥透镜，并通过凸透镜和所述环形掩模板，生成光束；
所述显微镜在所述光束的强度呈梯度变化，且所述光束在轴向的步进量为所述光束长度的一半的情况下，采集目标对象的多个图像；
所述控制器上安装有如权利要求7所述的对象成像装置；
所述控制器接收所述显微镜所发送的所述目标对象的多个图像，并通过所述对象成像装置，得到所述目标对象的三维成像图。
CN201811635501.1A 2018-12-29 2018-12-29 图像三维信息提取方法、对象成像方法、装置及系统 Active CN111381357B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811635501.1A CN111381357B (zh) 2018-12-29 2018-12-29 图像三维信息提取方法、对象成像方法、装置及系统
PCT/CN2019/124508 WO2020135040A1 (zh) 2018-12-29 2019-12-11 图像三维信息提取方法、对象成像方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811635501.1A CN111381357B (zh) 2018-12-29 2018-12-29 图像三维信息提取方法、对象成像方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111381357A CN111381357A (zh) 2020-07-07
CN111381357B true CN111381357B (zh) 2021-07-20

Family

ID=71127260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811635501.1A Active CN111381357B (zh) 2018-12-29 2018-12-29 图像三维信息提取方法、对象成像方法、装置及系统

Country Status (2)

Country Link
CN (1) CN111381357B (zh)
WO (1) WO2020135040A1 (zh)

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036566A2 (de) * 2001-10-22 2003-05-01 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
CN102203828A (zh) * 2008-05-16 2011-09-28 慧视科技有限公司 分析移动摄像机产生的视频信号的方法和装置
CN102597841A (zh) * 2009-10-29 2012-07-18 应用精密公司 用于光学仪器的连续、异步自动聚焦的系统和方法
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法
CN103308452A (zh) * 2013-05-27 2013-09-18 中国科学院自动化研究所 一种基于景深融合的光学投影断层成像图像获取方法
TW201342303A (zh) * 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 三維空間圖像的獲取系統及方法
EP2657747A1 (en) * 2012-04-24 2013-10-30 Deutsches Krebsforschungszentrum 4Pi STED fluorescence light microscope with high three-dimensional spatial resolution
CN103558193A (zh) * 2013-10-24 2014-02-05 深圳先进技术研究院 一种双光子显微镜
CN203502664U (zh) * 2012-11-09 2014-03-26 蒋礼阳 一种透射光学显微镜的样品梯度照明装置
CN104021522A (zh) * 2014-04-28 2014-09-03 中国科学院上海光学精密机械研究所 基于强度关联成像的目标图像分离装置及分离方法
WO2015121313A1 (de) * 2014-02-17 2015-08-20 Leica Microsystems Cms Gmbh Bereitstellen von probeninformationen mit einem lasermikrodissektionssystem
CN104966282A (zh) * 2014-12-24 2015-10-07 广西师范大学 一种用于单个血红细胞检测的图像采集方法及系统
CN105023270A (zh) * 2015-05-29 2015-11-04 汤一平 用于地下基础设施结构监测的主动式3d立体全景视觉传感器
CN105321152A (zh) * 2015-11-11 2016-02-10 佛山轻子精密测控技术有限公司 一种图像拼接方法和系统
CN105939673A (zh) * 2013-12-26 2016-09-14 诺森有限公司 超声波探头或光声探头、使用其的超声波诊断系统、超声波治疗系统、超声波诊断治疗系统以及超声波系统或光声系统
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
JP2016212349A (ja) * 2015-05-13 2016-12-15 オリンパス株式会社 ３次元情報取得装置、及び、３次元情報取得方法
CN106548485A (zh) * 2017-01-18 2017-03-29 上海朗研光电科技有限公司 纳米颗粒荧光空间编码防伪标识方法
US9697605B2 (en) * 2007-09-26 2017-07-04 Carl Zeiss Microscopy Gmbh Method for the microscopic three-dimensional reproduction of a sample
CN106983492A (zh) * 2017-02-22 2017-07-28 中国科学院深圳先进技术研究院 一种光声成像系统
CN107392946A (zh) * 2017-07-18 2017-11-24 宁波永新光学股份有限公司 一种面向三维形状重建的显微多焦距图像序列处理方法
CN206893310U (zh) * 2017-03-30 2018-01-16 鲁东大学 一种三维位置可控的阵列光镊装置
CN107680152A (zh) * 2017-08-31 2018-02-09 太原理工大学 基于图像处理的目标物表面形貌测量方法和装置
CN108227233A (zh) * 2017-12-27 2018-06-29 清华大学 基于光片结构光的显微层析超分辨率成像方法及系统
CN108680544A (zh) * 2018-04-23 2018-10-19 浙江大学 一种结构化照明的光切片荧光显微成像方法和装置
CN108685560A (zh) * 2017-04-12 2018-10-23 香港生物医学工程有限公司 用于机器人内窥镜的自动化转向系统和方法
CN108693624A (zh) * 2017-04-10 2018-10-23 深圳市瀚海基因生物科技有限公司 成像方法、装置及系统
WO2018213721A1 (en) * 2017-05-19 2018-11-22 Thrive Bioscience, Inc. Systems and methods for cell dissociation
CN108957719A (zh) * 2018-09-07 2018-12-07 苏州国科医疗科技发展有限公司 一种双光子受激发射损耗复合显微镜

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438212B1 (ko) * 2002-08-09 2004-07-01 학교법인고려중앙학원 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036566A2 (de) * 2001-10-22 2003-05-01 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
US9697605B2 (en) * 2007-09-26 2017-07-04 Carl Zeiss Microscopy Gmbh Method for the microscopic three-dimensional reproduction of a sample
CN102203828A (zh) * 2008-05-16 2011-09-28 慧视科技有限公司 分析移动摄像机产生的视频信号的方法和装置
CN102597841A (zh) * 2009-10-29 2012-07-18 应用精密公司 用于光学仪器的连续、异步自动聚焦的系统和方法
TW201342303A (zh) * 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 三維空間圖像的獲取系統及方法
EP2657747A1 (en) * 2012-04-24 2013-10-30 Deutsches Krebsforschungszentrum 4Pi STED fluorescence light microscope with high three-dimensional spatial resolution
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法
CN203502664U (zh) * 2012-11-09 2014-03-26 蒋礼阳 一种透射光学显微镜的样品梯度照明装置
CN103308452A (zh) * 2013-05-27 2013-09-18 中国科学院自动化研究所 一种基于景深融合的光学投影断层成像图像获取方法
CN103558193A (zh) * 2013-10-24 2014-02-05 深圳先进技术研究院 一种双光子显微镜
CN105939673A (zh) * 2013-12-26 2016-09-14 诺森有限公司 超声波探头或光声探头、使用其的超声波诊断系统、超声波治疗系统、超声波诊断治疗系统以及超声波系统或光声系统
WO2015121313A1 (de) * 2014-02-17 2015-08-20 Leica Microsystems Cms Gmbh Bereitstellen von probeninformationen mit einem lasermikrodissektionssystem
CN104021522A (zh) * 2014-04-28 2014-09-03 中国科学院上海光学精密机械研究所 基于强度关联成像的目标图像分离装置及分离方法
CN104966282A (zh) * 2014-12-24 2015-10-07 广西师范大学 一种用于单个血红细胞检测的图像采集方法及系统
JP2016212349A (ja) * 2015-05-13 2016-12-15 オリンパス株式会社 ３次元情報取得装置、及び、３次元情報取得方法
CN105023270A (zh) * 2015-05-29 2015-11-04 汤一平 用于地下基础设施结构监测的主动式3d立体全景视觉传感器
CN105321152A (zh) * 2015-11-11 2016-02-10 佛山轻子精密测控技术有限公司 一种图像拼接方法和系统
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
CN106548485A (zh) * 2017-01-18 2017-03-29 上海朗研光电科技有限公司 纳米颗粒荧光空间编码防伪标识方法
CN106983492A (zh) * 2017-02-22 2017-07-28 中国科学院深圳先进技术研究院 一种光声成像系统
CN206893310U (zh) * 2017-03-30 2018-01-16 鲁东大学 一种三维位置可控的阵列光镊装置
CN108693624A (zh) * 2017-04-10 2018-10-23 深圳市瀚海基因生物科技有限公司 成像方法、装置及系统
CN108685560A (zh) * 2017-04-12 2018-10-23 香港生物医学工程有限公司 用于机器人内窥镜的自动化转向系统和方法
WO2018213721A1 (en) * 2017-05-19 2018-11-22 Thrive Bioscience, Inc. Systems and methods for cell dissociation
CN107392946A (zh) * 2017-07-18 2017-11-24 宁波永新光学股份有限公司 一种面向三维形状重建的显微多焦距图像序列处理方法
CN107680152A (zh) * 2017-08-31 2018-02-09 太原理工大学 基于图像处理的目标物表面形貌测量方法和装置
CN108227233A (zh) * 2017-12-27 2018-06-29 清华大学 基于光片结构光的显微层析超分辨率成像方法及系统
CN108680544A (zh) * 2018-04-23 2018-10-19 浙江大学 一种结构化照明的光切片荧光显微成像方法和装置
CN108957719A (zh) * 2018-09-07 2018-12-07 苏州国科医疗科技发展有限公司 一种双光子受激发射损耗复合显微镜

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于光强传输方程的贝塞尔光波前检测";刘炳琦;《中国优秀硕士学位论文全文数据库基础科技辑》;20170715(第7期);全文 *
"基于移动物镜中少数透镜的快速轴向扫描系统";赵绪文等;《激光与红外》;20161130;第46卷(第11期);全文 *

Also Published As

Publication number Publication date
WO2020135040A1 (zh) 2020-07-02
CN111381357A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
Melanthota et al. Deep learning-based image processing in optical microscopy
Cohen et al. Enhancing the performance of the light field microscope using wavefront coding
JP6490219B2 (ja) デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法
JP5567692B2 (ja) 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア
US20220205919A1 (en) Widefield, high-speed optical sectioning
JP6770951B2 (ja) 結果画像を生成する方法及び光学装置
Quirin et al. Depth estimation and image recovery using broadband, incoherent illumination with engineered point spread functions
US11449964B2 (en) Image reconstruction method, device and microscopic imaging device
CN109507765A (zh) 超透镜微结构的生成方法、基于超透镜的微型双光子显微系统
Liang et al. Stripe artifact elimination based on nonsubsampled contourlet transform for light sheet fluorescence microscopy
US11334743B2 (en) System and method for image analysis of multi-dimensional data
Yang et al. Single-shot smartphone-based quantitative phase imaging using a distorted grating
CN106199941A (zh) 一种移频光场显微镜以及三维超分辨微观显示方法
US10295525B2 (en) Image generation device, image generation method, recording medium, and processing method
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
CN110006861B (zh) 一种双光子荧光成像方法、系统及图像处理设备
JP2019503012A (ja) ３次元顕微鏡画像の区分化のためのシステムおよび方法
Greene et al. Pupil engineering for extended depth-of-field imaging in a fluorescence miniscope
CN111381357B (zh) 图像三维信息提取方法、对象成像方法、装置及系统
CN109253997B (zh) 一种基于频率调制和空间编码的拉曼断层成像系统
KR102561360B1 (ko) 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템
RU2579640C1 (ru) Конфокальный спектроанализатор изображений
Motamedi et al. Analysis and characterization of high-resolution and high-aspect-ratio imaging fiber bundles
US10852696B2 (en) Device and method allowing observation of an object with a large field of observation without use of magnifying optics between a light source and the object
WO2007129325A2 (en) Optical sub wavelength super resolution imaging system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant