[go: up one dir, main page]

CN110236694B - 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 - Google Patents

基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 Download PDF

Info

Publication number
CN110236694B
CN110236694B CN201910482443.1A CN201910482443A CN110236694B CN 110236694 B CN110236694 B CN 110236694B CN 201910482443 A CN201910482443 A CN 201910482443A CN 110236694 B CN110236694 B CN 110236694B
Authority
CN
China
Prior art keywords
infrared
fluorescence
image
visible light
infrared fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
CN201910482443.1A
Other languages
English (en)
Other versions
CN110236694A (zh
Inventor
顾兆泰
李娜娜
安昕
张浠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oupu Mandi Technology Co ltd
Original Assignee
Guangdong Optomedic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Optomedic Technology Co Ltd filed Critical Guangdong Optomedic Technology Co Ltd
Priority to CN201910482443.1A priority Critical patent/CN110236694B/zh
Publication of CN110236694A publication Critical patent/CN110236694A/zh
Application granted granted Critical
Publication of CN110236694B publication Critical patent/CN110236694B/zh
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。

Description

基于光谱响应特性的同屏近红外双谱荧光成像方法及系统
技术领域
本发明涉及光学成像领域，尤其涉及的是一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统。
背景技术
近红外荧光造影技术目前被广泛应用于术中导航，在分别获取白光和荧光信号的基础上，通过算法将近红外荧光信号标记在白光图像上，为手术操作者提供特定染料标记的淋巴、血管胆管和肿瘤等生物组织的位置信息。临床可在同台手术中联合应用多种染料标记不同的生物组织，如分别标记血管与胆管等。
目前，在白光图像基础上，可对两种染料进行荧光成像并叠加标记的系统主要采用双相机分模式成像和三相机分光成像的方法。双相机分模式成像是在应用白光相机进行白光成像的同时，通过模式切换控制不同的荧光激发光，近红外相机在该模式下进行对应染料的荧光成像，通过算法合成输出带某一染料荧光标记的白光图；该方案下，无法同时采集两种染料的荧光信号，并同屏标记于白光图像上，需要频繁切换模式以分别观察，不利于手术操作。三相机分光成像系统将白光，两种染料的荧光分开感光，再通过算法合成实现同屏标记的功能；但该设计光路相对复杂，结构臃肿，不利于集成。
因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，旨在解决现有的双相机分模式成像系统需要频繁切换模式以分别观察，不利于手术操作，以及三相机分光成像系统光路相对复杂，结构臃肿，不利于集成的问题。
本发明的技术方案如下：一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，具体包括以下步骤：
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；
从组织上反射回来的可见光、第一激发光、第二激发光，以及第一近红外荧光剂被激发所生产的第一近红外荧光和第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；
将第一激发光和第二激发光过滤掉；
将可见光、第一近红外荧光和第二近红外荧光根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光和第二近红外荧光生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述第一激发光被陷波滤波片过滤掉，第二激发光被长波通滤光片过滤掉。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述可见光、第一近红外荧光和第二近红外荧光被二向色镜根据光谱进行分光。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，所述第一近红外荧光和第二近红外荧光透过长波通滤光片成像于近红外相机，生成近红外荧光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光和第二近红外荧光，再将第一近红外荧光和第二近红外荧光进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其中，根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂激发的第一近红外荧光到达近红外相机的光谱曲线为fc(λ)，第二近红外荧光剂激发的第二近红外荧光到达近红外相机的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
Figure DEST_PATH_IMAGE001
Figure 100002_DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
对于第二近红外荧光剂d，RGB像元的亮度值为：
Figure 100002_DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure 100002_DEST_PATH_IMAGE006
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光和第二近红外荧光的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光和第二近红外荧光的RGB分量差异；由此，图像处理器可通过算法区分出两种荧光图像。
一种基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，包括陷波滤波片，成像镜组，二向色分光镜，短波通滤光片，可见光相机，长波通滤光片，近红外相机，图像处理器；
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；从组织上反射回来的可见光、第一激发光和第二激发光，以及第一近红外荧光剂被激发所产生的第一近红外荧光和第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；其中反射回来的第一激发光被陷波滤波片过滤掉；透过陷波滤波片的可见光、第二激发光、第一近红外荧光和第二近红外荧光被二向色镜根据光谱分光，其中可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像并传输到图像处理器；第二激发光、第一近红外荧光和第二近红外荧光被二向色分光镜反射，其中，第二激发光被长波通滤光片过滤掉，第一近红外荧光和第二近红外荧光会透过长波通滤光片成像于近红外相机，生成近红外荧光图像并传输到图像处理器；图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，所述近红外相机为带有RGB拜耳滤光片的彩色相机。
所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其中，所述第一激发光的波长比第二激发光的波长长。
本发明的有益效果：本发明通过提供一种基于光谱响应特性的同屏近红外双谱荧光成像方法及系统，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。
附图说明
图1是本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的结构示意图。
图2是本发明中拜耳滤光片见图的示意图。
图3是本发明中近红外相机的响应光谱响应曲线图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，具体包括以下步骤：
可见光、第一激发光a和第二激发光b入射到已被第一近红外荧光剂c和第二近红外荧光剂d染色的组织上；
从组织上反射回来的可见光、第一激发光a、第二激发光b，以及第一近红外荧光剂c被激发所生产的第一近红外荧光c’和第二近红外荧光剂d被激发所产生的第二近红外荧光d’被镜组收集；
将第一激发光a和第二激发光b过滤掉；
将可见光、第一近红外荧光c’和第二近红外荧光d’根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光c’和第二近红外荧光d’生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
具体地，所述第一激发光a被陷波滤波片2过滤掉，第二激发光b被长波通滤光片6过滤掉。
具体地，所述可见光、第一近红外荧光c’和第二近红外荧光d’被二向色镜3根据光谱进行分光。
具体地，所述可见光其中可见光透过二向色分光镜3和短波通滤光片4后，成像于可见光相机5，生成可见光图像。
具体地，所述第一近红外荧光c’和第二近红外荧光d’会透过长波通滤光片6成像于近红外相机7，生成近红外荧光图像。
具体地，图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
其中，图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂c激发的第一近红外荧光c’到达近红外相机7的光谱曲线为fc(λ)，第二近红外荧光剂d激发的第二近红外荧光d’到达近红外相机7的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机7的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
Figure 379116DEST_PATH_IMAGE001
Figure 765098DEST_PATH_IMAGE002
Figure 872732DEST_PATH_IMAGE003
对于第二近红外荧光剂d，RGB像元的亮度值为：
Figure 736782DEST_PATH_IMAGE004
Figure 144630DEST_PATH_IMAGE005
Figure 435934DEST_PATH_IMAGE006
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光c’和第二近红外荧光d’的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光c’和第二近红外荧光d’的RGB分量差异，由此通过算法区分出两种荧光图像。
如图1所示，一种基于光谱响应特性的同屏近红外双谱荧光成像系统，包括陷波滤波片1，成像镜组2，二向色分光镜3，短波通滤光片4，可见光相机5，长波通滤光片6，近红外相机7，图像处理器8；从可见光光源、第一激发光光源和第二激发光光源发出的可见光、第一激发光a和第二激发光b入射到已被第一近红外荧光剂c和第二近红外荧光剂d染色的组织上；反射光（包括从组织上反射回来的可见光、第一激发光a和第二激发光b）和近红外荧光（包括被第一近红外荧光剂c和第二近红外荧光剂d被激发所产生的第一近红外荧光c’和第二近红外荧光d’）被镜组收集，其中反射回来的第一激发光a被陷波滤波片2过滤掉；透过陷波滤波片2的可见光和近红外光（包括第二激发光b、第一近红外荧光c’和第二近红外荧光d’）被二向色镜3根据光谱分光，其中可见光透过二向色分光镜3和短波通滤光片4后，成像于可见光相机5，生成可见光图像并传输到图像处理器8；近红外光（包括第二激发光b、第一近红外荧光c’和第二近红外荧光d’）被二向色分光镜3反射，其中，第二激发光b被长波通滤光片6过滤掉，第一近红外荧光c’和第二近红外荧光d’透过长波通滤光片6成像于近红外相机7，生成近红外荧光图像并传输到图像处理器8；图像处理器8根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
具体地，所述第一激发光a的波长比第二激发光b的波长长。
具体地，所述第一激发光a激发第一荧光剂c发出第一近红外荧光c’，第二激发光b激发第二荧光剂d发出第二近红外荧光d’。
具体地，所述近红外相机7使用带有RGB拜耳滤光片的彩色相机。其中，所述拜耳滤光片见图2，近红外相机7的响应光谱响应曲线见图3。
本技术方案中，利用带RGB拜耳滤色片的彩色相机在近红外区间的染料荧光峰波段的不同响应特性，配合特定通道电子放大，增强采集的两类荧光RGB分量差异，形成不同颜色的图像信号，算法根据RGB分量将两种荧光分别标记于白光图像上，实现同屏双谱近红外荧光成像；本发明中基于光谱响应特性的同屏近红外双谱荧光成像系统的光路相对简单，结构紧凑，利于集成。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，具体包括以下步骤：
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；
从组织上反射回来的可见光、第一激发光、第二激发光，以及第一近红外荧光剂被激发所产生的第一近红外荧光和第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；
将第一激发光和第二激发光过滤掉；
将可见光、第一近红外荧光和第二近红外荧光根据光谱进行分光；
可见光生成可见光图像，第一近红外荧光和第二近红外荧光生成近红外荧光图像；
根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像；
将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像；
最后输出带红外双谱荧光的可见光图像。
2.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述第一激发光被陷波滤波片过滤掉，第二激发光被长波通滤光片过滤掉。
3.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述可见光、第一近红外荧光和第二近红外荧光被二向色镜根据光谱进行分光。
4.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像。
5.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，所述第一近红外荧光和第二近红外荧光透过长波通滤光片成像于近红外相机，生成近红外荧光图像。
6.根据权利要求1所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
7.根据权利要求6所述的基于光谱响应特性的同屏近红外双谱荧光成像的方法，其特征在于，其中，根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，具体原理和过程如下：由近红外相机采集并生成可区分的第一近红外荧光图像和第二近红外荧光图像，设定第一近红外荧光剂激发的第一近红外荧光到达近红外相机的光谱曲线为fc(λ)，第二近红外荧光剂激发的第二近红外荧光到达近红外相机的光谱曲线为fd(λ)，带RGB拜耳滤色片的近红外相机的光谱响应曲线分别为：R(λ)、G(λ)和B(λ)；
因此对于第一近红外荧光剂c，RGB像元的亮度值为：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
对于第二近红外荧光剂d，RGB像元的亮度值为：
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE012
由于fa(λ)与fb(λ)不重合，因此，第一近红外荧光和第二近红外荧光的RGB值会有差异，配合特定通道的电子放大，可增强采集到的第一近红外荧光和第二近红外荧光的RGB分量差异，由此通过算法区分出两种荧光图像。
8.一种基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，包括陷波滤波片，成像镜组，二向色分光镜，短波通滤光片，可见光相机，长波通滤光片，近红外相机，图像处理器；
可见光、第一激发光和第二激发光入射到已被第一近红外荧光剂和第二近红外荧光剂染色的组织上；从组织上反射回来的可见光、第一激发光和第二激发光，以及第一近红外荧光剂被激发所产生的第一近红外荧光和第二近红外荧光剂被激发所产生的第二近红外荧光被镜组收集；其中反射回来的第一激发光被陷波滤波片过滤掉；透过陷波滤波片的可见光、第二激发光、第一近红外荧光和第二近红外荧光被二向色镜根据光谱分光，其中可见光透过二向色分光镜和短波通滤光片后，成像于可见光相机，生成可见光图像并传输到图像处理器；第二激发光、第一近红外荧光和第二近红外荧光被二向色分光镜反射，其中，第二激发光被长波通滤光片过滤掉，第一近红外荧光和第二近红外荧光会透过长波通滤光片成像于近红外相机，生成近红外荧光图像并传输到图像处理器；图像处理器根据算法从近红外荧光图像中区分出第一近红外荧光图像和第二近红外荧光图像，再将第一近红外荧光图像和第二近红外荧光图像进行荧光信号处理，并叠加到可见光图像中，实现同屏近红外双谱荧光成像，最后输出带红外双谱荧光的可见光图像。
9.根据权利要求8所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，所述近红外相机为带有RGB拜耳滤光片的彩色相机。
10.根据权利要求8所述的基于光谱响应特性的同屏近红外双谱荧光成像的系统，其特征在于，所述第一激发光的波长比第二激发光的波长长。
CN201910482443.1A 2019-06-04 2019-06-04 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统 Ceased CN110236694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910482443.1A CN110236694B (zh) 2019-06-04 2019-06-04 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910482443.1A CN110236694B (zh) 2019-06-04 2019-06-04 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统

Publications (2)

Publication Number Publication Date
CN110236694A CN110236694A (zh) 2019-09-17
CN110236694B true CN110236694B (zh) 2021-09-10

Family

ID=67885991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910482443.1A Ceased CN110236694B (zh) 2019-06-04 2019-06-04 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统

Country Status (1)

Country Link
CN (1) CN110236694B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111589478B (zh) * 2020-06-05 2021-06-29 珠海市尚维高科生物技术有限公司 一种双通道实时荧光定量pcr仪光路系统及检测方法
CN111616799A (zh) * 2020-06-08 2020-09-04 广东欧谱曼迪科技有限公司 一种增强现实近红外荧光导航系统及方法
WO2023273014A1 (zh) * 2021-06-29 2023-01-05 南京微纳科技研究院有限公司 医学成像装置
CN114869207A (zh) * 2022-05-20 2022-08-09 上海微觅医疗器械有限公司 电子内窥镜成像系统、方法
CN118660664A (zh) * 2022-05-20 2024-09-17 深圳迈瑞生物医疗电子股份有限公司 多通道荧光成像系统、内窥镜成像系统和内窥镜成像方法
CN115633940A (zh) * 2022-10-28 2023-01-24 珠海市迪谱医疗科技有限公司 一种荧光成像设备及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340855A (ja) * 2005-06-08 2006-12-21 Olympus Medical Systems Corp 画像処理装置
JP2010068924A (ja) * 2008-09-17 2010-04-02 Fujinon Corp 画像取得方法および画像取得装置
CN104274156A (zh) * 2013-07-12 2015-01-14 韩国电气研究院 用于检测前哨淋巴结处的nir荧光的设备和方法
WO2016042892A1 (ja) * 2014-09-18 2016-03-24 株式会社島津製作所 イメージング装置
CN105453542A (zh) * 2013-08-21 2016-03-30 高通股份有限公司 用于通过多个图像感测元件俘获图像的系统及方法
CN106455979A (zh) * 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件
CN106714670A (zh) * 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
CN107003242A (zh) * 2014-09-16 2017-08-01 劳伦斯·利弗莫尔国家安全有限责任公司 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法
CN107645921A (zh) * 2015-03-16 2018-01-30 奇跃公司 用于诊断和治疗健康疾病的方法和系统
CN108430306A (zh) * 2015-10-09 2018-08-21 瓦索普蒂奇医疗公司 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法
CN108577812A (zh) * 2018-05-16 2018-09-28 广东欧谱曼迪科技有限公司 一种高精度近红外荧光导航成像系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6570484B2 (ja) * 2016-07-04 2019-09-04 Hoya株式会社 分析装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340855A (ja) * 2005-06-08 2006-12-21 Olympus Medical Systems Corp 画像処理装置
JP2010068924A (ja) * 2008-09-17 2010-04-02 Fujinon Corp 画像取得方法および画像取得装置
CN104274156A (zh) * 2013-07-12 2015-01-14 韩国电气研究院 用于检测前哨淋巴结处的nir荧光的设备和方法
CN105453542A (zh) * 2013-08-21 2016-03-30 高通股份有限公司 用于通过多个图像感测元件俘获图像的系统及方法
CN106455979A (zh) * 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 用于荧光源实时多通道成像的系统、方法和设备
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件
CN106714670A (zh) * 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
CN107003242A (zh) * 2014-09-16 2017-08-01 劳伦斯·利弗莫尔国家安全有限责任公司 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法
WO2016042892A1 (ja) * 2014-09-18 2016-03-24 株式会社島津製作所 イメージング装置
CN107645921A (zh) * 2015-03-16 2018-01-30 奇跃公司 用于诊断和治疗健康疾病的方法和系统
CN108430306A (zh) * 2015-10-09 2018-08-21 瓦索普蒂奇医疗公司 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法
CN108577812A (zh) * 2018-05-16 2018-09-28 广东欧谱曼迪科技有限公司 一种高精度近红外荧光导航成像系统及方法

Also Published As

Publication number Publication date
CN110236694A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110236694B (zh) 基于光谱响应特性的同屏近红外双谱荧光成像方法及系统
JP6427625B2 (ja) 画像処理装置及びその作動方法
CN101336087B (zh) 活体观察装置
EP2122331B1 (en) System for multi- wavelength fluorescence and reflectance imaging
WO2017170233A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US20060247537A1 (en) Endoscope apparatus
CN102917633B (zh) 内窥镜装置
JP5358368B2 (ja) 内視鏡システム
JP5110702B2 (ja) 蛍光画像取得装置
US20130338438A1 (en) Fluorescence endoscope apparatus
CN108577791B (zh) 一种荧光导航内窥镜系统及其增强荧光成像灵敏度的方法
JP2021510313A (ja) 内視鏡検査のための時間相関光源変調
CN103533878A (zh) 医疗设备
JP2001178672A (ja) 蛍光画像表示装置
JP2017078724A (ja) 多色蛍光画像分析装置
CN110731748B (zh) 一种电子内窥镜
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
CN211213049U (zh) 一种电子内窥镜
CA3130563A1 (en) System and method for enhanced imaging of biological tissue
KR20200079617A (ko) 수술 동영상 생성 시스템
JP2001178674A (ja) 内視鏡及び内視鏡用信号処理装置
JPWO2018070474A1 (ja) 内視鏡システム
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
KR102372603B1 (ko) 기능영상 제공 의료 시스템
WO2012090982A1 (ja) 蛍光内視鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd.

Address before: 528251 504, block a, Jingu optoelectronics, No.1, Yong'an North Road, Nanhai District, Foshan City, Guangdong Province

Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address
IW01 Full invalidation of patent right

Decision date of declaring invalidation: 20230628

Decision number of declaring invalidation: 562328

Granted publication date: 20210910

IW01 Full invalidation of patent right