[go: up one dir, main page]

CN111967530A - 一种医学荧光成像系统的荧光区域识别方法 - Google Patents

一种医学荧光成像系统的荧光区域识别方法 Download PDF

Info

Publication number
CN111967530A
CN111967530A CN202010886093.8A CN202010886093A CN111967530A CN 111967530 A CN111967530 A CN 111967530A CN 202010886093 A CN202010886093 A CN 202010886093A CN 111967530 A CN111967530 A CN 111967530A
Authority
CN
China
Prior art keywords
fluorescence
area
medical
imaging system
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010886093.8A
Other languages
English (en)
Inventor
蔡惠明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202010886093.8A priority Critical patent/CN111967530A/zh
Publication of CN111967530A publication Critical patent/CN111967530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了医学荧光成像技术领域的一种医学荧光成像系统的荧光区域识别方法。本发明的一种医学荧光成像系统的荧光区域识别方法，包括如下步骤：S1、制作添加人工干扰因素的医学荧光成像场景，并采集实验场景中的荧光区图像和可见光区图像作为训练数据集Q1；S2、分别对训练数据集Q1中的荧光区图像和可见光区图像进行标注预处理；S3、通过训练数据集Q1样本及标注数据，构建荧光区域预测网络和损失函数，本发明的对荧光成像系统荧光区域的提取方法，可以有效提高荧光成像效果，减少反光或杂散光因素的干扰，减少反光区域与真实区域灰度相近，而无法快速区分。

Description

一种医学荧光成像系统的荧光区域识别方法
技术领域
本发明涉及医学荧光成像技术领域，具体为一种医学荧光成像系统的荧光区域识别方法。
背景技术
基于ICG(吲哚菁绿)医学荧光内窥镜系统通过将ICG造影剂提前注射至人体内，可以实现肿瘤示踪，淋巴或血液造影。其优异的荧光能力大大提高了临床诊断和治疗的效果。一般医学荧光成像设备其输出两种图像，一种为815nm左右的荧光区图像，一种为400～700nm范围内的可见光区图像
现有的荧光成像系统由于外部反光物品或者杂散光干扰，反光区域与真实荧光区域灰度特征十分接近；成像系统的图像融合模块极易将反光干扰与真实荧光成像混淆，导致融合图像中存在虚假的荧光区域，影响最终荧光成像效果。
发明内容
本发明的目的在于提供一种医学荧光成像系统的荧光区域识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：包括如下步骤：
S1、制作添加人工干扰因素的医学荧光成像场景，并采集实验场景中的荧光区图像和可见光区图像作为训练数据集Q1；
S2、分别对训练数据集Q1中的荧光区图像和可见光区图像进行标注预处理；
S3、通过训练数据集Q1样本及标注数据，构建荧光区域预测网络和损失函数；
S4、根据预处理后的训练数据集Q1和损失函数对荧光识别预测网络并进行训练，得到训练后的荧光区域预测网络。
进一步的，所述S1中人工干扰因素的添加包括如下步骤：
将易反光物在实验场景中进行反光干扰的模拟；调整医学荧光成像系统的拍摄角度将反光干扰与正常荧光区域同时成像。
进一步的，所述S2中标注预处理包括如下步骤：
通过人工判断训练数据集Q1中的可见光区和非可见光区域种类；对可见光区域和荧光区域进行干扰区域和真实区域的标注。
进一步的，所述S3中的损失函数采用如下公式：
L(X，Z)＝∑r,cw(Xr,c)∑pZr,c,plog(Xr,c,p)；
其中，r，c表示图像的高度和宽度，w(Xr,c)表示荧光图像灰度信息稀疏性权重，Xr,c表示像素点的概率分布灰度信息，p表示荧光阈灰度量化值，Zr,c,p表示(r，c)处的灰度值为p的概率分布，Xr,c,p表示(r，c)处的灰度值为p的概率分布预测值。
进一步的，所述荧光区域预测网络为端到端的深度学习网络，且所述荧光区域预测网络包括特征字典编辑层和分类器训练层。
进一步的，所述特征字典编辑层用于学习残差编码，且特征提取、字典学习与残差编码均采用单一CNN模型实现。
进一步的，所述CNN模型采用50层预训练深度残差网络。
进一步的，所述S4中训练后的荧光区域预测网络对未知荧光区图像的识别预测包括如下步骤：
将网络预测为真实荧光区域内的像素进行保存，非荧光区域内的像素置0，输出为最终的荧光图像。
与现有技术相比，本发明的有益效果是：本发明的对荧光成像系统荧光区域的提取方法，可以有效提高荧光成像效果，减少反光或杂散光因素的干扰，减少反光区域与真实区域灰度相近，而无法快速区分。
附图说明
图1为本发明的识别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请一并参阅图1，本发明提供的一种医学荧光成像系统的荧光区域识别方法，包括如下步骤：
S1、制作添加人工干扰因素的医学荧光成像场景，并采集实验场景中的荧光区图像和可见光区图像作为训练数据集Q1；
S2、分别对训练数据集Q1中的荧光区图像和可见光区图像进行标注预处理；
S3、通过训练数据集Q1样本及标注数据，构建荧光区域预测网络和损失函数；
S4、根据预处理后的训练数据集Q1和损失函数对荧光识别预测网络并进行训练，得到训练后的荧光区域预测网络。
需要说明的是，在本发明的医学荧光成像系统的荧光区域识别方法中，通过制作医学荧光成像实验场景，为实验场景添加人工干扰因素，采集实验场景中的荧光区图像与可见光区图像，将其作为训练数据集Q1；再对训练数据集Q1中的荧光区图像和可见光图像通过人工判断方式进行可见光和非可件光区域，并对其进行标注处理，以显示出干扰区域和真实区域；再根据训练数据Q1以及标注数据信息，建立荧光区域预测网络和损失函数，而且不同于本领域常规方法多采用单一训练样本，而本发明是针对荧光成像系统特点，使用可见光与荧光区图像共同作为训练样本，能够更好的提高识别效果；最后再根据预处理后的两类训练数据和损失函数对荧光识别预测网络进行训练，可以得到训练后的荧光区域预测网络，此种方式可以大大提高荧光成像效果，并减少反光或杂散光因素的干扰，不易造成反光干扰和真实荧光成像产生混淆。
其中，所述S1中人工干扰因素的添加包括如下步骤：
将易反光物在实验场景中进行反光干扰的模拟；调整医学荧光成像系统的拍摄角度将反光干扰与正常荧光区域同时成像；通过此种人工干扰方式，可以更好的提高反光区域和正常荧光区域同时成像效果。
优选的，所述S2中标注预处理包括如下步骤：
通过人工判断训练数据集Q1中的可见光区和非可见光区域种类；对可见光区域和荧光区域进行干扰区域和真实区域的标注；在对训练数据集Q1进行标注时，通过对可见光图像区域和荧光图像区域进行标注，可以分别标注出干扰区域及真实区域。
进一步的，所述S3中的损失函数采用如下公式：
L(X，Z)＝∑r,cw(Xr,c)∑pZr,c,plog(Xr,c,p)；
其中，r，c表示图像的高度和宽度，w(Xr,c)表示荧光图像灰度信息稀疏性权重，Xr,c表示像素点的概率分布灰度信息，p表示荧光阈灰度量化值，Zr,c,p表示(r，c)处的灰度值为p的概率分布，Xr,c,p表示(r，c)处的灰度值为p的概率分布预测值。
接着，所述荧光区域预测网络为端到端的深度学习网络，且所述荧光区域预测网络包括特征字典编辑层和分类器训练层；通过端到端的深度网络学习，可以通过单个神经网络替代数据处理和学习过程中的多个阶段，特征字典编辑层可以优选采用鲁棒残差编码器Fisher Vector，其具有较好纹理区分性特点；分类器训练层可以优选采用SVM(支持向量机)。
更进一步的实施方式，所述特征字典编辑层用于学习残差编码，且特征提取、字典学习与残差编码均采用单一CNN模型实现。
然后，所述CNN模型采用50层预训练深度残差网络；通过利用残差网络resent50的深度学习模型权重文件数据，可作为预训练模型，进而提高学习效率。
紧接着，所述S4中训练后的荧光区域预测网络对未知荧光区图像的识别预测包括如下步骤：
将网络预测为真实荧光区域内的像素进行保存，非荧光区域内的像素置0，输出为最终的荧光图像；通过对非荧光区域的像素置零，可以便于实现对荧光区域的荧光图像输出。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种医学荧光成像系统的荧光区域识别方法，其特征在于，包括如下步骤：
S1、制作添加人工干扰因素的医学荧光成像场景，并采集实验场景中的荧光区图像和可见光区图像作为训练数据集Q1；
S2、分别对训练数据集Q1中的荧光区图像和可见光区图像进行标注预处理；
S3、通过训练数据集Q1样本及标注数据，构建荧光区域预测网络和损失函数；
S4、根据预处理后的训练数据集Q1和损失函数对荧光识别预测网络并进行训练，得到训练后的荧光区域预测网络。
2.根据权利要求1所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述S1中人工干扰因素的添加包括如下步骤：
将易反光物在实验场景中进行反光干扰的模拟；调整医学荧光成像系统的拍摄角度将反光干扰与正常荧光区域同时成像。
3.根据权利要求1所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述S2中标注预处理包括如下步骤：
通过人工判断训练数据集Q1中的可见光区和非可见光区域种类；对可见光区域和荧光区域进行干扰区域和真实区域的标注。
4.根据权利要求1所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述S3中的损失函数采用如下公式：
L(X，Z)＝∑r,cw(Xr,c)∑pZr,c,plog(Xr,c,p)；
其中，r，c表示图像的高度和宽度，w(Xr,c)表示荧光图像灰度信息稀疏性权重，Xr,c表示像素点的概率分布灰度信息，p表示荧光阈灰度量化值，Zr,c,p表示(r，c)处的灰度值为p的概率分布，Xr,c,p表示(r，c)处的灰度值为p的概率分布预测值。
5.根据权利要求1所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述荧光区域预测网络为端到端的深度学习网络，且所述荧光区域预测网络包括特征字典编辑层和分类器训练层。
6.根据权利要求5所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述特征字典编辑层用于学习残差编码，且特征提取、字典学习与残差编码均采用单一CNN模型实现。
7.根据权利要求7所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述CNN模型采用50层预训练深度残差网络。
8.根据权利要求1所述的一种医学荧光成像系统的荧光区域识别方法，其特征在于，所述S4中训练后的荧光区域预测网络对未知荧光区图像的识别预测包括如下步骤：
将网络预测为真实荧光区域内的像素进行保存，非荧光区域内的像素置0，输出为最终的荧光图像。
CN202010886093.8A 2020-08-28 2020-08-28 一种医学荧光成像系统的荧光区域识别方法 Pending CN111967530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010886093.8A CN111967530A (zh) 2020-08-28 2020-08-28 一种医学荧光成像系统的荧光区域识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010886093.8A CN111967530A (zh) 2020-08-28 2020-08-28 一种医学荧光成像系统的荧光区域识别方法

Publications (1)

Publication Number Publication Date
CN111967530A true CN111967530A (zh) 2020-11-20

Family

ID=73400590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010886093.8A Pending CN111967530A (zh) 2020-08-28 2020-08-28 一种医学荧光成像系统的荧光区域识别方法

Country Status (1)

Country Link
CN (1) CN111967530A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525411A (zh) * 2010-12-09 2012-07-04 深圳大学 一种荧光内窥成像方法及系统
CN104730050A (zh) * 2015-03-04 2015-06-24 深圳市金准生物医学工程有限公司 一种基于图像自适应分割的免疫复合物荧光检测方法
CN110097552A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光图像的自动分割方法
CN111368669A (zh) * 2020-02-26 2020-07-03 福建师范大学 一种基于深度学习和特征增强的非线性光学图像识别方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525411A (zh) * 2010-12-09 2012-07-04 深圳大学 一种荧光内窥成像方法及系统
CN104730050A (zh) * 2015-03-04 2015-06-24 深圳市金准生物医学工程有限公司 一种基于图像自适应分割的免疫复合物荧光检测方法
CN110097552A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光图像的自动分割方法
CN111368669A (zh) * 2020-02-26 2020-07-03 福建师范大学 一种基于深度学习和特征增强的非线性光学图像识别方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡贝贝: ""层析芯片阳性信号的信息提取和定量分析研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
JP7496389B2 (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
JP7076698B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN114287878B (zh) 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法
CN112106061B (zh) 使用深度学习对未标记荧光图像进行数字染色的方法和系统
US9317761B2 (en) Method and an apparatus for determining vein patterns from a colour image
CN109255322B (zh) 一种人脸活体检测方法及装置
CN107591200B (zh) 基于深度学习及影像组学的骨龄标记识别评估方法及系统
Rana et al. Computational histological staining and destaining of prostate core biopsy RGB images with generative adversarial neural networks
Nasir et al. Segmentation based approach for detection of malaria parasites using moving k-means clustering
Abbas et al. Plasmodium species aware based quantification of malaria parasitemia in light microscopy thin blood smear
Khan et al. Unsupervised identification of malaria parasites using computer vision
CN110490860A (zh) 糖尿病视网膜病变识别方法、装置及电子设备
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及系统
CN112069891B (zh) 一种基于光照特征的深度伪造人脸鉴别方法
CN105260731A (zh) 一种基于光脉冲的人脸活体检测系统及方法
CN112184699A (zh) 水产品健康检测方法、终端设备及存储介质
CN112232977A (zh) 水产品养殖评估方法、终端设备及存储介质
CN106780439A (zh) 一种筛选眼底图像的方法
CN119027983B (zh) 畜禽疫病类症图像识别方法、装置以及电子设备
CN116168052A (zh) 结合自适应注意力与特征金字塔的胃癌病理图像分割方法
CN109934813A (zh) 目标对象的识别方法和装置
CN111612749A (zh) 基于肺部影像的病灶检测方法和装置
CN111967530A (zh) 一种医学荧光成像系统的荧光区域识别方法
Zingman et al. Deep learning–based detection of endothelial tip cells in the oxygen-induced retinopathy model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination