[go: up one dir, main page]

CN113556968B - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN113556968B
CN113556968B CN202080018450.7A CN202080018450A CN113556968B CN 113556968 B CN113556968 B CN 113556968B CN 202080018450 A CN202080018450 A CN 202080018450A CN 113556968 B CN113556968 B CN 113556968B
Authority
CN
China
Prior art keywords
blood vessel
image
light
shallow
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080018450.7A
Other languages
English (en)
Other versions
CN113556968A (zh
Inventor
牧野贵雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN113556968A publication Critical patent/CN113556968A/zh
Application granted granted Critical
Publication of CN113556968B publication Critical patent/CN113556968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

用于高精度地评估病变部位中的病变程度的内窥镜系统的光源装置将包括血红蛋白的多个吸收峰波长在内的长波长的第1光和短波长的第2光作为照明光射出。处理器内的图像处理单元具备：检测部，其通过使用了血管特征形状的模板匹配，根据通过所述第1光的照明而获得的第1拍摄图像来生成包括增强血管图像在内的第1血管检测图像，并根据通过所述第2光的照明而获得的第2拍摄图像来生成包括增强血管图像在内的第2血管检测图像；分离部，其从所述第1血管检测图像和所述第2血管检测图像中，分离为浅部血管图像和深部血管图像；特征量计算部，其计算与所述浅部血管图像相关的浅部血管特征量和与所述深部血管图像相关的深部血管特征量；以及评估部，其使用所述浅部血管特征量和所述深部血管特征量来计算活组织中病变的严重程度。

Description

内窥镜系统
技术领域
本发明涉及一种通过使用体腔内的活组织的图像来评估活组织中病变的严重程度的内窥镜系统。
背景技术
活组织中的病变部位从活组织的粘膜层变薄、表面粗糙、发红的炎症到粘膜层及其下层局部缺损的溃疡，存在不同等级的严重程度。例如，在溃疡性大肠炎(UC)发生病变的溃疡部位，因带有白苔和脓状粘液而发白，而在炎症部位，则伴有水肿和易出血的红色。可以通过内窥镜系统对这种病变部位进行拍摄和观察。
然而，为了使外科医生能够通过内窥镜图像中所包含的颜色差异来识别正常部位和病变部位，需要在技术熟练者的指导下接受长时间的训练。此外，即使是技术熟练的外科医生也不太容易从颜色的细微差异中识别出病变部位，因此需要仔细的工作。因此，优选地，内窥镜系统提供用于客观地量化病变部位的病变程度的评估结果。
相对于此，已知一种内窥镜系统，其能够抑制因图像的亮度所引起的炎症部位的评估值的波动，执行稳定的评估值计算，并且能够减轻评估值计算的处理负担(专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开第2017/057680号
发明内容
发明所要解决的课题
在上述内窥镜系统中，具备：光源装置，其用于向被摄体照射照明光；图像获取部，其用于通过摄像元件对来自被摄体的反射光进行拍摄，来获取包括至少3个以上的颜色分量的彩色图像；以及评估部。评估部在由至少3个以上的颜色分量中的至少2个颜色分量定义的色彩平面内，根据对在构成由图像获取部获取的彩色图像的各像素的色彩平面内的像素对应点和设定在色彩平面内的预定的基准点进行连接的线段和与对象疾病具有相关性的基准轴所形成的角度，来求出与各像素的目标疾病相关的评估结果。设定基准轴以使其通过预定的基准点。基准轴是在颜色平面中与炎症程度为预定值以下的目标疾病具有相关性的轴和与炎症程度为预定值以上的目标疾病具有相关性的轴中的至少一个。
根据这种结构，可以抑制因图像的亮度所引起的评估值的波动，稳定地进行评估值的计算，并且可以抑制评估值计算的处理负担。
但是，上述内窥镜系统求出的评估值是包含血管图像的整个活组织的评估值。根据病变的种类，有时作为被摄体出现的血管图像根据病变的进展程度而发生变化。例如，根据病变的进展，有时活组织表面可见的血管变少，大量的血管集中在内部。但是，在这样的情况下，评估整个图像的上述评估值无法与医生的主观评估结果或组织学评估结果充分对应。上述内窥镜系统无法通过区分作为被摄体出现的血管图像与血管以外的活组织的图像并计算血管的特征量，来评估病变的严重程度。
因此，本发明的目的在于提供一种内窥镜系统，其在通过使用体腔内的活组织的图像来评估病变的严重程度时，通过区分出现在被摄体图像中的血管图像与血管以外的活组织图像并计算血管的特征量，从而能够高精度地评估病变部位的严重程度。
用于解决课题的方案
本发明的一个实施方式为内窥镜系统。该内窥镜系统具备：
光源装置，其被配置为射出照明光；
电子内窥镜，其被配置为对包括由所述照明光照明的体腔内的血管在内的活组织进行拍摄；
处理器，其包含图像处理单元，该图像处理单元被配置为根据由所述电子内窥镜获得的所述活组织的图像，使用所述图像信息计算出所述活组织中病变部位的病变的严重程度；
以及监视器，其被配置为显示所述严重程度的信息。
所述光源装置被配置为至少将第1光和在比所述第1光的波段短的波长侧具有波段的第2光作为所述照明光射出。
所述图像处理单元具备：
检测部，其被配置为通过使用血管部分相对于非血管部分的可识别特征，根据通过所述第1光的照明而获得的第1拍摄图像来生成包括增强血管图像在内的第1血管检测图像，进而根据通过所述第2光的照明而获得的第2拍摄图像来生成包括增强血管图像在内的第2血管检测图像；
分离部，其被配置为从所述第1血管检测图像和所述第2血管检测图像中，将所述第1血管检测图像和所述第2血管检测图像内的血管图像分离为浅部血管图像和深部血管图像以作为距离所述活组织表面的深度位置不同的血管图像取出；
特征量计算部，其被配置为计算与所述浅部血管图像相关的浅部血管特征量和与所述深部血管图像相关的深部血管特征量；
以及评估部，其被配置为至少使用所述浅部血管特征量和所述深部血管特征量来计算所述活组织中病变的所述严重程度。
优选地，所述分离部将所述第2血管检测图像中的血管图像区域检测为所述浅部血管图像区域，并且通过从所述第1血管检测图像中的血管图像区域中除去检测出的所述浅部血管图像区域来检测所述深部血管图像区域，从而检测出所述浅部血管图像和所述深部血管图像。
优选地，所述分离部根据所述第1拍摄图像和所述第2拍摄图像的对应像素的像素值之间的平均值作为像素值的平均图像的各像素值是否为预先设定的第1阈值以上，来检测所述浅部血管图像区域，并且根据所述第1拍摄图像的各像素值是否为预先设定的第2阈值以上，来检测包括所述浅部血管图像区域和所述深部血管图像区域在内的混合区域，并通过从检测出的所述混合区域中除去检测出的所述浅部血管图像区域，来检测所述深部血管图像区域。
优选地，所述分离部被配置为，求出与所述浅部血管图像区域相对应的所述第2拍摄图像的对应区域的像素值以作为所述浅部血管图像的像素值，并且求出与所述深部血管图像区域相对应的所述第1拍摄图像的对应区域的像素值以作为所述深部血管图像的像素值，
所述特征量计算部被配置为使用所求出的所述浅部血管图像的像素值和所述深部血管图像的像素值来计算所述浅部血管特征量和所述深部血管特征量。
本发明的一个实施方式也是内窥镜系统。该内窥镜系统具备：
光源装置，其被配置为射出照明光；
电子内窥镜，其对包括由所述照明光照明的体腔内的血管在内的活组织进行拍摄；
处理器，其包含图像处理单元，该图像处理单元被配置为根据由所述电子内窥镜获得的所述活组织的图像，使用所述图像信息计算出所述活组织中病变部位的病变的严重程度；
以及监视器，其被配置为显示所述严重程度的信息。
所述光源装置被配置为至少将第1光和在比所述第1光的波段短的波长侧具有波段的第2光作为所述照明光射出。
所述图像处理单元具备：
分离部，其被配置为从距离所述活组织表面的深度位置不同的浅部血管图像和深部血管图像中，根据通过所述第1光的照明而获得的第1拍摄图像和通过所述第2光的照明而获得的第2拍摄图像，分离并取出将所述浅部血管图像作为一部分图像包括在内的第1图像部分和将所述深部血管图像作为一部分图像包括在内的第2图像部分；
检测部，其被配置为通过使用血管部分相对于非血管部分的可识别特征，根据所述第1图像部分和所述第2图像部分来生成所述浅部血管图像和所述深部血管图像；
特征量计算部，其被配置为计算与所述浅部血管图像相关的浅部血管特征量的值和与所述深部血管图像相关的深部血管特征量的值；
以及评估部，其被配置为至少使用所述浅部血管特征量的值和所述深部血管特征量的值来计算所述活组织中病变的所述严重程度。
优选地，所述分离部根据所述第1拍摄图像和所述第2拍摄图像的对应像素的像素值之间的平均值作为像素值的平均图像的各像素值是否为预先设定的第1阈值以上，来创建所述第1图像部分，并且根据所述第1拍摄图像的各像素值是否为预先设定的第2阈值以上，来检测将所述浅部血管图像和所述深部血管图像作为一部分图像包括在内的混合图像，并从检测出的所述混合图像中除去所创建的所述第1图像部分，由此创建所述第2图像部分。
优选地，所述检测部被配置为，通过使用了血管呈直线状延伸的血管特征形状的模板匹配来检测所增强的血管图像。
优选地，所述评估部对通过所述浅部血管特征量的值乘以系数而得到的值和所述深部血管特征量的值乘以系数而得到的值进行加减运算，来计算所述严重程度。
优选地，所述评估部通过使用预测模型，根据所述特征量计算部计算出的所述活组织中的所述浅部血管特征量的值和所述深部血管特征量的值，来对所述严重程度进行预测评估；其中，该预测模型将用于确定预先准备的与严重程度相关的评估的多个参照图像的各自所述评估信息、通过所述参照图像使用所述图像处理单元计算出的所述浅部血管特征量和深部血管特征量作为机械学习数据，对所述浅部血管特征量和所述深部血管特征量、以及与所述活组织中病变的严重程度相关的所述评估之间的对应关系进行机器学习。
优选地，所述光源装置被配置为，将分别以所述第1光和所述第2光作为光学成分包括在内的1个光作为所述照明光射出，
所述电子内窥镜被配置为，使用滤光器将活组织的被摄体图像分离为所述第1拍摄图像和所述第2拍摄图像。
优选地，所述第1光在波段中包括血红蛋白的多个吸收峰波长中的第1吸收峰波长，
所述第2光在波段中包括所述多个吸收峰中的比所述第1吸收峰波长短的波长侧的第2吸收峰波长。
优选地，所述第1光和所述第2光中的至少一个光的波段不包括血红蛋白的多个吸收峰波长中的任何一个吸收峰波长。
优选地，所述第2光的波段包括具有血红蛋白的吸收系数的波长，该血红蛋白的吸收系数大于所述第1光的波段中的血红蛋白的吸收系数的最大值。
优选地，所述光源装置被配置为，射出在比所述第1光的波段长的长波长侧具有波段的第3光。
发明效果
根据上述内窥镜系统，通过区分出现在被摄体图像中的血管图像与血管图像以外的活组织图像并计算血管的特征量，从而能够高精度地评估病变部位的严重程度。
附图说明
图1是示出一个实施方式中的内窥镜系统结构的一例的框图。
图2是说明一个实施方式中的内窥镜系统所具备的图像处理部的部分结构的例子的图。
图3是说明一个实施方式中的内窥镜系统所具备的图像处理部所执行的血管图像的检测、以及深部血管图像和浅部血管图像的分离流程的一例的图。
图4是示出一个实施方式中的内窥镜系统所具备的图像处理单元所执行的血管图像的检测方法的一例的图。
图5是示出一个实施方式中的内窥镜系统所具备的图像处理单元所使用的空间滤波器的滤波器系数的一例的图。
图6中的(a)～(c)是说明在一个实施方式的内窥镜系统中执行的血管图像的分离的例子的图。
具体实施方式
下面，在参照附图对本发明的一个实施方式中的内窥镜系统进行说明之前，对内窥镜系统的概念进行说明。
根据活组织中的病变的进展，活组织发生各种变化。传统的内窥镜系统使用通过将白色光作为照明光进行拍摄的图像的像素值来计算病变部的特征量，并评估病变部位的严重程度。如上所述，在拍摄活组织时的拍摄图像中也包含血管图像，因此血管图像也与除活组织的血管图像以外的病变部位的图像一起整体地用于严重程度的评估。这样的评估结果有时无法与医生的评估结果或组织学的评估结果充分对应。因此，一个实施方式的内窥镜系统检测血管图像，并使用该血管图像来执行病变部位的严重程度的评估。此时，根据照明光的波段的不同，所拍摄的血管也不同。例如，使用具有短波长的波段的照明光对活组织表面附近的血管进行拍摄，使用具有长波长的波段的照明光对活组织表面附近的血管、以及位于比表面附近更深一些的位置处的血管进行拍摄。因此，将照明光分为长波段的照明光和短波段的照明光，或者使用长波段的光学成分和包括长波段的光学成分的照明光来拍摄活组织。因此，在一个实施方式的内窥镜系统中，获取通过使用长波段的照明光照明的活组织的第1拍摄图像、或者与长波段的光学成分相对应的波段的活组织的第1拍摄图像，并获取通过使用短波段的照明光照明的活组织的第2拍摄图像、或者与短波段的光学成分相对应的波段的活组织的第2拍摄图像。在这种情况下，用于射出照明光的光源装置射出第1光、以及在比第1光的波段短的波长侧具有波段的第2光。
照明光通过血管内血液中的血红蛋白的光吸收，能够鲜明地获得血管图像，因此作为一例，照明光的波段或照明光的光学成分的波段优选包含血红蛋白的光吸收峰波长的波段。因此，在这种情况下，作为照明光，使用在波段中包含血红蛋白的多个吸收峰波长中的第1吸收峰波长的第1光、以及在波段带中包含血红蛋白的多个吸收峰中的比第1峰波长短的波长侧的第2吸收峰波长的第2光。例如，第1光的波段不包括第2吸收峰波长，第2光的波段不包括第1吸收峰波长。内窥镜系统能够通过分别使用第1光和第2光作为照明光来获得第1拍摄图像和第2拍摄图像。此外，内窥镜系统通过使用滤光器来分离利用将第1光和第2光分别作为光学成分的照明光进行照明而获得的活组织的被摄体图像，从而能够获得第1拍摄图像和第2拍摄图像。
此外，在与第1光和第2光相关的另一示例中，只要距离活组织表面的深度位置不同的浅部血管图像和深部血管图像能够与第1拍摄图像和第2拍摄图像分离，则第1光和第2光中的至少一个光的波段不包括血红蛋白的多个吸收峰波长中的任何吸收峰波长。
此外，在与第1光和第2光相关的另一示例中，第2光的波段包括具有血红蛋白的吸收系数的波长，该血红蛋白的吸收系数大于第1光的波段中的血红蛋白的吸收系数的最大值。由此，能够从第1拍摄图像和第2拍摄图像可靠地分离浅部血管图像和深部血管图像。
内窥镜系统通过使用血管部分相对于非血管部分的可识别特征，从2个第1拍摄图像和第2拍摄图像生成包含被增强的血管图像在内的第1血管检测图像，进而从第2拍摄图像生成包含被增强的血管图像在内的第2血管检测图像。
进一步地，内窥镜系统从第1血管检测图像和第2血管检测图像中，将第1血管检测图像内的血管图像和第2血管检测图像内的血管图像作为距离活组织表面的深度位置不同的血管图像，分离为浅部血管图像和深部血管图像。
进一步地，内窥镜系统计算与分离的浅部血管图像相关的浅部血管特征量和与深部血管图像相关的深部血管特征量，并至少使用该浅部血管特征量和深部血管特征量，来计算活组织中的病变的严重程度。
另外，在从第1拍摄图像和第2拍摄图像中检测出被增强的血管图像之后，分离为浅部血管图像和深部血管图像，然而将第1拍摄图像和第2拍摄图像分离为将浅部血管图像作为一部分图像包括在内的图像部分、以及将深部血管图像作为一部分图像包括在内的图像部分之后，可以通过从分离的图像部分中检测增强的血管图像来获得浅部血管图像和深部血管图像。
如此一来，内窥镜系统通过使用波段不同的第1光和第2光，作为距离活组织表面的深度位置不同的血管图像，来获得浅部血管图像和深部血管图像，并将通过这些血管图像计算出的浅部血管特征量和深部血管特征量用于计算活组织中病变的严重程度，因此与以往那样仅仅使用白色光的照明光进行评估的情况相比，能够高精度地评估病变部位中病变的严重程度。以这种方式评估的严重程度可以与医生的主观评估结果(例如MAYOendoscopic subscore，MAYO内窥镜评分)或组织学评估结果良好地对应。
图1为示出本发明的一个实施方式中的内窥镜系统1的结构一例的框图。如图1所示，内窥镜系统1具备电子观测器100、电子内窥镜用处理器200、监视器300以及打印机400。
电子内窥镜用处理器200具备系统控制器202和时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个内窥镜系统1。此外，系统控制器202根据输入到操作面板208的用户(外科医生或助手)的指令来变更内窥镜系统1的各种设定。时序控制器206向内窥镜系统1内的各电路输出用于调整各部操作时间的时钟脉冲。
电子内窥镜用处理器200具备用于向电子观测器100提供照明光的光源部(光源装置)230。尽管图中未示出，但是光源部230具备例如通过接收由灯电源供给的驱动功率来发射白色照明光的高亮度灯，例如氙气灯、金属卤化物灯、水银灯或卤素灯。光源部230被配置为，从高亮度灯射出的照明光通过未图示的光学滤波器交替地生成并射出波段相互不同的第1光和第2光，并通过未图示的聚光透镜聚光后，经由未图示的调光装置入射到作为电子观测器100的光纤束LCB(Light Carrying Bundle，光导束)102的入射端。
或者，光源部230具备用于射出波段相互不同的第1光和第2光的发光二极管。第1光和第2光从发光二极管中交替射出，或者从发光二极管中射出的第1光和第2光使用二向色镜等光学元件作为1个照明光合成后射出。光源部230被配置为，射出的第1光和第2光在通过图中未示出的聚光透镜聚光后，入射在电子观测器100的LCB102的入射端上。可以使用激光二极管代替发光二极管。与其他光源相比，由于发光二极管和激光二极管具有低功耗、低发热量等特征，因此具有能够在抑制功耗和发热量的同时获得明亮图像的优点。
另外，在图1所示的示例中，光源部230内置在电子内窥镜用处理器200中，但是也可以作为与电子内窥镜用处理器200分开的装置而设置在内窥镜系统1中。此外，光源部230也可以设置在后述电子观测器100的前端部。在这种情况下，不需要设置用于引导照明光的LCB102。
从入射端入射到LCB102内的照明光在LCB102内传播，并从布置在电子观测器100的前端部内的LCB102的射出端射出，并经由配光透镜104照射到被摄体。来自被摄体的反射光经由物镜106在摄像元件108的受光面上形成光学图像。
摄像元件108例如是用于在受光面上布置IR(Infra Red，红外线)截止滤光片108a、采用拜耳阵列的滤色片108b等各种滤光片的单片式彩色CCD(Charge-CoupledDevice，电荷耦合器件存储器)图像传感器，根据在受光面上成像的光学图像生成R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)各原色信号。代替单片式彩色CCD图像传感器，也可以使用单片式彩色CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体晶体管)图像传感器。如此一来，电子观测器100使用摄像元件108对体腔内的活组织进行拍摄。
在电子观测器100的连接部内设置有驱动器信号处理电路112。驱动器信号处理电路112对从摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号Y、色差信号Cb、Cr)。进一步地，驱动器信号处理电路112将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220中。此外，驱动器信号处理电路112访问存储器114并读取电子观测器100的特有信息。记录在存储器114中的电子观测器100的特有信息例如包括摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
电子内窥镜用处理器200内的系统控制器202基于存储在存储器204中的信息和电子观测器100发送的特有信息执行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子观测器100相适应的处理。
时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。摄像元件108通过驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制摄像元件108。
在系统控制器202的控制下，图像处理单元220根据从驱动器信号处理电路112所输入的图像信号，生成用于在监视器上显示内窥镜图像等的视频信号，并输出到监视器300上。进一步地，图像处理单元220从由电子观测器100获得的活组织的拍摄图像中，求出用数值表示活组织中病变程度的严重程度。此外，图像处理单元220生成在进行用于求出严重程度的数值化处理时获得的血管检测图像或拍摄图像。图像处理单元220生成用于在监视器上显示严重程度信息和血管检测图像、拍摄图像的视频信号，并输出到监视器300上。由此，外科医生能够通过显示在监视器300的显示画面上的图像来获得所关注的活组织中病变严重程度的信息。图像处理单元220根据需要将颜色映射图像和严重程度信息输出到打印机400上。
电子内窥镜用处理器200经由NIC(Network Interface Card，网络接口卡)210和网络500连接至服务器600上。电子内窥镜用处理器200可以从服务器600下载与内窥镜检查相关的信息(例如，患者的电子病历信息、外科医生信息)。所下载的信息例如显示在监视器300的显示屏或操作面板208上。此外，电子内窥镜用处理器200将内窥镜检查结果(内窥镜图像数据、检查条件、图像分析结果、外科医生的发现等)上传到服务器600上，从而可以保存在服务器600上。
图2是示出一个实施方式中的内窥镜系统1所具备的图像处理单元220的部分结构的例子的图。图2所示的图像处理单元220的构成部分涉及一种执行数值化处理的部分，该数值化处理是为了计算活组织中病变严重程度，并用数值表示病变程度。尽管未图示，但图像处理单元220包括处理主体部，该处理主体部生成用于在监视器上显示内窥镜图像等的视频信号，并执行用于向监视器300输出的图像处理。
如图2所示，图像处理单元220至少具备检测部220a、分离部220b、特征量计算部220c和评估部220d。
检测部220a通过使用血管部分相对于非血管部分的可识别特征，来生成用于从通过第1光的照明而获得的第1拍摄图像中检测出血管图像的第1血管检测图像。进一步地，检测部220a生成从通过第2光的照明而获得的第2拍摄图像中检测出血管图像的第2血管检测图像。后面对检测部220a的检测方法进行说明。
分离部220b从第1血管检测图像和第2血管检测图像中，将第1血管检测图像和第2血管检测图像中的血管图像分离为浅部血管图像和深部血管图像后取出，以作为距离活组织表面的深度位置不同的血管图像。后面对分离部220b的分离方法进行说明。
特征量计算部220c计算与浅部血管图像相关的浅部血管特征量和与深部血管图像相关的深部血管特征量。后面对浅部血管特征量和深部血管特征量进行说明。
评估部220d至少使用浅部血管特征量和深部血管特征量，来计算活组织中病变的严重程度。后面对严重程度的计算进行说明。
图3是说明图像处理单元220所执行的血管图像的检测、以及深部血管图像和浅部血管图像的分离流程的一例的图。
检测部220a所执行的血管图像的检测使用通过第1光的照明而获得的第1拍摄图像和通过第2光的照明而获得的第2拍摄图像来执行。此时，第2光在比第1光的波段短的波长侧具有波段。作为一例，第1光的波段在波段中包括血红蛋白的多个吸收峰波长中的第1吸收峰波长；作为一例，第2光的波段在波段中包括比第1峰波长短的波长侧的第2吸收峰波长。即，第1光和第2光是窄带光。例如，血红蛋白在400～450nm处具有大的吸收峰(卟啉环的Soret带)，而且，在520～590nm处也具有吸收峰(卟啉环的Q带)。因此，第1光的波段包括520～590nm的波长，第2光的波段包括400～450nm的波长。例如，第1光的波段不包括400～450nm的波长，第2光的波段不包括520～590nm的波长。波长为400～450nm的光是蓝色区域的光，波长为520～590nm的光是绿色区域的光。
因此，如图3所示，通过第1光的照明而获得的第1拍摄图像IM1包括位于活组织表面附近的血管图像IMs和位于比表面附近更深一些的部分的血管图像IMd。通过第2光的照明而获得的第2拍摄图像IM2仅仅包括位于活组织表面附近的血管图像IMs。
检测部220a从该第1拍摄图像IM1和第2拍摄图像IM2中检测第1血管检测图像IM1 *和第2血管检测图像IM2 *。
另外，作为照明光的另一示例，第2光的波段包括具有血红蛋白的吸收系数的波长，该血红蛋白的吸收系数大于第1光的波段中的血红蛋白的吸收系数的最大值。此时，第1光的波段例如为520～590nm，第2光的波段例如为4330～470nm。
作为照明光的另一示例，第1光和第2光中的至少一个光的波段不包括血红蛋白的多个吸收峰波长中的任何一个吸收峰波长。第1光的波段例如为590～610nm，第2光的波段例如为450～470nm。在这种情况下，第1光的波段和第2光的波段都不包括吸收峰波长。
如此一来，第1光和第2光能够设定各种波段。
图4是示出血管图像的检测方法的一例的图。通过使用血管部分相对于非血管部分的可识别特征来执行血管图像的检测。
检测部220a例如求出用于表示活组织图像的一部分的检查对象区域AR的形状与多个模板TP1～TP4的各个直线形状之间的相关程度的匹配度。进一步地，检测部220a求出与多个模板TP1～TP4分别对应的匹配度中匹配度最高的最高匹配度值，以作为检查对象区域AR中的血管区域概率。模板TP1～TP4由像素构成，并且模板TP1～TP4具备直线延伸方向彼此不同的多个直线形状。模板TP1～TP4结合各自的直线形状，各像素具有像素值。如图4所示，通过从图像的端部开始沿着箭头方向依次重叠并移动检查对象区域AR，来求出检查对象区域AR内的图像的像素评估值和与模板TP1～TP4中的每一个相对应的像素的值之间的相关度。根据一个实施方式，模板TP1～TP4作为表征血管的形状，具备在4个不同的延伸方向上延伸直线的4个直线形状。模板TP1～TP4具有与图4所示的白色区域和黑色区域相对应的每个像素的值。因此，根据一个实施方式，匹配度是模板TP1～TP4的像素的值和与检查对象区域AR相对应的像素评估值之间的相关系数。此外，根据一个实施方式，匹配度也可以是将模板TP1～TP4的每个像素的值作为空间滤波器的滤波器系数，并且将此滤波器系数中的每一个和与检查对象区域AR相对应的像素的图像评估值进行相乘后的总值。
在针对模板TP1～TP4中的每一个所计算出的匹配度中，值最大的最高匹配度作为用于表示血管区域概率的值，并且将其赋予给检查对象区域AR的中心像素。
图5是示出将模板TP1用作空间滤波器时的滤波器系数的一例的图。如图5所示，模板TP1具有在图中的垂直方向上直线延伸的形状。在图5中，作为一例，模板TP1构成5×5像素的空间滤波器。在这种情况下，对以直线延伸的部分的像素赋予1/5以作为滤波器系数，而对除此之外的其它像素赋予-1/20以作为滤波器系数。
当将滤波器系数中的每一个和与检查对象区域AR相对应的像素的相同图像评估值进行相乘后的总值作为匹配度进行计算时，在检查对象区域AR中任意一个像素评估值都是相同值的情况下，匹配度为零。另一方面，当检查对象区域AR中包含沿垂直方向呈线状延伸的血管图像时，匹配度增大。可以说，此匹配度的值越大，所包含的图像就越接近模板TP1。因此，针对模板TP1～TP4中的每一个计算匹配度，将计算出的匹配度中值最大的最高匹配度作为血管区域概率赋予给检查对象区域AR的中心像素。即，将血管区域概率值赋予给检查对象区域AR中的中心像素。以这种方式，可以获得包括通过血管区域概率值来增强的血管图像在内的第1血管检测图像IM1 *和第2血管检测图像IM2 *。
如此一来，血管图像检测部220a通过使用血管部分相对于非血管部分的可识别特征，从通过第1光和第2光的照明而获得的第1拍摄图像IM1和第2拍摄图像IM2中，来获得第1血管检测图像IM1 *和第2血管检测图像IM2 *。在求第1血管检测图像IM1 *和第2血管检测图像IM2 *中的血管图像的像素值的情况下，血管图像检测部220a对第1血管检测图像IM1 *和第2血管检测图像IM2 *像素值为预定阈值以上的像素值赋予1，对除此以外的区域的像素值赋予0，从而创建掩模图像。进一步地，血管图像检测部220a能够通过计算该掩模图像的各像素值与第1拍摄图像IM1和第2拍摄图像IM2的对应像素的乘积，来求出第1血管检测图像IM1 *和第2血管检测图像IM2 *中的血管图像的像素值。
另外，在上述图4、5所示的血管检测的示例中，利用使用了血管的特征形状的模板匹配来执行，但是血管检测并不限定于使用了血管的特征形状的模板匹配。例如，也可以利用使用了带通滤波器的血管检测方法或基于矢量集中度的线段检测方法。例如，通过将带通滤波器应用于绿色区域的颜色分量图像中来生成血管的边缘图像，从而能够检测血管。另外，基于带通滤波器的边缘提取方法是公知的技术。此外，也可以使用国际公开第2012/002012号中所述的矢量集中度来检测血管。
在通过检测部220a生成的第1血管检测图像IM1 *和第2血管检测图像IM2 *中增强的血管图像通过分离部220b分离为深部血管图像IMd *和浅部血管图像IMs *。
图6中的(a)～(c)是说明在一个实施方式的内窥镜系统中执行的血管图像的分离的例子的图。
在图6中的(a)所示的分离中，分离部220b在根据拍摄了活组织表面附近的浅部血管的第2拍摄图像IM2生成的、且增强了血管图像的第2血管检测图像IM2 *的像素值为预定阈值TH2以上的情况下，对该像素赋予值1，对除此以外的像素赋予值0。由此，分离部220b求出二值化图像的值为1的像素值的区域以作为浅部血管图像IMs *的区域。进一步地，在根据拍摄了活组织表面附近的浅部血管以及位于比表面附近更深一些的位置处的深部血管的第1拍摄图像IM1生成的、且增强了血管图像的第1血管检测图像IM1 *的像素值为预定阈值TH1以上的情况下，对该像素赋予值1，对除此以外的像素赋予值0。由此，分离部220b求出从二值化图像的值为1的像素值区域、即血管图像区域中除去了先前求出的浅部血管图像IMs *的区域后的剩余区域以作为深部血管图像IMd *的区域。
在图6中的(b)所示的分离中，分离部220b创建将第2血管检测图像IM2 *的像素值和第1血管检测图像IM1 *的像素值的平均值作为像素值的平均检测图像IMA *。第2血管检测图像IM2 *的像素值是根据拍摄了活组织表面附近的浅部血管的第2拍摄图像IM2生成的、且增强了血管图像的图像，第1血管检测图像IM1 *是根据拍摄了活组织表面附近的浅部血管以及位于比表面附近更深一些的位置处的深部血管的第1拍摄图像IM1生成的、且增强了血管图像的图像。分离部220b判断该平均检测图像IMA *的各像素值是否为预先设定的阈值TH4(第1阈值)以上，并将像素值为阈值TH4以上的像素值区域检测为浅部血管图像IMs *的区域。
进一步地，分离部220b根据第1拍摄图像IM1的各像素值是否为预先设定的阈值TH3(第2阈值)以上，来检测包括浅部血管图像IMs *的区域和深部血管图像IMd *的区域在内的混合区域，从检测出的混合区域中除去先前检测出的浅部血管图像区域。由此，分离部220b检测深部血管图像IMd *区域。即，分离部220b将通过从混合区域中除去先前检测出的浅部血管图像区域后获得的剩余区域检测为深部血管图像IMd *区域。
在图6中的(c)所示的分离中，分离部220b创建用于将拍摄了活组织表面附近的浅部血管的第2拍摄图像IM2的像素值与拍摄了活组织表面附近的浅部血管和位于比表面附近更深一些位置处的深部血管的第1拍摄图像IM1的像素值之间的平均值作为像素值的平均图像IMA。分离部220b判断该平均图像IMA的各像素值是否为预先设定的阈值TH6(第1阈值)以上，将像素值为阈值TH6以上的像素值区域作为浅部血管区域，并创建将浅部血管图像作为一部分图像包括在内的第1图像部分IMB。
进一步地，分离部220b判断平均图像IMA的各像素值是否为预先设定的阈值TH5(阈值TH5的值比阈值TH6低)以上。分离部220b检测将浅部血管图像和深部血管图像作为一部分图像包括在内的混合图像，并通过从检测出像素值为阈值TH5(第2阈值)以上的像素值区域的混合图像中除去先前创建的第1图像部分IMB(具体而言，通过从上述混合图像的像素值中减去先前创建的第1图像部分IMB的对应像素值)，来创建将深部血管图像作为一部分图像包括在内的第2图像部分IMC。
以这种方式创建的第1图像部分IMB和第2图像部分IMC用于在检测部220a中通过使用血管部分相对于非血管部分的可识别特征来创建浅部血管图像IMs *和深部血管图像IMd *。即，图6中的(c)所示的示例被用于在执行浅部血管图像和深部血管图像的分离之后，通过使用血管部分相对于非血管部分的可识别特征来增强血管图像的方法。
在图6中的(c)所示的示例的情况下，图像处理单元220的分离部220b从第1拍摄图像IM1和第2拍摄图像IM2中分离将浅部血管图像IMs *作为一部分图像包括在内的第1图像部分IMB和将深部血管图像IMd *作为一部分图像包括在内的第2图像部分IMC。在第1图像部分IMB和第2图像部分IMC中，除了浅部血管图像和深部血管图像之外，还包含非血管部分的图像，因此通过使用血管部分相对于非血管部分的可识别特征并除去非血管部分的图像后检测血管图像。即，检测部220a使用血管特征从第1图像部分IMB和第2图像部分IMC中检测出浅部血管图像IMs *和深部血管图像IMd *。
如此一来，在图6中的(a)、(b)所示的分离中，从包括通过使用血管特征来增强的血管图像在内的第1血管检测图像IM1 *和第2血管检测图像IM2 *中，利用根据照明光的不同波段来拍摄的血管图像亦不同的情况(在波段位于短波长侧的情况下，与长波长侧相比，难以拍摄到深部血管)。由此，能够将第1血管检测图像IM1 *和第2血管检测图像IM2 *中被增强的血管图像分离为浅部血管图像IMs *区域和深部血管图像IMd *区域。
此外，在图6中的(c)所示的分离中，从拍摄了活组织表面附近的浅部血管的第2拍摄图像IM2、以及拍摄了活组织表面附近的浅部血管和位于比表面附近更深一些位置处的深部血管的第1拍摄图像IM1中，通过利用根据照明光的不同波段来拍摄的血管图像亦不同的情况，最终能够分离为增强了血管图像的浅部血管图像IMs *区域和增强了血管图像的深部血管图像IMd *区域。
特征量计算部220c计算与浅部血管图像IMs *相关的浅部血管特征量和与深部血管图像IMd *相关的深部血管特征量。例如，浅部血管特征量是浅部血管图像IMs *区域中的第2拍摄图像IM2的像素值的合计值或像素值的典型值，深部血管特征量例如是深部血管图像IMd *区域中的第1拍摄图像IM1的像素值的合计值或典型值。典型值包括平均值以及中心值。此外，浅部血管特征量、深部血管特征量也可以是浅部血管图像IMs *区域、深部血管图像IMd *区域中的像素数的总和。
在浅部血管特征量和深部血管特征量是像素值的合计值或典型值的情况下，分离部220b求出与浅部血管图像IMs *区域相对应的第2拍摄图像IM2的对应区域的像素值以作为浅部血管图像IMs *的像素值。此外，求出与深部血管图像IMd *区域相对应的第1拍摄图像IM1的对应区域的像素值以作为深部血管图像IMd *的像素值。特征量计算部220c使用所求取的浅部血管图像IMs *的像素值和深部血管图像IMd *的像素值来计算浅部血管特征量和深部血管特征量。由此，能够通过使用考虑了像素值的浅部血管特征量和深部血管特征量来评估严重程度。
由评估部220d执行的严重程度的计算只要至少使用浅部血管特征量和深部血管特征量来计算即可，并没有特别限制。严重程度的值例如也可以是对浅部血管特征量乘以预定系数而得到的值和深部血管特征量乘以预定系数而得到的值进行加减运算后得到的值。在这种情况下，也可以预先准备医生等对严重程度的评估等已知的多个活组织的参照图像，使用从该参照图像获得的浅部血管特征量和深部血管特征量的信息以及评估信息，通过回归分析，来计算并预先获得上述系数。
此外，在将上述参照图像的评估设定为多个阶段的等级之一的情况下，评估部220d将从参照图像获得的浅部血管特征量和深部血管特征量的数值组作为样本进行聚类分析后分成多个聚类，事先赋予与该聚类内的多个样本最为匹配的等级。评估部220d也可以判断所计算出的浅部血管特征量和深部血管特征量的值属于哪个聚类，并将严重程度评估为多个阶段的等级之一。
根据一个实施方式，除了浅部血管特征量和深部血管特征量之外，还可以包括对作为活组织病变而出现的特征进行量化后的特征量来执行严重程度的评估。例如，在产生溃疡性大肠炎这种炎症的情况下，也可以将白色光作为照明光，将在拍摄图像内因活组织发炎而出现的红色分量程度进行量化后的特征量与浅部血管特征量和深部血管特征量一起使用，来执行严重程度的评估。
此外，根据一个实施方式，评估部220d也可以使用预测模型，该预测模型将用于确定预先准备的与严重程度相关的评估的多个参照图像的各自评估信息、通过该参照图像使用图像处理单元220计算出的浅部血管特征量和深部血管特征量作为机械学习数据，并且对浅部血管特征量和深部血管特征量、以及与活组织中病变的严重程度相关的评估之间的对应关系进行机器学习。在这种情况下，评估部220d也可以根据由特征量计算部220c计算出的活组织中的浅部血管特征量的值和深部血管特征量的值，对严重程度进行预测评估。作为预测模型的机器学习，例如使用基于神经网络的深度学习(Deep Learning)。此外，可以使用利用了树结构的随机森林。作为模型，可以使用卷积神经网络和堆叠自动编码器等公知模型。能够通过以这种方式使用机器学习的预测模型，来高精度地执行严重程度的评估。
在这种情况下，图像处理单元220的分离部220b分离成距离活组织表面的深度位置不同的且将浅部血管图像IMs *作为一部分图像包括在内的第1图像部分和将深部血管图像IMd *作为一部分图像包括在内的第2图像部分。
检测部220a根据第1图像部分和第2图像部分，通过使用了血管特征形状的模板匹配，来生成浅部血管图像IMs *和深部血管图像IMd *。
根据一个实施方式，如图4所示，检测部220a优选通过使用了血管呈直线状延伸的血管特征形状的模板匹配来检测血管图像并进行增强。血管形状能够近似为在一个方向上延伸的直线形状，因此如图4所示，能够准备线的延伸方向不同的模板。因此，能够高精度地检测并增强血管图像。
另外，在上述实施方式中，光源装置230将第1光和第2光作为照明光，但是也可以将3个以上的光作为照明光射出。在使用3个光的情况下，作为第3个光的第3光优选在比第1光的波段长的波长侧具有波段。第1光的波段例如为520nm～590nm或590nm～610nm，第2光的波段例如为430nm～470nm或450nm～470nm的情况下，第3光的波段例如为620～650nm。由于由第3光获得的第3拍摄图像包括比由第1光获得的第1拍摄图像更深部的血管图像，因此可以在深度方向上区分并分离位于3个阶段不同位置处的血管的血管图像。如此一来，通过使用波段不同的3个以上的光作为照明光，能够区别并分离位于深度为3个阶段以上的不同位置处的血管的血管图像。
在上文中，对本发明提供的内窥镜系统进行了详细说明，但是本发明提供的内窥镜系统并不限于上述实施方式，在不脱离本发明的主旨的范围内还可以进行各种改进和变化。
符号说明
1 内窥镜系统
100 电子观测器
102 LCB
104 配光透镜
106 物镜
108 摄像元件
108a IR截止滤光片
108b 滤色片
112 驱动器信号处理电路
114 存储器
200 电子内窥镜用处理器
202 系统控制器
204 存储器
206 时序控制器
208 操作面板
210 NIC
220 图像处理单元
220a 检测部
220b 分离部
220c 特征量计算部
220d 评估部
224 存储器
230 光源部
300 监视器
400 打印机
600 服务器。

Claims (12)

1.一种内窥镜系统，其特征在于，其具备：
光源装置，其被配置为射出照明光；
电子内窥镜，其被配置为对包括由所述照明光照明的体腔内的血管在内的活组织进行拍摄；
处理器，其包含图像处理单元，该图像处理单元被配置为根据由所述电子内窥镜获得的所述活组织的图像，使用所述图像信息计算出所述活组织中病变部位的病变的严重程度；
以及监视器，其被配置为显示所述严重程度的信息；
其中，所述光源装置被配置为至少将第1光和在比所述第1光的波段短的波长侧具有波段的第2光作为所述照明光射出；
所述图像处理单元具备：
检测部，其被配置为通过使用血管部分相对于非血管部分的可识别特征，根据通过所述第1光的照明而获得的第1拍摄图像来生成包括增强血管图像在内的第1血管检测图像，进而根据通过所述第2光的照明而获得的第2拍摄图像来生成包括增强血管图像在内的第2血管检测图像；
分离部，其被配置为从所述第1血管检测图像和所述第2血管检测图像中，将所述第1血管检测图像和所述第2血管检测图像内的血管图像分离为浅部血管图像和深部血管图像以作为距离所述活组织表面的深度位置不同的血管图像；
特征量计算部，其被配置为计算与所述浅部血管图像相关的浅部血管特征量和与所述深部血管图像相关的深部血管特征量；
以及评估部，其被配置为至少使用所述浅部血管特征量和所述深部血管特征量来计算所述活组织中病变的所述严重程度，
所述分离部根据所述第1血管检测图像和所述第2血管检测图像的对应像素的像素值之间的平均值作为像素值的平均检测图像的各像素值是否为预先设定的第1阈值以上，来检测所述浅部血管图像区域，并且根据所述第1血管检测图像的各像素值是否为预先设定的第2阈值以上，来检测包括所述浅部血管图像区域和所述深部血管图像区域在内的混合区域，并通过从检测出的所述混合区域中除去检测出的所述浅部血管图像区域，来检测所述深部血管图像区域。
2.根据权利要求1所述的内窥镜系统，其中，所述分离部将所述第2血管检测图像中的血管图像区域检测为所述浅部血管图像区域，并且通过从所述第1血管检测图像中的血管图像区域中除去检测出的所述浅部血管图像区域来检测所述深部血管图像区域，从而检测出所述浅部血管图像和所述深部血管图像。
3.根据权利要求2所述的内窥镜系统，其中，所述分离部被配置为，求出与所述浅部血管图像区域相对应的所述第2拍摄图像的对应区域的像素值以作为所述浅部血管图像的像素值，并且求出与所述深部血管图像区域相对应的所述第1拍摄图像的对应区域的像素值以作为所述深部血管图像的像素值，
所述特征量计算部被配置为使用所求出的所述浅部血管图像的像素值和所述深部血管图像的像素值来计算所述浅部血管特征量和所述深部血管特征量。
4.一种内窥镜系统，其特征在于，其具备：
光源装置，其被配置为射出照明光；
电子内窥镜，其被配置为对包括由所述照明光照明的体腔内的血管在内的活组织进行拍摄；
处理器，其包含图像处理单元，该图像处理单元被配置为根据由所述电子内窥镜获得的所述活组织的图像，使用所述图像信息计算出所述活组织中病变部位的病变的严重程度；
以及监视器，其被配置为显示所述严重程度的信息；
其中，所述光源装置被配置为至少将第1光和在比所述第1光的波段短的波长侧具有波段的第2光作为所述照明光射出；
所述图像处理单元具备：
分离部，其被配置为从距离所述活组织表面的深度位置不同的浅部血管图像和深部血管图像中，根据通过所述第1光的照明而获得的第1拍摄图像和通过所述第2光的照明而获得的第2拍摄图像，分离并取出将所述浅部血管图像作为一部分图像包括在内的第1图像部分和将所述深部血管图像作为一部分图像包括在内的第2图像部分；
检测部，其被配置为通过使用血管部分相对于非血管部分的可识别特征，根据所述第1图像部分和所述第2图像部分来生成所述浅部血管图像和所述深部血管图像；
特征量计算部，其被配置为计算与所述浅部血管图像相关的浅部血管特征量的值和与所述深部血管图像相关的深部血管特征量的值；
以及评估部，其被配置为至少使用所述浅部血管特征量的值和所述深部血管特征量的值来计算所述活组织中病变的所述严重程度，
所述分离部根据所述第1拍摄图像和所述第2拍摄图像的对应像素的像素值之间的平均值作为像素值的平均图像的各像素值是否为预先设定的第1阈值以上，来创建所述第1图像部分，并且根据所述第1拍摄图像的各像素值是否为预先设定的第2阈值以上，来检测将所述浅部血管图像和所述深部血管图像作为一部分图像包括在内的混合图像，并从检测出的所述混合图像中除去所创建的所述第1图像部分，由此创建所述第2图像部分。
5.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述检测部被配置为，通过使用了血管呈直线状延伸的血管特征形状的模板匹配来检测所增强的血管图像。
6.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述评估部对通过所述浅部血管特征量的值乘以系数而得到的值和所述深部血管特征量的值乘以系数而得到的值进行加减运算，来计算所述严重程度。
7.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述评估部通过使用预测模型，根据所述特征量计算部计算出的所述活组织中的所述浅部血管特征量的值和所述深部血管特征量的值，来对所述严重程度进行预测评估；其中，该预测模型将用于确定预先准备的与严重程度相关的评估的多个参照图像的各自所述评估的信息、通过所述参照图像使用所述图像处理单元计算出的所述浅部血管特征量和所述深部血管特征量作为机械学习数据，对所述浅部血管特征量和所述深部血管特征量、以及与所述活组织中病变的严重程度相关的所述评估之间的对应关系进行机器学习。
8.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述光源装置被配置为，将分别以所述第1光和所述第2光作为光学成分包括在内的1个光作为所述照明光射出，
所述电子内窥镜被配置为，使用滤光器将活组织的被摄体图像分离为所述第1拍摄图像和所述第2拍摄图像。
9.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述第1光在波段中包括血红蛋白的多个吸收峰波长中的第1吸收峰波长，
所述第2光在波段中包括所述多个吸收峰中的比所述第1吸收峰波长短的波长侧的第2吸收峰波长。
10.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述第1光和所述第2光中的至少一个光的波段不包括血红蛋白的多个吸收峰波长中的任何一个吸收峰波长。
11.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述第2光的波段包括具有血红蛋白的吸收系数的波长，该血红蛋白的吸收系数大于所述第1光的波段中的血红蛋白的吸收系数的最大值。
12.根据权利要求1至4中任一项所述的内窥镜系统，其中，所述光源装置被配置为，射出在比所述第1光的波段长的长波长侧具有波段的第3光。
CN202080018450.7A 2019-09-27 2020-09-01 内窥镜系统 Active CN113556968B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019177859 2019-09-27
JP2019-177859 2019-09-27
PCT/JP2020/033030 WO2021059889A1 (ja) 2019-09-27 2020-09-01 内視鏡システム

Publications (2)

Publication Number Publication Date
CN113556968A CN113556968A (zh) 2021-10-26
CN113556968B true CN113556968B (zh) 2023-12-22

Family

ID=75166614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018450.7A Active CN113556968B (zh) 2019-09-27 2020-09-01 内窥镜系统

Country Status (5)

Country Link
US (1) US12053146B2 (zh)
JP (1) JP7200393B2 (zh)
CN (1) CN113556968B (zh)
DE (1) DE112020004617T5 (zh)
WO (1) WO2021059889A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234815A1 (ja) * 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20230053809A1 (en) * 2021-08-19 2023-02-23 Conflu3nce Ltd. System and method for recognition of health conditions according to image processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
CN102613953A (zh) * 2011-01-27 2012-08-01 富士胶片株式会社 电子内窥镜系统
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2319390B1 (en) * 2000-07-21 2016-04-20 Olympus Corporation Endoscope apparatus
JP5389612B2 (ja) * 2009-11-06 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
EP2502547B1 (en) 2010-06-30 2015-03-04 Olympus Medical Systems Corp. Image processing apparatus and image processing method
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5496075B2 (ja) * 2010-12-27 2014-05-21 富士フイルム株式会社 内視鏡診断装置
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
JP6389377B2 (ja) 2014-05-27 2018-09-12 Hoya株式会社 内視鏡用プロセッサ
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
EP3357404A4 (en) 2015-09-29 2018-10-31 FUJIFILM Corporation Image processing device, endoscopic system, and image processing method
WO2017057680A1 (ja) 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置
JP6525918B2 (ja) * 2016-04-20 2019-06-05 富士フイルム株式会社 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
CN102613953A (zh) * 2011-01-27 2012-08-01 富士胶片株式会社 电子内窥镜系统
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
WO2021059889A1 (ja) 2021-04-01
DE112020004617T5 (de) 2022-06-09
JP7200393B2 (ja) 2023-01-06
US20220192470A1 (en) 2022-06-23
US12053146B2 (en) 2024-08-06
JPWO2021059889A1 (ja) 2021-12-23
CN113556968A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN112351724B (zh) 电子内窥镜系统
CN112469323B (zh) 内窥镜系统
WO2017154290A1 (ja) 血管情報取得装置、内視鏡システム及び血管情報取得方法
CN112351723B (zh) 电子内窥镜系统与数据处理装置
US20110245642A1 (en) Electronic endoscope system
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
CN112469324B (zh) 内窥镜系统
CN113556968B (zh) 内窥镜系统
CN112888356A (zh) 电子内窥镜系统与数据处理装置
CN112930136B (zh) 电子内窥镜系统与数据处理装置
JP6615369B2 (ja) 内視鏡システム
JP6912608B2 (ja) 内視鏡システム
CN113631076A (zh) 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及医疗图像处理装置用程序
US20160210746A1 (en) Organ imaging device
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
CN113747825B (zh) 电子内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant