CN112584746B - 医用图像处理装置和内窥镜系统 - Google Patents

Abstract

本发明提供一种能够防止通过识别处理得到的识别结果的显示妨碍医用图像的观察的医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法。处理器装置(16)具备图像信号获取部(50)、图像处理部(56)和显示控制部(58)。图像信号获取部(50)从内窥镜(12)获取与观察模式对应的数字图像信号。图像处理部(56)具备关注区域模式图像处理部(64)。显示控制部(58)进行切换控制，切换实时显示内窥镜图像的第一显示方法和显示识别结果一览的第二显示方法。

Description

医用图像处理装置和内窥镜系统

技术领域

本发明涉及用于识别处理病变部等关注区域的医疗用图像处理装置和内窥镜系统以及医疗用图像处理装置的工作方法。

背景技术

在医疗领域中，使用内窥镜图像、X射线图像、CT(Computed Tomography)图像、以及MR(Magnetic Resonance)图像等医疗图像，进行患者的病症诊断或经过观察等图像诊断。基于这样的图像诊断，医生等进行治疗方针的决定。

近年来，在使用医用图像的图像诊断中，通过医用图像处理装置对脏器内的病变或肿瘤等应注意观察的医用图像的关注区域进行识别处理。特别是深度学习等机器学习的方法有助于提高关注区域的识别处理。

在专利文献1中记载有如下医用图像处理装置：对各医用图像进行识别处理，在识别到关注区域的情况下，将识别到的结果显示在监视器等上。在该专利文献1的医用图像处理装置中，在医用图像的关注区域附近，进行绘制了各医用图像的特征量(关注区域的特征量)的图表显示、或用文字显示了各医用图像的特征量的项目名和值的标签显示中的任一个，根据用户的输入进行图表显示和标签显示的切换。

以往技术文献

专利文献

专利文献1：日本特开2016-158828号公报

发明内容

发明要解决的技术课题

在医生使用医用图像进行图像诊断时，不仅要求观察对医用图像进行了识别处理的结果，还要求观察通过摄像部获取的医用图像本身。但是，在专利文献1记载的医用图像处理装置中，当在医用图像的关注区域附近显示的识别结果变多时，有时与医用图像重叠显示，成为医用图像的观察的障碍。

本发明的目的在于提供一种防止通过识别处理得到的识别结果的显示妨碍医用图像的观察的医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法。

用于解决技术课题的手段

本发明的医用图像处理装置具有医用图像获取部、识别处理部和显示控制部。医用图像获取部拍摄观察对象而获取医用图像。识别处理部对通过医用图像获取部获取的医用图像进行识别处理。显示控制部切换第一显示方法和第二显示方法，第一显示方法将通过医用图像获取部获取的医用图像显示在显示部上，第二显示方法将对通过医用图像获取部获取的医用图像进行了识别处理的多个识别结果显示在显示部上。

优选具备输入部，该输入部向显示控制部输入切换显示方法的指示。

优选显示控制部在从切换到第二显示方法起经过固定时间后，从第二显示方法切换到第一显示方法。

优选显示控制部在识别处理部进行了识别处理的固定时间后，从第一显示方法切换到第二显示方法。

优选显示控制部在通过第二显示方法在显示部上进行显示的情况下，一起进行多个识别结果与医用图像的显示。

优选识别结果是病变的种类。优选识别结果是有无病变部。优选识别结果是病变部的位置。

本发明的内窥镜系统具备光源装置、内窥镜、医用图像获取部、识别处理部、显示控制部和显示部。光源装置产生用于对观察对象进行照明的照明光。内窥镜具有对被照明光照亮的观察对象进行摄像的摄像部。医用图像获取部拍摄观察对象而获取医用图像。识别处理部对通过医用图像获取部获取的医用图像进行识别处理。显示控制部切换第一显示方法和第二显示方法，第一显示方法显示通过医用图像获取部获取的医用图像，第二显示方法显示对通过医用图像获取部获取的医用图像进行了识别处理的多个识别结果。显示部显示基于第一显示方法的医用图像和基于第二显示方法的多个识别结果。

优选内窥镜具备输入部，该输入部向显示控制部输入切换显示方法的指示。

本发明的医疗用图像处理装置的工作方法包括：医用图像获取部拍摄观察对象而获取医用图像的步骤；识别处理部对通过医用图像获取部获取的医用图像进行识别处理的步骤；以及显示控制部切换第一显示方法和第二显示方法的步骤，第一显示方法将通过医用图像获取部获取的医用图像显示在显示部上，第二显示方法将对通过医用图像获取部获取的医用图像进行了识别处理的多个识别结果显示在显示部上。

发明效果

根据本发明，能够防止通过识别处理得到的识别结果的显示妨碍医用图像的观察。

附图说明

图1是内窥镜系统的外观图。

图2是表示具备多个LED光源的第一实施方式的内窥镜系统的功能的框图。

图3是表示紫色光V、蓝色光B、蓝色光Bx、绿色光G、红色光R的分光光谱的曲线图。

图4是表示第一实施方式的普通光的分光光谱的曲线图。

图5是表示第一实施方式的特殊光的分光光谱的曲线图。

图6是表示具备识别处理部的关注区域模式图像处理部的功能的框图。

图7是表示显示控制部进行切换控制时的第一显示方法(A)和第二显示方法(B)中的显示画面的一例的说明图。

图8是表示关注区域模式的一系列流程的流程图。

图9是表示第二实施方式中的显示控制部进行切换控制时的第一显示方法(A)和第二显示方法(B)中的显示画面的一例的说明图。

图10是表示第三实施方式中的显示控制部进行切换控制时的第一显示方法(A)和第二显示方法(B)中的显示画面的一例的说明图。

具体实施方式

[第一实施方式]

如图1所示，内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18(显示部)和控制台19。内窥镜12与光源装置14光学连接，并且与处理器装置16电连接。内窥镜12具有：插入到受检体内的插入部12a；设置在插入部12a的基端部分的操作部12b；以及设置在插入部12a的顶端侧的弯曲部12c和顶端部12d。通过操作操作部12b的弯角钮13a，弯曲部12c进行弯曲动作。通过该弯曲动作，顶端部12D朝向期望的方向。

另外，在操作部12b中，除了弯角钮13a之外，还设置有：静止图像获取部13b，其用于静止图像的获取操作；模式切换部13c，其用于观察模式的切换操作；变焦操作部13d，其用于变焦倍率的变更操作；以及显示切换操作部13e，其作为在关注区域模式时用于指示显示方法的切换的专用的输入部。静止图像获取部13b能够进行在监视器18上显示观察对象的静止图像的冻结操作和在存储器中保存静止图像的释放操作。

内窥镜系统10作为观察模式具有普通模式、特殊模式和关注区域模式。在观察模式为普通模式的情况下，发出以普通模式用的光量比Lc将多种颜色的光合波后的普通光。另外，在观察模式为特殊模式的情况下，发出以特殊模式用的光量比Ls将多种颜色的光合波后的特殊光。

另外，在观察模式是关注区域模式的情况下，发出关注区域模式用照明光。在本实施方式中，作为关注区域模式用照明光，发出普通光，但也可以发出特殊光。

处理器装置16与监视器18和控制台19电连接。监视器18将观察对象的图像、图像中附带的信息等输出显示。控制台19作为用户接口发挥功能，用户接口接受关注区域(ROI：Region Of Interest)的指定等或功能设置等输入操作。

如图2所示，光源装置14具备：光源部20，其发出用于观察对象的照明的照明光；以及光源控制部22，其控制光源部20。光源部20是多种颜色的LED(Light Emitting Diode)等半导体光源。光源控制部22通过LED等的接通/断开、LED等的驱动电流或驱动电压的调整，控制照明光的发光量。另外，光源控制部22通过滤光器的变更等来控制照明光的波长频带。

在第一实施方式中，光源部20具有V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c和R-LED(Red Light Emitting Diode)20d的四色的LED、以及波长截止滤光片23。如图3所示，V-LED20a发出波长频带380nm～420nm的紫色光V。

B-LED20b发出波长频带420nm～500nm的蓝色光B。从B-LED20b出射的蓝色光B中至少比峰值波长的460nm长的波长侧被波长截止滤光片23截止。由此，透射了波长截止滤光片23后的蓝色光Bx成为420～460nm的波长范围。这样，将比460nm长的波长侧的波长范围的光截止是因为，该比460nm长的波长侧的波长范围的光是使作为观察对象的血管的血管对比度降低的主要原因。此外，波长截止滤光片23也可以取代截止比460nm长的波长侧的波长范围的光，而使比460nm长的波长侧的波长范围的光减光。

G-LED20c发出波长频带达到480nm～600nm的绿色光G。R-LED20d发出波长频带达到600nm～650nm的红色光R。此外，从各LED20a～20d发出的光的各自的中心波长可以与峰值波长相同，也可以不同。

光源控制部22通过独立地控制各LED20a～20d的点亮或熄灭、以及点亮时的发光量等，进行照明光的发光定时、发光期间、光量以及分光光谱的调节。光源控制部22中的点亮和熄灭的控制按每个观察模式而不同。此外，基准的亮度能够通过光源装置14的亮度设定部或控制台19等来设定。

在普通模式或关注区域的情况下，光源控制部22使V-LED20a、B-LED20b、G-LED20c、及R-LED20d全部点亮。此时，如图4所示，以使蓝色光Bx的光强度的峰值大于紫色光V、绿色光G和红色光R中的任一个的光强度的峰值的方式设定紫色光V、蓝色光Bx、绿色光G和红色光R间的光量比Lc。由此，在普通模式或关注区域模式下，从光源装置14发出包含紫色光V、蓝色光Bx、绿色光G以及红色光R的普通模式用或关注区域模式用的多色光作为普通光。普通光从蓝色频带到红色频带具有一定以上的强度，因此大致成为白色。

在特殊模式的情况下，光源控制部22使V-LED20a、B-LED20b、G-LED20c、及R-LED20d全部点亮。此时，如图5所示，以使紫色光V的光强度的峰值大于蓝色光Bx、绿色光G和红色光R中的任一个的光强度的峰值的方式设定紫色光V、蓝色光Bx、绿色光G和红色光R间的光量比Ls。另外，以使其小于紫色光V和蓝色光Bx的光强度的峰值的方式设定绿色光G和红色光R的光强度的峰值。由此，在特殊模式下，从光源装置14发出包含紫色光V、蓝色光Bx、绿色光G以及红色光R的特殊模式用的多色光作为特殊光。由于紫色光V所占的比例大，所以特殊光成为带蓝色的光。此外，特殊光也可以不包含全部四色的光，只要包含来自四色的LED20a～20d中至少一色的LED的光即可。另外，优选特殊光在450nm以下具有主要的波长范围，例如峰值波长或中心波长。

如图2所示，光源部20发出的照明光经由由反射镜或透镜等形成的光路结合部(未图示)，入射到插通于插入部12a内的光导24。光导24内置于内窥镜12和通用塞绳中，将照明光传播到内窥镜12的顶端部12d。通用塞绳是将内窥镜12与光源装置14及处理器装置16进行连接的塞绳。此外，作为光导24，可使用多模光纤。作为一例，在光导24中，可使用芯径105μm、包层直径125μm、包括成为外皮的保护层的直径φ0.3mm～φ0.5mm的细径的光缆。

在内窥镜12的顶端部12d设有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜32。经由该照明透镜32，利用在光导24中传播的照明光对观察对象进行照明。摄像光学系统30b具有物镜34、放大光学系统36、摄像传感器38(对应于本发明的“摄像部”)。来自观察对象的反射光、散射光和荧光等各种光经由这些物镜34和放大光学系统36入射到摄像传感器38。由此，观察对象的像在摄像传感器38上成像。

放大光学系统36具备放大观察对象的变焦透镜36a和使变焦透镜36a在光轴方向CL上移动的透镜驱动部36b。变焦透镜36a按照透镜驱动部36b进行的变焦控制，在长焦端与广角端之间自由移动，由此使成像在摄像传感器38上的观察对象放大或缩小。

摄像传感器38是对被照射了照明光的观察对象进行摄像的彩色摄像传感器。在摄像传感器38的各像素中设置有R(红色)彩色滤光片、G(绿色)彩色滤光片、B(蓝色)彩色滤光片中的任一个。摄像传感器38以设有B彩色滤光片的B像素接受从紫色到蓝色的光，以设有G彩色滤光片的G像素接受绿色的光，以设有R彩色滤光片的R像素接受红色的光。然后，从各色的像素输出RGB各色的图像信号。摄像传感器38将输出的图像信号发送到CDS电路40。

在普通模式或关注区域模式中，摄像传感器38通过拍摄被普通光照亮的观察对象，从B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。另外，在特殊模式下，摄像传感器38通过拍摄被特殊光照亮的观察对象，从B像素输出Bs图像信号，从G像素输出Gs图像信号，从R像素输出Rs图像信号。

作为摄像传感器38，可利用CCD(Charge Coupled Device)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor)摄像传感器等。另外，也可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤光片的补色摄像传感器来取代设有RGB原色彩色滤光片的摄像传感器38。在使用补色摄像传感器的情况下，输出CMYG的四色的图像信号。因此，通过补色-原色颜色变换，将CMYG的四色的图像信号变换为RGB的三色的图像信号，由此能够得到与摄像传感器38同样的RGB各色的图像信号。另外，也可以取代摄像传感器38，使用未设有彩色滤光片的单色传感器。

CDS电路40对从摄像传感器38接收的模拟图像信号进行相关双采样(CDS：Correlated Double Sampling)。经过CDS电路40的图像信号被输入到AGC电路42。AGC电路42对输入的图像信号进行自动增益控制(AGC：Automatic Gain Control)。A/D(Analog toDigital)转换电路44将经过AGC电路42的模拟图像信号转换为数字图像信号。A/D转换电路44将A/D转换后的数字图像信号输入到处理器装置16。

如图2所示，处理器装置16具备图像信号获取部50(对应于本发明的“医用图像获取部”)、DSP(Digital Signal Processor)52、降噪部54、图像处理部56、以及显示控制部58。

图像信号获取部50从内窥镜12获取与观察模式对应的数字图像信号。在普通模式或关注区域模式的情况下，获取Bc图像信号、Gc图像信号、Rc图像信号。在特殊模式的情况下，获取Bs图像信号、Gs图像信号、Rs图像信号。在关注区域模式的情况下，在普通光的照明时获取1帧的Bc图像信号、Gc图像信号、Rc图像信号，在特殊光的照明时获取1帧的Bs图像信号、Gs图像信号、Rs图像信号。

DSP52对图像信号获取部50获取的图像信号实施缺陷校正处理、偏移处理、DSP用增益校正处理、线性矩阵处理、伽玛变换处理以及去马赛克处理等各种信号处理。缺陷校正处理校正摄像传感器38的缺陷像素的信号。偏移处理从缺陷校正处理后的图像信号中除去暗电流成分，设定正确的零电平。DSP用增益校正处理通过对偏移处理后的图像信号乘以特定的DSP用增益来调整信号电平。

线性矩阵处理提高DSP用增益校正处理后的图像信号的颜色再现性。伽玛变换处理调整线性矩阵处理后的图像信号的亮度或彩度。通过对进行了伽马变换处理的图像信号实施去马赛克处理(也称为各向同性处理或同步化处理)，通过插值生成在各像素中不足的颜色的信号。通过该去马赛克处理，所有像素具有RGB各色的信号。降噪部54对由DSP52实施了去马赛克处理等的图像信号例如实施基于移动平均法或中值滤波法等的降噪处理，降低噪声。降噪后的图像信号被输入到图像处理部56。

图像处理部56具备普通模式图像处理部60、特殊模式图像处理部62、以及关注区域模式图像处理部64。普通模式图像处理部60在设定为普通模式的情况下工作，对接收到的Bc图像信号、Gc图像信号、Rc图像信号进行颜色变换处理、色彩强调处理、以及结构强调处理。在颜色变换处理中，对RGB图像信号通过3×3的矩阵处理、灰度变换处理以及三维LUT(Look Up Table)处理等进行颜色变换处理。

色彩强调处理对颜色变换处理完毕的RGB图像信号进行。结构强调处理是强调观察对象的结构的处理，对色彩强调处理后的RGB图像信号进行。通过进行如上所述的各种图像处理等，能够得到普通图像。普通图像是基于平衡良好地发出紫色光V、蓝色光Bx、绿色光G、红色光R的普通光而得到的图像，因此成为自然色调的图像。普通图像被输入到显示控制部58。

特殊模式图像处理部62在设定为特殊模式的情况下工作。在特殊模式图像处理部62中，对接收到的Bs图像信号、Gs图像信号、Rs图像信号进行颜色变换处理、色彩强调处理、以及结构强调处理。颜色变换处理、色彩强调处理以及结构强调处理的处理内容与普通模式图像处理部60同样。通过进行如上所述的各种图像处理，能够得到特殊图像。特殊图像是基于特殊光而得到的图像，该特殊光是血管的血红蛋白的吸收系数高的紫色光V的发光量比其他颜色的蓝色光Bx、绿色光G、红色光R的发光量大的特殊光，因此血管结构或腺管结构的分辨率比其他结构高。特殊图像被输入到显示控制部58。

关注区域模式图像处理部64在设定为关注区域模式时工作。在关注区域模式图像处理部64中，对接收到的Bc图像信号、Gc图像信号、Rc图像信号进行颜色变换处理等与普通模式图像处理部60同样的图像处理。

如图6所示，关注区域模式图像处理部64具备普通图像处理部70、识别用图像处理部71、识别处理部72、识别结果存储部73。普通图像处理部70通过与普通模式图像处理部60同样的图像处理依次获取内窥镜图像。另一方面，识别用图像处理部71获取在操作了静止图像获取部13b时得到的观察对象的静止图像，作为用于关注区域的识别的识别用图像。将识别用图像存储在识别结果存储部73中。

识别处理部72对识别用图像进行图像分析，进行识别处理。作为识别处理部72进行的识别处理，包括从识别用图像中检测关注区域的检测处理、和鉴别识别用图像中包含的病变的种类等的鉴别处理。此外，具体而言，鉴别处理有对关注区域输出鉴别结果的情况、和对识别用图像整体输出鉴别结果的情况。在本实施方式中，识别处理部72进行从识别用图像中检测作为关注区域的病变部的检测处理。在该情况下，识别处理部72首先将识别用图像分割为多个小区域，例如像素数个的正方形区域。接着，根据分割后的识别用图像计算图像的特征量。接着，基于计算出的特征量，判断各小区域是否为病变部。作为这样的判断方法，优选为卷积神经网络(Convolutional Neural Network)、深度学(Deep Learning)等机器学习算法。

另外，作为由识别处理部72根据识别用图像计算出的特征量，优选为观察对象中的规定部位的形状、颜色或根据这些形状、颜色等得到的指标值。例如，作为特征量，优选是血管密度、血管形状、血管的分支数、血管的粗细、血管的长度、血管的弯折度、血管的深度、腺管形状、腺管开口部形状、腺管的长度、腺管的弯折度、颜色信息中的至少一个，或是将它们中的两个以上组合而得到的值。

最后，提取被特定为相同种类的一块小区域作为一个病变部。识别处理部72将有无病变部的信息与识别用图像相关联地存储在识别结果存储部73中。关注区域模式图像处理部64根据显示控制部58的控制，将内窥镜图像和与有无病变部的信息相关联的识别用图像中的任一方输出到显示控制部58。

显示控制部58进行用于在监视器18上显示来自图像处理部56的图像或数据的显示控制。在设定为普通模式的情况下，显示控制部58进行将普通图像显示在监视器18上的控制。在设定为特殊模式的情况下，显示控制部58进行在监视器18上显示特殊图像的控制。

在设定为关注区域模式的情况下，显示控制部58切换第一显示方法和第二显示方法。通过显示切换操作部13e的操作来输入对显示控制部58的切换显示方法的指示。如图7(A)所示，第一显示方法是摄像传感器38进行摄像，依次获取通过关注区域模式图像处理部64进行了图像处理的内窥镜图像75(与普通图像同样的图像)，并将其实时显示在监视器18的显示画面76上的显示方法。

另一方面，第二显示方法是在监视器18的显示画面76上显示识别处理部72对识别用图像进行了识别处理的多个识别结果的显示方法。具体而言，如图7(B)所示，在第二显示方法中，在监视器18的显示画面76上显示识别结果一览77，该识别结果一览77包含多个识别用图像的缩略图图像78和作为与各识别用图像对应的识别结果的有无病变部79。在该情况下，显示控制部58基于从关注区域模式图像处理部64输出的识别用图像以及与识别用图像相关联的有无病变部的信息，显示缩略图图像78及有无病变部79。有无病变部79显示在相应的识别用图像的缩略图图像78的附近。此外，在图7(B)所示的例子中，作为识别结果一览77，每次显示六个缩略图图像78和作为识别结果的有无病变部79，但不限于此，可根据显示画面和图像的大小、纵横比等，适当变更显示的个数和配置。另外，在以下的实施方式中，图像及识别结果的个数以及配置也没有限定。

另外，在作为识别结果一览显示的缩略图图像78中，也可以将由识别处理部72提取出的病变部的区域显示为例如颜色、灰度等不同的区域。另外，在通过控制台19的输入选择了缩略图图像78中的任一个的情况下，也可以显示原来的识别用图像。

接着，按照图8所示的流程图对关注区域模式的一系列流程进行说明。作为用户的医生操作模式切换部13c，切换到关注区域模式(S11)。由此，对观察对象照射关注区域模式用照明光。使用摄像传感器38拍摄用该关注区域模式用照明光照亮的观察对象，获取内窥镜图像。在本实施方式中，设定了第一显示方法作为显示控制部58中的初始状态。因此，在切换到关注区域模式时，将内窥镜图像75实时显示在监视器18的显示画面76上(S12)。在该情况下，由于在显示画面76上仅显示内窥镜图像75而不显示识别结果，因此不会妨碍医生对内窥镜图像75的观察。

然后，在第一显示方法进行的实时显示中，正在观察内窥镜图像的医生操作静止图像获取部13b，获取识别用图像(S13)。在获取了该识别用图像的情况下，对识别用图像进行检测病变部的识别处理(S14)。将通过识别处理识别到的识别结果与识别用图像相关联并与识别用图像一起存储在识别结果存储部73中(S15)。

接着，在医生通过显示切换操作部13e输入了切换显示方法的指示的情况下，显示控制部58从第一显示方法切换到第二显示方法(S16)。在切换到第二显示方法的情况下，在监视器18的显示画面76上显示识别结果一览77(S17)。由于将作为识别结果的有无病变部79与识别用图像的缩略图图像78一起一览显示，所以医生能够容易地确认关注区域的识别结果。

另外，在确认了关注区域的识别结果之后，在想要再次观察内窥镜图像75的情况下，医生通过显示切换操作部13e输入切换显示方法的指示。由此，显示控制部58进行从第二显示方法向第一显示方法的切换，将内窥镜图像75实时显示在监视器18的显示画面76上。由于将输入切换显示方法的指示的显示切换操作部13e设置于内窥镜12，因此医生能够容易地进行第一和第二显示方法的切换。

[第二实施方式]

在上述第一实施方式中，在第二显示方法中的识别结果一览中，作为识别结果显示了有无病变部，但不限于此，也可以作为识别结果显示病变部的位置。具体而言，如图9(B)所示，在识别结果一览80中，在监视器18的显示画面76上显示多个识别用图像的缩略图图像81和与各识别用图像对应的作为识别结果的病变部的位置82。此外，在第一显示方法的情况下，如图9(A)所示，与上述第一实施方式同样，依次获取内窥镜图像75并将其实时显示在监视器18上，在第二显示方法中，除了显示病变部的位置以外，与上述第一实施方式的关注区域模式中的显示方法的切换同样。

在该情况下，识别处理部72与第一实施方式同样，将识别用图像分割为多个小区域。接着，根据分割后的识别用图像计算图像的特征量，并基于计算出的特征量，判断各小区域是否是病变部。然后，识别处理部72提取被判断为病变部的各小区域的位置信息、例如识别用图像内的坐标信息。识别处理部72将提取出的病变部的坐标信息与识别用图像相关联地存储在识别结果存储部73中。关注区域模式图像处理部64与第一实施方式同样，根据显示控制部58的控制，将内窥镜图像和与识别结果相关联的识别用图像中的任一方输出到显示控制部58。

然后，在进行第二显示方法的情况下，显示控制部58基于识别用图像和与识别用图像相关联的坐标信息，将识别用图像的缩略图图像78和作为识别结果的病变部的位置82显示在监视器18的显示画面76上。此外，在图9(B)中，通过将被识别为病变部的各小区域的显示显示为正方形的格子状来表示病变部的位置82，但不限于此，只要是改变颜色或灰度等、可知病变部的位置82的显示即可，也可以是用文字表示坐标信息的文字信息。

此外，在上述第一和第二实施方式中，在第二显示方法的识别结果一览中显示的识别用图像(包括缩略图图像。)及识别结果是基于过去的内窥镜图像的识别用图像和识别结果，即，在操作了静止图像获取部13b时，对作为识别用图像而获取的内窥镜图像进行了识别处理的识别用图像和识别结果，但不限于此，也可以将基于通过摄像传感器38的摄像而获取的最新的内窥镜图像的识别结果包括在识别结果一览中。在该情况下，于在关注区域模式下摄像传感器38依次获取内窥镜图像的期间内，始终对内窥镜图像进行识别处理。

而且，始终对依次获取的最新的内窥镜图像进行识别处理来获取识别结果。另外，优选在第二显示方法的识别结果一览中显示的识别用图像和识别结果中包含基于摄像传感器38获取的最新的内窥镜图像的识别用图像和识别结果。进而，在该情况下，优选的是，在第二显示方法的识别结果一览中，最初配置基于最新的内窥镜图像的识别用图像和识别结果(图7(B)或图9(B)中的附加了编号“1”的识别用图像和识别结果)，之后，逐渐追溯时间，将过去进行识别处理而获取的识别用图像和识别结果从新的识别用图像和识别结果向旧的识别用图像和识别结果依次排列(图7(B)或图9(B)中的附加了编号“2”、“3”、“4”…的识别用图像和识别结果)。

此外，也可以不对摄像传感器38依次获取的所有内窥镜图像进行识别处理，而是进行间隔剔除处理，即，在所有内窥镜图像中，每隔规定时间或每隔规定帧获取识别用图像，对间隔剔除后的识别用图像进行识别处理来获取识别结果。

[第三实施方式]

在上述第一和第二实施方式中，在通过第二显示方法进行显示的情况下，仅显示了识别结果一览，但也可以一起进行识别结果一览与内窥镜图像的实时显示。此外，在第一显示方法的情况下，如图10(A)所示，与上述第一实施方式同样，依次获取内窥镜图像75并将其实时显示在监视器18上。

如图10(B)所示，在第二显示方法中，一起进行与第一实施方式同样的识别结果一览85和内窥镜图像86的实时显示。在该情况下，识别处理部72与第一实施方式同样地进行识别处理。然后，识别处理部72将检测到的有无病变部等信息与识别用图像相关联地存储在识别结果存储部73中。关注区域模式图像处理部64根据显示控制部58的控制，仅将内窥镜图像、或将内窥镜图像和与识别结果相关联的识别用图像双方输出到显示控制部58。

然后，在进行第二显示方法的情况下，显示控制部58基于内窥镜图像、识别用图像以及与识别用图像相关联的信息，将内窥镜图像86的实时显示与包括识别用图像的缩略图图像78和作为识别结果的有无病变部79的识别结果一览85一起显示在监视器18的显示画面76上。此外，第二显示方法的实时显示与第一显示方法同样，摄像传感器38进行拍摄、依次获取通过关注区域模式图像处理部64进行了图像处理的内窥镜图像86并将其进行实时显示。此外，在图10(B)中，与第一实施方式同样，作为识别结果显示了有无病变部，但也可以与第二实施方式同样，作为识别结果显示病变部的位置。

在上述各实施方式中，作为第二显示方法中的识别结果，显示了识别处理部72进行了病变部的检测处理的结果，但不限于此，也可以显示识别处理部72进行了鉴别处理的结果作为识别结果。即，识别处理部72也可以与上述各实施方式同样地从识别用图像中检测病变部，进而对检测到的病变部进行鉴别病变的种类等的鉴别处理，或通过对识别用图像整体进行鉴别处理来显示鉴别结果。作为识别处理部72进行的鉴别处理的方法，优选使用人工智能(AI(Artificial Intelligence))、深度学习、卷积神经网络、模板匹配、纹理分析、频率分析等。

具体而言，显示控制部58也可以显示识别处理部72鉴别出的病变的种类作为第二显示方法中的识别结果。在该情况下，例如，识别处理部72进行鉴别的病变的种类优选根据进行诊断的部位预先决定。例如，在大肠的诊断中，鉴别部鉴别为正常、增生性息肉(HP：Hyperplastic Polyp)、SSA/P(Sessile Serrated Adenoma/Polyp)、腺瘤(TSA：Traditional Serrated Adenoma)、侧向发育型肿瘤(LST：Laterally Spreading Tumor)、以及癌中的任一种。另外，进行鉴别的病变的种类例如也可以通过控制台19的输入来设定。

在上述各实施方式中，将向显示控制部58输入切换显示方法的指示的显示切换操作部13e设置于内窥镜12，但不限于此，只要是向显示控制部58输入切换显示方法的指示的输入部即可，也可以在医用图像处理装置中设置输入部，并使其具有同样的输入切换指示的功能。

在上述各实施方式中，示出了在从第一显示方法切换到第二显示方法之后，通过再次输入由输入部进行的切换的指示而返回到第一显示方法的例子，但不限于此，显示控制部58也可以在从切换到第二显示方法起经过固定时间后从第二显示方法切换到第一显示方法。在该情况下，从切换到第二显示方法到切换到第一显示方法的固定时间可以预先设定为作为用户的医生确认识别结果所需的充分的时间，也可以通过例如控制台19的输入来设定从切换到第二显示方法到切换到第一显示方法的时间。

另外，在上述各实施方式中，示出了在从第一显示方法切换到第二显示方法的情况下，根据输入部的指示进行切换的例子，但不限于此，显示控制部58也可以在识别处理部72进行了识别处理的固定时间后从第一显示方法切换到第二显示方法。在该情况下，优选每当在静止图像获取部13b被操作时获取观察对象的静止图像作为识别用图像时，进行识别处理而从第一显示方法切换到第二显示方法。另外，进行识别处理而从第一显示方法切换到第二显示方法为止的固定时间可以预先设定为从识别处理部72进行的识别处理到显示控制部58制作识别结果一览的图像并显示显示画面为止的充分的时间，也可以通过例如控制台19的输入来设定从第一显示方法切换到第二显示方法为止的时间。

在上述各实施方式中，使用四色的LED20a～20d进行了观察对象的照明，但也可以使用激光光源和荧光体进行观察对象的照明。另外，在上述各实施方式中，使用四色的LED20a～20d进行了观察对象的照明，但也可以使用氙灯等白色光光源和旋转滤光片进行观察对象的照明。另外，也可以取代彩色的摄像传感器38，用单色的摄像传感器进行观察对象的摄像。

此外，在上述实施方式中，对作为医用图像获取内窥镜图像的内窥镜系统应用了本发明的医疗用图像处理装置，但毋庸置疑也可以对胶囊型内窥镜等各种内窥镜系统应用本发明的医疗用图像处理装置，也可以对作为其他医用图像获取X射线图像、CT图像、MR图像、超声波图像、病理图像、PET(Positron Emi ssion Tomography)图像等的各种医用图像装置应用本发明的医疗用图像处理装置。

在上述实施方式中，执行如图像处理部56那样的各种处理的处理部(processingunit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器的组合(例如，多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合等)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(SystemOn Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。

符号说明

10 内窥镜系统

12 内窥镜

12a 插入部

12b 操作部

12c 弯曲部

12d 顶端部

13a 弯角钮

13b 静止图像获取部

13c 模式切换部

13d 变焦操作部

14 光源装置

16 处理器装置

18 监视器

19 控制台

20 光源部

20a V-LED

20b B-LED

20c G-LED

20d R-LED

22 光源控制部

23 波长截止滤光片

24 光导

30a 照明光学系统

30b 摄像光学系统

32 照明透镜

34 物镜

36 放大光学系统

36a 变焦透镜

36b 透镜驱动部

38 摄像传感器

40 CDS电路

42 AGC电路

44 A/D转换电路

50 图像信号获取部

52 DSP

54 降噪部

56 图像处理部

58 显示控制部

60 普通模式图像处理部

62 特殊模式图像处理部

64 关注区域模式图像处理部

70 普通图像处理部

71 识别用图像处理部

72 识别处理部

73 识别结果存储部

75 内窥镜图像

76 显示画面

77 识别结果一览

78 缩略图图像

79 有无病变部

80 识别结果一览

81 缩略图图像

82 病变部的位置

85 识别结果一览

86 内窥镜图像。

Claims (14)

1.一种医用图像处理装置，其中，具备：

医用图像获取部，其拍摄观察对象而依次获取内窥镜图像；

识别处理部，其进行对通过所述医用图像获取部依次获取的所述内窥镜图像中包含的病变的种类进行鉴别的鉴别处理；以及

显示控制部，其按照用户的切换指示的输入来切换第一显示方法和第二显示方法，所述第一显示方法将通过所述医用图像获取部依次获取的所述内窥镜图像实时显示在显示部上，且不显示通过所述鉴别处理鉴别的鉴别结果，所述第二显示方法将对在基于所述第一显示方法的实时显示中通过所述医用图像获取部依次获取的所述内窥镜图像进行了所述鉴别处理的多个不同的鉴别结果从新的鉴别结果向旧的鉴别结果依次排列显示在所述显示部上。

2.根据权利要求1所述的医用图像处理装置，其中，

所述医用图像处理装置具备输入部，所述输入部向所述显示控制部输入切换显示方法的指示。

3.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在从切换到所述第二显示方法起经过固定时间后，从所述第二显示方法切换到所述第一显示方法。

4.根据权利要求2所述的医用图像处理装置，其中，

所述显示控制部在从切换到所述第二显示方法起经过固定时间后，从所述第二显示方法切换到所述第一显示方法。

5.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在所述识别处理部进行了所述鉴别处理的固定时间后，从所述第一显示方法切换到所述第二显示方法。

6.根据权利要求2所述的医用图像处理装置，其中，

所述显示控制部在所述识别处理部进行了所述鉴别处理的固定时间后，从所述第一显示方法切换到所述第二显示方法。

7.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

8.根据权利要求2所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

9.根据权利要求3所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

10.根据权利要求4所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

11.根据权利要求5所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

12.根据权利要求6所述的医用图像处理装置，其中，

所述显示控制部在通过所述第二显示方法在所述显示部上进行显示的情况下，一起进行多个所述鉴别结果与所述内窥镜图像的显示。

13.一种内窥镜系统，其中，具备：

光源装置，其产生用于对观察对象进行照明的照明光；

内窥镜，其具有对被所述照明光照亮的观察对象进行摄像的摄像部；

医用图像获取部，其拍摄所述观察对象而依次获取内窥镜图像；

识别处理部，其进行对通过所述医用图像获取部依次获取的所述内窥镜图像中包含的病变的种类进行鉴别的鉴别处理；

显示控制部，其按照用户的切换指示的输入来切换第一显示方法和第二显示方法，所述第一显示方法实时显示通过所述医用图像获取部依次获取的所述内窥镜图像，且不显示通过所述鉴别处理鉴别的鉴别结果，所述第二显示方法从新的鉴别结果向旧的鉴别结果依次排列显示对在基于所述第一显示方法的实时显示中通过所述医用图像获取部依次获取的所述内窥镜图像进行了所述鉴别处理的多个不同的鉴别结果；以及

显示部，其显示基于所述第一显示方法的所述内窥镜图像和基于所述第二显示方法的多个所述鉴别结果。

14.根据权利要求13所述的内窥镜系统，其中，

所述内窥镜具备输入部，所述输入部向所述显示控制部输入切换显示方法的指示。