CN110337259B - 内窥镜系统、处理器装置及内窥镜系统的工作方法 - Google Patents

Abstract

本发明提供一种能够大致同时且准确地判别具有不同特征的多个区域的内窥镜系统、处理器装置及内窥镜系统的工作方法。内窥镜系统具备光源部、图像传感器、图像获取部、第1图像生成部、第2图像生成部及区域判别部。光源部发出不同波长的多种照明光。图像获取部获取与各个照明光对应的图像。第1图像生成部生成成为显示用图像的基础的第1图像(白色光图像)。第2图像生成部利用至少1个所对应的波长与在第1图像的生成中利用的图像不同的图像来生成第2图像(明暗区域判别图像等)。区域判别部利用第2图像判别观察对象中的区域。

Description

内窥镜系统、处理器装置及内窥镜系统的工作方法

技术领域

本发明涉及一种判别观察对象的一部分区域的内窥镜系统、处理器装置及内窥镜系统的工作方法。

背景技术

在医疗领域中，通常利用具备光源装置、内窥镜及处理器装置的内窥镜系统进行诊断。尤其，近年来已知有判别观察对象的一部分区域的内窥镜系统。例如，专利文献1～3中记载的内窥镜系统判别摄有粘膜轮廓、暗部、镜面反射、泡沫或残渣的区域。

并且，已知有根据欲观察的区域的特征等而切换观察模式的内窥镜系统(专利文献4)。此外，已知在CT(计算机断层扫描，Computed Tomography)图像等医用图像中，根据表示每个区域的像素值的出现频度的直方图的形状进行区域判别(专利文献5)。

以往技术文献

专利文献

专利文献1：日本特开2016-019665号公报

专利文献2：日本特开2016-016185号公报

专利文献3：日本特开2012-192051号公报

专利文献4：日本特开2016-131837号公报

专利文献5：日本专利5854561号

发明内容

发明要解决的技术课题

一直以来在内窥镜图像中判别具有特定特征的区域(以下，称为区域判别)，但根据所判别的区域的特征或观察对象的情况等，有时鲁棒性(robustness)低而导致错误地判别区域。例如，为了区别粘膜和残液而欲判别存在残液的区域时，存在如下情况，即，若残液薄，则很难进行判别，无法准确地判别存在残液的区域，或者即使在一定程度上判别出了存在残液的区域，但所判别的区域的轮廓不准确。若在区域判别中利用直方图，则比其他区域判别方法更易获得比较准确的结果，但即使是利用直方图的区域判别，也如上述那样很难进行区别粘膜和残液的区域判别，有时会导致成为不准确的结果。

并且，若准备可强调具有特定特征的组织或结构等来观察的观察模式，则具备具有该特定特征的组织或结构等的区域的判别精度得到提高。但是，设定观察模式时，所准备的观察模式基本上专门识别1种特定组织或结构，因此很难从通过所准备的观察模式获取及显示的1个图像同时且准确地判别具有不同特征的多个区域。

本发明的目的在于提供一种能够大致同时且准确地判别具有不同特征的多个区域的内窥镜系统、处理器装置及内窥镜系统的工作方法。

用于解决技术课题的手段

本发明的内窥镜系统具备光源部、图像传感器、图像获取部、第1图像生成部、第2图像生成部及区域判别部。光源部发出不同波长的多种照明光。图像传感器利用各个照明光拍摄观察对象。图像获取部获取与各个照明光对应的图像。第1图像生成部利用图像中的任一图像生成成为显示于显示部的显示用图像的基础的第1图像。第2图像生成部在由图像获取部获取的图像中，利用至少1个所对应的波长与在第1图像的生成中利用的图像不同的图像来生成第2图像。区域判别部利用第2图像判别观察对象中的区域。

优选具备强调处理部，利用第1图像，生成强调了由区域判别部判别出的区域中的至少1个区域的显示用图像。

优选第2图像生成部在与各个照明光对应的图像中，使用至少1个以与在第1图像的生成中使用的图像不同的定时获取的图像来生成第2图像。

优选图像传感器具有不同颜色的多个滤色器，利用照明光拍摄观察对象时，图像获取部按每个照明光且按每个滤色器获取图像。

优选第2图像生成部利用1个或多个图像生成第2图像。

优选区域判别部判别作为观察对象的暗部的区域、产生了光晕的区域、存在血管的区域或附着有残渣或者残液的区域中的任一个以上。

优选具备：区域判别设定部，设定由区域判别部判别的区域的种类；及光源控制部，根据由区域判别设定部设定的区域的种类，控制所发出的照明光的种类。

优选第2图像生成部生成互不相同的多个第2图像，且区域判别部按每个第2图像判别种类分别不同的区域。

区域判别部判别多个区域时，优选强调处理部按由区域判别部判别出的每个区域改变强调方法来生成显示用图像。

优选具备支援信息计算部，针对由区域判别部判别出的区域计算支援诊断的信息。

本发明的处理器装置为具备光源部及图像传感器的内窥镜系统的处理器装置，具备图像获取部、第1图像生成部、第2图像生成部及区域判别部。光源部发出不同波长的多种照明光。图像传感器利用各个照明光拍摄观察对象。图像获取部获取与各个照明光对应的图像。第1图像生成部利用由图像获取部获取的图像中的任一图像，生成成为显示于显示部的显示用图像的基础的第1图像。第2图像生成部在由图像获取部获取的图像中，利用至少1个所对应的波长与在第1图像的生成中利用的图像不同的图像来生成第2图像。区域判别部利用第2图像判别观察对象中的区域。

本发明的内窥镜系统的工作方法具备光源部发出不同波长的多种照明光的步骤。本发明的内窥镜系统的工作方法具备图像传感器利用各个照明光拍摄观察对象的步骤。本发明的内窥镜系统的工作方法具备图像获取部获取与各个照明光对应的图像的步骤。本发明的内窥镜系统的工作方法具备第1图像生成部利用由图像获取部获取的图像中的任一图像，生成成为显示于显示部的显示用图像的基础的第1图像的步骤。本发明的内窥镜系统的工作方法具备第2图像生成部在由图像获取部获取的图像中，利用至少1个所对应的波长与在第1图像的生成中利用的图像不同的图像来生成第2图像的步骤。并且，本发明的内窥镜系统的工作方法具备区域判别部利用第2图像判别观察对象中的区域的步骤。

发明效果

根据本发明的内窥镜系统、处理器装置及内窥镜系统的工作方法，能够同时且准确地判别具有不同特征的多个区域。

附图说明

图1是内窥镜系统的外观图。

图2是内窥镜系统的框图。

图3是表示滤色器的特性的曲线图。

图4是图像处理部的框图。

图5是表示内窥镜系统的动作的流程图。

图6是表示照明光与所获取的图像的对应关系的说明图。

图7是白色光图像(第1图像)。

图8是明暗区域判别图像(第2图像)。

图9是血管区域判别图像(第2图像)。

图10是残液区域判别图像(第2图像)。

图11是显示用图像。

图12是另一显示用图像。

图13是设置有诊断支援信息计算部的图像处理部的框图。

图14是胶囊型内窥镜的概略图。

具体实施方式

如图1所示，内窥镜系统10具备内窥镜12、光源装置14、处理器装置16、显示器18及控制台19。内窥镜12拍摄观察对象。光源装置14产生照明光。处理器装置16进行内窥镜系统10的系统控制及图像处理等。显示器18为显示通过处理器装置16生成的显示用图像(以下，称为显示用图像121。参考图11)的显示部。控制台19为进行向处理器装置16等的设定输入等的输入器件。

内窥镜12具有插入到受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过对操作部12b的弯角钮12e进行操作，弯曲部12c弯曲。通过弯曲部12c弯曲，前端部12d朝向所希望的方向。另外，在前端部12d设置有朝向观察对象喷射空气或水等的喷射口(未图示)。并且，在操作部12b，除了弯角钮12e以外，还设置有变焦操作部13。通过对变焦操作部13进行操作，能够放大或缩小观察对象来进行摄像。

如图2所示，光源装置14具备发出照明光的光源部20及控制光源部20的驱动的光源控制部22。

光源部20具备例如发出中心波长或波长范围不同(以下，简称为“波长不同”)的光的多个LED(发光二极管，Light Emitting Diode)作为光源，通过各LED的发光或点亮及光量的调节等，能够发出不同波长的多种照明光。例如，光源部20能够分别发出波长范围比较宽的宽频带的紫色光、蓝色光、绿色光及红色光作为照明光。尤其，光源部20除了宽频带的紫色光、蓝色光、绿色光及红色光以外，还能够发出窄频带(指波长范围为10nm至20nm左右的范围)的紫色光、蓝色光、绿色光及红色光作为照明光。更具体而言，光源部20能够发出中心波长约为400nm的窄频带紫色光、中心波长约为450nm的第1窄频带蓝色光、中心波长约为470nm的第2窄频带蓝色光、中心波长约为540nm的窄频带绿色光及中心波长约为640nm的窄频带红色光作为照明光。此外，光源部20通过组合宽频带或窄频带的紫色光、蓝色光、绿色光及红色光，能够发出白色光作为照明光。并且，本实施方式中，光源部20有时发出由第1窄频带蓝色光、窄频带绿色光及窄频带红色光形成的窄频带混合光作为照明光。

另外，作为光源部20，能够利用LD(激光器二极，Laser Diode)和荧光体和频带限制滤波器的组合或氙气灯等灯与频带限制滤波器的组合等来代替LED。当然，由LED构成光源部20时，也能够组合荧光体或频带限制滤波器来使用。

光源控制部22分别独立地控制构成光源部20的各光源的点亮或熄灭的定时及点亮时的发光量等。其结果，光源部20能够发出不同波长的多种照明光。并且，光源控制部22根据图像传感器48的摄像定时(所谓的帧)控制光源部20。本实施方式中，通过光源控制部22的控制，光源部20根据图像传感器48的摄像帧，分别依次反复发出白色光、窄频带紫色光、第2窄频带蓝色光及窄频带混合光来作为照明光。

并且，光源控制部22根据进行区域判别的区域的种类及数量等，控制从光源部20发出的照明光的种类。由此，光源控制部22将为了进行区域判别而所需的摄像的帧数抑制在所需最小限度。具体而言，内窥镜系统10至少判别作为观察对象的暗部的区域(以下，称为暗部区域102。参考图7)、产生了光晕的区域(以下，称为光晕区域。未图示)、附着有残渣或者残液的区域(以下，称为残液区域104。参考图7)或存在血管的区域(以下，称为血管区域103。参考图7)中的任一个以上。其结果，内窥镜系统10中，识别拍摄有粘膜的区域和上述暗部区域102、光晕区域、残液区域104或血管区域103。本实施方式中，对上述各区域全部进行区域判别。为此，本实施方式中，光源控制部22将由光源部20依次发出的照明光的种类设定为白色光、窄频带紫色光、第2窄频带蓝色光及窄频带混合光。

由光源部20发出的照明光入射于光导件41。光导件41内置于内窥镜12及通用塞绳内，将照明光传播至内窥镜12的前端部12d。通用塞绳为连接内窥镜12和光源装置14及处理器装置16的塞绳。另外，作为光导件41，能够使用多模光纤。作为一例，能够使用芯部直径105μm、包覆直径125μm、包括成为外皮的保护t层在内的直径为φ0.3～0.5mm的细径的光纤电缆。

在内窥镜12的前端部12d设置有照明光学系统30a和摄影光学系统30b。照明光学系统30a具有照明透镜45，经由该照明透镜45朝向观察对象出射照明光。摄影光学系统30b具有物镜46、变焦透镜47及图像传感器48。图像传感器48经由物镜46及变焦透镜47，利用从观察对象返回的照明光的反射光等(除了反射光以外，还包含闪射光、观察对象所发出的荧光或因对观察对象进行给药的药物引起的荧光等)，对观察对象进行摄影。变焦透镜47通过进行变焦操作部13的操作而移动，放大或缩小利用图像传感器48摄影的观察对象。

图像传感器48具有不同颜色的多个滤色器。图像传感器48例如为具有原色系的滤色器的颜色传感器，具备具有蓝色滤色器的B像素(蓝色像素)、具有绿色滤色器的G像素(绿色像素)及具有红色滤色器的R像素(红色像素)这3种像素。如图3所示，蓝色滤色器主要透射紫色至蓝色的光。绿色滤色器主要透射绿色的光。红色滤色器主要透射红色的光。若如上述那样利用原色系的图像传感器48对观察对象进行摄影，则最大能够同时获得从B像素获得的B图像(蓝色图像)、从G像素获得的G图像(绿色图像)及从R像素获得的R图像(红色图像)这3种图像。

另外，作为图像传感器48，能够利用CCD(电荷耦合元件，Charge Coupled Device)传感器或CMOS(互补型金属氧化膜半导体，Complementary Metal Oxide Semiconductor)传感器。并且，本实施方式的图像传感器48为原色系的颜色传感器，但还能够使用互补色系的颜色传感器。互补色系的颜色传感器例如具有设置有青色滤色器的青色像素、设置有品红色滤色器的品红色像素、设置有黄色滤色器的黄色像素及设置有绿色(green)滤色器的绿色像素。若对使用互补色系颜色传感器时从上述各颜色的像素获得图像进行互补色-原色色彩转换，则能够转换为B图像、G图像及R图像。并且，能够代替颜色传感器使用未设置滤色器的单色传感器作为图像传感器48。此时，通过利用BGR等各颜色的照明光依次拍摄观察对象，能够获得上述各颜色的图像。

处理器装置16具有控制部52、图像获取部54、图像处理部61及显示控制部66。

控制部52进行照明光的照射定时和摄影定时的同步控制等内窥镜系统10的总括控制。并且，利用控制台19等设定了进行区域判别的区域的种类及数量等时，控制部52将该设定输入至光源控制部22。

图像获取部54从图像传感器48获取观察对象的图像。本实施方式中，图像传感器48具有滤色器，因此图像获取部54按每个照明光且按每个滤色器获取图像。即，若图像传感器48利用任一个照明光对观察对象进行1次摄像，则图像获取部54获取与各滤色器的颜色对应的多个图像。

图像获取部54具有DSP(数字信号处理器，Digital Signal Processor)56、降噪部58及转换部59，利用这些，根据需要对所获取的图像实施各种处理。

DSP56根据需要对所获取的图像实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理、去马赛克处理及YC转换处理等各种处理。

缺陷校正处理为对与图像传感器48的缺陷像素对应的像素的像素值进行校正的处理。偏移处理为从已实施缺陷校正处理的图像减少暗电流成分并设定准确的零电平的处理。增益校正处理为对已进行偏移处理的图像乘以增益来调整各图像的信号电平的处理。线性矩阵处理为用于提高已进行偏移处理的图像的颜色再现性的处理，伽马转换处理为调整线性矩阵处理之后的图像的明度和彩度的处理。去马赛克处理(还称为各向同性化处理或同步化处理)为对欠缺的像素的像素值进行插值的处理，对伽马转换处理之后的图像实施。欠缺的像素是指因滤色器的排列(由于图像传感器48中配置有其他颜色的像素)而没有像素值的像素。例如，B图像为在B像素中对观察对象进行摄影而获得的图像，因此在与G像素和R像素对应的位置的像素中没有像素值。去马赛克处理对B图像进行插值来生成位于图像传感器48的G像素及R像素的位置的像素的像素值。YC转换处理为将去马赛克处理之后的图像转换为亮度通道Y和色差通道Cb及色差通道Cr的处理。

降噪部58对亮度通道Y、色差通道Cb及色差通道Cr，例如利用移动平均法或中值滤波法等实施降噪处理。转换部59将降噪处理之后的亮度通道Y、色差通道Cb及色差通道Cr再次重新转换为BGR的各颜色的图像。

图像处理部61利用由图像获取部54获取的图像，生成显示于显示器18的显示用图像121。为此，如图4所示，图像处理部61具备第1图像生成部81、第2图像生成部82、区域判别设定部83、区域判别部84及强调处理部86。

第1图像生成部81利用由图像获取部54获取的图像中的任一图像来生成第1图像。第1图像是指成为显示于显示部即显示器18的显示用图像121的基础的图像。本实施方式中，第1图像为作为照明光利用白色光，拍摄观察对象来获得的色彩自然的白色光图像101(参考图7)。另外，第1图像生成部81在生成第1图像时，根据需要，对由图像获取部54获取的图像实施颜色转换处理、色彩强调处理及结构强调处理。颜色转换处理对BGR各颜色的图像进行3×3的矩阵处理、灰度变换处理、三维LUT(查找(look-up)表)处理等。色彩强调处理为强调图像的色彩的处理，结构强调处理例如为强调血管或凹坑图案等观察对象的组织或结构的处理。

第2图像生成部82在由图像获取部54获取的图像中，利用1个或多个图像，生成与第1图像不同的第2图像。更具体而言，第2图像生成部82在由图像获取部54获取的所述图像中，利用至少1个所对应的波长与在第1图像的生成中利用的图像不同的图像来生成第2图像。第2图像是指在由区域判别部84进行的区域判别中使用的区域判别用图像。“与第1图像不同”是指，基本上第2图像生成部82在第2图像的生成中使用的图像的种类、个数或组合与第1图像生成部81在第1图像的生成中使用的图像不同。即，只要所使用的图像的种类、个数或组合不同，则第2图像是观察对象的组织或结构等的识别性实际上与第1图像不同的图像。例如，第1图像生成部81利用3种图像生成第1图像时，使用1个或多个与这些不同的图像来生成的图像是第2图像。从在第1图像的生成中使用的3种图像中选择的1种图像或对从在第1图像的生成中使用的图像中选择的1种图像实施了结构强调处理等处理的图像也是第2图像。利用在第1图像的生成中使用的3种图像中的2种图像，进行运算等而生成的图像，或对在第1图像的生成中使用的3种图像进一步加上其他图像，进行运算等来生成的图像等也是第2图像。

本说明书中，“与第1图像不同的第2图像”中，还包含在使用种类、个数及组合与第1图像生成部81在第1图像的生成中使用的图像相同的图像的情况下，利用在第1图像的生成中使用的图像进行运算来生成的图像或变更针对在第1图像的生成中使用的图像的各种处理的轻重等的图像。这是因为这些图像的观察对象的组织或结构等的识别性实际上也与第1图像不同。

第2图像生成部82根据区域判别的设定生成1个或多个第2图像。区域判别的设定具体而言为所判别的区域的种类等，由区域判别设定部83根据利用控制台19等输入器件进行的输入，进行区域判别的设定。

在已设定了所判别的区域的种类时，区域判别设定部83根据所判别的区域的种类，设定照明光的种类、光量及发光顺序等。以下，区域判别的设定中除了所判别的区域的种类以外，还包含根据所判别的区域的种类而二次设定的照明光的种类、光量及发光顺序等。区域判别设定部83能够设定是否针对暗部区域102、光晕区域、血管区域103或残液区域104分别个别地进行区域判别。因此，第2图像生成部82根据区域判别的设定，选择性地生成在区域判别中使用的第2图像。

本实施方式中，区域判别的设定设为对暗部区域102、光晕区域、残液区域104及血管区域103全部进行区域判别的设定。为此，第2图像生成部82生成用于对暗部区域102及光晕区域进行区域判别的图像(以下，称为明暗区域判别图像112。参考图8)、用于对血管区域103进行区域判别的图像(以下，称为血管区域判别图像113。参考图9)及用于对残液区域104进行区域判别的图像(以下，称为残液区域判别图像114。参考图10)。

明暗区域判别图像112为观察对象的明暗比第1图像清晰的图像。第2图像生成部82例如通过对在第1图像的生成中使用的图像进行运算来生成明暗区域判别图像112。此时，明暗区域判别图像112为大致强调第1图像的亮度分布的图像。

残液区域判别图像114为使残渣及残液的有无及轮廓等比第1图像清晰的图像。第2图像生成部82例如至少使用1个与在第1图像的生成中使用的图像不同的图像且以与在第1图像的生成中使用的图像不同的定时获取的图像来生成残液区域判别图像114。

血管区域判别图像113为使特定血管(本实施方式中，是位于粘膜的最表层的血管)的有无及轮廓等比第1图像清晰的图像。第2图像生成部82例如使用至少1个与在第1图像的生成中使用的图像不同的图像且以与在第1图像的生成中使用的图像不同的定时获取的图像来生成血管区域判别图像113。

这些明暗区域判别图像112、血管区域判别图像113及残液区域判别图像114均为第2图像，在生成中使用的图像的种类、个数或者组合或生成时的运算或者处理的轻重分别与第1图像不同。并且，明暗区域判别图像112、血管区域判别图像113及残液区域判别图像114的生成中使用的图像的种类、个数或者组合或生成时的运算或者处理的轻重等互不相同。因此，第2图像生成部82生成明暗区域判别图像112、血管区域判别图像113及残液区域判别图像114这样的互不相同的多个第2图像。

另外，区域判别设定部83还将区域判别的设定输入至控制部52。并且，控制部52将区域判别的设定输入至光源控制部22。其结果，光源控制部22根据由区域判别设定部83设定的区域的种类，控制从光源部20发出的照明光的种类、光量、发光顺序等。

区域判别部84利用第2图像判别观察对象中具有特定特征的区域。各区域的判别例如通过利用表示像素值的出现频度的直方图的形状或预先设定的阈值与像素值的比较等来进行。更具体而言，区域判别部84根据区域判别的设定，判别暗部区域102、光晕区域、血管区域103或残液区域104中的任一个以上。对暗部区域102或光晕区域进行区域判别时，区域判别部84使用暗部及光晕比第1图像清晰的明暗区域判别图像112。对血管区域103进行区域判别时，区域判别部84使用血管比第1图像清晰的血管区域判别图像113。同样地，对残液区域104进行区域判别时，区域判别部84使用残渣及残液比第1图像清晰的残液区域判别图像114。即，区域判别部84判别不同特征的多个区域时，第2图像生成部82生成互不相同的多个第2图像，且区域判别部84按这些第2图像的每个图像判别种类分别不同的区域。

强调处理部86利用第1图像生成强调了由区域判别部84判别出的区域中的至少1个区域的显示用图像121。尤其，本实施方式中，强调处理部86按区域由判别部84判别出的每个区域改变强调方法来生成显示用图像121。“改变强调方法”是指，与粘膜等其他区域相比，提高位于通过进行频率强调处理、边缘增强处理、着色处理等而判别出的区域内的组织或结构或者所判别的整个区域的识别性时，按所判别的每个区域变更实施的处理的种类或按所判别的每个区域改变处理的轻重。

显示控制部66从图像处理部61获取显示用图像121，将所获取的显示用图像121转换为适于显示的形式来依次输出显示于显示器18。由此，医生等能够利用显示用图像121对观察对象进行观察。

接着，根据图5所示的流程图对内窥镜系统1()的动作流程进行说明。使用内窥镜系统10时，首先利用控制台19等来进行区域判别的设定(S11)。本实施方式中，将暗部区域102、光晕区域、血管区域103及残液区域104的区域判别全部设定为有效，且设定用于判别这些各区域的照明光的种类、光量、发光顺序等。

其结果，若利用内窥镜12拍摄观察对象(S12)，则如图6所示，在第1帧中，图像获取部54获取作为照明光使用白色光而从B像素获得的图像(以下，称为B1图像)、作为照明光使用白色光而从G像素获得的图像(以下，称为G1图像)及作为照明光使用白色光而从R像素获得的图像(以下，称为R1图像)。接着，在第2帧中，图像获取部54获取作为照明光使用窄频带紫色光而从B像素获得的图像(以下，称为B2图像)、作为照明光使用窄频带紫色光而从G像素获得的图像(以下，称为G2图像)及作为照明光使用窄频带紫色光而从R像素获得的图像(以下，称为R2图像)。并且，在接下来的第3帧中，图像获取部54获取作为照明光使用第2窄频带蓝色光而从B像素获得的图像(以下，称为B3图像)、作为照明光使用第2窄频带蓝色光而从G像素获得的图像(以下，称为G3图像)及作为照明光使用第2窄频带蓝色光而从R像素获得的图像(以下，称为R3图像)。之后，在第4帧中，图像获取部54获取作为照明光使用窄频带混合光而从B像素获得的图像(以下，称为B4图像)、作为照明光使用窄频带混合光而从G像素获得的图像(以下，称为G4图像)及作为照明光使用窄频带混合光而从R像素获得的图像(以下，称为R4图像)。

若如上述那样拍摄观察对象来获取各种图像，则第1图像生成部81利用在第1帧中获取的B1图像、G1图像及R1图像生成第1图像即白色光图像101(S13)。如图7所示，白色光图像101在以自然的色彩显示观察对象的医生等最习惯这一点上最易观察，因此是最适于作为显示用图像121的基础的图像。但是，照明光不易到达的管腔深处成为暗部区域102，很难对观察对象进行观察，且暗部和明部的边界也模糊，至少在边界中很难判别暗部区域102。并且，在白色光图像101中，虽然有时能够判别位于粘膜最表层的细血管所存在的血管区域103，但是基本上很难观察血管区域103的血管。而且，在白色光图像101中，根据残液等的浓度和残存范围的宽窄等有时能够判别残液区域104，但是根据残液等的浓度和残存范围的宽窄等有时很难判别残液区域104。另外，在白色光图像101中，有时存在由于来自粘膜表面的照明光的镜面反射等而引起光晕的区域，但在与可正常地观察粘膜等的区域相比，明度成为极端值这一点上，本质上与暗部区域102相同，因此本实施方式中省略光晕区域的图示等。

如上所述，内窥镜系统10中，在第1图像生成部81中生成白色光图像101(第1图像)，并且在第2图像生成部82中为了判别各区域而生成第2图像(S14)。具体而言，第2图像生成部82生成明暗区域判别图像112、血管区域判别图像113及残液区域判别图像114这3种第2图像。并且，区域判别部84利用这些第2图像进行区域判别(S15)。具体而言，区域判别部84利用明暗区域判别图像112判别暗部区域102(若存在光晕区域则还包含光晕区域的判别)。并且，区域判别部84利用血管区域判别图像113判别血管区域103，且利用残液区域判别图像114判别残液区域104。

第2图像生成部82利用在第1帧中获取的B1图像、G1图像及R1图像运算观察对象的亮度，生成表示其分布的明暗区域判别图像112。因此，如图8所示，明暗区域判别图像112与白色光图像101相比，暗部区域102及暗部区域的边界变得鲜明。另一方面，在明暗区域判别图像112中，血管区域103及残液区域104的识别性为与白色光图像101相同的程度或其以下。因此，区域判别部84通过利用明暗区域判别图像112，能够比利用白色光图像101时更准确地判别暗部区域102。存在光晕区域的情况也相同。

并且，第2图像生成部82利用在第2帧中获取的B2图像、在第4帧中获取的B4图像生成血管区域判别图像113。更具体而言，第2图像生成部82首先计算B2图像与B4图像的差分图像(例如，从B2图像减去B4图像的图像)或比例图像(例如B2图像/B4图像)。并且，将B2图像或B4图像中的一个分配于亮度通道且将上述差分图像或比例图像分配于色差通道，由此生成血管区域判别图像113。如图9所示，如此生成的血管区域判别图像113中，由于窄频带紫色光和窄频带混合光所包含的第1窄频带蓝色光向粘膜下的到达深度不同，位于血管区域103的血管通过与粘膜等的颜色差异，比白色光图像101更鲜明。另一方面，在血管区域判别图像113中，暗部区域102及残液区域104与血管区域103的血管相比，识别性相对降低，这些识别性为与白色光图像101相同的程度或其以下。因此，区域判别部84通过利用血管区域判别图像113，能够比利用白色光图像101时更准确地判别血管区域103。

并且，第2图像生成部82利用在第3帧中获取的B3图像、在第4帧中获取的B4图像、G4图像及R4图像生成残液区域判别图像114。更具体而言，第2图像生成部82首先计算B4图像相对于G4图像的比(以下，称为B4/G4)、B3图像相对于G4图像的比(以下，称为B3/G4)及R4图像相对于G4图像的比(以下，称为R4/G4)。接着，根据式1，计算运算值“Z”。以相对于观察对象所包含的血红蛋白的氧饱和度，运算值“Z”不变的方式确定式1中的相位φ。相位φ能够预先通过实验等来求出。

[式1]Z＝(B4/G4)×cosφ-(B3/G4)×sinφ

关于运算值“Z”，若没有包含胆红素等黄色色素的残液等，则不依赖于观察对象的氧饱和度而成为与比R4/G4相应的恒定的值。另一方面，关于运算值“Z”，若存在包含黄色色素的残液等，则虽然不依赖于观察对象的氧饱和度，但根据残液等所包含的黄色色素的量(浓度)而发生变动。因此，第2图像生成部82将实际计算出的比R4/G4的值中没有残液等时运算值“Z”所取的值Z₀作为基准，在实际计算出的比R4/G4的值中计算实际计算出的运算值“Z”的变化量ΔZ(＝Z-Z₀)。该变化量ΔZ成为表示残液等的有无及量的值。因此，第2图像生成部82生成将变化量ΔZ的值作为像素值的残液区域判别图像114。

如图10所示，如此生成的残液区域判别图像114与白色光图像101相比，残液区域104的有无及残液区域104和粘膜等其他区域的差异更清晰。另一方面，在残液区域判别图像114中，暗部区域102及血管区域103的识别性为与白色光图像101相同的程度或其以下。因此，区域判别部84通过利用残液区域判别图像114，能够比利用白色光图像101等时更准确地判别残液区域104。

另外，通常，测定残液等的有无及量时，易利用由于残液等所包含的黄色色素引起的蓝色光的吸光量。但是，蓝色光由于观察对象所包含的血红蛋白的氧饱和度而发生变动。其结果，若简单地根据蓝色光的吸光量(例如，在白色光图像101的生成中使用的B1图像的像素值)测定残液等的有无及量，则有时会成为不准确的结果。因此，本实施方式中，利用由于黄色色素的有无及量而值发生大幅变动且由于氧饱和度的值而值几乎不发生变动的B4图像、由于黄色色素的有无及量而值与B4图像相同程度地发生变动且由于氧饱和度的值而值发生大幅变动的B3图像，大致排出氧饱和度的依赖性，利用大致由于黄色色素的有无及量而值发生变动的运算值“Z”。

若区域判别部84判别暗部区域102、光晕区域、血管区域103及残液区域104，则强调处理部86分别对第1图像即白色光图像101中由区域判别部84判别出的各区域进行强调处理(S16)，由此生成显示用图像121。并且，显示控制部66将由强调处理部86输出的显示用图像121显示于显示器18(S17)。内窥镜系统10反复进行上述动作，直至观察结束或变更区域判别的设定(S18)。

如上所述，内窥镜系统10在进行区域判别时，与适于显示的第1图像独立地生成适于区域判别的第2图像。并且，利用第2图像进行区域判别而不是利用第1图像。因此，与如以往的内窥镜系统中进行的区域判别那样利用适于显示的图像(内窥镜系统10中的第1图像)进行区域判别时相比，内窥镜系统10的区域判别的精度良好。尤其，判别多个区域时，以往的内窥镜系统与内窥镜系统10中，区域判别的精度差显著。并且，内窥镜系统10能够大致同时判别多个区域。

而且，内窥镜系统10并不显示在区域判别中使用的第2图像，而是在适于显示的白色光图像101(第1图像)中，强调由区域判别部84判别出的区域。因此，如图11所示，内窥镜系统10的显示用图像121中，能够与白色光图像101同样地，基本上能够自然地对观察对象进行观察，且在所判别的各区域中能够准确地强调组织或结构等来显示。

另外，上述实施方式中，显示用图像121中，在暗部区域102提高了观察对象的可见性，在血管区域103提高了位于血管区域103的血管的可见性，且在残液区域104提高了残液等的可见性，但也可以代替此，如图12所示的显示用图像122那样，通过显示由区域判别部84判别出的各区域的轮廓来强调各区域的存在。此时，由区域判别部84判别出的各区域的轮廓优选通过颜色或者线条类型或区域内的着色等来显示存在何种区域。

上述实施方式中，将强调了由区域判别部84判别出的区域的显示用图像121显示于显示器18，但也若代替生成及显示显示用图像121或除了生成及显示显示用图像121以外，针对由区域判别部84判别出的区域，计算支援诊断的信息则更佳。此时，如图13所示，在图像处理部61设置诊断支援信息计算部130。诊断支援信息计算部130针对由区域判别部84判别出的区域，计算支援诊断的信息(以下，称为诊断支援信息)。诊断支援信息例如为表示病变可能性的指标或可判断该区域为病变的可能性的指标(例如氧饱和度等)等。

诊断支援信息计算部130针对由区域判别部84判别出的区域求出诊断支援信息，因此无需对所显示的整个图像计算诊断支援信息。并且，诊断支援信息计算部130仅针对血管区域103计算诊断支援信息等，在由区域判别部84判别出的区域中仅限于所需的区域而计算诊断支援信息。通常，诊断支援信息的计算是非常需要时间或整机功率(machinepower)的沉重的处理。但是，如上所述，诊断支援信息计算部130仅限于准确地判别出的区域且需要的区域而计算诊断支援信息，因此能够以可实现的轻量的运算量且准确地计算诊断支援信息。这在实时地提供诊断支援信息时尤其有益。

与由区域判别部84判别出的区域相关的信息除了如上述那样计算诊断支援信息以外，还能够在三维结构的提取等中任意地利用。

上述实施方式中，使用在第2帧和第4帧这2帧中获得的图像生成了血管区域判别图像113，但通过与上述实施方式不同的方法生成提高血管区域103的识别性的血管区域判别图像113时，有时能够使用1帧量的图像生成血管区域判别图像113。

并且，如上述实施方式中示出，第2图像生成部82能够使用在多个帧中获取的图像生成第2图像。如此，遍及多个帧而获取第2图像的生成所需的图像时，优选对在第2图像的生成中使用的图像进行对位处理或模糊校正处理等校正处理的基础上用于第2图像的生成。进行校正处理时，区域判别精度进一步提高。

上述实施方式中，图像传感器48为1个，但内窥镜系统10能够并用比图像传感器48更高灵敏度的图像传感器(以下，称为高灵敏度传感器)。并用高灵敏度传感器时，例如，能够利用观察对象所包含的荧光物质或注入于观察对象等的荧光物质所发出的荧光拍摄观察对象，并将所获得的荧光图像用于第2图像的生成。

上述实施方式中，区域判别部84判别暗部区域102、光晕区域、血管区域103或残液区域104中的任一区域，但这些为一例，区域判别部84除了这些以外还可判别具有其他特征的区域。例如，能够除了上述各区域以外或代替上述各区域，判别发红的发红区域、粘膜萎缩的萎缩区域等。并且，区域判别部84分别判别暗部区域102、光晕区域、血管区域103或残液区域104的方法也是一例，能够分别通过与上述实施方式不同的方法进行判别。此时，第2图像的生成方法也根据区域判别部84中的区域判别的方法而变更。

上述实施方式中，在将设置有图像传感器48的内窥镜12插入到受检体内来进行观察的内窥镜系统10中实施了本发明，但本发明还适于胶囊型内窥镜系统。如图14所示，例如，胶囊型内窥镜系统中至少具有胶囊型内窥镜700及处理器装置(未图示)。

胶囊型内窥镜700具备光源部702和控制部703、图像传感器704、图像处理部706及收发天线708。光源部702与光源部20对应。控制部703与光源控制部22及控制部52相同地发挥作用。并且，控制部703能够利用收发天线708，使用无线与胶囊型内窥镜系统的处理器装置进行通信。胶囊型内窥镜系统的处理器装置与上述实施方式的处理器装置16大致相同，但与图像获取部54及图像处理部61对应的图像处理部706设置于胶囊型内窥镜700，显示用图像121经由收发天线708发送至处理器装置。图像传感器704构成为与图像传感器48相同。

符号说明

10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，13-变焦操作部，14-光源装置，16-处理器装置，18-显示器，19-控制台，20、702-光源部，22-光源控制部，30a-照明光学系统，30b-摄影光学系统，41-光导件，45-照明透镜，46-物镜，47-变焦透镜，48、704-图像传感器，52、703-控制部，54-图像获取部，56-DSP，58-降噪部，59-转换部，61、706-图像处理部，66-显示控制部，81-第1图像生成部，82-第2图像生成部，83-区域判别设定部，84-区域判别部，86-强调处理部，101-白色光图像，102-暗部区域，103-血管区域，104-残液区域，112-明暗区域判别图像，113-血管区域判别图像，114-残液区域判别图像，121、122-显示用图像，130-诊断支援信息计算部，700-胶囊型内窥镜，708-收发天线。

Claims (10)

1.一种内窥镜系统，其具备：

光源部，发出不同波长的多种照明光；

图像传感器，具有不同颜色的多个滤色器，利用各个所述照明光拍摄观察对象；

图像获取部，利用所述照明光拍摄所述观察对象时，按每个所述照明光且按每个所述滤色器获取不同种类的图像；

第1图像生成部，利用由所述图像获取部获取的所述图像中的任一所述图像，生成成为显示于显示部的显示用图像的基础的第1图像；

第2图像生成部，在由所述图像获取部获取的所述图像中，利用至少1个所对应的所述波长与在所述第1图像的生成中利用的所述图像不同的所述图像来生成第2图像；

区域判别部，利用所述第2图像判别所述观察对象中的区域；及

强调处理部，利用所述第1图像，生成强调了由所述区域判别部判别出的所述区域中的至少1个所述区域的所述显示用图像，

所述第2图像生成部与所述区域的每个种类相应地生成用于对该种类的所述区域进行区域判别的所述第2图像，

所述第2图像生成部生成互不相同的多个所述第2图像，且

所述区域判别部按每个所述第2图像判别与该第2图像相应的种类的区域，

在所述区域判别部判别多个区域时，所述强调处理部按由所述区域判别部判别出的每个区域变更实施的处理的种类、或者按由所述区域判别部判别出的每个区域改变处理的轻重，由此按由所述区域判别部判别出的每个区域改变强调方法来生成所述显示用图像。

2.根据权利要求1所述的内窥镜系统，其中，

所述强调处理部生成通过显示由所述区域判别部判别出的各区域的轮廓来强调所述各区域的存在的所述显示用图像。

3.根据权利要求1所述的内窥镜系统，其中，

所述第2图像生成部在与各个照明光对应的所述图像中，使用至少1个以与在所述第1图像的生成中使用的所述图像不同的定时获取的所述图像来生成所述第2图像。

4.根据权利要求1所述的内窥镜系统，其中，

所述第2图像生成部利用1个或多个所述图像生成所述第2图像。

5.根据权利要求1所述的内窥镜系统，其中，

所述区域判别部判别作为所述观察对象的暗部的区域、产生了光晕的区域、存在血管的区域或附着有残渣或者残液的区域中的任一个以上。

6.根据权利要求1所述的内窥镜系统，其中，

该内窥镜系统具备：

区域判别设定部，设定由所述区域判别部判别的所述区域的种类；及

光源控制部，根据由所述区域判别设定部设定的区域的种类，控制所发出的所述照明光的种类。

7.根据权利要求1所述的内窥镜系统，其中，

该内窥镜系统具备：

诊断支援信息计算部，针对由所述区域判别部判别出的区域计算支援诊断的信息即诊断支援信息。

8.根据权利要求7所述的内窥镜系统，其中，

所述诊断支援信息是表示所述区域为病变的可能性的指标或可判断所述区域为病变的可能性的指标。

9.根据权利要求8所述的内窥镜系统，其中，

所述指标是氧饱和度。

10.一种内窥镜系统的处理器装置，所述内窥镜系统具备发出不同波长的多种照明光的光源部及具有不同颜色的多个滤色器且利用各个所述照明光拍摄观察对象的图像传感器，所述处理器装置具备：

图像获取部，利用所述照明光拍摄所述观察对象时，按每个所述照明光且按每个所述滤色器获取不同种类的图像；

第1图像生成部，利用由所述图像获取部获取的所述图像中的任一所述图像，生成成为显示于显示部的显示用图像的基础的第1图像；

第2图像生成部，在由所述图像获取部获取的所述图像中，利用至少1个所对应的所述波长与在所述第1图像的生成中利用的所述图像不同的所述图像来生成第2图像；

区域判别部，利用所述第2图像判别所述观察对象中的区域；及

强调处理部，利用所述第1图像，生成强调了由所述区域判别部判别出的所述区域中的至少1个所述区域的所述显示用图像，

所述第2图像生成部与所述区域的每个种类相应地生成用于对该种类的所述区域进行区域判别的所述第2图像，

所述第2图像生成部生成互不相同的多个所述第2图像，且

所述区域判别部按每个所述第2图像判别与该第2图像相应的种类的区域，

在所述区域判别部判别多个区域时，所述强调处理部按由所述区域判别部判别出的每个区域变更实施的处理的种类、或者按由所述区域判别部判别出的每个区域改变处理的轻重，由此按由所述区域判别部判别出的每个区域改变强调方法来生成所述显示用图像。

Images