CN101404923B - 医疗用图像处理装置 - Google Patents

Abstract

图像处理装置(3)根据通过内窥镜(6)拍摄的内窥镜图像的R分量图像，使用其亮度信息计算三维形状和三维形状的曲面的特征量的信息。另外，图像处理装置(3)根据R、G这两个图像分量计算发红/褪色的色调变化区域，按照该检测结果，变更作为从三维形状的曲面上的隆起性变化区域中检测作为隆起性病变的息肉的情况下的阈值的检测基准的值，从而进行高精度的息肉检测。

Description

医疗用图像处理装置

技术领域

本发明涉及适用于从医疗用图像中检测病变部候选区域来检测息肉等病变的医疗用图像处理装置以及医疗用图像处理方法。

背景技术

近些年来，内窥镜被广泛应用于例如医疗用领域中的诊察和诊断等中。

这种情况下，手术人员将内窥镜的插入部插入到患者的大肠等体腔内，通过设置于插入部的前端部上的摄像单元拍摄体腔内部，观察显示在监视器上的内窥镜图像以进行息肉等病变部的诊察和诊断等内窥镜检查。这种情况下，手术人员希望减少给予患者的痛苦且顺利地进行内窥镜检查，因而手术人员的负担很大。

因此，例如在作为第一现有例的日本特开2004-180932号公报中，通过采用X射线CT装置等的第一图像诊断装置和采用X射线TV装置等的第二图像诊断装置分别针对相同关注区域检测病变候选，相互比较对照这2个检测结果并合成检测结果提示给手术人员，从而能够防止手术人员看漏。

另外，在作为第二现有例的日本特开2005-192880号公报中，公开了一种根据色调信息从内窥镜图像中检测病变候选区域的图像处理方法。

但是，上述第一现有例难以应用于根据拍摄大肠等体腔内部所得的内窥镜图像来鉴别或诊断息肉等病变的情况中。另外，在X射线CT的图像中不存在明确的半球状的可见隆起的情况下难以进行检测。

在内窥镜图像这样的光学观察体腔内部的图像中，还能获得颜色信息，因而优选在病变检测等中也使用颜色信息。

另一方面，第二现有例中，使用颜色信息和轮廓信息，检测出血/发 红和隆起/凹陷等。但是，该第二现有例中没有有效地使用如下区域的信息，即：附带地呈现在息肉处产生的发红/褪色的色调变化性状的区域，以及附带地呈现在息肉的周围粘膜上产生的可见异常区域等的性状的区域。因此，优选有效地使用这些区域的信息，能够以更高的精度或者更高的可靠性来检测病变。

另外，优选由二维图像来生成三维形状图像，能够进行进一步提高了可靠性的病变检测。

发明内容

鉴于上述情况，本发明的目的在于提供一种医疗用图像处理装置以及医疗用图像处理方法，其能够如内窥镜图像那样根据具有颜色信息的医疗用图像来精度良好地检测息肉等病变。

另外，本发明的目的还在于提供一种能够使用三维形状图像进行进一步提高了可靠度的病变检测的医疗用图像处理装置以及医疗用图像处理方法。

本发明第一方面的医疗用图像处理装置的特征在于，其具有：病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的；以及检测基准变更单元，其按照上述附带区域的检测结果，变更从上述病变候选区域中检测病变时的检测基准。

另外，本发明第二方面的医疗用图像处理装置的特征在于，具有：病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；以及附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的，其中，所述医疗用图像处理装置根据通过上述病变候选区域检测单元所检测出的病变候选区域和通过上述附带区域检测单元所检测出的附带区域是否存在具有被检测为病变候选这样的相关性的区域，来进行病变检测。

另外，根据本发明的医疗用图像处理方法的特征在于，具有：病变候选区域检测步骤，在该步骤中，根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；附带区域检测步骤，在该步骤中，从上述医疗用图像中检测是否存在附带区域，该附带区域是在伴随病变而附带的性状中产生的；以及检测基准变更步骤，在该步骤中，按照是否存在上述附带区域的检测结果，变更从上述病变候选区域中检测病变时的检测基准。

附图说明

图1是本发明实施例一所涉及的、表示内窥镜系统的构成的框图。

图2是本发明实施例一所涉及的、表示通过插入到大肠这样的管状部位内的内窥镜来拍摄的情形的图。

图3A是表示通过设置于图2的内窥镜中的摄像装置拍摄到的内窥镜图像例的图。

图3B是表示通过设置于图2的内窥镜中的摄像装置拍摄到的内窥镜图像例的图。

图4是本发明实施例一所涉及的、表示CPU的图像处理功能的框图。

图5是表示通过本发明实施例一的图像处理来检测作为隆起性病变的息肉的处理的流程图。

图6是表示图5的步骤S4的三维形状信息计算的处理的流程图。

图7是表示通过图6的步骤S12计算出的形状指标SI的值所构成的曲面形状的图。

图8是表示图5的步骤S6的处理内容的流程图。

图9A是本发明实施例二所涉及的、表示通过设置于内窥镜中的摄像装置拍摄到的内窥镜图像例的图。

图9B是本发明实施例二所涉及的、表示通过设置于内窥镜中的摄像装置拍摄到的内窥镜图像例的图。

图10是本发明实施例二所涉及的、表示CPU的图像处理功能的框图。

图11是表示通过本发明实施例二的图像处理来检测作为隆起性病变 的息肉的处理的流程图。

图12是表示图11的步骤S51中的粘膜性状信息判定的处理内容的流程图。

图13是表示图11的步骤S51中的异常血管增生判定的处理内容的流程图。

具体实施方式

下面，参照附图说明本发明的实施例。

(实施例一)

图1～图8涉及本发明的实施例一，图1是表示内窥镜系统的构成的框图，图2是表示通过插入到大肠这样的管状部位内的内窥镜来拍摄的情形的图，图3A是表示通过设置于图2的内窥镜中的摄像装置拍摄到的内窥镜图像例的图，图3B是表示通过设置于图2的内窥镜中的摄像装置拍摄到的内窥镜图像例的图，图4是表示CPU的图像处理功能的框图，图5是表示通过图像处理来检测作为隆起性病变的息肉的处理的流程图，图6是表示图5的步骤S4的三维形状信息计算的处理的流程图，图7是表示通过图6的步骤S12计算出的形状指标(Shape Index)SI的值所构成的曲面形状的图，图8是表示图5的步骤S6的处理内容的流程图。

图1所示的内窥镜系统1包括：内窥镜观察装置2；对通过该内窥镜观察装置2获得的内窥镜图像进行图像处理的由个人计算机等构成的内窥镜图像处理装置(下面简称为图像处理装置)3；以及显示通过该图像处理装置3进行了图像处理的图像的显示监视器4。

内窥镜观察装置2具有：插入到体腔内的内窥镜6；将照明光提供到该内窥镜6的光源装置7；对内窥镜6的摄像单元进行信号处理的相机控制单元(简称为CCU)8；以及监视器9，其通过被输入从该CCU8输出的视频信号从而显示由摄像元件拍摄到的内窥镜图像。

内窥镜6具有插入到体腔内的插入部11和设置在该插入部11后端的操作部12。另外，在插入部11内插入有传送照明光的光导向设备13。

该光导向设备13的后端与光源装置7连接。而且，通过光导向设备 13传送从该光源装置7提供的照明光，从安装在设置于插入部11的前端部14上的照明窗上的前端面(将传送来的照明光)射出，对患处等被摄体进行照明。

内窥镜观察装置2还设置有摄像装置17，该摄像装置17包括安装在与照明窗相邻的观察窗上的物镜15和配置在该物镜15的成像位置上的作为固体摄像元件的例如电荷耦合元件(简称为CCD)16。而且，在该CCD16的摄像面上成像的光学像通过该CCD16进行光电转换。

该CCD16经由信号线与CCU8连接，通过从该CCU8施加CCD驱动信号，CCD16输出经过了光电转换的图像信号。该图像信号通过CCU8内的视频处理电路进行信号处理，被转换为视频信号。该视频信号被输出到监视器9，在监视器9的显示面上显示内窥镜图像。该视频信号还被输入到图像处理装置3。

该图像处理装置3具有：图像输入部21，其被输入视频信号，该视频信号与从内窥镜观察装置2输入的内窥镜图像对应；作为中央运算处理装置的CPU22，其对从该图象输入部21输入的图像数据进行图像处理；以及处理程序存储部23，其存储通过该CPU22执行图像处理的处理程序(控制程序)。

另外，该图像处理装置3具有：存储从图像输入部21输入的图像数据等的图像存储部24；存储通过CPU22处理过的信息等的信息存储部25；作为存储装置的硬盘27，其经由存储装置接口26来存储通过CPU22处理过的图像数据和信息等；显示处理部28，其进行用于显示通过CPU22处理过的图像数据等的显示处理；以及由键盘等构成的输入操作部29，其供用户进行图像处理参数等的数据输入和指示操作。

而且，通过该显示处理部28生成的视频信号显示在显示监视器4上，在该显示监视器4的显示面上显示经过了图像处理的处理图像。并且，图像输入部21、CPU22、处理程序存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处理部28、输入操作部29经由数据总线30彼此连接。

在本实施例中，如图2所示，将直视型的内窥镜6的插入部11插入 到例如大肠31这样的管状部位(管状器官)，通过摄像装置17进行拍摄。

图3A和图3B表示二维内窥镜图像例，该二维内窥镜图像例具有通过内窥镜6拍摄到的作为隆起性病变的息肉。

图3A中表示具有伴随有发红部32的息肉的内窥镜图像。并且，息肉的顶部为白色调的褪色部33。

另外，图3B表示在比图3A的情况更宽的区域上具有伴随有白色调的褪色部33的息肉的内窥镜图像。

这样，在作为隆起性病变的息肉中，附带的性状中经常产生发红或白色调(褪色)的色调变化。在本实施例中，作为附带区域，检测或判定是否存在呈现这种色调变化的色调变化区域。而且，按照这种色调变化区域的检测结果，变更(或控制)之后进行的息肉检测或判定时的检测基准，更具体而言是变更检测基准的阈值。

另外，在本实施例中，为了精度良好地进行上述息肉检测，需要根据所拍摄的二维内窥镜图像来估计检测对象部位(例如管腔形状的内表面)的三维形状。然后，使用所估计的三维形状信息，检测作为息肉候选的隆起性变化区域。

而且，按照伴随有上述色调变化的附带区域的检测结果，针对与所检测到的隆起性变化区域对应的部分(包含其周边部)，变更并设定进行息肉检测的检测基准的阈值。

具体而言，在伴随有色调变化的情况下，作为通过隆起性变化进行息肉检测时所适用的检测基准，应用相比不伴随有色调变化的情况放宽了检测条件的检测基准。

如后所述，在通过图5所示的方法进行息肉检测例子中，在不伴随有色调变化的情况下以检测基准1为阈值，在伴随色调变化的情况下以相比检测基准1放宽了检测条件的检测基准2为阈值，分别通过隆起性变化来进行息肉检测(判定)。

这样，通过在图像处理中进行息肉检测，能够获得精度良好(或者高可靠性)的息肉检测结果。

图4表示本实施例的图像处理装置3内的CPU22所执行的图像处理 功能。CPU22具有：作为病变候选区域检测单元的隆起性变化区域检测功能22a，其根据明暗信息(或者亮度信息)从所拍摄的内窥镜图像的数据中检测作为隆起性病变候选区域的隆起性变化区域；作为附带区域检测单元的色调变化区域检测功能22b，其从内窥镜图像的多个颜色信号中检测色调变化区域；对所检测的隆起性变化区域进行作为隆起性病变的息肉检测的息肉检测功能22d；以及作为检测基准变更单元的检测基准设定功能22c，其根据进行该息肉检测时是否伴随有色调变化区域来变更并设定息肉检测基准。

另外，该CPU22具有三维形状信息生成功能22e，在通过隆起性变化区域检测功能22a检测隆起性变化区域的情况下，该三维形状信息生成功能22e将二维内窥镜图像的亮度信息用作估计其形状的形状信息，由此生成三维形状信息。

接着，说明本实施例的由内窥镜图像进行息肉检测为止的动作。

在本实施例中，通过软件来实现图4所示的各功能。即，CPU22读出存储(保存)在处理程序存储部23中的处理程序，CPU22按照该处理程序进行处理，从而执行图5所示的息肉检测的图像处理。

在接通了图1所示的内窥镜观察装置2和图像处理装置3的电源后，通过内窥镜6的摄像装置17进行拍摄，在监视器9显示通过CCU8进行了信号处理的内窥镜图像(的视频信号)，并且该内窥镜图像还经由图像输入部21输入到图像处理装置3。

然后，通过手术人员操作未图示的键盘等图像处理开始键等，将该指示信号发送到CPU22，CPU22开始用于进行图5的息肉检测的图像处理。

在最开始的步骤S1中，CPU22对表示内窥镜图像I的编号的参数i设定初始值i＝1，在接下来的步骤S2中，CPU22读取依次保存在例如图1的硬盘27或者图像存储部24中的由第i个RGB信号构成的内窥镜图像Ii。

本实施例中的一系列处理适用于作为动态图像而连续输入的各帧的内窥镜图像Ii。但不限于这种情况，例如也可以对隔开几个帧的内窥镜图 像进行图5的图像处理。另外，也可以对归档于硬盘27的其他内窥镜图像进行图5的图像处理。

在步骤S2之后，在步骤S3中，CPU22提取内窥镜图像Ii中的R信号分量(简称为R图像)，在接下来的步骤S4中，CPU22根据明暗变化(亮度信息的变化)计算(生成)R图像Ri的三维形状信息。在本实施例中，CPU22使用R图像Ri计算三维形状信息，然而除此之外还可以使用例如亮度信号分量的图像进行计算。

图6表示根据二维R图像Ri计算三维形状信息的处理方法。

为了根据二维图像计算三维形状信息，如图6的步骤S21所示，由CPU22估计(生成)三维形状。

作为生成三维形状的方法，例如具有明暗恢复形状(Shape fromShading)。采用该明暗恢复形状的三维形状生成方法所利用的方法是，通过来自照明光源的照明光所照明的对象部位上的反射光的强度在该面的倾斜状态下发生变化，反射到通过伴随该变化的反射光所拍摄的内窥镜图像上，该方法例如记载于《コンピュ—タビジョン、投影中心に点光源がある場合のShape-from-Shading—内視鏡形状からの3次元形状復元—岡谷、出口：pp.19-26、1996》中。另外，还可以使用其他的计算(生成)由二维内窥镜图像估计出的三维形状的方法。

然后，在下一个步骤S22中，CPU22在计算出的三维形状的各曲面上计算表示曲面形状的特征量即形状指标SI和曲度(Curvedness)CV。形状指标SI和曲度CV按照如下进行计算。

CPU22针对计算出的三维形状，计算包含关注的三维位置(x，y，z)的局部区域(曲面)上的该R像素值f上的1阶偏微分系数fx、fy、fz和2阶偏微分系数fxx、fyy、fzz、fxy、fyz、fxz。

CPU22使用这些系数，按照“電子情報通信学会、信学技報(MI2003-102)、形状情報に基づく3次元腹部CT像からの大腸ポリ一プ自動検出方法に関する検討木村、林、北坂、森、末長pp.29-34、2004”中所描述的那样计算高斯曲率K、平均曲率H。

另一方面，曲面的主曲率k1、k2(k1≥k2)使用高斯曲率K、平均曲 率H，可表示为式(1)：

k1＝H+(H²—K)^1/2、k2＝H—(H²—K)^1/2      (1)。

另外，作为表示这种情况下的曲面形状的特征量的形状指标SI和曲度CV分别为：

SI＝1/2—(1—π)arc tan[(k1+k2)/(k1—k2)]   (2)

CV＝((k1²+k2²)/2)^1/2       (3)。

作为三维形状信息，CPU22按照上述计算三维各曲面上的形状指标SI和曲度CV。

如图7所示，形状指标SI用具有从0到1的值的指标来表示曲面形状。这种情况下，在形状指标SI为0时，则曲面形状为凹型，在为1时，则曲面形状为凸型。也就是说，该形状指标SI的值越接近1，越具有凸型的隆起形状的特征。

因此，将形状指标SI的值作为接近1的阈值来设定检测基准，检测具有大于该阈值的形状指标SI的值的区域，从而能够在图像处理上客观地检测作为隆起性病变的息肉。并且，在后述图5的步骤S10所使用的检测基准1中，将形状指标SI的阈值设定为(SI＝)0.9，在步骤S11的检测基准2中将形状指标SI的阈值设定为(SI＝)0.8。

另外，曲度CV表示曲率半径的倒数，在限定对象曲面的凸型区域大小的情况下被利用。按这样进行图5中的步骤S4的处理。

而且，在本实施例中，在按照如下所述进行作为隆起性病变的息肉检测的图像处理的情况下，CPU22使用检测基准1和检测基准2来进行。

另一方面，在图5的步骤S5中，CPU22提取内窥镜图像Ii中的R图像Ri和内窥镜图像Ii中的G信号分量(简称为G图像Gi)。然后，在下面的步骤S6中，CPU22检测显示发红/褪色的色调变化的色调变化区域。

步骤S6中的色调变化区域的检测处理例如按照图8所示那样进行。在最开始的步骤S31中，CPU22对R图像Ri和G图像Gi进行去除暗部/光晕或者残渣等不良像素的处理。关于暗部/光晕的去除可以使用对应于暗部和光晕而设定的阈值来简单地去除。另外，可以组合残渣的色调及 其部分的形状判定等去除残渣。

在下一步骤S32中，CPU22进行例如分割为8×8的小区域的处理。

而且，在下一步骤S33中，CPU22对表示所分割的小区域的编号的参数m和表示小区域内的像素的编号的参数j设定初始值1。并且，在对小区域进行编号的情况下，通过步骤S31的处理而被除去的像素在其小区域内所占的比例例如超过50％的情况下，该小区域从处理对象中被去除(不分配给m编号)。也就是说，针对小区域，也将不良的小区域从处理对象中去除。

在下一步骤S34中，CPU22计算第j个像素的色度gj/rj。这里gj表示G图像Gi的(第m个)小区域内的第j个像素的亮度电平、rj表示R图像Rj的(第m个)小区域内的第j个像素的亮度电平。而且，在下一步骤S35中，CPU22进行j是否为小区域内最后的像素编号jend的判定。在与像素编号jend不相符的情况下，在下一步骤S36中，CPU22使j增大1，然后返回步骤S34，重复相同的处理。

按照这样计算色度gj/rj直到第m个小区域内的最后的像素编号jend为止，之后进入步骤S37。

在该步骤S37中，CPU22计算该第m个小区域的色度平均值μgrm。而且，在下一步骤S38中，CPU22进行小区域的编号m是否为最后的编号mend的判定。在与编号mend不相符的情况下，在步骤S39中，CPU22使m增大1，然后返回步骤S34，重复步骤S34～S39的处理。

按照这样，在m与最后的编号mend一致的情况下，进入步骤S40，在该步骤S40中，CPU22进行所有小区域的色度平均值μgr和标准偏差σgr的计算。

然后，在下一步骤S41中，CPU22使用所有小区域情况下的色度平均值μgr和标准偏差σgr，判定在步骤S37中计算出的第m个小区域的色度平均值μgrm是否为发红和褪色的色调变化的小区域。

具体而言，如步骤S41所示，CPU22将小区域的色度平均值μgrm视作正规分布，判定该色度平均值μgrm是否位于距离所有小区域的色度平均值μgr的分布位置为±(1.5×σgr)的范围内。

在满足了步骤S41的判定条件的情况下，则如步骤S42所示，CPU22检测(判定)为该小区域不是发红和褪色的色调变化的小区域。

另一方面，在不符合步骤S41的条件的情况下，则如步骤S43所示，CPU22检测为是发红和褪色的色调变化的小区域。

更具体而言，针对色度平均值μgrm从色度平均值μgr的分布位置相比—1.5×σgr更向外侧偏离的情况，检测(判定)为是发红的色调变化的小区域；另外，对于色度平均值μgrm从色度平均值μgr的分布位置相比+1.5×σgr更向外侧偏离的情况，检测(判定)为是褪色的色调变化的小区域。

检测(判定)结果同小区域的编号m或者小区域的二维位置的信息一起存储在信息存储部25(参见图1)等中。而且，在如下说明的图5的步骤S9的判定中，使用该检测结果的信息。

然后，图8的步骤S41到S43的处理是进行从1到mend来改变小区域的编号m。按这样对作为处理对象的所有小区域进行步骤S42或S43的处理，之后进入图5的步骤S7或者步骤S8的处理。

另外，在上述说明中是以使用色度gj/rj的例子进行了说明，然而也可以增加bj/gj作为色度。这种情况下能够对应于黄色调粘膜的检测

。另外，在图8的处理中，也可以根据色度平均值μgrm与μgr之比μrate＝μgrm/μgr进行检测，例如μrate<0.5时则检测为发红，μrate>1.5时则检测为褪色

。接着，在图5的步骤S7中，CPU22根据在步骤S4中计算出的三维形状信息，进行隆起性变化区域的检测的处理。例如，检测上述的形状指标SI的值为0.8以上的小区域的部分

。进而，在步骤S8中，CPU22使通过步骤S4检测的三维形状信息和通过步骤S6检测的色调变化区域的信息对应起来，从而确定在步骤S6中检测出的色调变化区域中所包含的各像素或者该小区域相当于三维形状上的哪个位置

。在接下来的步骤S9中，CPU22根据步骤S7和S8的各结果进行判定处理。具体而言，CPU22判定在步骤S7中检测出的三维形状上的隆 起性变化区域是否对应于在步骤S8中确定的色调变化区域。

然后，如果步骤S9中的判定结果为否，即，是不伴随有色调变化的隆起性变化，则CPU22在步骤S10中应用基于检测基准1的息肉检测处理。

另一方面，如果步骤S9中的判定结果为是，即，是伴随有色调变化的隆起性变化，则CPU22在步骤S11中应用基于检测基准2的息肉检测处理。

这样，在本实施例中，如步骤S10和S11所示，按照步骤S9的判定结果，变更进行息肉检测的检测基准或者评价基准来进行处理。这种情况下，在检测出色调变化时，由于该区域及其区域的周边部为息肉的可能性高，因此相比没有检测出色调变化的情况放宽检测条件来检测具有隆起性变化的特征的部分，从而精度良好地检测息肉或者息肉候选。

另外，虽然息肉检测处理能应用各种检测基准，然而在本实施例中采用基于上述形状指标SI的检测基准。

作为用于检测表示作为隆起性病变的息肉的凸型(或者杯子)形状的形状指标SI的阈值，将检测基准1设定为(SI＝)0.9，将检测基准2设定为(SI＝)0.8(并且如上所述，越接近1越呈凸型形状)。而且，在步骤S10或步骤S11中，CPU22比较检测基准0.9或者0.8的形状指标SI，在大于该值的情况下将小区域检测(判定)为息肉。

这种情况下，例如曲度CV无论在检测基准1还是2中都以(CV＝)0.2作为阈值，在大于该值的情况下检测(判定)为息肉。

并且，在上述说明中，在伴随有色调变化的情况和不伴随有色调变化的情况下，作为检测基准变更了形状指标SI的值，然而也可以如下所述，通过变更曲度CV的值来变更检测基准。

也就是说，作为检测基准1可以设形状指标SI的阈值为0.9，设曲度CV的阈值为0.20；作为检测基准2可以设形状指标SI的阈值为0.9，设曲度CV的阈值为0.15。

另外，与检测基准1相对，在为检测基准2的情况下，也可以按减小形状指标SI的阈值和曲度CV的阈值的方式进行变更。

例如，作为检测基准1也可以设形状指标SI的阈值为0.9，设曲度CV的阈值为0.20；作为检测基准2也可以设形状指标SI的阈值为0.85，设曲度CV的阈值为0.15。

这样，在步骤S10或者步骤S11中，CPU22将检测基准1或2设定为阈值，通过隆起性变化区域中的形状指标SI的值来进行息肉检测的处理。

然后，将该检测结果与检测对象的内窥镜图像Ii关联起来保存在例如图1的硬盘27中，并且经由显示处理部28，例如与检测对象的内窥镜图像Ii并排地显示在显示监视器4上。

然后，在图5的步骤S12中，CPU22使i增大1，对下一个内窥镜图像Ii进行相同的处理。

采用进行这种图像处理的本实施例，通过参照与息肉的情况下附带产生的色调变化的特征量相对应的色调变化信息，能够改变(控制)检测基准的值或者条件值，能够提高检测对象是否为息肉的检测精度(或者是检测的可靠性)。也就是说，相比仅通过一个检测进行息肉检测的情况下的图像处理的情况，通过组合两种检测，能够进行精度更高的息肉检测。

并且，在上述说明中，说明了使用作为表示曲面形状的特征量的形状指标SI和曲度CV的阈值在步骤S10或步骤S11中进行息肉检测处理的情况，然而也可以根据隆起性变化区域上的距离基准面的高度的信息来进行检测。

这种情况下，在设检测基准1的情况下的高度阈值为H1时，只要将检测基准变更为小于H1的阈值H2即可。综上，在伴随有色调变化的情况下，能够以放宽息肉检测的检测条件的方式进行变更(控制)，从而进行高精度的息肉检测。

并且，在本实施例中，作为病变检测的方案或方法，以作为隆起性病变的息肉的情况进行了说明，然而本实施例不限于此，显然还能应用于凹陷性病变。

这种情况下，例如在图5中，在步骤S7中取代隆起性变化区域检测 的处理而变更为检测凹陷性变化区域，而且，步骤S9也同样变更即可。

另外，步骤S10和步骤S11的检测基准也变更为接近于凹陷性病变的特征量的值。这样一来，也能应用于凹陷性病变。

(实施例二)

下面，参照图9～图13说明本发明的实施例二。

在本实施例中也应用隆起性变化区域的检测，由根据明暗变化而计算出的三维信息(形状信息)来进行作为隆起性病变的息肉检测。

息肉有时在周围粘膜上伴随有可见异常。反言之，当在粘膜上看到可见异常时也很有可能产生了息肉。作为粘膜的可见异常，可以列举例如图9A所示的白班或者图9B所示的异常血管增生。

本实施例中，着眼于该可见异常，在粘膜表面上呈现可见异常的情况下，通过变更基于形状信息的息肉检测的检测基准(参数或阈值等)，能够实现息肉检测的精度的提高。

具体而言，对于周边粘膜上伴随有可见异常的隆起性变化区域，相比不伴随可见异常的情况应用放宽了检测条件的检测基准。

本实施例的图像处理装置3的构成与图1相同，处理内容不同。在本实施例中，图像处理装置3中的CPU22具有图10所示的处理功能。也就是说，取代实施例一中的图4所示的色调变化区域检测功能22b，而具有可见异常区域检测功能22f。并且如下所述，在可见粘膜性状判定的处理中检测(判定)出该可见异常区域。

下面，参照图11，通过本实施例中的图像处理说明息肉检测的动作。图11所示的流程图的处理中的步骤S1到步骤S5都与图5的流程图的处理中的步骤S1到步骤S5相同，因而省略其说明。

在步骤S5中，CPU22提取内窥镜图像Ii中的R图像Ri和内窥镜图像Ii中的G图像Gi，在接下来的步骤S51中，CPU22进行(检测可见异常区域)可见粘膜性状判定的处理。

在该可见粘膜性状判定的处理中，CPU22进行内窥镜图像Ii中呈现特征性的可见粘膜性状的区域是否为呈现可见异常的区域的判定。在本实施例中，作为使用R图像Ri和G图像Gi的结构，如上所述，在步骤 S51中，通过应用后述一系列处理，由此进行白斑、异常血管增生等可见异常区域的检测。

接着，与图5的步骤S7相同，基于步骤S4中计算出的三维形状信息进行隆起性变化区域的检测。

接下来，在步骤S52中，CPU22基于步骤S51和S7的各检测结果进行判定处理。通过该步骤S52的判定处理，如果没有可见异常就进入步骤S10，如果有可见异常就进入步骤S11。

与实施例一的情况相同，在步骤S10中，CPU22应用基于检测基准1的息肉检测处理。另外，在步骤S11中，CPU22应用基于检测基准2的息肉检测处理。然后，在步骤S10和S11的处理之后经过步骤S12返回步骤S2。

息肉检测处理可以应用各种方式，例如与实施例一的情况相同，使用基于形状指标SI的检测和曲度CV的阈值等来进行处理。

参照图12和图13的流程图说明本实施例的图11中的步骤S51的可见粘膜性状判定的处理。

作为可见粘膜性状判定的处理，在本实施例中，进行图12所示的白斑的可见异常的检测处理和图13所示的异常血管增生的可见异常的检测处理。首先，说明图12的白斑的可见异常的检测处理。

在最开始的步骤S61中，CPU22进行去除暗部/光晕和残渣等不良像素的处理。在接下来的步骤S62中，CPU22进行各像素的色度gj/rj的计算。此处尾标j表示像素编号。

在接下来的步骤S63中，CPU22进行基于阈值处理的2值化处理。这种情况下，例如将(色度的)阈值Vth设定为0.8，使用该阈值Vth进行2值化，使得gj/rj>0.8时则为1，除此之外，即gj/rj≤0.8时则为0，生成经过了2值化的2值化图像。

在接下来的步骤S64中，CPU22追踪2值化的值相对于2值化图像为1的像素，进行对区域标注的标注处理，由2值化图像生成标注图像。

在接下来的步骤S65中，CPU22对在标注处理中所生成的标注图像进行白斑的小块检测处理。也就是说，进行在标注图像中是否产生与白 斑所引起的小块相对应的部分的白斑的小块检测。

在进行白斑的小块检测的情况下，例如使用伸长度(＝面积/细线化长度)。而且，对标注图像检测伸长度的值E，比较该值E是否小于(判定基准的)阈值Vth(例如Vth＝0)。而且，计算E<Vth(＝10)的小块数量N。

另外，也可以不使用伸长度，而以圆形度或力矩特征量作为检测基准来计算小块数量N。

在接下来的步骤S66中，CPU22进行步骤S65中所检测出的小块数量N是否大于白斑检测的检测基准的阈值Nth(例如Hth＝20)的判定。而且，在满足该条件N>Nth的情况下，如图步骤S67所示，CPU22通过该标注图像(G图像Gi和R图像Ri)判定为检测出白斑，反之，在不满足该条件的情况下，在步骤S68中判定为没有检测出白斑。

步骤S67、S68的检测结果可利用于步骤S52的判定。也就是说，将是否检测出白斑用作是否存在可见异常。

另外，作为步骤S51的可见粘膜性状判定的处理，进行如下说明的图13的异常血管增生所引起的可见异常的检测处理。为了检测异常血管增生，需要进行如下处理：从内窥镜图像Ii中检测局部较粗的血管和细小复杂的分支。

从最开始的步骤S71到步骤S74为止进行与图12大致相同的处理。也就是说，在步骤S71中，CPU22进行去除暗部/光晕和残渣等不良像素的处理，在接下来的步骤S72中进行各像素的色度gj/rj的计算。另外，在下面的步骤S73中，CPU22进行基于阈值处理的2值化处理。这种情况下，使用与图12的情况不同的阈值Vth进行2值化。

CPU22例如将阈值Vth设定为0.2，使用该阈值Vth进行2值化，使得gj/rj<0.2时为1，除此之外，即gj/rj≥0.2时为0，生成经过了2值化的2值化图像。

然后，在下面的步骤S74中进行标注处理，这种情况下，制作细线图像作为标注图像。

然后，在下面的步骤S75中，CPU22进行与异常血管增生对应的特 征量检测的处理。作为该特征量检测的处理，针对细线图像检测分支/交叉点数量。然后，在下面的步骤S76中，CPU22使用分支/交叉点数量的阈值或者判别函数，进行是否存在异常血管增生的检测。

并且，作为特征量检测的处理，也可以取代使用分支/交叉点数量来进行处理，而是使用伸长度等来检测超过阈值的伸长度的数量，根据该数量是否超过了异常血管增生检测的阈值，进行异常血管增生的检测(判别)。

图13的处理中的检测结果被利用于步骤S52的判定。在步骤S52中，CPU22进行如下判定：通过步骤S7检测出的隆起性变化区域，是否与伴随图12的白斑检测而检测为该可见粘膜性状的区域相符，或者与伴随图13的异常血管增生的检测而检测为该可见粘膜性状的区域相符。

而且，在得到了该步骤S52的判定处理结果之后，进行与图5所示的实施例一的情况下的处理相同的处理。

也就是说，通过步骤S52的判定处理，在判定为并非伴随有可见异常的情况下，在步骤S10中，CPU22应用检测基准1进行息肉检测，而在伴随有可见异常的情况下，在步骤S11中，CPU22应用检测基准2进行息肉检测。而且，在步骤S10、S11的处理之后，使图像的参数i增大1，对下一个内窥镜图像Ii进行同样的处理。

如上所述，检测基准1和检测基准2是使用基于形状指标SI的检测或曲度CV的阈值等来进行。

并且，在上述说明中，也可以对G图像Gi应用用于检测白斑或异常血管增生的检测滤波器来对其进行检测。

另外，在多帧上检测到白斑或异常血管增生等可见异常区域的情况下，也可以对其他帧变更(控制)检测基准，以应用检测基准2来进行息肉检测。

这样，根据本实施例，通过可见粘膜性状的判定处理，按照检测出可见异常的情况和没有检测出可见异常的情况来改变针对隆起性变化区域的检测基准，进行作为隆起性病变检测的息肉的检测，从而能够进行高精度的息肉的检测。

另外，也可以变更图11的图像处理的顺序。例如可以在步骤S51之前进行步骤S7的处理。另外，为了减少计算量，也可以针对与步骤S7的不具有三维隆起性的非隆起性变化部的检测区域相对应的区域，进行步骤S51的可见粘膜性状的判定处理。也就是说，由于本实施例的可见异常区域是在作为隆起性病变的息肉的周边部上附带产生的，因而可以针对隆起性病变变化区域的周边的平坦部和周边粘膜检测它们的可见异常。

另外，作为检测基准1、2不限于按上述那样使用基于形状指标SI的检测或曲度CV的阈值的检测，如实施例一中所说明的那样，也可以根据距离基准面的高度的值等来检测隆起性病变。这种情况下，当在粘膜表面伴随有白斑或异常血管增生时，则控制成进一步提高息肉检测的灵敏度，从而能够进行高精度的息肉检测。

并且，本实施例中的病变检测方案或方法不限于隆起性病变的情况，如实施例一中说明那样，同样可适用于凹陷性病变。

并且，上述实施例一和实施例二中说明了按照通过图像处理来检测病变的情况、检测到色调变化或可见异常区域(即附带区域)的情况下的检测结果，改变根据亮度信息来检测隆起性病变区域等病变候选时的检测基准的情况，然而也可以根据两者的检测结果来综合地检测病变。

另外，作为这些实施例中的其他检测方法或检测方案，还可以通过两者是否存在具有相关性的区域来检测病变候选是否为病变。例如，为了满足仅检测被认为是病变的可能性非常高的区域的期望，在两者中存在被检测为病变候选这样的相关性的情况下被检测为病变候选时，则能够提高病变部位检测的精度。

并且，在实施例一和实施例二中，作为病变检测方法说明了基于三维形状估计的方法，然而本发明不限于此。例如，还可以考虑应用如下方法：利用带通滤波针对二维R图像提取边缘，然后进行基于阈值处理的2值化，通过公知的半转换，检测出显示息肉形状病变所呈现的圆弧形状的边缘。

这种情况下，也可以将作为病变候选而检测出的边缘的长度、面积 或圆弧的曲率等作为检测基准，根据病变部或周边部的可见异常来变更检测基准。

另外，在上述实施例中，作为病变检测方法说明了基于针对形状指标SI和曲度CV的阈值处理的方法，然而本发明不限于此。例如，可以不基于阈值处理，而是准备具有凸型、CUP型等各形状可见部的图像组作为引导数据，用于使用了计算出的各特征量的识别器下的检测方法。例如，在使用应用了公知的线性判别函数的识别器的情况下，当存在可见异常时，对通过应用各形状的线性判别函数而获得的值控制加权，能够进行易于检测凸型形状等的控制。

并且，组合上述实施例的一部分等，或变更图像处理顺序的变形例等也属于本发明。

如上所述，采样本发明，根据内窥镜图像等具有颜色信息的医疗用图像中的亮度信息检测息肉等病变候选区域，并且检测在伴随病变而附带出现的性状中产生的、伴随有发红/褪色部分等色调变化的附带区域，按照附带区域的检测结果变更从病变候选区域中检测病变的检测基准，从而具有能进行高精度的病变检测的工业可用性。

另外，本发明具有如下记载的附记中所描述的特征。

(附记一)

一种医疗用图像处理装置，其特征在于，具有：病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的；以及检测基准变更单元，其按照上述附带区域的检测结果，变更从上述病变候选区域中检测病变时的检测基准。

(附记二)

根据附记一所述的医疗用图像处理装置，其特征在于，上述病变候选区域检测单元具有三维形状信息生成单元，该三维形状信息生成单元根据上述至少一个颜色信号由上述医疗用图像生成三维形状信息，上述病变候选区域检测单元使用所生成的三维形状信息检测病变候选区域。

(附记三)

根据附记一所述的医疗用图像处理装置，其特征在于，上述附带区域检测单元检测呈现发红或者褪色等色调变化性状的色调变化区域，将该色调变化区域作为上述附带区域。

(附记4)

根据附记一所述的医疗用图像处理装置，其特征在于，上述附带区域检测单元检测呈现白斑或者异常血管的可见异常性状的可见异常区域，将该可见异常区域作为上述附带区域。

(附记五)

根据附记三所述的医疗用图像处理装置，其特征在于，上述检测基准变更单元作为上述检测基准，变更所生成的上述三维形状信息中表示曲面形状的特征量的形状指标和曲度中的至少一个的阈值。

(附记六)

一种医疗用图像处理装置，其特征在于，具有：病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；以及附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的，其中，所述医疗用图像处理装置根据通过上述病变候选区域检测单元所检测出的病变候选区域和通过上述附带区域检测单元所检测出的附带区域是否存在相关的区域，来进行病变检测。

(附记七)

一种医疗用图像处理方法，其特征在于，具有：病变候选区域检测步骤，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；附带区域检测步骤，其从上述医疗用图像中检测是否存在附带区域，该附带区域是在伴随病变而附带的性状中产生的；以及检测基准变更步骤，其按照是否存在上述附带区域的检测结果，变更从上述病变候选区域中检测病变时的检测基准。

(附记八)

根据附记七所述的医疗用图像处理方法，其特征在于，上述病变候 选区域检测步骤具有三维形状信息生成步骤，在该三维形状信息生成步骤中，根据上述至少一个颜色信号由上述医疗用图像生成三维形状信息，在上述病变候选区域检测步骤中，使用所生成的三维形状信息检测病变候选区域。

(附记九)

根据附记七所述的医疗用图像处理方法，其特征在于，在上述附带区域检测步骤中，检测呈现发红或者褪色的色调变化性状的色调变化区域，将该色调变化区域作为上述附带区域。

(附记十)

根据附记七所述的医疗用图像处理方法，其特征在于，在上述附带区域检测步骤中，检测呈现白斑或者异常血管的可见异常性状的可见异常区域，将该可见异常区域作为上述附带区域。

(附记十一)

根据附记八所述的医疗用图像处理方法，其特征在于，在上述检测基准变更步骤中，作为上述检测基准，变更所生成的上述三维形状信息中表示曲面形状的特征量的形状指标和曲度中的至少一个的阈值。

(附记十二)

根据附记三所述的医疗用图像处理装置，其特征在于，作为上述检测基准，变更所生成的上述三维形状信息中表示曲面形状的特征量的形状指标和曲度中的至少一个或者距离基准面的高度的阈值。

Claims (6)

1.一种医疗用图像处理装置，其特征在于，该装置具有：

病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；

附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的；以及

检测基准变更单元，其按照上述附带区域的检测结果，变更从上述病变候选区域中检测病变时的检测基准。

2.根据权利要求1所述的医疗用图像处理装置，其特征在于，上述病变候选区域检测单元具有三维形状信息生成单元，该三维形状信息生成单元根据上述至少一个颜色信号由上述医疗用图像生成三维形状信息，上述病变候选区域检测单元使用所生成的三维形状信息检测病变候选区域。

3.根据权利要求1所述的医疗用图像处理装置，其特征在于，上述附带区域检测单元检测呈现发红或者褪色色调变化性状的色调变化区域，将该色调变化区域作为上述附带区域。

4.根据权利要求1所述的医疗用图像处理装置，其特征在于，上述附带区域检测单元检测呈现白斑或者异常血管的可见异常性状的可见异常区域，将该可见异常区域作为上述附带区域。

5.根据权利要求2所述的医疗用图像处理装置，其特征在于，上述检测基准变更单元变更所生成的上述三维形状信息中表示曲面形状的特征量的形状指标和曲度中的至少一个的阈值作为上述检测基准。

6.一种医疗用图像处理装置，其特征在于，该装置具有：

病变候选区域检测单元，其根据由多个颜色信号构成的医疗用图像中的至少一个颜色信号来检测病变候选区域；以及

附带区域检测单元，其从上述医疗用图像中检测附带区域，该附带区域是在伴随病变而附带的性状中产生的，

其中，所述医疗用图像处理装置根据通过上述病变候选区域检测单元所检测出的病变候选区域和通过上述附带区域检测单元所检测出的附带区域是否存在具有被检测为病变候选这样的相关性的区域，来进行病变检测。

Images