CN104854620A - 图像处理装置、图像处理系统和程序 - Google Patents

Abstract

本发明的目的在于，与未设置本构造的情况相比，降低通过进行图像处理来从其中具有核的目标细胞被图像捕获的捕获图像中搜索目标细胞时错误检测的可能性。捕获图像获取部分(22)获取其中包括具有核的目标细胞的样本被图像捕获的捕获图像。像素提取部分(24)从包括在捕获图像中的像素中提取用作核备选的像素。连接像素组提取部分(26)提取由预定数量的像素或更多像素构成的连接像素组，其中彼此邻近的像素相连接。基于根据包括至少一部分连接像素组的区中的相对于多个不同颜色分量的每个的亮度分布确定的图像特征量、以及根据目标细胞的样本图像中的相对于多个不同颜色分量的每个的亮度分布而机器学习的图像特征量的状况，可能性确定部分(40)确定指示目标细胞被包括在所述区中的可能性的值。

Description

图像处理装置、图像处理系统和程序

技术领域

本发明涉及图像处理装置、图像处理系统和程序。

背景技术

当诊断胎儿时，通过检测和利用源于胎儿并且包含在子宫的血液中的极少数量的有核红细胞(NRBC，下文中将称作“目标细胞”)来执行诊断。由于子宫的血液中存在的NRBC的数量极少，因此视觉地检测NRBC的工作量大。如专利文献1中讨论的，提出了通过从目标图像中搜索符合诸如NRBC的颜色、形状、位置关系和面积比的状况的细胞来机械地检测NRBC的一种技术。

引文列表

专利文献

PTL 1：日本专利No.4346923

发明内容

技术问题

本发明的一个目的是，与未设置本发明的构造的情况相比，降低通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

技术方案

权利要求1的发明提供了一种图像处理装置，该图像处理装置包括：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各个局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

权利要求2的发明提供了一种图像处理装置，该图像处理装置包括：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待。

权利要求3的发明提供了一种图像处理系统，该图像处理系统包括：图像处理装置；光学显微镜，其连接至图像处理装置；以及显示装置，其连接至图像处理装置。光学显微镜捕获包括具有核的目标细胞的样本的图像。所述图像处理装置包括：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。显示装置在捕获图像中显示表达目标细胞的位置的图像，基于通过确定装置确定的值来产生所述图像。

权利要求4的发明提供了一种图像处理系统，该图像处理系统包括：图像处理装置；光学显微镜，其连接至图像处理装置；以及显示装置，其连接至图像处理装置。光学显微镜捕获包括具有核的目标细胞的样本的图像。所述图像处理装置包括：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中，在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待。显示装置在捕获图像中显示表达目标细胞的位置的图像，基于由确定装置确定的值来产生所述图像。

权利要求5的发明提供了一种使得计算机用作以下装置的程序，所述装置即：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

权利要求6的发明提供了一种使得计算机用作以下装置的程序，所述装置即：像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中，在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待。

权利要求7的发明提供了一种图像处理装置，该图像处理装置包括：捕获图像获取装置，其获取通过对包括具有核的目标细胞的样本进行成像获得的捕获图像；像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

根据本发明的权利要求8的发明，在权利要求7所述的图像处理装置中，确定装置确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值是基于表达根据所述区中的亮度分布确定的定向亮度梯度的图像特征量以及还基于表达根据目标细胞的样本图像中的亮度分布而机器学习的定向亮度梯度的图像特征量的状况的。

根据本发明的权利要求9的发明，在权利要求7或8所述的图像处理装置中，指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值由确定装置基于通过聚集表达亮度梯度的图像特征量而获得的值而确定，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，确定装置还基于根据通过聚集表达亮度梯度的图像特征量获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

根据本发明的权利要求10的发明，在权利要求7至9中的任一项所述的图像处理装置中，指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值是通过确定装置基于根据所述区中的相对于绿色分量和蓝色分量的亮度分布而确定的图像特征量确定的，确定装置还基于根据目标细胞的样本图像中的相对于绿色分量和蓝色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

根据本发明的权利要求11的发明，在根据权利要求7至10中的任一项所述的图像处理装置中，像素提取装置基于与颜色和亮度中的至少一个有关的状况来提取用作核备选的像素。

权利要求12的发明提供了一种图像处理系统，该图像处理系统包括：图像处理装置；光学显微镜，其连接至图像处理装置；以及显示装置，其连接至图像处理装置。光学显微镜捕获包括具有核的目标细胞的样本的图像。图像处理装置包括：捕获图像获取装置，其获取作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得的捕获图像；像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布而确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

权利要求13的发明提供了一种使得计算机用作以下装置的程序，所述装置即：捕获图像获取装置，其获取通过对包括具有核的目标细胞的样本进行成像而获得的捕获图像；像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素；连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布而确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

有益效果

根据权利要求1至7、12和13的发明，与未设置该构造的情况相比，降低了通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

根据权利要求8的发明，与未设置该构造的情况相比，进一步降低了通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

根据权利要求9的发明，与未设置该构造的情况相比，进一步降低了通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

根据权利要求10的发明，与未设置该构造的情况相比，进一步降低了通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

根据权利要求11的发明，与未设置该构造的情况相比，进一步降低了通过进行图像处理来从通过对有核目标细胞进行成像而获得的捕获图像中搜索目标细胞时错误检测的可能性。

附图说明

图1是示出根据本发明的实施例的图像处理系统的示例的构造图。

图2是示出通过根据本发明的实施例的图像处理装置实现的功能的示例的功能块图。

图3示出了以灰阶表示的正样本图像的示例。

图4示出了以灰阶表示的负样本图像的示例。

图5示出了以灰阶表示的负样本图像的另一示例。

图6示出了以灰阶表示的负样本图像的另一示例。

图7示意性地示出了核备选区与确定目标区之间的关系的示例。

图8示出了用于设置确定目标区的方法的示例。

图9是示出通过根据本发明的实施例的图像处理装置执行的处理的流程的示例的流程图。

图10A是示出通过根据本发明的实施例的图像处理装置执行的处理的流程的示例的流程图。

图10B是示出通过根据本发明的实施例的图像处理装置执行的处理的流程的示例的流程图。

具体实施方式

下面将参照附图描述本发明的实施例。

图1是示出根据该实施例的图像处理系统10的示例的构造图。如图1所示，根据该实施例的图像处理系统10包括图像处理装置12、光学显微镜14和显示装置16。图像处理装置12通过例如线缆连接至光学显微镜14和显示装置16，从而彼此以可通信的方式交换信息。

例如，根据该实施例的光学显微镜14经诸如物镜的光学系统通过利用电荷耦合器件(CCD)相机来捕获设置在样本底座上的彩色玻璃上的样本的图像。在该实施例中，通过将母体血液涂敷到载片上并且随后向其施加梅-吉(May-Giemsa)染剂来获得所用的样本。因此，母体血液中的源于胎儿的有核红细胞(NRBC)被染成蓝紫色。在下文中将NRBC称作“目标细胞”。如上所述，每个目标细胞都具有核。

图像处理装置12获取通过光学显微镜14获得的捕获图像，并搜索捕获图像中的目标细胞。稍后将描述图像处理装置12中执行的搜索处理。

例如，在该实施例中，显示装置16显示通过图像处理装置12产生的图像。例如，显示装置16显示通过光学显微镜14获得的捕获图像以及通过图像处理装置12获得的搜索结果。

图2是示出通过根据该实施例的图像处理装置12实现的功能的示例的功能块图。如图2所示，例如，根据该实施例的图像处理装置12在功能上包括例如样本图像获取部分20、捕获图像获取部分22、像素提取部分24、连接像素组提取部分26、确定目标区设置部分28、色空间分解图像产生部分30、特征量计算部分32、特征选择部分34、分类器产生部分36、分类模型存储部分38、可能性确定部分40、搜索结果信息存储部分42和结果图像产生部分44。通过使得图像处理装置12的控制器执行安装在作为计算机的图像处理装置12中并包括对应于这些功能的命令的程序来实现这些功能。经诸如光盘、磁盘、磁带、磁光盘或闪速存储器之类的计算机可读信息存储介质或经诸如互联网的通信装置将该程序供应至图像处理装置12。

在该实施例中，例如，样本图像获取部分20获取作为用于产生分类器的正样本图像的包括目标细胞图像的图像，并且获取作为用于产生分类器的负样本图像的不包括目标细胞图像的图像。下文中，正样本图像和负样本图像将统一称作“样本图像”。图3示出了以灰阶表示的正样本图像的示例。图3所示的正样本图像包括在其中央的目标细胞图像。图4示出了以灰阶表示的负样本图像的示例。图4所示的负样本图像包括在其中央的白细胞图像。图5示出了以灰阶表示的负样本图像的另一示例。图5所示的负样本图像包括在其中央的杂质的图像。图6示出了以灰阶表示的负样本图像的另一示例。图6所示的负样本图像包括在其中央的具有重叠于其上的杂质的红细胞图像。

在该实施例中，例如，捕获图像获取部分22获取作为光学显微镜14对针对确定包括目标细胞的可能性的标本(也就是说，待检查的标本)进行成像的结果而获得的捕获图像。下文中，将通过对待检查的标本进行成像而获得的捕获图像称作“标本图像”。

在该实施例中，例如，像素提取部分24基于与颜色和亮度中的至少一个有关的状况从包括在标本图像中的像素中提取核备选像素。例如，当标本图像中的像素值大于预定值的像素，也就是说，标本图像中的像素根据预定颜色或亮度的阈值被二值化时，像素提取部分24提取比预定颜色更深的像素。然而，通过像素提取部分24执行的像素提取方法不限于以上方法。可通过利用另一方法来基于预定条件提取像素。

在该实施例中，例如，关于通过像素提取部分24提取的像素，连接像素组提取部分26提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组。

在该实施例中，例如，确定目标区设置部分28将由通过连接像素组提取部分26提取的连接像素组的界定矩形占据的区设为核备选区50(见图7)。然后，确定目标区设置部分28设置包围核备选区的多个确定目标区52(见图7)。图7示意性地示出了核备选区50与确定目标区52之间的关系的示例。如图7所示，在该实施例中，例如，确定目标区设置部分28设置具有不同大小的多个确定目标区52。具体地说，例如，确定目标区设置部分28将包围核备选区50的并且其纵向长度和横向长度的尺寸为核备选区50的纵向长度和横向长度的两倍大、2.5倍大、3倍大、……n倍大(预定最大尺寸)的矩形区设为确定目标区52。在该实施例中，确定目标区设置部分28基于例如随机数来相对于核备选区50随机地设置确定目标区52的位置。在图7中，示出了由连接像素组的界定矩形占据的核备选区50以及其纵向长度和横向长度的尺寸为核备选区50的纵向长度和横向长度的两倍大、2.5倍大和3倍大的确定目标区52作为示例。此外，确定目标区设置部分28可在其中核备选区50位于确定目标区52中的范围内设置确定目标区52。例如，如图8所示，确定目标区设置部分28可将其中核备选区50设置在其右下角的区、其中核备选区50相对于上面的区向右移a-像素并且向下移b-像素的区、其中核备选区50相对于上面的区进一步向右移a-像素并且向下移b-像素的区、……、以及其中核备选区50设置在其左上角的区设为确定目标区52(a和b各自为预定整数)。而且，例如，确定目标区设置部分28可将包围通过连接像素组提取部分26提取的连接像素组中的至少一部分的区设为核备选区50。

在该实施例中，例如，关于正样本图像、负样本图像和各个确定目标区52中的图像中的每一个，色空间分解图像产生部分30针对色空间(例如，RGB空间、Lab空间或HSV空间)的各分量产生分解的图像。例如，当针对各RGB空间分量产生分解的图像时，色空间分解图像产生部分30产生R分量图像、G分量图像和B分量图像中的至少一个。

在该实施例中，例如，特征量计算部分32对针对各色空间分量通过分解各个样本图像获得的图像或对针对各色空间分量通过分解各个确定目标区52中的图像获得的图像计算图像特征量。将通过针对各色空间分量分解各个样本图像获得的图像以及针对各色空间分量分解各个确定目标区52中的图像获得的图像称作“计算基础图像”。在该实施例中，例如，特征量计算部分32基于由计算基础图像占据的区内的亮度分布来确定图像特征量。在该实施例中，例如，特征量计算部分32计算与现有技术的方向梯度直方图(HOG)特征量不同的小区HOG特征量。稍后将描述现有技术中的HOG特征量与小区HOG特征量之间的差异。

下面将描述如何通过特征量计算部分32计算图像特征量的示例。首先，例如，特征量计算部分32针对由计算基础图像占据的区中的各个像素计算亮度梯度的方向和亮度梯度的强度。然后，特征量计算部分32确定作为由计算基础图像占据的区的一些部分的预定数量的局部区。确定的预定数量的局部区可彼此重叠或可彼此不重叠。然后，针对每个局部区，特征量计算部分32将局部区划分为多个小区。接着，针对各个小区，特征量计算部分32计算表示基于局部区中的亮度分布确定的亮度梯度的图像特征量。在这种情况下，例如，计算表示定向亮度梯度的方向和亮度梯度的强度的亮度梯度方向直方图。当计算直方图时，例如，特征量计算部分32从参考方向(例如，向右的方向)逆时针设置以预定角(例如，以20度)为单位划分的角度范围。因此，例如，设置了18个角度范围(＝360度/20度)。

然后，针对各个小区，特征量计算部分32相对于根据定向亮度梯度的方向所属的角度范围而设置的直方图中的组界(bin)来计算指示亮度梯度的强度的值，作为直方图中的频率。接着，特征量计算部分32计算通过将针对包括在每个局部区中的所有小区计算出的亮度梯度方向直方图进行组合而获得的直方图，作为局部区的亮度梯度方向直方图。因此，确定通过聚集包括在每个局部区中的小区的图像特征量而获得的值来作为基于该局部区中的亮度分布所确定的图像特征量。然后，特征量计算部分32计算通过组合针对计算基础图像中的所有局部区而计算出的直方图所获得的直方图，作为计算基础图像的小区HOG特征量。因此，确定通过聚集包括在计算基础图像中的局部区的图像特征量所获得的值来作为基于计算基础图像中的亮度分布所确定的图像特征量。

作为另外一种选择，例如，图像处理装置12可包括多个特征量计算部分32，以使得各特征量计算部分32可相对于彼此不同的多个计算基础图像(例如，G分量图像和B分量图像)同时执行图像特征量的计算。

从构成通过特征量计算部分32计算出的图像特征量(例如，在该实施例中为小区HOG特征量)的多个分量(例如，直方图中的组界)中，特征选择部分34选择将用于分类的分量。例如，特征选择部分34将表示基于正样本图像计算出的小区HOG特征量的直方图与表示基于负样本图像计算出的小区HOG特征量的直方图进行比较，并且从具有较低重叠度的特征按次序开始从构成小区HOG特征量的所有分量中选择N个分量。在这种情况下，关于根据计算基础图像设置的各个局部区，可选择不同的角度范围作为将用于分类的角度范围。例如，如果AdaBoost被用作将在稍后描述的分类器，则特征选择部分34可使用学习算法来选择角度范围。作为另一选择方案，特征选择部分34可选择通过图像处理装置12的用户指明的多个角度范围。

在该实施例中，例如，分类器产生部分36使用通过特征选择部分34从构成基于正样本图像计算出的图像特征量的多个分量中选择的多个分量作为正样本学习数据，此外，分类器产生部分36使用构成基于负样本图像计算出的图像特征量的多个分量作为负样本学习数据，从而产生分类器。然后，分类器产生部分36将产生的分类器的参数输出至分类模型存储部分38。使用的分类器的示例包括Adaboost和支持向量机(SVM)。

在该实施例中，例如，分类模型存储部分38存储指示基于相对于正样本图像和负样本图像中的每一个中的各个不同的颜色分量的亮度分布而机器学习的图像特征量的状况的信息。当确定目标细胞被包括在各个确定目标区52中的可能性时使用该信息。在该实施例中，例如，分类模型存储部分38存储通过分类器产生部分36产生的分类器的参数。当使用Adaboost作为分类器时，例如，分类模型存储部分38存储弱分类器的数量、弱分类器中的分类树的深度和在分类时使用的阈值。

基于多个分量(已由特征选择部分34从构成由特征量计算部分32基于计算基础图像的相对于各个确定目标区52中的各个不同的颜色分量的亮度分布确定的图像特征量的多个分量中选择)和存储在分类模型存储部分38中的图像特征量的状况，可能性确定部分40确定指示目标细胞被包括在确定目标区52中的可能性的值。然后，可能性确定部分40将指示目标细胞被包括在确定目标区52中的可能性的值与确定目标区52的分类信息关联起来，并将该值作为搜索结果信息输出至搜索结果信息存储部分42。

搜索结果信息存储部分42存储前述搜索结果信息。

基于存储在搜索结果信息存储部分42中的搜索结果信息，结果图像产生部分44产生表示搜索结果的图像，并将该图像输出至显示装置16。显示装置16响应于对从结果图像产生部分44输出的图像的接收而显示该图像。

现在将参照图9所示的流程图来描述基于正样本图像和负样本图像由根据该实施例的图像处理装置12执行的机器学习的流程的示例。

首先，样本图像获取部分20获取多个正样本图像和多个负样本图像(S101)。然后，色空间分解图像产生部分30针对在S101中指示的处理中获取的正样本图像和负样本图像中的每一个来产生针对各色空间分量分解的图像(S102)。在这种情况下，例如，色空间分解图像产生部分30产生G分量图像和B分量图像。

然后，关于在S101中指示的处理中获取的样本图像中的每一个，特征量计算部分32针对在S102中指示的处理中产生的G分量图像和B分量图像中的每一个来计算小区HOG特征量，作为对应于样本图像的小区HOG特征量(S103)。在这种情况下，例如，小区HOG特征量包括针对相对于R分量图像的18个角度范围中的每一个的亮度梯度强度分量和针对相对于G分量图像的18个角度范围中的每一个的亮度梯度强度分量。换句话说，小区HOG特征量包括总共36个分量。

然后，基于在S103中指示的处理中根据正样本图像计算出的小区HOG特征量，特征选择部分34产生正样本学习数据(S104)。接着，基于在S103中指示的处理中根据负样本图像计算出的小区HOG特征量，特征选择部分34产生负样本学习数据(S105)。

然后，基于在S104中指示的处理中产生的正样本学习数据和在S105中指示的处理中产生的负样本学习数据，特征选择部分34选择将用于从包括在小区HOG特征量中的多个分量(例如，36个分量)中产生分类器的分量(S106)。在这种情况下，例如，从在表示基于正样本图像计算出的小区HOG特征量的直方图中的角度范围的频率与表示基于负样本图像计算出的小区HOG特征量的直方图中的角度范围的频率之间具有较大差异的那些角度范围按次序开始，从包括在小区HOG特征量中的多个角度范围中选择N个角度范围。

接着，分类器产生部分36基于在S106中指示的处理中选择的相对于正样本学习数据的多个分量和相对于负样本学习数据的多个分量来产生分类器(S107)。然后，分类器产生部分36将在S107中指示的处理中产生的分类器的参数作为表示图像特征量的状况的信息存储到分类模型存储部分38中(S108)，并且在该处理示例中指示的处理结束。

现在将参照图10A和图10B所示的流程图来描述用于搜索标本图像中的目标细胞的由根据该实施例的图像处理装置12执行的处理的流程的示例。

首先，捕获图像获取部分22获取标本图像(S201)。然后，像素提取部分24基于与颜色和亮度中的至少一个有关的状况来从在S201中指示的处理中获取的标本图像中提取像素(S202)。接着，从在S202中指示的处理中提取的像素中，连接像素组提取部分26提取各自由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组(S203)。然后，确定目标区设置部分28将在S203中指示的处理中提取的各个连接像素组的界定矩形设为核备选区，并且将大于或等于1的不同整数作为核备选区标签与对应设置的核备选区关联(S204)。

然后，确定目标区设置部分28将变量a的值设为初始值1(S205)。接着，确定目标区设置部分28设置包围与作为标签的变量a的值关联的每个核备选区的确定目标区52的预定数b，并且将大于或等于1的不同整数作为确定目标区52的标签与对应设置的确定目标区52关联(S206)。然后，相对于变量a和变量c的组合，确定目标区设置部分28使得搜索结果信息存储部分42在标本图像内存储与作为标签的变量c的值关联的并且在S206中指示的处理中包围与作为标签的变量a的值关联的核备选区的确定目标区52的四个顶点的坐标值(S207)。

接着，色空间分解图像产生部分30将变量c的值设为初始值1(S208)。然后，色空间分解图像产生部分30相对于与作为标签的变量c的值关联的每个确定目标区52中的图像针对各色空间分量产生分解的图像(S209)。在这种情况下，例如，色空间分解图像产生部分30产生G分量图像和B分量图像。因此，在S209中指示的处理中，产生与在S102中指示的处理中产生的图像的类型相似的类型的图像。

然后，特征量计算部分32针对在S209中指示的处理中产生的G分量图像和B分量图像中的每一个来计算小区HOG特征量，作为对应于与作为标签的变量c的值关联的每个确定目标区52的小区HOG特征量(S210)。在这种情况下，例如，小区HOG特征量包括针对相对于R分量图像的18个角度范围中的每一个的亮度梯度强度分量和针对相对于G分量图像的18个角度范围中的每一个的亮度梯度强度分量。换句话说，小区HOG特征量包括总共36个分量。

然后，特征选择部分34从包括在S210中指示的处理中计算出的小区HOG特征量中的多个分量(例如，36个分量)中选择在S106中指示的处理中选择的分量(S211)。

接着，基于在S107中指示的处理中产生的分类器和包括在小区HOG特征量中的并且在S211中指示的处理中选择了的分量，可能性确定部分40确定指示目标细胞被包括在对应于小区HOG特征量的确定目标区52中的可能性的值(例如，概率)(S212)。在S212中指示的处理中，例如，可能性确定部分40可确定指示是否存在目标细胞被包括在对应于小区HOG特征量的确定目标区52中的可能性的标记(例如，当存在可能性时指示值1并且当不存在可能性时指示值0的标记)。此外，在S212中指示的处理中，例如，可能性确定部分40可确定以百分数表示的目标细胞被包括在对应于小区HOG特征量的确定目标区52中的可能性的值。

然后，可能性确定部分40检查指示在S212中指示的处理中确定的可能性的值是否大于或等于预定阈值(S213)。如果指示在S212中指示的处理中确定的可能性的值大于或等于预定阈值(S213：是)，则指示在S212中指示的处理中确定的可能性的值与变量a的值和变量c的值关联，并且作为搜索结果信息被存储在搜索结果信息存储部分42中(S214)。如果指示在S212中指示的处理中确定的可能性的值不大于或等于预定阈值(S213：否)，或者如果在S214中指示的处理终止，则可能性确定部分40将变量c的值加1(S215)。然后，可能性确定部分40确定变量c的值是否大于前述b的值(S216)。

如果变量c的值不大于前述b的值(S216：否)，则再次执行从S209开始和随后的处理。如果变量c的值大于前述b的值(S216：是)，则可能性确定部分40针对在S205中指示的处理中设置的全部核备选区检查以上处理是否完成(S217)。如果以上处理针对在S205中指示的处理中设置的全部核备选区未完成(S217：否)，则将变量a的值加1(S218)，并且再次执行从S206开始和随后的处理。如果以上处理针对在S205中指示的处理中设置的全部核备选区已完成(S217：是)，则结果图像产生部分44基于在S214中指示的处理中存储的搜索结果信息来产生表示搜索结果的图像，并且将该图像输出至显示装置16(S218)。然后，在该处理示例中指示的处理终止。

可以想象，在S218中指示的处理中产生的图像可为各种类型。

例如，结果图像产生部分44可确定在搜索结果信息存储部分42中作为搜索结果信息存储的对应于变量a的值和变量c的值的一个或多个确定目标区52。然后，基于存储在搜索结果信息存储部分42中的确定目标区52的坐标值，结果图像产生部分44可确定标本图像中的确定的一个或多个确定目标区52的四个顶点的位置。接着，结果图像产生部分44可产生其中包围该四个顶点的矩形设置在标本图像上的图像。

作为另外一种选择，例如，结果图像产生部分44可确定其中在搜索结果信息存储部分42中作为搜索结果信息存储的对应于变量a的值和变量c的值的多个确定目标区52彼此重叠的区。然后，结果图像产生部分44可产生其中包围该区的图形图案设置在标本图像上的图像。

作为另外一种选择，结果图像产生部分44可产生表示作为搜索结果信息以列表的形式存储在搜索结果信息存储部分42中的变量a的值和变量c的值的组合的图像。

在现有技术中的HOG特征量中，亮度梯度直方图从局部区至局部区标准化，以实现相对于照明变化的强健。相反，在该实施例中使用的小区HOG特征量中，将不对各个局部区执行标准化而通过聚集表示基于局部区中的亮度分布确定的亮度梯度(在这种情况下，例如为亮度梯度强度)的图像特征量所获得的值确定为基于每个样本图像中的亮度分布确定的图像特征量。

在该实施例中，由于由光学显微镜14捕获的图像是目标，并且几乎没有任何照明变化，因此不必须执行标准化。此外，例如，如果将靠近细胞壁或细胞核的亮度梯度强度的差异用作分类时(诸如当将如图3所示的目标细胞图像和如图4所示的白细胞图像分类时)的重要信息，则使用不对各个局部区执行标准而通过将在亮度梯度方向直方图中表达亮度梯度的图像特征量(在这种情况下，例如，亮度梯度强度)的值进行聚集而获得的值，从而降低了诸如指示白细胞图像是目标细胞的高可能性的评价结果或指示目标细胞图像是目标细胞的低可能性的评价结果的错误检测的可能性。

此外，当在现有技术中计算HOG特征量时，使用非定向亮度梯度来替代定向亮度梯度以实现相对于目标颜色和亮度变化的强健。因此，在现有技术中的HOG特征量中，从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被等同地对待。相反，在该实施例中，如果细胞内外的色调和亮度的差异是分类时(诸如当将如图3所示的目标细胞图像和如图5所示的杂质图像进行分类时)的重要信息，则使用定向亮度梯度，以降低诸如指示杂质图像是目标细胞的高可能性的评价结果或者指示目标细胞图像是目标细胞的低可能性的评价结果的错误检测的可能性。

此外，在该实施例中，特征量计算部分32针对各色空间分量相对于通过分解各个样本图像或各个确定目标区52中的图像获得的图像来计算图像特征量。在现有技术中，相对于通过将样本图像或各个确定目标区52中的图像转换为灰阶而获得的图像来计算图像特征量。当在现有技术中根据灰阶图像计算图像特征量时，难以基于如图3所示的目标细胞图像与如图6所示的杂质叠加于其上的非目标细胞红细胞图像之间的图像特征量来执行分类。具体地说，关于如图3所示的目标细胞图像和如图6所示的杂质叠加于其上的非目标细胞红细胞图像，根据B分量图像计算出的图像特征量的差异大于根据灰阶图像计算出的图像特征量的差异。因此，在该实施例中，降低了诸如指示杂质叠加于其上的非目标细胞红细胞图像是目标细胞的高可能性的评价结果或者指示目标细胞图像是目标细胞的低可能性的评价结果的错误检测的可能性。

本发明不限于上述实施例。

例如，色空间分解图像产生部分30不需要相对于正样本图像、负样本图像和各个确定目标区52中的图像中的每一个针对各色空间分量产生分解的图像。特征量计算部分32可基于例如灰阶转换了的正样本图像、灰阶转换了的负样本图像或灰阶转换了的各个确定目标区52中的图像来计算图像特征量。

此外，例如，在现有技术中，特征量计算部分32可计算HOG特征量来替代小区HOG特征量。基于现有技术中的HOG特征量，可能性确定部分40可确定指示目标细胞被包括在各个确定目标区52中的可能性的值。

此外，例如，特征选择部分34不需要从构成通过特征量计算部分32计算出的图像特征量的多个分量中选择将用于分类的分量。基于构成通过特征量计算部分32计算出的图像特征量的全部多个分量，可能性确定部分40可确定指示目标细胞被包括在各个确定目标区52中的可能性的值。

此外，例如，当计算图像特征量时，特征量计算部分32可从局部区至局部区对亮度梯度直方图执行标准化。

此外，根据该实施例的图像处理装置12可由多个外壳构成。而且，根据该实施例的图像处理装置12可包括根据该实施例的光学显微镜14和显示装置16中的至少一个。此外，说明书中的特定字符串和数值以及附图中的特定字符串和数值是示例，并且不应受限于这些字符串和数值。

参考标号列表

10：图像处理系统

12：图像处理装置

14：光学显微镜

16：显示装置

20：样本图像获取部分

22：捕获图像获取部分

24：像素提取部分

26：连接像素组提取部分

28：确定目标区设置部分

30：色空间分解图像产生部分

32：特征量计算部分

34：特征选择部分

36：分类器产生部分

38：分类模型存储部分

40：可能性确定部分

42：搜索结果信息存储部分

44：结果图像产生部分

50：核备选区

52：确定目标区

Claims (13)

1.一种图像处理装置，包括：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各个局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

2.一种图像处理装置，包括：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待。

3.一种图像处理系统，包括：

图像处理装置；

光学显微镜，其连接至图像处理装置；以及

显示装置，其连接至图像处理装置，

其中，光学显微镜捕获包括具有核的目标细胞的样本的图像，

其中，图像处理装置包括：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得，

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组，以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区的各局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的，并且

其中，显示装置在捕获图像中显示表达目标细胞的位置的图像，基于通过确定装置确定的值来产生所述图像。

4.一种图像处理系统，包括：

图像处理装置；

光学显微镜，其连接至图像处理装置；以及

显示装置，其连接至图像处理装置，

其中，光学显微镜捕获包括具有核的目标细胞的样本的图像，

其中，图像处理装置包括：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得，

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组，以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中，在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待，并且

其中，显示装置在捕获图像中显示表达目标细胞的位置的图像，基于由确定装置确定的值来产生所述图像。

5.一种使得计算机用作以下装置的程序，所述装置即：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于通过聚集表达亮度梯度的图像特征量而获得的值来确定指示所述可能性的值，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，还基于根据通过聚集表达亮度梯度的图像特征量所获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

6.一种使得计算机用作以下装置的程序，所述装置即：

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，该捕获图像是通过对包括具有核的目标细胞的样本进行成像获得的；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值，基于表达定向亮度梯度的图像特征量来确定指示所述可能性的值，该定向亮度梯度是基于包围连接像素组的区中的亮度分布确定的，其中，在表达定向亮度梯度的图像特征量中从暗位置向亮位置的亮度梯度和从亮位置向暗位置的亮度梯度被区别地对待。

7.一种图像处理装置，包括：

捕获图像获取装置，其获取通过对包括具有核的目标细胞的样本进行成像获得的捕获图像；

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

8.根据权利要求7所述的图像处理装置，

其中，确定装置确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值是基于表达根据所述区中的亮度分布确定的定向亮度梯度的图像特征量以及还基于表达根据目标细胞的样本图像中的亮度分布而机器学习的定向亮度梯度的图像特征量的状况的。

9.根据权利要求7或8所述的图像处理装置，

其中，指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值由确定装置基于通过聚集表达亮度梯度的图像特征量而获得的值而确定，该亮度梯度是不对包括在包围由连接像素组提取装置提取的连接像素组的区中的多个不同局部区中的各个局部区执行标准化而基于所述多个不同局部区中的亮度分布确定的，确定装置还基于根据通过聚集表达亮度梯度的图像特征量获得的值而机器学习的图像特征量的状况来确定指示所述可能性的值，该亮度梯度是不对包括在由样本图像占据的区中的各局部区执行标准化而基于各局部区中的亮度分布确定的。

10.根据权利要求7至9中的任一项所述的图像处理装置，

其中，指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组的区中的可能性的值是通过确定装置基于根据所述区中的相对于绿色分量和蓝色分量的亮度分布而确定的图像特征量确定的，确定装置还基于根据目标细胞的样本图像中的相对于绿色分量和蓝色分量的亮度分布而机器学习的图像特征量的状况来确定指示所述可能性的值。

11.根据权利要求7至10中的任一项所述的图像处理装置，

其中，像素提取装置基于与颜色和亮度中的至少一个有关的状况来提取用作核备选的像素。

12.一种图像处理系统，包括：

图像处理装置；

光学显微镜，其连接至图像处理装置；以及

显示装置，其连接至图像处理装置，

其中，光学显微镜捕获包括具有核的目标细胞的样本的图像，

其中，图像处理装置包括：

捕获图像获取装置，其获取作为光学显微镜对包括具有核的目标细胞的样本进行成像的结果而获得的捕获图像，

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素，

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组，以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布而确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况确定指示所述可能性的值。

13.一种使得计算机用作以下装置的程序，所述装置即：

捕获图像获取装置，其获取通过对包括具有核的目标细胞的样本进行成像而获得的捕获图像；

像素提取装置，其从包括在捕获图像中的像素中提取用作核备选的像素；

连接像素组提取装置，其从由像素提取装置提取的像素中提取由预定数量的邻近连接像素或更多邻近连接像素构成的连接像素组；以及

确定装置，其确定指示目标细胞被包括在包围由连接像素组提取装置提取的连接像素组中的至少一部分的区中的可能性的值，基于根据所述区中的相对于多个不同颜色分量的亮度分布而确定的图像特征量来确定指示所述可能性的值，还基于根据目标细胞的样本图像中的相对于多个不同颜色分量的亮度分布而机器学习的图像特征量的状况确定指示所述可能性的值。