CN104487843A - 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统 - Google Patents

Abstract

根据本发明，图像处理装置(20)获取通过对包括目标细胞的试样进行成像而获得的拍摄图像，在第一图像特征量的基础上执行机器学习，设置用于检测拍摄图像中的目标细胞的多个目的区域，并使所述多个目的区域以在所述多个目的区域中的每个的第一图像特征量的基础上所确定的顺序来显示。该图像处理装置(20)计算用于所述多个目的区域中的每个的第二图像特征量，并使要显示的所述多个谜底区域以具有与从所述多个目的区域中选择的基准目的区域的第二图像特征量类似的第二图像特征量的重排序列来显示。

Description

图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统

技术领域

本发明涉及一种图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统。

背景技术

专利文献1描述如下的技术，其中，从对象图像中搜索满足有核红细胞(NRBC)的颜色、形状、位置关系、面积比等的条件的细胞，从而机器检测NRBC。

现有技术文献

专利文献

专利文献1：日本专利No.4346923

发明内容

发明要解决的问题

本发明的目的是提供一种图像处理装置、程序及图像处理系统，其容易地确认与在目标细胞的多个候选区域当中没有被机器学习的特征中的基准候选区域类似的候选区域。

解决问题的手段

[1]根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括：获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

[2]根据[1]的图像处理装置还可以包括：接收单元，该接收单元基于从所述显示的所述多个的对象区域中的、用户的指定，来接收所述基准对象区域的选择。

[3]根据[1]或[2]的图像处理装置可以具有如下的构造：其中，所述第二图像特征量包括多个特征量和所述多个特征量的权重，并且所述图像处理装置还包括：权重设置单元，该权重设置单元基于基于所述拍摄图像的分析结果所确定的分类，来设置在所述第二图像特征量中所包括的多个特征量中的每个的权重。

[4]根据[3]的图像处理装置可以具有如下的构造：其中，所述多个特征量是代表所述试样的特征的特征量。

[5]根据权利要求[1]至[4]的任一项所述的图像处理装置可以具有如下的构造：其中，所述目标细胞是具有细胞核的有核红细胞，所述图像处理装置还包括：提取单元，该提取单元基于所述细胞核的颜色和浓度中的至少一个来从所述多个拍摄图像中提取作为所述细胞核的候选的细胞核候选区域，并且所述设置单元基于所述细胞核候选区域和所述目标细胞的可能大小的范围，来设置所述对象区域。

[6]根据本发明的另一方面，提供一种使计算机用作如下用途的程序：获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

[7]根据本发明的另一方面，提供一种使计算机执行处理的图像处理方法，所述处理包括：获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；并且以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

[8]根据本发明的另一方面，提供一种存储使计算机执行用于图像处理的处理的程序的非瞬时计算机可读介质，所述处理包括：获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；并且以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

[9]根据本发明的另一方面，提供一种图像处理系统，所述图像处理系统包括：图像处理装置；光学显微镜，该光学显微镜连接到所述图像处理装置；以及显示装置，该显示装置连接到所述图像处理装置，其中，所述图像处理装置包括：获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

发明的效果

根据[1]、[6]、[7]、[8]和[9]中描述的构造(处理)，可以容易地确认与在目标细胞的多个候选区域当中没有被机器学习的特征中的基准候选区域类似的候选区域。

根据[2]中描述的构造，可以容易地确认与由用户指定的基准候选区域类似的候选区域。

根据[3]中描述的构造，可以容易地确认与根据试样的特征设置的特征中的基准候选区域类似的候选区域。

根据[4]中描述的构造，在考虑试样的特征之后，可以容易地确认与从目标细胞的多个候选区域中的基准候选区域类似的候选区域。

根据[5]中描述的构造，可以容易地确认与在有核红细胞的多个候选区域当中没有被机器学习的特征中的基准候选区域类似的候选区域。

附图说明

图1是示出根据本实施方式的图像处理系统的系统构造示例的图。

图2是图像处理装置的功能框图。

图3A是例示样本的分类的图。

图3B是例示样本的分类的图。

图3C是例示样本的分类的图。

图4A是例示样本的分类处理的图。

图4B是例示样本的分类处理的图。

图4C是例示样本的分类处理的图。

图5A是例示第一特征量的图。

图5B是例示第一特征量的图。

图5C是例示第一特征量的图。

图6A是例示第二特征量的图。

图6B是例示第二特征量的图。

图6C是例示第二特征量的图。

图7A是例示第三特征量的图。

图7B是例示第三特征量的图。

图8是涉及识别单元的学习处理的流程图。

图9是用于从拍摄图像检测目标细胞的处理的流程图。

图10是用于从拍摄图像检测目标细胞的处理的流程图。

图11是示出候选图像的列表显示画面的示例的图。

图12是示出在排序之后的候选图像的列表显示画面的示例的图。

具体实施方式

在下文中，将参照附图来描述用于实施本发明的模式(在下文中，称为实施方式)。

图1是示出根据本实施方式的图像处理系统1的系统构造示例的图。如图1所示，图像处理系统1包括：光学显微镜10、图像处理装置20、输入装置50和显示装置60。将图像处理装置20与光学显微镜10、输入装置50和显示装置60连接起来，以执行数据通信。

光学显微镜10通过诸如物镜12这样的光学系统由CCD照相机14对放置于试样台座上的载玻片11上的试样进行成像。光学显微镜10包括聚焦机构13，其更改载玻片11与物镜12之间的距离，并在更改焦距的同时对载玻片11上的试样进行成像。在该实施方式中，使用如下试样作为所述试样，在该试样中母体血液被施加于载玻片11上，并执行梅-吉染色(May-Giemsa staining)。在此，衍生自母体血液中的胎儿的有核红细胞(NRBC)是染色后的紫-蓝色。在下文中，NRBC被称为目标细胞。

图像处理装置20获取由光学显微镜10成像的拍摄图像，从所获取的拍摄图像中检测目标细胞的候选图像，并列出和显示检测出的候选图像。该图像处理装置20将从所列出的和显示的候选图像中选择的图像设置为基准图像，并以与基准图像类似的顺序来排序和显示候选图像。下文将描述图像处理装置20中的上述处理的细节。

输入装置50是例如诸如键盘或鼠标这样的装置，并将从用户接收到的操作输入到图像处理装置20。例如，图像处理装置20获取与在显示装置60上显示的图像中的、通过输入装置50由用户指定的图像区域有关的信息，作为用于学习目标细胞的正例和负例的图像特征的学习信息。当从目标细胞的列出的和显示的候选图像中选择基准图像时，输入装置50接收来自用户的输入。

显示装置60是例如液晶显示器等，并基于由图像处理装置20处理的结果来显示画面。例如，在显示装置60上显示：由光学显微镜10成像的拍摄图像；从拍摄图像中检测到的一系列目标细胞；该系列目标细胞的排序结果等。

接下来，将描述根据本实施方式的图像处理装置20的功能。

图2是图像处理装置的功能框图。如图2所示，图像处理装置20包括：拍摄图像获取单元21、学习区域指定接收单元22、候选区域设置单元23、第一图像特征量计算单元24、识别模型学习单元25、识别模型数据存储单元26、目标细胞识别单元27、第一评估值计算单元28、样本分类单元29、附加特征量确定单元30、第二图像特征量计算单元31、基准图像选择单元32、第二评估值计算单元33以及显示控制单元34。

图像处理装置20中的相应单元的功能可以在如下情况下实现：即，当计算机(其包括诸如CPU这样的控制装置、诸如存储器这样的存储装置、用于发送和接收去往和来自外部装置的数据的输入/输出装置等)读取并执行存储在计算机可读信息记录介质中的程序时。应当注意的是，该程序可以由诸如光盘、磁盘、磁带、磁光盘、或闪速存储器这样的信息记录介质提供给作为计算机的图像处理装置20，或者可以通过诸如因特网这样的数据通信网络来提供给图像处理装置20。

拍摄图像获取单元21从光学显微镜10中获取使用光学显微镜10中的CCD照相机14来对试样进行成像而获得的拍摄图像。应当注意的是，由拍摄图像获取单元21获取的图像可以由显示控制单元34在显示装置60上显示。

学习区域指定接收单元22接收用于由拍摄图像获取单元21获取的图像中的学习处理的图像区域的指定。可以通过输入装置50来执行图像区域的指定。例如，当对目标细胞(有核红细胞)和其它图像之间的识别进行学习时，学习区域指定接收单元22接收具有拍摄图像中示出的目标细胞的图像区域作为正例，并接收没有目标细胞的图像区域作为负例。学习区域指定接收单元22可以将基于接收到的图像区域切割出的图像连同与该图像是正例或是负例有关的识别信息一起，输出到第一图像特征量计算单元24。

候选区域设置单元23将候选区域设置为由拍摄图像获取单元21获取的拍摄图像内的目标细胞的候选。在下文中，将描述由候选区域设置单元23的处理的具体示例。

首先，候选区域设置单元23将基于如下像素来提取细胞核的候选区域，该像素在由拍摄图像获取单元21获取的每个拍摄图像中、具有预定范围内的颜色(RGB值)或浓度。例如，候选区域设置单元23可以以颜色(或浓度)的预定阈值来对拍摄图像中的像素进行二值化，并且具体地，可以提取具有比阈值更深(等于或大于阈值)的颜色(或浓度)的像素作为黑色像素。候选区域设置单元23可以通过将从由拍摄图像获取单元21获取的每个图像中提取的像素连接起来，来计算多个集合(像素组)，并可以将外接(circumscribed)到每个集合的区域设置为细胞核候选区域。

接下来，候选区域设置单元23基于如下各项来估计细胞大小的可能范围：由候选区域设置单元23提取的细胞核候选区域到载玻片表面上的投影大小；和预先限定的关系表达式。例如，候选区域设置单元23可以基于有核红细胞中的细胞核和细胞大小之间的关系式，来估计在载玻片表面上的有核红细胞的可能范围(例如，矩形区域)。具体地，候选区域设置单元23将以细胞核候选区域中的一个点为中心、所估计的区域中的矩形区域，设置为细胞存在区域。

候选区域设置单元23基于由候选区域设置单元23提取的细胞核候选区域和由候选区域设置单元23估计的、载玻片表面上的细胞存在区域，来确定可能包括目标细胞的细胞候选区域，并向第一图像特征量计算单元24输出确定的细胞候选区域中的拍摄图像。

第一图像特征量计算单元24将从学习区域指定接收单元22或候选区域设置单元23输入的拍摄图像放大或缩小到指定的图像大小，并且然后计算图像中的第一图像特征量。第一图像特征量是用于对由识别模型学习单元25进行的学习处理和由目标细胞识别单元27进行的识别处理进行学习和识别的图像特征量，并且例如，可以使用HOG特征量。例如，HOG特征量可以以如下的步骤来计算。首先，将对象图像划分成B个块(每块具有A个细胞)，从用于每块的相应细胞的图像的平面(X方向和Y方向)中的亮度梯度方向和亮度梯度强度中获得亮度梯度方向直方图([第一梯度方向的值、第二梯度方向的值、……、第N梯度方向的值])，并以块为单位来执行标准化，使得亮度梯度方向直方图的平方平均值变为1。此后，将通过组合块中的标准化后的亮度梯度方向直方图创建的A×N个值设置为块的特征量，并将通过组合对象图像中的所有块创建的A×B×N个值设置为对象图像的HOG特征量。

当从学习区域指定接收单元22输入拍摄图像时，第一图像特征量计算单元24计算来自输入的拍摄图像的图像特征量，并且然后向识别模型学习单元25输出计算出的图像特征量。当从候选区域设置单元23输入拍摄图像时，第一图像特征量计算单元24计算来自输入的拍摄图像的图像特征量，并且然后向目标细胞识别单元27输出计算出的图像特征量。

识别模型学习单元25执行目标细胞识别单元27的学习，该目标细胞识别单元27基于如下项来执行目标细胞的识别：通过由学习区域指定接收单元22接收到的正例和负例的图像中的第一图像特征量计算单元24计算出的第一图像特征量。具体地，识别模型学习单元25产生具有在目标细胞的拍摄图像中计算出的第一图像特征量(作为正例)和在其它拍摄图像中计算出的第一图像特征量(作为负例)的目标细胞识别单元27的模型参数。应当注意的是，诸如AdaBoost或支持向量机这样的机器学习模型可以用于目标细胞识别单元27。

识别模型数据存储单元26存储由识别模型学习单元25产生的目标细胞识别单元27的模型参数。

目标细胞识别单元27基于如下各项来识别在细胞候选区域中所包括的细胞是否是目标细胞：在与由候选区域设置单元23确定的细胞候选区域有关的拍摄图像中计算出的第一图像特征量；和与存储在识别模型数据存储单元26中的目标细胞识别单元27有关的模型参数

第一评估值计算单元28基于学习后的第一图像特征量与候选图像的第一图像特征量，来计算用于以作为目标细胞的候选图像的更高可能性的顺序排序的第一评估值。例如，第一评估值计算单元28可以计算如下各项之间距离作为候选区域的第一评估值：由目标细胞识别单元27识别为目标细胞的候选区域中的每个的第一图像特征量；与学习后的正例的第一图像特征量的代表图像特征量(正例的第一图像特征量的中心或平均)。第一评估值计算单元28可以计算如下各项之间的距离作为候选区域的第一评估值：由目标细胞识别单元27识别为目标细胞的候选区域中的每个的第一图像特征量；与将正例的第一图像特征量与负例的第一图像特征量分开的超平面。

显示控制单元34能够在显示装置上显示由目标细胞识别单元27识别为目标细胞的一系列候选图像。这里，显示控制单元34可以以候选图像的第一评估值的顺序来排序并显示由目标细胞识别单元27识别为目标细胞的一系列候选图像。例如，当第一评估值是距正例的代表图像特征量的距离时，可以以更短距离的顺序来显示候选图像。

样本分类单元29基于待处理的拍摄图像来分析对应于拍摄图像的样本的特征，并基于分析后的特征来对样本进行分类。具体地，如图3A至图3C所示，由于单个样本倾向于具有更多个嗜中性粒细胞(neutrophils)的类(A类)、具有更多个淋巴样(lymphoid)细胞的类(B类)或具有更多个污染物的类(C类)等，所以样本分类单元29对该样本是否对应于任何类进行分类。图3A示出具有更多个嗜中性粒细胞的样本的示例；图3B示出具有更多个淋巴样细胞的样本的示例；而图3C示出具有更多个污染物的样本的示例。这里，嗜中性粒细胞具有与有核红细胞类似的细胞核的颜色，但不同之处在于，细胞核被分枝。淋巴样细胞具有与有核红细胞类似的形式，但不同之处在于，颜色比有核红细胞更浅。在下文中，将参照图4A至图4C来描述样本的分类处理的示例。

样本分类单元29提取如下的区域(图4B)，该区域具有等于或大于来自候选区域(图4A)的特定浓度(例如，R、G和B中的每个的亮度等于或小于100)的浓度，并且样本分类单元29计算所提取的区域中的R、G和B中的每个的亮度值的平均值(颜色平均值)。这里，样本分类单元29获得与每个候选区域有关的颜色平均值的频率分布(图4C)。样本分类单元29确定：当频率分布中的频率不等于或不大于50时，图像具有更少错误检测，并且不对应于A至C类中的任何一个。同时，当频率分布中的频率等于或大于50时且当小于阈值的累积频率大于等于或大于具有作为基准的颜色平均值的阈值(例如，B中的60)的阈值的累积频率时，样本分类单元29确定是具有更多个嗜中性粒细胞的A类，并否则确定是具有更多个淋巴样细胞的B类。例如，可以基于具有等于或大于特定浓度的浓度的区域的大小是否等于或大于阈值，来执行与是否是具有更多个污染物的C类有关的判断。

附加特征量确定单元30确定与第一图像特征量不同的图像特征量作为包括候选区域的候选图像的每个中的附加特征量。每个候选图像可以是包括候选区域的预定大小的区域。在下文中，将描述被用作为附加特征量的特征量的示例。

第一特征量可以是代表在候选图像中的每个所包括的细胞的特征的信息。具体地，第一特征量可以是诸如细胞核的大小、细胞核的颜色的平均值、细胞核与细胞膜的面积比、细胞膜的大小以及细胞膜的厚度这样的信息。应当注意的是，当第一特征量是细胞核的大小时，图5A示出具有更多个嗜中性粒细胞的样本的第一特征量的示例；图5B示出具有更多个淋巴样细胞的样本的第一特征量的示例；而图5C示出具有更多个污染物的样本的第一特征量的示例。

第二特征量可以是用于区分有核红细胞和其它细胞的特征量。图6A至图6C是例示第二特征量的示例的图。在图6A至图6C所示的示例中，可以在包括候选区域的候选图像中设置多个块区域，并且多个所设置的块区域的颜色信息(例如，5×5×3(RGB)尺寸的信息)可以是第二特征量。应当注意的是，图6A示出具有更多个嗜中性粒细胞的样本的第二特征量的示例；图6B示出具有更多个污染物的样本的第二特征量的示例；而图6C示出具有更多个淋巴样细胞的样本的第二特征量的示例。

第三特征量可以是在候选图像中所包括的细胞核候选区域的数量。细胞核候选区域可以是具有等于或大于候选图像中的给定浓度的浓度的像素组。这里，图7A至图7B是例示第三附加特征量的示例的图。图7A示出嗜中性粒细胞，而图7B示出有核红细胞。从附图可以清楚地看出，在嗜中性粒细胞的情况下，候选图像中出现多个细胞核候选区域；然而，在有核红细胞的情况下，出现一个细胞核候选区域。

第四特征量可以是用于在候选图像中所包括的候选区域的、由第一评估值计算单元28计算出的第一评估值。

附加特征量确定单元30可以使用第一至第四特征量中的一个或使用组合中的第一至第四特征量当中的两个或更多个特征量，来构成附加特征量。

第二图像特征量计算单元31基于第一图像特征量、由附加特征量确定单元30确定的多个附加特征量、和相应特征量的权重，来确定第二图像特征量的构造，并计算由目标细胞识别单元27识别为目标细胞的候选图像中的每个的第二图像特征量。例如，在第一图像特征量A、附加特征量(第一特征量B1、第二特征量B2、第三特征量B3和第四特征量B4)、A的权重Wa、和B1至B4的权重Wb1至Wb4的情况下，第二图像特征量计算单元31可以产生第二图像特征量(Wa·A、Wb1·B1、Wb2·B2、Wb3·B3、Wb4·B4)。这里，尽管可以预先限定这些权重当中的权重Wa和Wb1至Wb4，但是Wb2和Wb3可以基于由样本分类单元29的分类结果来更改。具体地，当样本分类单元29将其分类到具有更多个嗜中性粒细胞的A类时，可以将Wb2的值设置为大于预定值或其它权重，而当样本分类单元29将其分类到具有更多个淋巴样细胞的B类时，可以将Wb3的值设置为大于预定值或其它权重。当然，如果Wb1至Wb4中的至少一个不是0，则其它权重可以被设置为0。

基准图像选择单元32通过输入装置，来接收从由目标细胞识别单元27识别为目标细胞的一系列候选图像中选择一候选图像作为目标细胞的基准，并选择所接收的候选图像作为基准图像。

第二评估值计算单元33计算如下各项之间的距离作为候选图像中的每个的第二评估值：由基准图像选择单元32选择的基准图像中的、由第二图像特征量计算单元31计算出的第二图像特征量；和其它候选图像的每个中的、由第二图像特征量计算单元31计算出的第二图像特征量。

显示控制单元34可以以候选图像的第二评估值的顺序，来排序并显示由目标细胞识别单元27识别为目标细胞的一系列候选图像。例如，当第二评估值是距基准图像的第二图像特征量的距离时，可以以更短距离的顺序来显示候选图像。

接下来，将参照图8至图10所示的流程图来描述图像处理装置20中的处理的流程。

[学习处理]

图8是涉及识别单元的学习处理的流程图。如图8所示，图像处理装置20获取正例的拍摄图像(即，包括目标细胞的图像)(S101)，并切割出获取的拍摄图像中的指定的图像区域(即，对应于目标细胞的图像区域)(S102)。图像处理装置20基于拍摄图像的切割出的图像区域，来计算正例的第一图像特征量(S103)。第一图像特征量可以是例如HOG特征量。当存在待学习的正例的另一图像(S104：是)时，图像处理装置20返回到S101；并且当不存在待学习的正例的另一图像(S104：否)时，图像处理装置20前进到S105。

图像处理装置20获取负例的拍摄图像(即，包括除了目标细胞之外的细胞的图像)(S105)，并切割出获取的拍摄图像中指定的图像区域(即，对应于负例的细胞的图像区域)(S106)。图像处理装置20基于拍摄图像的切割出的图像区域，来计算负例的第一图像特征量(S107)。当存在待学习的负例的另一图像(S108：是)时，图像处理装置20返回到S105；并且当不存在负例的另一图像(S108：否)时，图像处理装置20前进到S109。

图像处理装置20使用由上述处理获得的正例的第一图像特征量和负例的第一图像特征量，来执行识别目标细胞的识别单元的学习处理(S109)，存储由学习处理获得的识别单元的模型参数(S110)，并结束学习处理。

[目标细胞的检测处理的流程]

接下来，将参照图9和图10所示的流程图来描述用于从拍摄图像检测目标细胞的处理的流程。

如图9所示，图像处理装置20获取待处理的拍摄图像(S201)，并针对获取的拍摄图像来执行二值化处理(S202)。接下来，图像处理装置20将细胞核候选区域(细胞核候选区域的数量为N)设置为在二值化处理之后的拍摄图像中的目标细胞的细胞核(S203)。

图像处理装置20获取第j个细胞核候选区域，其中，变量j的初始值为1(S204)，并基于获取的细胞核候选区域的、到载玻片表面上的投影大小和预先限定的关系表达式，来计算细胞大小S的可能范围(Smin≤S≤Smax)(S205)。

图像处理装置20将S的初始值设置为最小值(Smin)(S206)，并设设置第j个细胞核候选区域中的大小S的细胞候选区域(S207)。图像处理装置20基于细胞候选区域中的拍摄图像来计算第一图像特征量(S208)，并基于计算出的第一图像特征量来执行与是否是被目标细胞识别单元27识别为目标细胞(有核红细胞)有关的判断(S209)。

当其被判断为目标细胞(S209：是)时，图像处理装置20通过第一评估值计算单元28来计算用于细胞候选区域的第一评估值(S210)，并存储细胞候选区域的坐标、大小以及第一评估值(S211)。

在S211之后或当其被判断为不是目标细胞(S209：否)时，图像处理装置20前进到S212。这里，当细胞核候选区域的所有像素没有被处理(S212：否)时，图像处理装置20返回到S207并继续该处理。当细胞核候选区域的所有像素被处理(S212：是)时，图像处理装置20将细胞大小S的大小增加ΔS(ΔS可以预先限定，或可以通过S乘以预定比例来设置)(S213)。当细胞大小S不大于细胞大小的最大值(Smax)(S214：否)时，图像处理装置20返回到S207并继续该处理。

当细胞大小S大于细胞大小的最大值(Smax)(S214：是)时，图像处理装置20执行与是否所有细胞核候选区域都被处理有关的判断(即，是否j＝N)(S215)。当所有细胞核候选区域没有都被处理(S215：否)时，图像处理装置20递增j(S216)，返回到S204，并继续该处理。当所有细胞核候选区域都被处理(S215：是)时，图像处理装置20按第一评估值来对所存储的细胞候选区域进行排序(S217)，并按排序顺序列出并显示包括细胞候选区域的候选图像(S218)。图11示出以第一评估值的排序顺序在上面列出并显示候选图像的列表显示画面的示例。将参照图10所示的流程图来描述S218之后的处理。

如图10所示，图像处理装置20接收在列表显示画面上的作为目标细胞的基准的基准图像的指定(S219)。

图像处理装置20确定由附加特征量确定单元30确定的附加特征量的元素(S220)，对由样本分类单元29分类的样本进行分类(S221)，并基于该样本的分类来确定附加特征量的细胞核元素的权重(S222)。

图像处理装置20获取基准候选图像的附加特征量(S223)，并基于在基准候选图像中所包括的细胞候选区域的第一图像特征量、附加特征量和相应特征量的权重来计算第二图像特征量(S224)。

接下来，图像处理装置20选择未处理的候选图像i(i的初始值＝1，1≤i≤M)(S225)，获取候选图像i的附加特征量(S226)，并基于在候选图像i中所包括的细胞候选区域的第一图像特征量、附加特征量和相应特征量的权重来计算第二图像特征量(S227)。

图像处理装置20计算基准候选图像的第二图像特征量与候选图像i的第二图像特征量之间的距离Di，作为第二评估值(S228)。

当存在未处理的候选图像(即，当i小于M时)(S229：是)时，图像处理装置20递增i(S230)，返回到S225，并继续该处理。当不存在未处理的候选图像(即，当i是M)(S229：否)时，图像处理装置20以第二评估值的顺序对处理后的候选图像进行排序(S231)，并以排序次序显示一系列候选图像(S232)。图12示出以第二评估值的排序顺序在上面列出并显示候选图像的列表显示画面的示例。

根据上述图像处理系统1，考虑到样本的各自特征，可以容易地找到与从目标细胞的候选区域中由用户指定的基准候选区域类似的候选区域和特征量。

本发明不限于上述实施方式。例如，样本的分类可以由用户指定，或在图像处理装置20基于在显示装置60上的样本的分析结果来显示直方图(图4C)之后，可以从用户接收到样本的分类的指定。目标细胞不限于NRBC，其它细胞也可用作目标细胞。

工业应用可能性

根据本发明的图像处理装置、图像处理方法、计算机可读介质和图像处理系统可用于机器检测诸如NRBC这样的细胞。

尽管已经详细或参照具体实施方式来描述本发明，但是显然的是，对于本领域技术人员而言，能够加入各种变化和修改，而不偏离本发明的精神和范围。

本申请基于2012年8月23日提交的日本专利申请No.2012-184105，在此通过引用而将其内容并入。

附图标记说明

1：图像处理系统；10：光学显微镜；11：载玻片；12：物镜；13：聚焦机构；14：CCD照相机；20：图像处理装置；21：拍摄图像获取单元；22：学习区域指定接收单元；23：候选区域设置单元；24：第一图像特征量计算单元；25：识别模型学习单元；26：识别模型数据存储单元；27：目标细胞识别单元；28：第一评估值计算单元；29：样本分类单元；30：附加特征量确定单元；31：第二图像特征量计算单元；32：基准图像选择单元；33：第二评估值计算单元；34：显示控制单元；50：输入装置；60：显示装置

权利要求书(按照条约第19条的修改)

1.(修改)一种图像处理装置，所述图像处理装置包括：

设置单元，该设置单元设置用于检测通过对包括目标细胞的试样进行成像而获得的拍摄图像中的每个中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个中计算出的第一图像特征量和在所述目标细胞的机器学习中使用的第一图像特征量所确定的顺序，来对所述多个对象区域中的至少一部分执行显示控制；以及

第二显示控制单元，该第二显示控制单元基于包括在所述多个对象区域中的每个中计算出的、没有在所述目标细胞的机器学习中使用的特征量的第二图像特征量，以基于与从所述多个对象区域中的经受所述第一显示控制单元的显示控制的至少一部分中选择的基准对象区域的第二图像特征量类似的第二图像特征量所确定的顺序，来对由所述设置单元设置的所述多个对象区域中的至少一部分执行显示控制。

2.(修改)根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

接收单元，该接收单元基于从所述多个对象区域中的经受所述第一显示控制单元的显示控制的至少一部分中的用户指定，来接收所述基准对象区域的选择。

3.(修改)根据权利要求1或2所述的图像处理装置，

其中，所述第二图像特征量包括多个特征量和所述多个相应特征量的权重，并且

所述图像处理装置还包括：

分类单元，该分类单元基于所述拍摄图像的图像特征来将所述拍摄图像中的每个中所成像的试样划分成多个分类中的一个；以及

权重设置单元，该权重设置单元基于由所述分类单元对所述试样的分类来设置在所述对象区域中计算出的第二图像特征量中所包括的多个相应特征量的权重。

4.(修改)根据权利要求3所述的图像处理装置，

其中，基于包括在一个对象区域中计算出的第一图像特征量和与所述一个对象区域的所述第一图像特征量不同的至少一个特征量的多个图像特征量，以及所述多个特征量中的每个的权重，来计算在所述多个对象区域中的所述一个对象区域中计算出的第二图像特征量。

5.(修改)根据权利要求4所述的图像处理装置，

其中，当被确定为等于或大于所述拍摄图像中的特定浓度的区域的颜色平均值的频率分布中的一个颜色平均值的频率等于或大于第一阈值时，在比第二阈值小的所述颜色平均的累积频率大于和所述第二阈值相等或比其大的所述颜色平均的累积频率的情况下，所述分类单元将所述试样分类为第一分类，并且在比第二阈值小的所述颜色平均的累积频率等于或小于和所述第二阈值相等或比其大的所述颜色平均的累积频率的情况下，所述分类单元将所述试样分类为第二分类。

所述多个特征量包括：基于通过划分包括所述对象区域的候选区域而获得的多个块区域中的每个的颜色信息的第一特征量；和基于通过连接所述候选图像中的具有预先限定的范围内的颜色或浓度的像素而获得的多个像素组的第二特征量；以及

当所述试样在所述第一分类中时，所述权重设置单元将所述第一特征量的权重设置为大于所述第二特征量的权重，并且当所述试样在所述第二分类中时，所述权重设置单元将所述第二特征量的权重设置为大于所述第一特征量的权重。

6.(修改)根据权利要求1至5的任一项所述的图像处理装置，

其中，所述目标细胞是具有细胞核的有核红细胞，

所述图像处理装置还包括：提取单元，该提取单元基于所述细胞核的颜色和浓度中的至少一个来从所述多个拍摄图像中提取作为所述细胞核的候选的细胞核候选区域，以及

所述设置单元基于所述细胞核候选区域和所述目标细胞的可能大小的范围来设置所述对象区域。

7.(修改)一种使计算机用作如下用途的程序：

设置单元，该设置单元设置用于检测通过对包括目标细胞的试样进行成像而获得的拍摄图像中的每个中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个中计算出的第一图像特征量和在所述目标细胞的机器学习中使用的第一图像特征量所确定的顺序，来对所述多个对象区域中的至少一部分执行显示控制；以及

第二显示控制单元，该第二显示控制单元基于包括在所述多个对象区域中的每个中计算出的、没有在所述目标细胞的机器学习中使用的特征量的第二图像特征量，以基于与从所述多个对象区域中的经受所述第一显示控制单元的显示控制的至少一部分中选择的基准对象区域的第二图像特征量类似的第二图像特征量所确定的顺序，来对由所述设置单元设置的所述多个对象区域中的至少一部分执行显示控制。

8.(修改)一种使计算机执行处理的图像处理方法，所述处理包括：

设置用于检测通过对包括目标细胞的试样进行成像而获得的拍摄图像中的每个中的所述目标细胞的多个对象区域；

以基于所述多个对象区域中的每个中计算出的第一图像特征量和在所述目标细胞的机器学习中使用的第一图像特征量所确定的顺序，来对所述多个对象区域中的至少一部分执行显示控制；并且

基于包括在所述多个对象区域中的每个中计算出的、没有在所述目标细胞的机器学习中使用的特征量的第二图像特征量，以基于与从所述多个对象区域中的经受所述显示控制的至少一部分中选择的基准对象区域的第二图像特征量类似的第二图像特征量所确定的顺序，来对所述多个设置的对象区域中的至少一部分执行显示控制。

9.(修改)一种存储使计算机执行用于图像处理的处理的程序的非瞬时计算机可读介质，所述处理包括：

设置用于检测通过对包括目标细胞的试样进行成像而获得的拍摄图像中的每个中的所述目标细胞的多个对象区域；

以基于所述多个对象区域中的每个中计算出的第一图像特征量和在所述目标细胞的机器学习中使用的第一图像特征量所确定的顺序，来对所述多个对象区域中的至少一部分执行显示控制；并且

基于包括在所述多个对象区域中的每个中计算出的、没有在所述目标细胞的机器学习中使用的特征量的第二图像特征量，以基于与从所述多个对象区域中的经受所述显示控制的至少一部分中选择的基准对象区域的第二图像特征量类似的第二图像特征量所确定的顺序，来对所述多个设置的对象区域中的至少一部分执行显示控制。

10.(新)一种图像处理系统，所述图像处理系统包括：

图像处理装置；

光学显微镜，该光学显微镜连接到所述图像处理装置；以及

显示装置，该显示装置连接到所述图像处理装置；

其中，所述图像处理装置包括：

设置单元，该设置单元设置用于检测通过对包括目标细胞的试样进行成像而获得的拍摄图像中的每个中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个中计算出的第一图像特征量和在所述目标细胞的机器学习中使用的第一图像特征量所确定的顺序，来对所述多个对象区域中的至少一部分执行显示控制；以及

第二显示控制单元，该第二显示控制单元基于包括在所述多个对象区域中的每个中计算出的、没有在所述目标细胞的机器学习中使用的特征量的第二图像特征量，以基于与从所述多个对象区域中的经受所述第一显示控制单元的显示控制的至少一部分中选择的基准对象区域的第二图像特征量类似的第二图像特征量所确定的顺序，来对由所述设置单元设置的所述多个对象区域中的至少一部分执行显示控制。

Claims (9)

1.一种图像处理装置，所述图像处理装置包括：

获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；

学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；

设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；

计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及

第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

接收单元，该接收单元基于从所述显示的所述多个对象区域中的、用户的指定，来接收所述基准对象区域的选择。

3.根据权利要求1或2所述的图像处理装置，

其中，所述第二图像特征量包括：多个特征量和所述多个特征量的权重，并且

所述图像处理装置还包括：权重设置单元，该权重设置单元基于根据所述拍摄图像的分析结果确定的分类，来设置在所述第二图像特征量中所包括的多个特征量中的每个的权重。

4.根据权利要求3所述的图像处理装置，

其中，所述多个特征量是代表所述试样的特征的特征量。

5.根据权利要求1至4的任一项所述的图像处理装置，

其中，所述目标细胞是具有细胞核的有核红细胞，

所述图像处理装置还包括：提取单元，该提取单元基于所述细胞核的颜色和浓度中的至少一个来从所述多个拍摄图像中提取作为所述细胞核的候选的细胞核候选区域，并且

所述设置单元基于所述细胞核候选区域和所述目标细胞的可能大小的范围，来设置所述对象区域。

6.一使计算机用作如下用途的程序：

获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；

学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；

设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；

计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及

第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

7.一种使计算机执行处理的图像处理方法，所述处理包括：

获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；

基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；

设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；

以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；

计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；并且

以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

8.一种存储使计算机执行用于图像处理的处理的程序的非瞬时计算机可读介质，所述处理包括：

获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；

基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；

设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；

以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；

计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；并且

以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。

9.一种图像处理系统，所述图像处理系统包括：

图像处理装置；

光学显微镜，该光学显微镜连接到所述图像处理装置；以及

显示装置，该显示装置连接到所述图像处理装置，

其中，所述图像处理装置包括：

获取单元，该获取单元获取通过对包括目标细胞的试样进行成像而获得的拍摄图像；

学习单元，该学习单元基于与所述目标细胞的正例和负例中的每个对应的试样图像中计算出的第一图像特征量，来机器学习用于识别所述目标细胞的条件；

设置单元，该设置单元设置用于检测所述拍摄图像中的所述目标细胞的多个对象区域；

第一显示控制单元，该第一显示控制单元以基于所述多个对象区域中的每个的所述第一图像特征量所确定的顺序，来执行对所述多个对象区域的显示控制；

计算单元，该计算单元计算与所述多个对象区域中的所述第一图像特征量不同的第二图像特征量；以及

第二显示控制单元，该第二显示控制单元以与从所述多个对象区域中选择的基准对象区域的第二图像特征量类似的第二图像特征量的顺序，来对所述显示的所述多个对象区域进行排序，并执行对所述多个对象区域的显示控制。