CN104487564A - 图像处理装置、程序、图像处理方法、计算机可读介质以及图像处理系统 - Google Patents

Abstract

图像处理装置(20)获取通过对包括靶细胞的样本进行成像获得的拍摄图像，在所述拍摄图像中设定用于检测所述靶细胞的目标区域，从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞，基于从所述多个细胞区域中的每个细胞区域获得的特征量设定所述靶细胞所具有的特征量的范围；以及在从所述目标区域获得的特征量被包括在所设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

Description

图像处理装置、程序、图像处理方法、计算机可读介质以及图像处理系统

技术领域

本发明涉及图像处理装置、程序、图像处理方法、计算机可读介质以及图像处理系统。

背景技术

专利文献1描述了这样一种技术，在这种技术中，从目标图像寻找满足NRBC的颜色、形状、位置关系以及面积比等的条件的细胞，从而机械地检测NRBC。

引用列表

专利文献

专利文献1：日本专利特开4346923号公报

发明内容

技术问题

本发明的目的是提供一种能够通过借助参照(根据各个孤立的不同细胞特征)精选可能是靶细胞的图像候补项测定是否包括靶细胞的图像处理装置、程序以及图像处理系统。

解决问题的方案

[1]根据本发明的一方面，提供了一种图像处理装置，该图像处理装置包括：获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域；范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

[2]根据[1]所述的图像处理装置，该图像处理装置还可包括：状态判定单元，该状态判定单元判定被包括在由所述抽取单元抽取的各个细胞区域中的细胞处于密集状态还是处于孤立状态，其中，所述范围设定单元针对由所述状态判定单元判定的各细胞状态来设定所述靶细胞的特征量的范围，并且在从所述目标区域获得的特征量被包括在由所述范围设定单元针对被包括在所述目标区域中的所述细胞的所述状态而设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

[3]根据[1]或[2]所述的图像处理装置，该图像处理装置可具有这样的构造，其中，所述特征量是细胞面积、核面积以及细胞与核的面积比中的至少一者，所述抽取单元从所述外围区域抽取多个细胞区域，所述多个细胞区域均包括有核细胞，并且所述范围设定单元将小于等于阈值的范围设定为所述靶细胞的所述特征量的范围，所述阈值设定在从所述多个细胞区域中的每个细胞区域获得的所述特征量的范围内。

[4]根据[1]或[2]所述的图像处理装置，该图像处理装置可具有这样的构造，其中，所述特征量是细胞面积、核面积以及细胞与核的面积比中的至少一者，所述抽取单元从所述外围区域抽取多个细胞区域，所述多个细胞区域均包括无核细胞，并且所述范围设定单元将夹有从所述多个细胞区域中的每个细胞区域获得的所述特征量的平均值或中位数的范围设定为所述靶细胞的所述特征量的范围。

[5]根据[1]至[4]中任一项所述的图像处理装置，该图像处理装置还可包括：学习单元，该学习单元基于分别对应于所述靶细胞的正例与负例的样本图像来机械地学习用于识别所述靶细胞的识别条件，其中，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元基于所述识别条件来判定所述靶细胞是否被包括在所述目标区域中。

[6]根据[1]至[5]中任一项所述的图像处理装置，该图像处理装置可具有这样的构造，其中，所述靶细胞是具有核的有核红细胞，所述图像处理装置还包括区域抽取单元，该区域抽取单元基于所述核的颜色与浓度中的至少一者从所述多个拍摄图像抽取作为所述核的候补的核候补区域，并且所述设定单元基于所述核候补区域以及所述靶细胞的可能尺寸的范围来设定所述目标区域。

[7]根据本发明的另一方面，提供了一种使计算机发挥以下功能的程序：获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；抽取单元，该抽取单元从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

[8]根据本发明的另一方面，提供了一种使计算机执行处理的图像处理方法，所述处理包括：获取通过对包括靶细胞的样本进行成像获得的拍摄图像；在所述拍摄图像中设定用于检测所述靶细胞的目标区域；从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

[9]根据本发明的另一方面，提供了一种存储有使计算机执行用于图像处理的处理的程序的非瞬时性计算机可读介质，所述处理包括：获取通过对包括靶细胞的样本进行成像获得的拍摄图像；在所述拍摄图像中设定用于检测所述靶细胞的目标区域；从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

[10]根据本发明的另一方面，提供了一种图像处理系统，该图像处理系统包括：图像处理装置；光学显微镜，该光学显微镜连接至所述图像处理装置；以及显示装置，该显示装置连接至所述图像处理装置，其中，所述图像处理装置包括：获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域，所述细胞区域均包括细胞；范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

本发明的有利效果

根据[1]、[7]、[8]、[9]与[10]中描述的构造(处理)，能够通过借助参照根据各个独立的不同细胞特征精选可能是靶细胞的图像候补项来判定是否包括靶细胞。

根据[2]中描述的本发明，能够借助参照根据目标细胞的状态通过精选可能是靶细胞的图像候补项来判定靶细胞。

根据[3]中描述的本发明，能够借助参照设定值根据包括在样本中的有核细胞的特征通过精选可能是靶细胞的图像候补项来设定靶细胞。

根据[4]中描述的本发明，能够借助参照设定值根据包括在样本中的无核细胞的特征通过精选可能是靶细胞的图像候补项来设定靶细胞。

根据[5]中描述的本发明，能够基于预先学习的参照来判定靶细胞是否包括在可能是靶细胞的图像候补项中。

根据[6]中描述的本发明，能够借助根据独立的参照通过精选可能是有核红细胞的图像候补项来设定有核红细胞。

附图说明

图1是示出根据此实施方式的图像处理系统的系统构造实施例的图。

图2是图像处理装置的功能框图。

图3是示出核候补区域与细胞候补区域的例子的图。

图4A是示出处于孤立状态的细胞的例子的图。

图4B是示出处于密集状态的细胞的例子的图。

图5A是示出有核细胞的例子的图。

图5B是示出无核细胞的例子的图。

图6是示出形态特征量的计算例子的图。

图7是示出形态特征量的计算例子的图。

图8是示出形态特征量的计算例子的图。

图9是进行靶细胞检测的流程图。

图10是形态特征量的存储处理的流程图。

图11是靶细胞条件的设定处理的流程图。

图12是靶细胞的检测候补项判定处理的流程图。

图13是靶细胞的识别处理的流程图。

具体实施方式

下文中将参照附图描述用于实施本发明的一种模式(下文中称作实施方式)。

图1示出了根据此实施方式的图像处理系统1的系统构造实施例。如图1中所示，图像处理系统1包括光学显微镜10、图像处理装置20、输入装置50以及显示装置60。图像处理装置20与光学显微镜10、输入装置50以及显示装置60连接以执行数据通信。

光学显微镜10借助CCD摄像机14通过诸如物镜12之类的光学系统对放置在样本台上的载玻片11上的样本进行成像。光学显微镜10包括改变载玻片11与物镜12之间的距离的调焦机构13，从而以多个不同的焦距对载玻片11上的样本进行成像。在此实施方式中，就样本而言，使用这样的样本，其中母血被施加至载玻片11并进行吉染色法。源自母血中的胚胎的有核红细胞(NRBC)染成紫蓝色。下文中，NRBC被称做靶细胞。

图像处理装置20获取通过使用光学显微镜10对样本进行成像获得的拍摄图像，并检测所获取的拍摄图像中的靶细胞。此时，图像处理装置20在拍摄图像中设定靶细胞的候补区域，从候补区域中排除所设定的候补区域之中不满足靶细胞条件的候补区域，并且借助识别单元处理余留的候补区域。应注意的是，下文将描述在图像处理装置20中对靶细胞进行检测处理的细节。

输入装置50是例如诸如键盘或鼠标之类的装置，并将接收的来自用户的操作输入至图像处理装置20。例如，图像处理装置20可在显示在显示装置60上的图像中获取用户通过输入装置50指定的图像区的信息，作为用于学习靶细胞或其它特定细胞的正例与负例的图像特征的学习信息。

显示装置60例如是液晶显示器等，并且基于图像处理装置20处理的结果显示屏幕。例如，在显示装置60上显示由光学显微镜10成像的拍摄图像以及图像处理装置20的靶细胞检测结果等。

接着将描述根据此实施方式的图像处理装置20的功能。

图2是图像处理装置20的功能框图。如图2中所示，图像处理装置20包括拍摄图像获取单元21、核候补区域抽取单元22、细胞候补区域设定单元23、选择条件设定单元24、外围细胞抽取单元25、细胞状态判定单元26、细胞类型判定单元27、特征抽取细胞选择单元28、形态特征量计算单元29、靶细胞条件设定单元30、候补项判定单元31、识别特征量计算单元32、靶细胞识别单元33、检测结果产生单元34以及显示控制单元35。

在包括诸如CPU之类的控制装置、诸如存储器之类的存储装置、用于向外部装置传输数据以及从外部装置接收数据的输入/输出装置等的计算机读取并执行存储在计算机可读信息记录介质中的程序的情况下，可实现图像处理装置20中各个单元的功能。应注意的是，可借助诸如光盘、磁盘、磁光盘或闪速存储器之类的信息记录介质将程序提供至作为计算机的图像处理装置20，或者可通过诸如因特网之类的数据通讯网将程序提供至图像处理装置20。

拍摄图像获取单元21从光学显微镜10获取通过利用光学显微镜10中的CCD摄像机14对样本进行成像获得的拍摄图像。应注意的是，由拍摄图像获取单元21获取的图像可借助显示控制单元35显示在显示装置60上。

核候补区域抽取单元22在由拍摄图像获取单元21获取的每个拍摄图像中基于具有颜色(RGB值)或预定范围内的浓度的像素抽取核的候补区域。例如，核候补区域抽取单元22可根据颜色(或者浓度)的预定的阈值来二值化拍摄图像中的像素，具体地说，可抽取颜色(或者浓度)比阈值深(或等于、或大于阈值)的像素作为黑色像素。核候补区域抽取单元22可通过连接从由拍摄图像获取单元21获取的每个图像抽取的像素计算多个组(像素组)，并且可设定外切每个组的长方体区域作为核候补区域。

细胞候补区域设定单元23基于由核候补区域抽取单元22抽取的核候补区域在由拍摄图像获取单元21获取的拍摄图像内将细胞候补区域设定为靶细胞的可能候补项。下文将描述由细胞候补区域设定单元23进行的处理的具体实施例。

细胞候补区域设定单元23基于由核候补区域抽取单元22抽取的核候补区域在载玻片表面上的投影尺寸以及预定的关系表达式来估计细胞尺寸的可能范围。例如，细胞候补区域设定单元23可基于有核红细胞中核与细胞尺寸之间的关系表达式来估计位于载玻片表面上的有核红细胞的可能范围(例如矩形区域)。具体地说，细胞候补区域设定单元23将在估计的范围中的以核候补区域中的一个点为中心的矩形区设定为细胞存在区。

细胞候补区域设定单元23基于由核候补区域抽取单元22抽取的核候补区域以及位于载玻片表面上的估计细胞存在区域来设定可能包括靶细胞的细胞候补区域。

图3示出了由核候补区域抽取单元22抽取的核候补区域以及由细胞候补区域设定单元23设定的细胞候补区域的一个例子。在图3中，外切黑像素组的矩形是核候补区域，并且设置在核候补区域外部的矩形区是细胞候补区域。

选择条件设定单元24设定待被抽取并选择成细胞候补区域的外围细胞的细胞的条件。例如，选择条件设定单元24可设定居中在感兴趣的细胞候补区域上的外围细胞的抽取区域。外围细胞的抽取区域可以是整个拍摄图像，或者可以是居中在感兴趣的细胞候补区域上的位于指定距离的范围。选择条件设定单元24可指定待从外围细胞的抽取区域抽取的细胞之中选择细胞的条件。例如，可通过指定至少一种类型的细胞以及细胞的状态来限定细胞的条件。应注意的是，细胞类型可以是有核细胞与无核细胞中的一者，并且细胞状态可以是其它细胞抵接在周围的密集状态与无其它细胞抵接的孤立状态中的一者。选择条件设定单元24可基于接收的来自输入装置的信息设定区段条件。

外围细胞抽取单元25对于感兴趣的细胞候补区域从包括在来自由选择条件设定单元24设定的外围细胞抽取区域的抽取区域中抽取多个图像区域(细胞区域)。例如，外围细胞抽取单元25可进行包括在外围细胞的抽取区域中的图像中的轮廓检测，并且可基于检测的轮廓抽取每个细胞区域。外围细胞抽取单元25可抽取检测轮廓或者围绕所述轮廓的矩形区域作为细胞区域，或者在轮廓还包括在所述轮廓内部的情况下，可基于最外部的轮廓来抽取细胞区域。

细胞状态判定单元26基于由外围细胞抽取单元25抽取的细胞区域来判定包括在细胞区域中的细胞的状态。例如，细胞状态判定单元26可计算包括在细胞区域中的细胞的圆度(曲率)，当计算的圆度等于或大于阈值时(即，当形状接近圆形时)可判定细胞处于孤立状态，否则可判定细胞处于密集状态。应注意的是，图4A与图4B示出处于孤立状态与处于密集状态的细胞的例子。图4A示出处于孤立状态的细胞的例子，并且图4B示出处于密集状态的细胞的例子。

细胞类型判定单元27基于由外围细胞抽取单元25抽取的细胞区域来判定包括在细胞区域中的细胞的类型。例如，当核候补区域被包括在细胞区域中时，细胞类型判定单元27可判定细胞是有核细胞，否则可判定细胞是无核细胞；或者当在细胞区域中检测到轮廓时，可判定细胞是有核细胞，否则可判定细胞是无核细胞。应注意的是，图5A与图5B示出了有核细胞与无核细胞的例子。图5A示出了有核细胞的例子，并且图5B示出了无核细胞的例子。

特征抽取细胞选择单元28在由外围细胞抽取单元25抽取的细胞区域中选择满足由选择条件设定单元24设定的选择条件的细胞区域。例如，特征抽取细胞选择单元28从由外围细胞抽取单元25抽取的细胞区域中选择这样的细胞区域：对于该细胞区域，由细胞状态判定单元26与细胞类型判定单元27判定的细胞状态与细胞类型满足由选择条件设定单元24设定的条件，并且特征抽取细胞选择单元28向形态特征量计算单元29输出所选择的细胞区域。应注意的是，当细胞的条件不被选择条件设定单元24指定时，所抽取的细胞区域可与其细胞类型和细胞状态的信息一起输出至形态特征量计算单元29。

形态特征量计算单元29计算由特征抽取细胞选择单元28选择的细胞区域的形态特征量。例如，形态特征量计算单元29可根据通过乘以常数而上下及左右扩展由特征抽取细胞选择单元28输入的细胞区域获得的区域计算形态特征量。就形态特征量而言，可使用包括在细胞区域中的核的面积(A)、包括在细胞区域中的细胞的面积(B)以及核与细胞之间的面积比例(A/B)中的一者。应注意，核的面积可计算成包括在细胞区域中的核候补区域的面积(或者从细胞区域的内部检测的轮廓中的面积)，并且细胞的面积可计算成包括在细胞区域的轮廓中的面积。形态特征量计算单元29将从满足条件的细胞区域获得的形态特征量输出至用于细胞的每种条件(例如细胞类型与细胞状态的组合)的靶细胞条件设定单元30。

图6至图8是示出形态特征量的计算例子的图。图6中，如果虚线部分是细胞区域A，那么由通过乘以常数倍而上下及左右扩展细胞区域获得的区域B计算形态特征量。此时，如图7中所示，可由如下区域计算细胞的面积：轮廓构成从设定区域B的内部检测的轮廓中的最外部的轮廓中的封闭区。如图8中所示，设定在细胞中的矩形区的面积(细胞面积)与设定在核区域中的矩形区的面积(核面积)之间的比例可计算成细胞与核之间的面积比。

靶细胞条件设定单元30基于由形态特征量计算单元29计算的细胞区域的形态特征量设定从包括靶细胞的图像区域获得的形态特征量满足的条件。例如，靶细胞条件设定单元30基于细胞的条件以及从满足条件的细胞区域获得的形态特征量以下文的方式设定从包括靶细胞的图像区域获得的形态特征量满足的条件(具体地说，下文的第一靶细胞条件至第四靶细胞条件)。

首先要描述第一靶细胞条件。在细胞的条件被指定成细胞的类型是有核细胞并且细胞的状态是孤立状态的情况下，靶细胞条件设定单元30计算从满足条件的细胞区域获得的形态特征量的平均值(或者中位数等)C1，并且对于从靶细胞的图像区域计算的形态特征量X，将X≤C1设定为第一靶细胞条件。这基于小于白细胞(有核细胞而非有核红细胞)的有核红细胞的尺寸。

接着要描述第二靶细胞条件。在细胞的条件被指定成细胞的类型是有核细胞并且细胞的状态是密集状态的情况下，靶细胞条件设定单元30计算从满足条件的细胞区域获得的形态特征量的平均值(或者中位数等)C2，并且对于从靶细胞的图像区域计算的形态特征量X，将X≤C2设定为第二靶细胞条件。这基于小于白细胞(有核细胞而非有核红细胞)的有核红细胞的尺寸。

接着要描述第三靶细胞条件。在细胞的条件被指定成细胞的类型是无核细胞并且细胞的状态是孤立状态的情况下，靶细胞条件设定单元30计算从满足条件的细胞区域获得的形态特征量的平均值(或者中位数等)C3，设定C3_最小＜C3＜C3_最大的这样的范围，并且对于从靶细胞的图像区计算的形态特征量X，将C3_最小≤X≤C3_最大设定为第三靶细胞条件。这基于有核红细胞的关于无核细胞计算的平均尺寸。应注意，C3_最小≤C3≤C3_最大的此范围可限定成具有属于此范围的预定比率的细胞区域。

接着要描述第四靶细胞条件。在细胞的条件被指定成细胞的类型是无核细胞并且细胞的状态是密集状态的情况下，靶细胞条件设定单元30计算从满足条件的细胞区域获得的形态特征量的平均值(或者中位数等)C4，设定C4_最小＜C4＜C4_最大的这样的范围，并且对于从靶细胞的图像区域计算的形态特征量X，将C4_最小≤X≤C4_最大设定为第四靶细胞条件。这基于有核红细胞的关于无核细胞计算的平均尺寸。应注意，C4_最小＜C4＜C4_最大的此范围可限定成具有属于此范围的预定比率的细胞区域。

候补项判定单元31基于细胞候补区域的形态特征量以及由靶细胞条件设定单元30设定的靶细胞条件判定是否是用于检测来自由细胞候补区域设定单元23设定的细胞候补区域的靶细胞的候补项。例如，候补项判定单元31可基于细胞候补区域的状态(孤立状态或密集状态)选择细胞条件，并且可基于所选的靶细胞条件以及细胞候补区域的形态特征量判定是否是用于检测靶细胞的候补项。具体地说，当细胞候补区域的状态是孤立状态时，候补项判定单元31可选择第一或第三靶细胞条件，并且在符合一个或两个所选靶细胞条件的情况下，可判定细胞候补区域作为用于检测靶细胞的候补项。当细胞候补区域的状态是密集状态时，候补项判定单元31可选择第二或第四靶细胞条件，并且在符合一个或两个所选靶细胞条件的情况下，可判定细胞候补区域作为用于检测靶细胞的候补项。

识别特征量计算单元32将由候补项判定单元31设定成靶细胞的检测目标的细胞候补区域放大或减小至指定的图像尺寸，然后计算细胞候补区域中的识别特征量。识别特征量是借助靶细胞识别单元33学习以及识别(用于学习处理以及识别处理)用的图像特征量，并且例如可使用HOG特征量。例如，可按如下方式计算HOG特征量。首先，目标图像划分成各自具有A细胞的B块，从亮度梯度方向以及每个块的各自的细胞的图像的平面(X方向与Y方向)中的亮度梯度密度获得亮度梯度方向直方图([第一梯度方向的值、第二梯度方向的值-----第N梯度方向的值])，并且根据块进行准化使得亮度梯度方向直方图的平方均值成为1。此后，设定通过结合块中的标准化的亮度梯度方向直方图得到的AxN值作为块的特征量，并且设定通过结合目标图像中的所有块得到的AxBxN值作为目标图像的HOG特征量。应注意，识别特征量与形态特征量可构成不同的特征量，或者可构造成相同的特征量。

识别特征量计算单元32计算输入的拍摄图像中的识别特征量，然后将计算的识别特征量输出至靶细胞识别单元33。

靶细胞识别单元33基于在由候补项判定单元31设定成用于检测靶细胞的目标的细胞候补区域中计算的识别特征量以及提前学习的学习参数识别包括在细胞候补区域中的细胞是否是靶细胞。应注意，可按如下方式进行靶细胞识别单元33中的学习处理。

靶细胞识别单元33接收图像区域的指定以用于由拍摄图像获取单元21获得的图像中的学习处理。可通过输入装置50进行图像区域的指定。例如，当在靶细胞(有核红细胞)与其它图像之间进行学习识别时，靶细胞识别单元33接收作为正例的具有拍摄图像中的靶细胞的图像区域以及作为负例的不带有靶细胞的图像区域。然后，靶细胞识别单元33基于由识别特征量计算单元32计算的识别特征量为正例与负例的图像区域产生学习参数。

检测结果产生单元34基于靶细胞识别单元33的处理结果产生包括检测成靶细胞的细胞候补区域以及图像区域的坐标信息的图像区域。用于控制光学显微镜10的控制信号可输出至光学显微镜10，使得光学显微镜10的成像范围移动至由检测结果产生单元34产生的坐标。

显示控制单元35将用于显示图像区域以及由检测结果产生单元34产生的坐标的显示控制信息输出至显示装置60。借助此操作，在显示装置60上显示待检测成靶细胞的图像区以及该图像区域的坐标。

接着，将参照图9至图13所示的流程图描述图像处理装置20中的处理流程。

[靶细胞的检测处理的总流程]

首先，将参照图9中所示的流程图描述用于检测靶细胞的处理流程。

如图9中所示，图像处理装置20获取待处理的拍摄图像(S101)，并在所获取的每个拍摄图像上进行二值化处理。接着，图像处理装置20在二值化处理后的拍摄图像中抽取可能是靶细胞的核的核候补区域(S102)，并基于设定的核候补区域设定细胞候补区域(S103)。

图像处理装置20选择i-th细胞候补区域Ai(其中变量i的初值是1)(S104)，并抽取细胞候补区域Ai的外围细胞(细胞区域)(S105)。

图像处理装置20选择j-th外围细胞Bj(变量j的初值是1)(S106)，并且当所选的外围细胞Bj满足细胞的限定选择条件(S107：Y)时，计算外围细胞Bj的形态特征量，并将该形态特征量存储为Ck(变量k的初值是1)(S108)。细胞的选择条件可由细胞类型(有核细胞或无核细胞)与细胞状态(密集状态或孤立状态)指定。下文将描述S108的处理细节。

当变量k等于或小于预定阈值N(S109：Y)时，图像处理装置20增大k(S110)。在S110之后或在S107中，当外围细胞Bj不满足细胞的限定选择条件(S107：Y)时，图像处理装置20判定是否存在未处理的外围细胞(S111)。当存在未处理的外围细胞(S111：Y)时，j增大(S112)，并且处理返回至S106。

在S109中，当变量k不等于或不小于预定阈值N(S109：Y)时，或者在S111中，当不存在未处理的外围细胞(S111：Y)时，图像处理装置20基于存储的形态特征量Ck设定关于靶细胞的形态特征量的条件(靶细胞条件)(S113)。下文将描述S113的处理细节。

图像处理装置20计算细胞候补区域Ai的形态特征量，并且当基于计算的形态特征量判定细胞候补区域Ai符合目标细胞条件(S114：Y)时，执行识别处理，从而识别靶细胞是否被包括在细胞候补区域Ai中(S115)。下文将描述S115的处理细节。

在S115之后或在S114中，当判定细胞候补区域Ai不符合目标细胞条件(S114：Y)时，图像处理装置20判定是否存在未处理的细胞候补区域(S116)。当判定存在未处理的细胞候补区域(S116：Y)时，i增大(S117)，并且处理返回至S104。当判定不存在未处理的细胞候补区域(S116：Y)时，处理终止。应注意，在判定不存在未处理的细胞候补区域(S116：Y)后，被被定为包括靶细胞的图像区域可显示在显示装置上。

[形态特征量的存储处理]

接着，将参照图10中的流程图描述有关图9的S108的处理细节。

如图10中所示，图像处理装置20基于细胞类型判定单元27的判定结果获取外围细胞Bj的细胞类型(S201)，并且基于细胞状态判定单元26的判定结果获取外围细胞Bj的细胞状态(S202)。

接着，当外围细胞Bj的细胞类型是有核细胞(S203：Y)并且外围细胞Bj的细胞状态是孤立状态(S204：Y)时，图像处理装置20将Bj的形态特征量存储为有核并且孤立的形态特征量(S205)，并执行返回操作。

当外围细胞Bj的细胞类型是有核细胞(S203：Y)并且外围细胞Bj的细胞状态是密集状态(不是孤立状态)(S204：Y)时，图像处理装置20将Bj的形态特征量存储为有核并且密集的形态特征量(S206)，并执行返回操作。

当外围细胞Bj的细胞类型不是有核细胞(S203：Y)并且外围细胞Bj的细胞状态是孤立状态(S207：Y)时，图像处理装置20将Bj的形态特征量存储为无核并且孤立的形态特征量(S208)，并执行返回操作。

当外围细胞Bj的细胞类型不是有核细胞(S203：Y)并且外围细胞Bj的细胞状态是密集状态(不是孤立状态)(S207：Y)时，图像处理装置20将Bj的形态特征量存储成无核并且密集的形态特征量(S209)，并执行返回操作。

[靶细胞条件的设定处理]

接着，将参照图11中所示的流程图描述有关图9的S113的处理细节。

如图11中所示，图像处理装置20在存储的外围细胞的形态特征量中获取一组有核并且孤立的形态特征量G1(S301)，并计算所获取的组G1的要素的平均值C1(或中位数)(S302)。就有核红细胞(靶细胞)的形态特征量X而言，图像处理装置20设定X≤C1作为处于孤立状态的靶细胞的形态特征量满足的条件(S303)。

接着，图像处理装置20在存储的外围细胞的形态特征量中获取一组有核并且密集的形态特征量G2(S304)，并计算所获取的组G2的要素的平均值C2(或中位数)(S305)。就有核红细胞(靶细胞)的形态特征量X而言，图像处理装置20设定X≤C2作为处于密集状态的靶细胞的形态特征量满足的条件(S306)。

图像处理装置20在存储的外围细胞的形态特征量中获取一组无核并且孤立的形态特征量G3(S307)，并计算包括所获取的组G3的要素的平均值C3(或中位数)的范围[C3_最小,C3_最大](S308)。就有核红细胞(靶细胞)的形态特征量X而言，图像处理装置20设定C3_最小≤X≤C3_最大作为处于孤立状态的靶细胞的形态特征量满足的条件(S309)。

图像处理装置20在存储的外围细胞的形态特征量中获取一组无核并且孤立的形态特征量G4(S310)，并计算包括所获取的组G4的要素的平均值C4(或中位数)的范围[C4_最小,C4_最大](S311)。就有核红细胞(靶细胞)的形态特征量X而言，图像处理装置20设定C4_最小≤X≤C4_最大作为处于孤立状态的靶细胞的形态特征量满足的条件(S312)，并执行返回操作。在上述流程中，尽管已经描绘了这样的例子：其中设定对于有核与无核的细胞类型以及孤立与密集的细胞状态的所有组合的靶细胞条件，但是可设定对于至少一种组合的靶细胞条件或者对于有核或无核的孤立与密集的细胞状态的靶细胞条件。

[靶细胞的检测候补项判定处理]

接着，将参照图12中的流程图描述有关图9的S114的处理细节。

如图12中所示，当使用用于有核细胞的靶细胞条件(S401：Y)时，图像处理装置20执行如下处理。

图像处理装置20计算细胞候补区域Ai的形态特征量Xi(S402)，并基于细胞状态判定单元26的判定结果获取细胞候补区域Ai的细胞状态(S403)。

当细胞候补区域Ai的细胞状态是孤立状态(S404：Y)时，图像处理装置20判定Xi是否小于等于C1(S405)，当Xi小于等于C1(S405：Y)时，将细胞候补区域Ai设定为有核红细胞(靶细胞)的候补区域(S406)，当Xi大于C1(S405：N)时，从有核红细胞(靶细胞)的候补区域排除细胞候补区域Ai(S407)，并执行返回操作。

当细胞候补区域Ai的细胞状态是密集状态(不是孤立状态)(S404：Y)时，图像处理装置20判定Xi是否小于等于C2(S408)，当Xi小于等于C2(S408：Y)时，设定细胞候补区域Ai作为有核红细胞(靶细胞)的候补区域(S406)，当Xi大于C2(S408：N)时，从有核红细胞(靶细胞)的候补区域排除细胞候补区域Ai(S407)，并执行返回操作。

当不使用用于有核细胞的靶细胞条件时，图像处理装置20执行如下处理。

图像处理装置20计算细胞候补区域Ai的形态特征量Xi(S409)，并基于细胞状态判定单元26的判定结果获取细胞候补区域Ai的细胞状态(S410)。

当细胞候补区域Ai的细胞状态是孤立状态(S411：Y)时，图像处理装置20判定Xi是否大于等于C3_最小并且小于等于C3_最大(S412)。当Xi大于等于C3_最小并且小于等于C3_最大(S412：Y)时，设定细胞候补区域Ai作为有核红细胞(靶细胞)的候补区域(S413)。当Xi不大于等于C3_最小并且小于等于C3_最大(S412：N)时，从有核红细胞(靶细胞)的候补区域排除细胞候补区域Ai(S414)，并执行返回操作。

当细胞候补区域Ai的细胞状态是密集状态(不是孤立状态)(S411：N)时，图像处理装置20判定Xi是否大于等于C4_最小并且小于等于C4_最大(S415)。当Xi大于等于C4_最小并且小于等于C4_最大(S415：Y)时，设定细胞候补区域Ai作为有核红细胞(靶细胞)的候补区域(S413)。当Xi不大于等于C4_最小并且小于等于C4_最大(S415：N)时，从有核红细胞(靶细胞)的候补区域排除细胞候补区域Ai(S414)，并执行返回操作。

[靶细胞的识别处理]

接着，将参照图13中所示的流程图描述有关图9的S115的细节。

如图13中所示，图像处理装置20获取满足靶细胞条件的细胞候补区域Ai的图像(S501)，并基于所获取的图像计算细胞候补区域Ai的图像特征量(识别特征量)(S502)。基于S502中计算的图像特征量借助预先学习的识别单元判定靶细胞是否被包括在细胞候补区域Ai中，当包括靶细胞(S503：Y)时，存储细胞候补区域Ai的坐标与尺寸(S504)，并执行返回操作。当不包括靶细胞(S503：N)时，执行返回操作。

根据上述图像处理系统1，基于细胞候补区域周围的细胞设定根据独立的靶细胞的参照，并基于设定的参照精选可能是靶细胞的图像候补项，借此相比未进行精选的情况，改善了靶细胞的判定精度。

本发明不限于上述实施方式。例如，可借助靶细胞识别单元33来判定各个细胞候补区域是否是靶细胞，因此，可借助候补项判定单元31来判定被判定成靶细胞的细胞候补区域是否是靶细胞的候补项。可判定靶细胞被包括在借助候补项判定单元31判定成的靶细胞的候补项的细胞候补区域中。可在不依赖细胞状态的情况下生成靶细胞条件。靶细胞不限于NRBC，并且可使用其它细胞作为靶细胞。

工业应用

根据本发明的图像处理装置、图像处理方法、计算机可读介质以及图像处理系统对于机械检测诸如NRBC之类的细胞是有用的。

尽管已经详细地或参照具体实施方式描述了本发明，但是本领域的技术人员理解：在不脱离本发明的宗旨与范围的情况下可增加多种变更与变型。

本申请基于2012年8月23日提出的日本专利申请2012-184106号公报，通过援引该专利申请的内容被合并于此。

附图标记列表

1：图像处理系统

10：光学显微镜

11：载玻片

12：物镜

13：调焦机构

14：CCD摄像机

20：图像处理装置

21：拍摄图像获取单元

22：核候补区域抽取单元

23：细胞候补区域设定单元

24：选择条件设定单元

25：外围细胞抽取单元

26：细胞状态判定单元

27：细胞类型判定单元

28：特征抽取细胞选择单元

29：形态特征量计算单元

30：靶细胞条件设定单元

31：候补项判定单元

32：识别特征量计算单元

33：靶细胞识别单元

34：检测结果产生单元

35：显示控制单元

50：输入装置

60：显示装置

权利要求书(按照条约第19条的修改)

1.一种图像处理装置，该图像处理装置包括：

设定单元，该设定单元在通过对包括靶细胞的样本进行成像获得的每个拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

2.根据权利要求1所述的图像处理装置，

其中，所述抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域，所述多个细胞区域均具有核；并且

就表示细胞和核中的至少一者的尺寸的特征量而言，所述范围设定单元将特征量的范围设定为小于等于阈值，所述阈值设定在从所述多个细胞区域中的每个细胞区域获得的所述特征量的范围内。

3.根据权利要求1或2所述的图像处理装置，该图像处理装置还包括：

状态判定单元，该状态判定单元判定被包括在由所述抽取单元抽取的各个细胞区域中的细胞处于密集状态还是处于孤立状态，

其中，所述范围设定单元针对由所述状态判定单元判定的各细胞状态来设定所述靶细胞的特征量的范围，并且

在从所述目标区域获得的特征量被包括在由所述范围设定单元针对被包括在所述目标区域中的所述细胞的所述状态而设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

4.根据权利要求2所述的图像处理装置，

其中，所述特征量是细胞面积、核面积以及细胞与核的面积比中的至少一者。

5.根据权利要求1或2所述的图像处理装置，

所述范围设定单元将特征量的范围设定为小于等于从所述多个细胞区域中的每个细胞区域获得的所述特征量的平均值或中位数。

6.根据权利要求1至5中任一项所述的图像处理装置，该图像处理装置还包括：

学习单元，该学习单元机械地学习基于对应于所述靶细胞的正例与负例的样本图像来识别所述靶细胞的识别条件，

其中，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元基于所述识别条件来判定所述靶细胞是否被包括在所述目标区域中。

7.根据权利要求1至6中任一项所述的图像处理装置，

其中，所述靶细胞是具有核的有核红细胞，

其中，所述图像处理装置还包括：

区域抽取单元，该区域抽取单元基于所述核的颜色与浓度中的至少一者从所述多个拍摄图像抽取作为所述核的候补的核候补区域，并且

所述设定单元基于所述核候补区域以及所述靶细胞的可能尺寸的范围来设定所述目标区域。

8.一种使计算机发挥如下功能的程序：

设定单元，该设定单元在通过对包括靶细胞的样本进行成像获得的每个拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

9.一种使计算机执行处理的图像处理方法，所述处理包括：

在通过对包括靶细胞的样本进行成像获得的每个拍摄图像中设定用于检测所述靶细胞的目标区域；

从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

10.一种存储有使计算机执行用于图像处理的处理的程序的非瞬时性计算机可读介质，所述处理包括：

在通过对包括靶细胞的样本进行成像获得的每个拍摄图像中设定用于检测所述靶细胞的目标区域；

从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

11.一种图像处理系统，该图像处理系统包括：

图像处理装置；

光学显微镜，该光学显微镜连接至所述图像处理装置；以及

显示装置，该显示装置连接至所述图像处理装置，

其中，所述图像处理装置包括：

设定单元，该设定单元在通过对包括靶细胞的样本进行成像获得的每个拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域，所述细胞区域均包括细胞；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

Claims (10)

1.一种图像处理装置，该图像处理装置包括：

获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；

设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

2.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

状态判定单元，该状态判定单元判定被包括在由所述抽取单元抽取的各个细胞区域中的细胞处于密集状态还是处于孤立状态，

其中，所述范围设定单元针对由所述状态判定单元判定的各细胞状态来设定所述靶细胞的特征量的范围，并且

在从所述目标区域获得的特征量被包括在由所述范围设定单元针对被包括在所述目标区域中的所述细胞的所述状态而设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

3.根据权利要求1或2所述的图像处理装置，

其中，所述特征量是细胞面积、核面积以及细胞与核的面积比中的至少一者，

所述抽取单元从所述外围区域抽取多个细胞区域，所述多个细胞区域均包括有核细胞，并且

所述范围设定单元将小于等于阈值的范围设定为所述靶细胞的所述特征量的范围，所述阈值设定在从所述多个细胞区域中的每个细胞区域获得的所述特征量的范围内。

4.根据权利要求1或2所述的图像处理装置，

其中，所述特征量是细胞面积、核面积以及细胞与核的面积比中的至少一者，

所述抽取单元从所述外围区域抽取多个细胞区域，所述多个细胞区域均包括无核细胞，并且

所述范围设定单元将夹有从所述多个细胞区域中的每个细胞区域获得的所述特征量的平均值或中位数的范围设定为所述靶细胞的所述特征量的范围。

5.根据权利要求1至4中任一项所述的图像处理装置，该图像处理装置还包括：

学习单元，该学习单元基于分别对应于所述靶细胞的正例与负例的样本图像来机械地学习用于识别所述靶细胞的识别条件，

其中，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元基于所述识别条件来判定所述靶细胞是否被包括在所述目标区域中。

6.根据权利要求1至5中任一项所述的图像处理装置，

其中，所述靶细胞是具有核的有核红细胞，

所述图像处理装置还包括区域抽取单元，该区域抽取单元基于所述核的颜色与浓度中的至少一者从所述多个拍摄图像抽取作为所述核的候补的核候补区域，并且

所述设定单元基于所述核候补区域以及所述靶细胞的可能尺寸的范围来设定所述目标区域。

7.一种使计算机发挥如下功能的程序：

获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；

设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。

8.一种使计算机执行处理的图像处理方法，所述处理包括：

获取通过对包括靶细胞的样本进行成像获得的拍摄图像；

在所述拍摄图像中设定用于检测所述靶细胞的目标区域；

从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

9.一种存储有使计算机执行用于图像处理的处理的程序的非瞬时性计算机可读介质，所述处理包括：

获取通过对包括靶细胞的样本进行成像获得的拍摄图像；

在所述拍摄图像中设定用于检测所述靶细胞的目标区域；

从包括除所述目标区域之外的区域的外围区域抽取多个细胞区域，所述多个细胞区域均包括细胞；

基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，判定所述靶细胞是否被包括在所述目标区域中。

10.一种图像处理系统，该图像处理系统包括：

图像处理装置；

光学显微镜，该光学显微镜连接至所述图像处理装置；以及

显示装置，该显示装置连接至所述图像处理装置，

其中，所述图像处理装置包括：

获取单元，该获取单元获取通过对包括靶细胞的样本进行成像获得的拍摄图像；

设定单元，该设定单元在所述拍摄图像中设定用于检测所述靶细胞的目标区域；

抽取单元，该抽取单元从包括不同于所述目标区域的区域的外围区域抽取多个细胞区域，所述细胞区域均包括细胞；

范围设定单元，该范围设定单元基于从所述多个细胞区域中的每个细胞区域获得的特征量来设定所述靶细胞的特征量的范围；以及

判定单元，在从所述目标区域获得的特征量被包括在由所述范围设定单元设定的所述特征量的范围中的情况下，所述判定单元判定所述靶细胞是否被包括在所述目标区域中。