CN108351289B

CN108351289B - 分析装置

Info

Publication number: CN108351289B
Application number: CN201680062987.7A
Authority: CN
Inventors: 太田祯生; 佐藤一诚; 藤生克仁; 山口聪子; 脇嘉代; 板桥踊子; 堀崎辽一
Original assignee: Osaka University NUC; University of Tokyo NUC
Current assignee: Osaka University NUC; University of Tokyo NUC
Priority date: 2015-10-28
Filing date: 2016-10-28
Publication date: 2021-11-26
Anticipated expiration: 2036-10-28
Also published as: WO2017073737A1; US20230237789A1; US11542461B2; JP2023098911A; JP7261414B2; JPWO2017073737A1; EP3372985A1; CN108351289A; US11098275B2; JP7590741B2; US20220041963A1; JP2025020338A; CN114062231A; US20240303980A1; US20180327699A1; US12230023B2; EP3372985A4; CN114062231B; JP2022008632A; US11861889B2

Abstract

本发明提供一种分析装置，该分析装置具有分析部，受光部接收来自观测对象物的散射光、透射光、荧光、或者电磁波，并将其转换为电信号，基于从所述受光部输出的所述电信号的时间轴提取信号，所述分析部基于该信号对所述观测对象物进行分析，所述观测对象物存在于被来自光源的光照射的光照射区域。

Description

分析装置

技术领域

本发明涉及一种分析技术以及分析装置。

本申请要求2015年10月28日在日本申请的日本特愿2015-212356号的优先权、以及2016年8月9日在美国临时申请的美国专利申请62/372321号的优先权，并将其全部内容援用至本申请。

背景技术

例如，在专利第5534214号公报(专利文献1)中，公开了一种流式细胞仪以及使用该流式细胞仪的流式细胞术方法。

下一代流式细胞术的技术是一种将先进成像技术、分子光谱学技术与流式细胞术结合的分析技术，并取得了显著的进展。以往，只能用有限的信息如荧光亮度总量来评价细胞的特征。下一代流式细胞术的技术使用包括荧光细胞图像的空间信息、分子光谱来进行评价，提高单细胞解析的质量，同时维持现有流式细胞术的吞吐量，从而飞跃性地提高单细胞解析的信息量。但是，在现有方法中，存在不能有效地利用庞大的信息量的问题，例如该庞大的信息量由单细胞图像细胞计量术生成。具体来说，有以下几点：(1)用人类有限的知识、能力不能有效地识别、处理、利用通过下一代细胞计量术由多种复杂的细胞群生成的多维且爆炸式的量的大数据；(2)在高速细胞分类时，经过“图像”重构处理的判别和细胞分选需要花费过多的时间、成本；(3)由于不能针对每个对象、测定目的而优化光拍摄法，因此会产生、处理没有用的信息，从而限制了细胞计量术整体的高速、高灵敏度、高精度化。

现有技术文献

专利文献

专利文献1：日本专利第5534214号公报。

发明内容

发明要解决的问题

在流式细胞仪等分析装置中，需要快速且高精度地分析、判别观测对象。但是，在下一代流式细胞术的实际应用中，存在以下的问题：(1)用人类有限的知识、能力不能有效地识别、处理、利用通过下一代细胞计量术由多种复杂的细胞群生成的多维且爆炸式的量的大数据；(2)在高速细胞分类时，经过“图像重构”、“通过傅里叶变换而在频率空间上表示分子光谱”处理的判别和细胞分取需要花费过多的时间、成本；(3)由于不能针对每个对象、测定目的优化光拍摄法，因此会产生、处理没有用的信息，从而限制了细胞计量术整体的高速、高灵敏度、高精度化。

因此，本发明的目的在于，提供一种在维持光学系统的基础上提高分析、判别的精度、速度的分析装置；提供一种通过快速地优化光照射区域等光学系统或检测系统来提高分析、判别的精度、速度的分析装置。

解决问题的技术方案

本发明基本上基于以下见解而提出：能够提供一种分析装置，该分析装置基于来自观测对象的光、电磁波等的信号进行分析而不进行图像化，通过机器学习优化光源系统或者检测系统之外，还利用机器学习对观测对象的分析、判别方法进行优化，从而能够快速且高精度地分析以及判别观测对象。

通过将单细胞流式细胞术的各要点委托给机器学习，能够智能地测量，智能地分析、判别细胞信息的大数据。实现不受人类智慧偏见束缚的细胞分类法(1)、不拍摄细胞“图像”的高速的细胞空间信息拍摄、分析法(2)、根据对象自动优化的光拍摄法(3)，从而解决上述三个问题。

首先，在细胞分类时(1)，通过机器学习对包括细胞形态、核形态、分子定位、分子信息的大量的细胞信息进行表型分析，从而进行没有人类智慧偏见影响的最佳分类。另一方面，也能够从人类、生物、遗传学观点解释机器的分类结果并对机器进行教育等，交互地进行评价。通过对机器进行教育，能够提高对特定的靶细胞的灵敏度。

在空间信息拍摄、解析时(2)，在使用单像素检测元件的高速拍摄技术过程中获得的时间波形信号中，(虽然通过人眼不能识别)包括被压缩的拍摄对象的空间信息。让机器学习该一维的时间波形数据，相当于学习二维图像，且在不降低信息质量的情况下飞跃地提高处理速度。特别是发明人等开发了被称为动态重影成像(GMI：Ghost Motion Imaging)的、利用光结构与拍摄对象的相对移动且使用单像素检测元件的高速高灵敏度(荧光)成像技术，GMI生成的时间波形具有将空间信息准确地压缩成时间波形的拍摄机构，通过对该时间波形直接进行机器学习，无需将细胞空间信息以“图像”的形式重构，就能够进行与分析重构图像同样的高精度、灵敏度的细胞分析，并且能够使分析或判别显著高速化。通过该方法中的GMI时间波形的机器学习而得的细胞分类，由于能获得与通过对GMI重构图像进行机器学习而得的细胞分类相同的结果，因此也作为(1)的解决手段。

在根据对象优化光拍摄法中(3)，例如，通过在GMI图像与现有相机图像之间进行机器学习，例如通过动态地修改GMI使用的光结构，能够实现图像细胞计量的高速、高灵敏度、高精度化。另外，通过将细胞计量结果、评价反馈给光拍摄法，也能够实现细胞计量目标的高灵敏度化。

本发明的第一侧面涉及分析装置。该分析装置，具有：

光源1；

光照射区域3，被来自光源1的光照射；

受光部7，接收来自光照射区域3中存在的观测对象物5的散射光(包括拉曼散射)、透射光、荧光、或者电磁波，并将其转换为电信号；

存储部9，从受光部7接收电信号并记录；

分析部11，分析由存储部9记录的与散射光、透射光、荧光、或者电磁波有关的电信号，并记录分析结果；以及

光学系统控制部13，基于分析结果，优化光源1或者光照射区域3；

对于该分析装置而言，优选通过机器学习对分析部11的判别算法进行优化。

对于该分析装置而言，优选的是，分析部11对观测对象进行分析，而不将与散射光、透射光、荧光或电磁波有关的电信号重构为观测对象的图像。

对于该分析装置而言，优选光学系统控制部13通过机器学习来优化光源1。

对于该分析装置而言，优选的是，来自光源1的光具有多个光区域21，光学系统控制部13控制多个光区域21的光结构。

对于该分析装置而言，优选光学系统控制部13基于电信号对观测对象物3的存在区域进行分析，并进行控制以限定光照射区域3。

对于该分析装置而言，优选光学系统控制部13基于电信号对观测对象物5的疏密进行分析，并获得观测对象的疏密信息，基于疏密信息，控制光源1或者光照射区域3。

对于该分析装置而言，优选还具有受光系统控制部27，该受光系统控制部27从受光部7接收电信号，并优化受光区域25，该受光区域25是光照射至受光部7的区域。对于该分析装置而言，优选受光系统控制部27通过机器学习来优化受光区域25。

该分析装置的优选的利用方式是具有上述任意分析装置的流式细胞仪。该流式细胞仪具有包括光照射区域3的流动室31。

该流式细胞仪优选具有分选部33，该分选部33根据分析部11的分析结果，判别观测对象，对观测对象物5进行分选。

发明效果

根据本发明，能够提供一种能够在维持光学系统的基础上提高分析、判别的精度、速度的分析装置。另外，根据本发明，能够提供一种分析装置，该分析装置通过快速地优化光照射区域等的光学系统或者检测系统，提高分析、判别的精度、速度。

附图说明

图1是表示本发明的分析装置的概要的概念图。

图2是表示通过机器学习而对由单细胞图像生成的GMI时间序列单细胞信号进行分类的结果的照片，用于代替附图。

图3是表示通过机器学习而对由单细胞图像生成的GMI时间序列单细胞信号进行分类的结果的照片，用于代替附图。

图4是表示通过比较观测对象物的GMI图像与通常的相机图像，从而在维持判别精度、图像精度的同时推进光结构的优化的例子的图。

图5是表示观测对象物从被图案化的照明通过的概念图。

图6是表示图5所示的观测对象物发出荧光的状态的概念图。

图7是对图5所示的观测对象物发出的荧光进行检测时的时间序列检测信号的概念图。

图8是表示从检测信号的强度求出的荧光分子的位置以及荧光强度、即荧光图像的概念图。

图9是用于说明图像再现原理的图。

图10是用于说明图像再现工序的例子的图。

图11是表示优化照明图案的工序例子的概念图。

图12是表示在实际上针对各种观测对象物而优化照明图案的例子的照片，用于代替附图。

图13是表示优化照明图案的工序例子的概念图。

图14是表示优化照明图案的工序例子的概念图。

图15是表示优化照明图案的工序例子的概念图。

图16是表示实施例中的用于学习的对象样本的图。

图17是表示实施例中的光结构的图。

图18是表示实施例中的光结构的图。

图19是表示实施例中的大量的单细胞图像组样本的图。

图20是表示实施例中的光结构的图。

图21是表示实施例中的虚拟流式细胞术的细胞时间波形组的图。

图22是表示在实施例中被分类的细胞群(右下)、该细胞群产生的时间序列信号的平均信号(上)、以及基于平均信号再生的细胞图像的图。

图23是表示在实施例中被分类的细胞群(右下)、该细胞群产生的时间序列信号的平均信号(上)、以及基于平均信号再生的细胞图像的图。

图24是表示实施例中的优化前后的光结构、以及优化对判别精度的影响效果的图。

图25是表示分析系统的一个例子的一个例子。

图26是表示分析部的判别式计算电路的一个例子的图。

图27是表示现有的细胞计量术的图。

图28是表示GMI法中对观察对象物进行观察的处理方法的一个例子的图。

图29是表示GMI法的概念的图。

图30是例举3种具体使用的细胞的图。

图31是表示判别器的形成方法的一个例子的图。

图32是表示判别不同细胞种类的结果的一个例子的图。

图33是表示流式细胞术安装中的流体系统的一个例子的图。

图34是表示理想的流体实验系统中的判别精度的一个例子的图。

图35是表示稳健的判别方法中的判别精度的一个例子的图。

具体实施方式

以下，参照附图对用于实施本发明的方式进行说明。本发明不限于以下说明的方式，也包括本领域技术人员在显而易见的范围内由以下的方式适当修改而成的方式。

在图1中，示出了与本发明的第一侧面有关的分析装置。如图1所示，该分析装置具有：光源1；光照射区域3，被来自光源1的光照射；受光部7，接收来自在光照射区域3中存在的观测对象物5的散射光(包括拉曼散射)、透射光、荧光、或者电磁波，并将其转换为电信号；存储部9，从受光部7接收电信号并记录；分析部11，分析由存储部9记录的与散射光、透射光、荧光或者电磁波有关的电信号，并记录分析结果；以及，光学系统控制部13，基于分析结果，通过机器学习等优化光照射区域3。

对于该分析装置而言，优选还具有受光系统控制部27，从受光部7接收电信号，并优化受光区域25，该受光区域25是光照射至受光部7的区域。对于该分析装置而言，优选受光系统控制部27通过机器学习优化受光区域25。此外，分析装置在不存在光学系统控制部13且仅具有受光系统控制部27的情况下，也能够进行快速且高精度的分析。像这样的分析装置，具有：光源1；光照射区域3，被来自光源1的光照射；受光部7，接收来自在光照射区域3中存在的观测对象物5的散射光、透射光、荧光、或者电磁波，并将其转换为电信号；存储部9，从受光部7接收电信号并记录；分析部11，分析由存储部9记录的与散射光、透射光、荧光、或者电磁波有关的电信号，并记录分析结果；以及受光系统控制部27，从受光部7接收电信号，并优化受光区域25，该受光区域25是光照射至受光部7的区域。

以下，对本发明的概要进行说明。

从人类智慧偏见中释放出来的高精度、高灵敏度的细胞分类法

通过机器学习对由先进光技术产生的包括细胞形态、核形态、分子定位以及分子信息的大量的细胞信息进行表型分析，由此，尽可能不加入人类智慧偏见、客观地进行准确的最佳细胞分类。另一方面，也能够从人类、生物、遗传学观点解释机器的分类结果并对机器进行教育等，交互地进行评价。通过对机器进行教育，能够提高对特定的靶细胞的灵敏度。

图2是通过机器学习而对由单细胞图像生成的GMI时间序列单细胞信号进行分类的结果。例如，对于复杂、大量的样本(例如血液)内的单细胞群生成的GMI时间序列细胞信号组，首先通过无监督的机器学习进行分类(同类分类的细胞图像组、图2左)，将各组的典型的代表例(模板图像、图2右)提示给人类。然后以该模板为基础，人类根据目的选择细胞(对机器的教育)。根据该结果，机器修改判断标准，能够以更高灵敏度对目标细胞进行高速分类。

图3是通过机器学习而对由单细胞图像生成的GMI时间序列单细胞信号进行分类的结果。由于是随机拍摄的图像，因此，也包括不一定是单个细胞的情况。在各组中，左图是属于同一分类的GMI时间序列单细胞信号的原始细胞图像，右图是通过GMI重构处理由属于同一分类的GMI时间序列单细胞信号的平均信号生成的，是在同一分类中典型的模板细胞图像。能判别是单细胞还是多个细胞，并且当考虑到应用流式细胞术时，在降低假阳性率上是有效的方法。例如，在测量荧光分子总量并判别细胞的现有流式细胞术中，无论是单细胞或者多细胞、还是混入的异物等都是主要的假阳性结果。本发明能够给为现有的流式细胞术的信息中提供追加的空间信息，降低假阳性率。另外，同一分类中典型的模板图像的生成，由于能够确认通过机器学习进行的分类是否符合使用者的意图，因此对于实际使用是有用的。

上述机器学习的导入，不仅是流式细胞术技术与GMI等高速成像技术的结合，还包括流式细胞术技术与非线性分子光谱学技术(拉曼光谱学、受激拉曼散射光谱学、相干反斯托克斯拉曼散射光谱学)的结合。在该情况下，对散射光谱的时间序列信号而不是图像或时间波形进行机器学习，不经过傅里叶变换，从而显著缩短了分析时间，进行未加入人类智慧偏见的分类。另外也能够构建一个交互系统。例如，通过无监督的机器学习进行细胞分类，生成模板光谱，观察该模板，人类进行教育，能够基于有监督的机器学习而以更高精度进行符合目的的细胞分类。

在不拍摄细胞“图像”的情况下获得细胞空间信息的高速拍摄、解析法

例如在GMI法中，在使用单像素检测元件的高速拍摄技术过程中获得的时间波形信号中，(虽然通过人眼不能识别)包括被有效地压缩的拍摄对象的空间信息。让机器学习该一维的时间波形数据，相当于学习二维图像。因此，由于不经过图像重构，能够飞跃地提高处理速度，另一方面，信息、判别精度不会降低。不重构“图像”就能够快速、高精度、高灵敏度地处理细胞空间信息。例如，图2、图3所示的无监督的细胞分类也是使用压缩时间波形信号。在从人类智慧偏见中释放出来的高精度、高灵敏度的细胞分类中，也能够不经过图像重构进程而直接使用压缩时间序列信号。

根据对象自动优化的光拍摄法

例如通过在GMI图像与现有相机图像之间进行机器学习，动态地修改GMI使用的光结构。另外，也能够将细胞计量结果(包括想要观察对象的特异的信息等的人类的判断)反映给光拍摄法。

在光拍摄进程中导入自动机器学习

如图4所示，根据目的、研究者，观察对象的特征有很大的不同(细菌、血液等)。通过在光拍摄进程中导入自动机器学习，使用光空间调制器等自动优化所需的光结构。光结构中存在整体形状(矩形、菱形、椭圆)、大小、随机图案的亮部的密度、以及各亮部图案的大小等参数。通过机器学习，一方面使光拍摄、信息处理高速化，另一方面优化本参数组，以使精度提高。

通过对生成多维的大量信息的下一代流式细胞术的观察对象导入机器学习，能够获得如下效果：a、能够处理大量、多维的数据，b、高速的解析、判别处理，c、高精度化，d、没有人类个体差异、人的疲劳等的干预，e、能够准确地捕捉通过人类有限的知识、感知不能够识别的细胞的特征。不仅在通过荧光成像等拍摄细胞的空间信息时，而且即使在分子光谱分析中，也能够从人眼不能区分的光谱数据高速地执行高精度的解析、判断。

通过处理在光拍摄法中有效地压缩细胞空间信息而得的时间波形信号，而不是细胞图像这样的二维信息，能够在不降低信息的质量的情况下高速地处理。

通过根据观察对象对光拍摄法进行优化，能够在有效地压缩对象信息的同时准确地收集，并且在不降低细胞计量精度的情况下，能够实现光拍摄的高速化，信息处理的高速化。另外，通过将细胞计量结果(包括想要观察对象的特异的信息等的人类的判断)反映给光拍摄法，能够进行符合目的的修改，实现细胞计量的高灵敏度化。

以下，对本发明的分析装置中的各要素进行说明。

光学系统

光源1、以及被来自光源1的光照射的光照射区域3形成用于向观测对象物照射光的光学系统。光学系统可以适当具有光学元件，该光学元件包括未图示的镜、透镜、空间光调制器、滤波器。光学系统也可以是具有结构化照明图案的光学系统(系统)，该结构化照明图案具有光特性不同的多个区域。光学系统的例子可以是光学元件组，该光学元件组具有：光源；滤波器，用于接收来自光源的光，并形成结构化照明图案。光学系统的其他的例子是光源组，该光源组具有构成照明图案的多个光源(或者是包括光源组和光学元件的光学元件组)。

来自光源的光，例如，通过具有光特性图案的滤波器，从而以光图案照射测定对象物。光源虽然可以是连续光也可以是光脉冲，但优选连续光。光源可以由单一的光源组成，也可以是包括有规则地配置的多个光源(例如，包括在纵向方向以及横向方向等间隔配置的多个光源的光源)的光源。在该情况下，优选能够控制多个光源的强度以及波长中的任意一者或两者的光源。

光源可以是白色光，也可以是单色光。光特性的例子可以是与光强度、光波长、以及偏光中的任意一个以上有关的特性(例如透射率)，但并不限于此。具有光特性不同的多个区域的结构化照明图案的例子具备：具有第一光强度的多个区域；以及，具有第二光强度的多个区域。光特性不同的多个区域的例子具有在规定区域内随机分散的光特性不同的部位。另外，光特性不同的多个区域的其他的例子是，存在被区分成格子状的多个区域且该多个区域具有：至少具有第一光强度的区域以及具有第二光强度的区域。该具有光特性不同的多个区域的结构化照明图案，例如，能通过调整包含在多个光源中的各光源的强度、频率来实现，或者，能通过将来自光源的光照射到印刷有图案的透明膜来获得。优选的是，该结构化照明图案被照射于观测对象物。

当观测对象物5例如被安装于特定的台、或者在特定的台上移动时，在该台中，被来自光源的光照射的区域是光照射区域3。通常，观测对象物5存在于光照射区域3中，或者从光照射区域3中通过。

对于观测对象物5而言，能够根据用途将各种物体作为观测对象物。观测对象物的例子为细胞、体液以及眼球(可以是运动的眼球)，但并不限于此。

受光部(拍摄部)

受光部7是检测要素，该检测要素接收来自在光照射区域3中存在的观测对象物5的散射光(包括拉曼散射)、透射光、荧光、或者电磁波(以下简称为“光信号”)，并将其转换为电信号。接收电磁波时，能够基于各种分光技术进行解析。受光部7，例如可以包括光空间调制器等光学元件，也可以是能够适当调整来自观测对象物5的光信号的受光部。在来自光照射区域3中存在的观测对象5的光信号中，如果到达受光部7的区域是光受光区域，则可以通过这些光学元件控制光受光区域。

换言之，受光部7可以是具有光特性不同的多个区域的结构化检测系统。受光部7可以被配置为包括作为光学元件的光空间调制器、或者使用部分地涂覆或描绘铝、银或铅等使透射性改变的物质而得的膜的元件。也就是说，受光部7可以构成为：将上述的光学元件配置在被相同的照明照射的观测对象物5与受光部7之间等。在来自于光照射区域3中存在的观测对象5的光信号中，如果到达受光部7的区域是光受光区域，则可以通过这些光学元件控制光受光区域。

受光部7优选具有受光装置(拍摄装置)，并具有一个或少数的像素检测元件。一个或少数的像素检测元件的例子是光电倍增管，或者多通道板光电倍增管，但并不限定于这些。由于少数的像素检测元件紧凑且各元件能够并列地高速运转，因此能够优选用于本发明。单像素检测元件的例子被公开在专利4679507以及专利3444509中。受光装置的例子是PMT(photomultiplier tube、光电倍增管)、线型PMT元件、APD(Avalanche Photo-diode、雪崩光电二极管)、Photo-detector(PD：光检测器)等单一或者少数受光元件，或者CCD相机、CMOS传感器。

受光部7可以具有多个种类的检测装置。在需要图像重构来进行优化的情况下，例如，一方检测装置可以是基于GMI的检测系统，另一方检测装置可以是通常的相机。在该情况下，如图4所示，将来源于GMI的图像与来源于相机的图像进行比较，调整光学系统、检测系统，以使来源于GMI的重构的图像与来源于相机的图像之间的差异变小。

存储部

存储部是以使能够进行信息的交换的方式与受光部等要素连接，并记录信息的要素。当受光部具有存储器、硬盘等存储装置时，这些存储装置作为存储部起作用。另外，当受光部与计算机连接时，除了该计算机的存储装置(存储器、硬盘等)之外，与计算机连接的服务器等作为存储部起作用。存储部从受光部7接收电信号并记录。

分析部对于存储部9记录的与散射光、透射光、荧光、或者电磁波相关的电信号进行判别、分类并记录该结果。通过使用机器学习进行分析，能够判别、分类如人眼不能读取的GMI压缩时间序列信号那样的细胞数据。即，优选的是，分析部存储用于进行机器学习的程序，并且对于被提供的信息，能够进行机器学习。在实施例中示出了判别、分类的具体细节，例如，分析部判别观测对象属于哪类。例如，在使用k-means法的判别中，将作为预先获得的各类的模板的电信号图案与新获得的电信号图案的距离最小的类作为该新获得的电信号图案的类。另外，积蓄所观测的电信号，并对所积蓄的电信号的图案组进行分类。在该分类中，进行分类以使各类的电信号平均图案与各电信号图案的距离成为最小。另外，根据该蓄积数据、分类数据，判别新的电信号图案。进一步地，根据需要，基于新的电信号图案更新该蓄积数据、分类数据。分类数据的更新是指使用新的电信号图案计算各类的平均数据、中间值数据。分类数据的更新意味着，例如，对于当前的电信号图案a和b的平均值即(a+b)/2，加入新的电信号图案c，设为(a+b+c)/3。

分析部可以具有：例如，时间序列信号信息获取部，其在规定期间内接收光信号，并获取光信号的时间序列信号信息；部分信号分离部，其从时间序列信号信息分离观测对象的部分区域中的部分时间序列信号信息。例如，预先积蓄在观测对象物为非细胞的混入物等的情况下的时间序列信号信息，当某个观测部分的部分时间序列信号信息分类成以下图案时，则能够把握到在该观测部分中不存在细胞，所述图案被分类为非细胞的混入物等的部分时间序列信号信息。于是，由于在不重构图像的情况下能够把握不存在细胞的区域，因此处理变得快速，如后述，通过以不对该部分照射光、或者在其后不采用来自该部分的时间序列信号信息的方式进行控制，能够减少信息量，减少错误，加快处理。根据用途，分析部还可以具有部分图像重构部，该部分图像重构部从获得的观测对象的部分时间序列信号信息中提取或重构与观测对象的各部分的图像(发光强度等)有关的信息。此外，分析部也可以具有图像重构部，该图像重构部使用由部分图像重构部重构的观测对象的各部分的图像，来重构与观测对象有关的图像。在该情况下，由于人类能够进行验证作业，因此优选，但由于观测对象物的图像被重构一次，因此分析以及判定需要花费时间。

检测信号包括每次时间变化的检测强度的信息。时间序列信号信息获取部，获取光信号的时间序列信号信息。时间序列信号信息获取部的例子是：将一个或者少数像素检测元件等的受光部在规定期间接收、检测以及存储的检测信号作为时间序列信号信息接收。由时间序列信号信息获取部获取的时间序列信号信息也可以适当地存储在存储部。另外，由时间序列信号信息获取部获取的时间序列信号信息可以被发送到部分信号分离部，以用于部分信号分离部进行运算处理。

部分信号分离部是用于从时间序列信号信息分离出观测对象的部分区域中的部分时间序列信号信息的要素。时间序列信号信息包括来源于观测对象物各部分的检测信号。因此，部分信号分离部从时间序列信号信息分离出观测对象的各部分区域中的时间序列信号信息即部分时间序列信号信息。此时，部分信号分离部读出存储的与照明图案有关的信息H，并使用读出的与照明图案有关的信息H以及时间序列信号信息来分离出部分时间序列信号信息。也就是说，由于时间序列信号信息存在与照明图案有关的信息H相对应的变动，因此通过使用与照明图案有关的信息H，能够将时间序列信号信息分离为部分时间序列信号信息。从时间序列信号信息中分离出的观测对象的各部分区域中的时间序列信号信息即部分时间序列信号信息也可以存储在适当存储部。另外，根据用途，部分时间序列信号信息可以被发送到部分图像重构部，以用于部分图像重构部进行运算处理。

部分图像重构部是用于从部分时间序列信号信息中提取或重构与观测对象的各部分的图像(发光强度等)有关的信息的要素。部分时间序列信号信息由于是各部分区域中的时间序列信号信息，因此，能够求出与各区域中的光强度有关的信息f。与观测对象的各部分的图像(发光强度等)有关的信息可以适当存储在存储部。另外，与观测对象的各部分的图像(发光强度等)有关的信息可以被发送到图像重构部，以用于图像重构部进行运算处理。在该情况下，例如，由于能够在重构图像之前分析观测对象，因此能快速优化光源系统、检测系统，并且能够获得观测对象的图像。

图像重构部是使用由部分图像重构部重构的观测对象的各部分的图像，来重构与观测对象有关的图像的要素。由于观测对象的各部分的图像是观测对象物的每个区域的图像，因此通过匹配该图像，能够重构与观测对象有关的图像。

对于该分析装置而言，优选通过机器学习来优化分析部11的判别算法。也就是说，分析部11具有用于进行各种分析的判别算法，该判别算法通过机器学习被优化。判别算法包括：使用上述观测对象的分类或在不存在观测对象的情况下的信号的分类来进行判别的算法。分析的例子是：把握观测对象的特征光信号分量、设定用于判别作业的阈值、光学系统以及检测系统的优化条件。

机器学习是公知的，例如，在日本专利5574407号公报、日本专利5464244号公报以及日本专利第5418386号公报中已公示。机器学习的例子是：使用Ada Boosting的算法学习。机器学习，例如，在观测对象物中获得多个关于对象物的光信号，并从获得的光信号学习观测对象物的特征。通过进行机器学习，能够非常有效且快速地检测特定细胞的有无。机器学习的对象不限于图像，例如，如使用拉曼分光的情况，只要检测没有图像化的振动，并且使用该检测到的信号作为分析对象即可。例如，通过分析部，通过机器学习分析多个观测对象的光信号，能够分析观测对象的光信号的分类、判别。

对于该分析装置而言，优选的是，分析部11分析观测对象而不使用与散射光、透射光、荧光、或者电磁波有关的电信号重构观测对象的图像。分析部11，例如，使用上述时间序列信号信息、部分时间序列信号信息、或者GMI来分析观测对象。在该例子中，针对多个对象，通过机器学习预先识别图案等，并通过将时间序列信号信息、部分时间序列信号信息或GMI与图案等对照，从而能够分析观测对象是否是特定的对象，除此以外，还能够分析包括观测对象的大小、位置在内的与观测对象有关的信息。

光学系统控制部

光学系统控制部13是用于基于分析结果优化光源1或者光照射区域3的要素。

用于控制受光部7、光源1或者构成光学系统的光学元件的控制信号(控制命令)可以在之前说明的分析部中求出，也可以在光学系统控制部13中求出。当控制命令在分析部中求出时，光学系统控制部13根据分析部3求出的控制信号(控制命令)控制光源1或者构成光学系统的光学元件，从而能够优化光源系统。

光学系统控制部13的例子是：与对受光部7、光源1或构成光学系统的光学元件进行控制的控制装置连接的计算机，以使控制装置与计算机之间能够进行信息的交换。然后，该计算机安装程序，使其能够进行特定的运算处理、输入输出。该程序的例子是用于进行机器学习的程序。

在像GMI这样的图像拍摄机构中，优选光学系统控制部13基于来自受光部7的电信号，对时间波形电信号(GMI)直接进行处理，而不重构观测对象的图像。根据用途，可以具有重构观测对象物的图像的功能，在该情况下，能够验证图像质量。

在像拉曼分光测定这样的光谱时间波形记录机构中，优选的是，光学系统控制部13基于来自受光部7的电信号，对时间波形电信号直接进行处理，而不进行光谱的傅里叶变换以及在频率空间解析分子光谱。但是根据用途，光学系统控制部13可以通过对电磁波光谱进行傅里叶变换而在频率空间解析分子光谱。

对于该分析装置而言，优选的是，光学系统控制部13通过机器学习而优化光源1或光照射区域3。光源1的优化的例子是：调整光源1的光强度。对于该分析装置而言，优选的是，来自光源1的光具有多个光区域21，光学系统控制部13控制多个光区域21的光结构。对于该分析装置而言，优选光学系统控制部13基于电信号分析观测对象物5的存在区域，并进行控制以限定光照射区域3。

对于该分析装置而言，优选的是，光学系统控制部13基于电信号分析观测对象物5的疏密并获得观测对象的疏密信息，基于疏密信息，控制光源1或者光照射区域3。

受光系统控制部

对于该分析装置而言，优选还具有受光系统控制部27，该受光系统控制部从受光部7接收电信号，并优化受光区域25，受光区域25是光照射至受光部7的区域。对受光系统控制部27而言，之前说明的分析部可以进行受光系统的分析。也就是说，分析部，例如采用机器学习用的程序，预先将受光部中未获得有益信息的部分的受光信号分类。然后，在受光部中的某部分的受光信号被分类为该分类的情况下，例如，进行处理以使来自该部分的信息不用于解析。通过这样的操作，能够减少分析的处理量，并且能够进行快速处理。对于该分析装置而言，优选受光系统控制部27通过机器学习优化受光区域25。在该优选的方案中，可以使用与光学系统控制部13优化光学系统的方法相同的方法，来优化光源1或受光区域25。受光系统控制部25的例子是：能够与对受光部7、光源1或构成光学系统的光学元件进行控制的控制装置连接的计算机，以使控制装置与计算机之间能够进行信息交换。也就是说，在本说明书中，不仅优化了光学系统，也优化了受光系统，公开了仅优化受光系统的说明。

分析装置可以包括公知的分析装置中的各种要素。像这样的要素的例子是相对位置控制机构。

接下来，对本发明的成像装置的动作例进行说明。

图5是表示观测对象物从图案化的照明中通过的概念图。如图5所示，观测对象物5通过相对位置控制机构被移动，且从光学系统中的模式化的照明中通过。该图案化的照明光结构以H(x，y)的矩阵示出其强度分布。该观测对象物5具有光学空间信息，例如由F1～F4表示的荧光分子。然后，这些荧光分子根据接收的光的强度不发出荧光、或者发出的荧光的强度不同。即，在该例子中，由F₂表示的荧光分子首先发出荧光，其发光强度受到所通过的图案化的照明的影响。来自观测对象物5的光可以适当通过透镜等集光。然后，来自观测对象物5的光被发送给一个或者少数像素检测元件。在图5的例子中，将观测对象物的行进方向作为x轴，将与x轴处于同一平面状且与x轴垂直的方向设为y轴。在该例中，F₁以及F₂作为在具有相同y坐标的y1上的荧光(将其标记为H(x，y₁)。)观测。另外，F₃以及F₄被观测作为在具有相同y坐标的y₂上的荧光(将其标记为H(x，y₂)。)观测。

图6是表示图5所示的观测对象物发出的荧光的状态的概念图。如图6所示，从各荧光分子发出荧光，例如，F₁以及F₂由于经受相同的照明图案，因此认为具有类似的时间响应图案或者输出图案。另一方面，认为在F₁以及F₂中发光强度是不同的。因此，F₁以及F₂的发光强度能够近似为F₁以及F₂与H(x，y₁)的乘积，所述F₁以及F₂作为各发光分子的特异性系数，所述H(x，y₁)是坐标y₁共有的时间响应图案。对于F₃以及F₄也是同样的。

图7是对图5所示的观测对象物发出的荧光进行检测时的检测信号的概念图。该检测信号作为图6所示的荧光信号的和信号被观测。于是，该信号包含多个强度的时间变化图案H(x，y_n)。于是，能够根据该检测信号的强度(G(t))和H(x，y_n)求出各坐标以及各坐标中的荧光系数(荧光强度)。

图8是表示根据检测信号的强度求出的荧光分子的位置以及荧光强度的概念图。如图8所示，能够从检测信号G(t)能够求出荧光系数(荧光强度)F₁～F₄。

更详细地说明上述原理。图9是用于说明图像再现原理的图。例如，作为对象内坐标已存在F(1)以及F(2)。然后，在时间1中，第一图案的光照射于F(1)，不照射于F(2)。在时间2中，第二图案的光照射于F(1)，第一图案的光照射于F(2)。在时间3中，不对F(1)照射光，对F(2)照射第二图案的光。于是，检测信号G(t)如下。G(1)＝F(1)H(1)，G(2)＝F(1)H(2)+F(2)H(1)，G(3)＝F(2)H(2)。如果解出这些数学式，就能够解析F(1)以及F(2)。若使用该原理，则即使对象内坐标增加也通过相同的方法解析，从而能够求出F(1)～F(n)。

接下来，在对象是2维的情况下，将观测对象物的内部坐标设为F(x，y)。另一方面，图案照明也同样地具有坐标。如果观测对象物的内部坐标在x轴方向取值n、在y轴方向取值n，则F(x，y)的未知数为n×n个。与上述同样地测定信号，对获得的信号G(t)进行解析，从而能够重构F(x，y)(0≤x≤n、0≤y≤n)。

图10是用于说明图像再现工序的例子的图。在该例子中，图像为f(对象位置信息向量)，以行列式表示。然后，图案化的照明表示为H(X，y)，X由随时间变化的变量表示。另外，检测到的信号强度表示为g(测量信号向量)。于是，这些能够表示为g＝Hf。如图10所示，为了求出f，只要从左边乘以H的逆矩阵H^-1即可。另一方面，存在H太大而不容易求出H的逆矩阵H^-1的情况。在该情况下，例如，只要使用H的转置矩阵H^t来代替逆矩阵即可。使用该关系，能够求出f的初始推定值f_int。然后，使用f的初始推定值f_int优化f，从而能够再现观测对象的图像。

换言之，图10是用于说明图像再现工序的例子的图。在该例子中，图像为f(对象位置信息向量)，以行列式表示。然后，图案化的照明表示为H(X，y)，X由随时间变化的变量表示。另外，检测到的信号强度表示为g(测量信号向量)。于是，这些能够表示为g＝Hf。如图10所示，为了求出f，只要从左边乘以H的逆矩阵H^-1即可。另一方面，存在H太大而不容易求出H的逆矩阵H^-1的情况。在该情况下，例如，能够以H的转置矩阵H^T与g的乘积结果的形式求出f的初始推定值f_init。然后，使用f的初始推定值f_int优化F，从而能够再现观测对象的图像。

与观察对象的形状匹配的光结构的形状

细胞等细胞计量中的观察对象多为球形。此时，光结构的整体的形状不需要是长方形。例如，在质量不下降的范围内，将光结构的四角的亮部改为暗部，来增加暗部。然后，如果质量下降，则只要重复在四角增加几个新的点这样的循环即可。

在细胞成像时，存在细胞质、核等紧密的结构，以及细胞膜、定位分子、特异的染色体标签(FISH法等)等稀疏的结构。在GMI中，基本上优选在紧密的对象结构中设计稀疏的光结构，优选在稀疏的对象结构中设计紧密的光结构。首先根据GMI电信号，判断对象物的疏密。例如，当对象信号的时间积分值相对于对象信号的最大值与对象信号的时间宽度的乘积的比(对象信号的时间积分值/对象信号的最大值与对象信号的时间宽度的积)在规定值以上时，对象为紧密；当在规定值以下时，对象为稀疏。该值根据样本、对象结构进行调整。

根据该判断，设计更稀疏或更紧密的光结构。例如，相对于结构整体，使随机的亮部的占有率増加或者減少，来制作新的随机图案(当前的GMI光结构使用DMD、光掩模，结构单纯是随机的。因此，存在明暗两个值，将亮部指定为整体的任意百分比，使其随机分散)。重复上述循环，直到所述比(对象信号的时间积分值相对于对象信号的最大值与对象信号的时间宽度的乘积的比)最终进入某个规定的范围内(依赖于对象)为止。

对象信号S/N的强度

根据对象，光信号有时强度非常微弱、S/N比差，如果其变差，则不能够进行高精度的细胞信息处理以及细胞计量(cytometry)。

在GMI中提高S/N比的方法之一是将多个空间光调制器的像素合并，并将其作为GMI光结构的单位像素。由此，能够增加GMI光结构的单位像素的光量，提高S/N。

另外在拉曼分光法中，提高S/N比的方法之一是减少向对象物不会通过的部分的光照射。由此能够降低噪声光量，能够提高S/N。

最简单的合并方法是在纵向和横向分别将相同数量的像素合并的方法，例如2*2，3*3等。但是，空间调制器的结构尺寸(与样本上的GMI光结构的实际尺寸对应)由此而变大，吞吐量、信息量以及质量恶化。

用横向较长的四边形进行合并，例如纵1*横2。于是，GMI中的空间分辨率由纵像素的尺寸决定，因此空间分辨率不会恶化。但是，空间调制器的横像素数(与样本上的GMI光结构的实际横向宽度对应)变大，吞吐量被牺牲。

用纵向较长的矩形进行合并，纵2*横1。于是，GMI中的空间分辨率由纵像素的尺寸决定，因此空间分辨率恶化。但是，空间调制器的横像素数(与样本上的GMI光结构的实际横向宽度对应)不改变，吞吐量不恶化。

在细胞成像时，具有复杂的结构，例如细胞骨架结构、病毒感染路径、细胞信号网络等。对于像这样复杂的结构体，设计最佳的光结构是很难的。此时，根据GMI电信号，通过机器学习，例如以提高重构图像的质量为目的，能够自动优化光结构。需要说明的是，对于通过机器学习进行的光结构的优化而言，通过将目标函数设定为例如拍摄吞吐量的提高、电信号的计算量/图像信息量的减少、图像质量的提高、对目标特征量的灵敏度的提高(核/细胞质比、细胞尺寸、染色体凝集像、染色体数等)、信号S/N的提高、判别精度的提高等，从而实现包含上述例子的优化。

例如在通过GMI进行细胞成像时，能够用公知的机器学习、优化算法来优化光结构。公知的机器学习、优化算法包括：进化算法、模拟退火。例如，通过将照明区域的面积的最小化、画质质量或判别精度的最大化、S/N的最大化等设定为优化算法的目标函数，能够达成上述目的，能够优化通过机器学习的光结构。

图11是表示优化照明图案的工序例的概念图。在该例子中，使用之前说明的成像装置，获得光信号(GMI信号、重影运动成像信号、g)，并获得重构观测对象物5而得的图像(F)。另一方面，摄像部拍摄相同的观测对象物5，获得观测对象物的拍摄像(C)。然后，光学系统控制部比较重构的像(F)与拍摄像(C)。对于该比较而言，例如，只要在将重构的像(F)与拍摄像(C)调整为相同大小后，合计各像素所含的色彩或强度的对比度的差(或者合计差的绝对值、差的平方)，将获得的值作为比较值(ε)即可。然后，光学系统控制部适当地改变照明图案，使用与之前的观测对象物5相同的观测对象物、或者相同种类的观测对象物，再次获得比较值。如此地，在获得多个照明图案与比较值的组合之后，考虑照明图案具有的信息量，确定最佳的照明图案即可。

另外，可以基于重构的图像(F)把握观测对象物的大小，并控制照明图案以使该照明图案成为与把握的大小对应的照明图案。例如，针对一个或者多个观测对象物，获得重构的图像，并根据这些图像分析所需的照射区域的大小，控制照明图案使其变成该大小即可。在该情况下，光学系统控制部控制光学系统，以使照明图案成为所求出的优化的照明图案。光源系统根据来自光学系统控制部的控制信号，调整照明图案。如此地，能够获得优化的照明图案。

图12是表示实际上针对各种观测对象物而优化照明图案的例子的照片，用于代替附图。在该例子中，首先，多次进行图像重构，并把握观测对象物的大小的范围。这能够通过分析被重构的像存在的区域来容易地实现。而且，求出能够覆盖用于拍摄观测对象物所需的区域的照明图案的尺寸，并使包含于其尺寸内的照明图案发生各种改变，来获得比较值(ε)，从而根据各照明图案的比较值(ε)找到最佳的照明图案。通过使用该优化的照明图案，能够显著地减少信息量，并且，其后的用于重构图像所需的处理量显著减少，从而能够进行高速成像。

该成像装置的优选的例子如下，首先，基于上述的方法把握观测对象物的大小，并调整照射图案的大小。然后，使分布于调整后的大小(区域)的照明图案内的图案自身进行改变，并获得多个图案中的比较值(ε)。在此基础上，可以通过将比较值(ε)进行比较，获得最佳的照明图案。比较值(ε)可以是各像素的差分值的平方和。

图13是表示优化照明图案的工序例子的概念图。在该例子中，在不重构图像的情况下，基于光信号(GMI图像)，优化照明图案。该例子中，还具有：检测系统，拍摄观测对象物5；推定信号计算部，根据检测系统拍摄的观测对象物的拍摄像，求出推定信号g_C，该推定信号g_C推定出一个或者少数像素检测元件检测出的光信号；以及，运算部，将由一个或者少数像素检测元件检测出的光信号g与由推定信号计算部推定出的推定信号g_C进行比较，并且使照明图案改变。

对该例子而言，例如，检测系统拍摄观测对象物，并获得拍摄像。然后，对拍摄像进行图像解析，并把握各部位的组成、组织。然后，从存储了光照射时的与由各组成、组织射出等的光(例如荧光)相关的信息的表中，获得与各组成、组织对应的光信息。如此地，当光照射观测对象时，把握进行哪种光响应。于是，基于拍摄像，能够推定光信号g。这就是推定信号计算部推定的推定信号g_C。光信号g例如是像图7所示那样的光谱。于是，第二照明图案控制部107将推定信号g_C与光信号g的相对强度调整为大致相同，进一步地，通过光谱的形状的自动匹配(进行调整以使重复的量变为最大)，将推定信号g_C与光信号g的对应的位置关系调整为正确之后，求出推定信号g_C与光信号g的评价值(ε)即可。ε例如可以是每单位时间的推定信号g_C与光信号g的相对强度的差(或者差的绝对值、或者差的平方)的总计。或者例如，可以将推定信号g_C和光信号g转换在新的坐标空间中，求出在该空间内的相对强度等的差。基于各种照明图案求出评价值(ε)，只要使用评价值(ε)优化照明图案即可。

图14是表示优化照明图案的工序例的概念图。该例子用于已经存储有例如与观测对象物有关的信息(例如，由图像重构部重构观测对象物而获得的图像的图案)的情况。即，该例子中还具有控制部，其使用由图像重构部重构的观测对象物的图像(F)而改变照明图案。在该例子中，例如，控制部对重构的观测对象物的图像(F)和预先存储的图像的图案进行图案认证。由于图案认证技术是公知的，因此，通过将公知的图案认证用的程序安装在计算机里，能够实现图案认证。该例子例如在选定对象物(合格品或者不合格品)、或者检查对象物是否存在时能够有效地使用。另外，该例子能够用于自动地测量特定区域所含的细胞数这样的用途中。即，成像装置优选的例子还具有观测对象物判定部，其使用由图像重构部重构的观测对象物的图像，判别观测对象物。

图15是表示优化照明图案的工序例的概念图。该例子是例如用于已经存储有与观测对象物有关的信息(例如，光信号g的图案)的情况。该例子是还具有控制部，其使用由一个或者少数像素检测元件检测出的光信号g，使照明图案变化。在该例子中，例如，控制部对由一个或者少数像素检测元件检测出的光信号g和预先存储的光信号g的图案进行图案认证。由于图案认证技术是公知的，因此，通过将公知的图案认证用的程序安装在计算机里，能够实现图案认证。或者例如，可以将两个信号g转换在新的坐标空间中，求出在该空间内的相对强度等的差。

成像装置的优选的例子还具有重构图像分类部，其使用多个由图像重构部重构的观测对象物的图像，将观测对象的重构图像进行分类。由该重构图像分类部分类的图像(F)由控制部或判定部使用。

该分析装置优选的利用方式是具有上述任意分析装置的流式细胞仪。该流式细胞仪具有流动室，该流动室具有光照射区域3。

对于该流式细胞仪而言，优选具有分选部，该分选部基于分析部11的分析结果，判别观测对象，分选出观测对象物5。具体而言，在观测对象物5是目的物的情况、以及不是目的物的情况下，通过使经过分选部后的路径不同，能够分选目的物。

在流式细胞仪中，可以预先分析目的物，并且将表示目的物的信息(阈值等)存储在存储部中。另外，也可以观察包含很多目的物的对象，作为观测对象物使判别部进行判别，使机器学习与目的物有关的判别信息。该判别信息例如是各种光谱所包含的特征峰。

观测对象物移动通过流动室并到达光照射区域时，来自光源的光照射到观测对象物。然后，受光部接收来自观测对象物的光信号。分析部解析光信号。此时，分析部读取存储在存储部中的目的物的判别信息，通过与光信号进行比较，判断观测的观测对象物是否是目的物。当分析部判断出观测的观测对象物是目的物的情况下，分析部向判别部发送与观测对象物为目的物相对应的控制信号。接收了控制信号的判别部调整路径，并将观测对象物向目的物的路径引导。如此地，能够判别且分选目的物和目的物以外的物体。

此时，测定多个观测对象物，分析部可以适当地进行光学系统或者检测系统的优化。于是，能够以适当的精度快速地进行判别。

实施例1

以下，使用实施例具体地说明本发明。

＜实施例1-1＞(有监督的机器学习，使用光结构将图像无压缩地转换为时间序列信号，判别器形成以及判别)

本实施例使用的计算机的处理器为2.8GHz Intel Core i7，存储器为16GB。

首先，作为学习用的对象样本，分别准备了总计1100个纵19像素、横19像素的脸部图像组以及非脸部图像组，1000个用于学习，100个用于判别精度的测定(图16、图像源：Center For Biological and Computational Learning at MIT)。

在计算机内，对上述图像组提供噪声(S/N＝30dB)，虚拟地执行通过光结构的所述GMI进程，并生成时间序列信号。光结构是实验系统中已图案化的照明光结构或检测光结构，在这里使用的光结构是横19像素、纵343像素(图17)，生成时间序列信号是1×192个像素(与原始图像相同)。对全部波形信号附加脸部或非脸部的标签，并使用线性可分支持向量机方法，通过使其学习用于学习的1000个波形，形成了判别器。然后，基于100个新的脸部以及非脸部图像，使用相同的光结构准备时间序列信号，作为判别精度测定用样本。从该样本去除标签，使形成的判别器进行自动判别，测定标签(脸部或者非脸部)的正确回答率。

另一方面，对相同的图像样本提供噪声(S/N＝30dB)，附加脸部或者非脸部的标签，使用支持向量机方法，使其学习用于学习的1000个图像，从而形成判别器。然后，作为判别精度测定用样本，同样地准备100个新的脸部以及非脸部图像。从该样本去除标签，使形成的判别器进行自动判别，测定标签(脸部或者非脸部)的正确回答率。

其结果是，通过进行了时间序列信号样本学习的判别器，得到的脸部或者非脸部的时间序列信号的判别精度(脸部和非脸部的正确回答数/全体数×100)是87％，通过进行了图像样本学习的判别器，得到的图像的脸部或者非脸部的判别精度是82％。基于该结果可知，即使学习、判别时间序列信号，也能够获得与学习、判别原始图像时同等以上的判别结果，所述时间序列信号是使图像通过光结构而生成的。

另外，1000个样本的学习、100个样本的判别所花费的时间也没有在图像的情况与时间序列信号的情况之间发生变化。

＜实施例1-2＞(有监督的机器学习，使用光结构将图像压缩变换为时间序列信号，判别器形成以及判别)

本实施例使用的计算机的处理器为2.8GHz Intel Core i7、存储器为16GB。首先，作为学习用的对象样本，分别准备了总计1100个纵19像素、横19像素的脸图像组以及非脸图像组，1000个用于学习，100个用于判别精度的测定(图16)。

在计算机内，对上述图像组提供噪声(S/N＝30dB)，虚拟地执行通过光结构的所述GMI进程，并生成时间波形信号(例如GMI波形)。光结构是实验系统中已图案化的照明光结构或者检测光结构，在这里使用的光结构是横19像素、纵50像素(图18)，时间序列信号生成为68像素，与原始图像总像素数相比压缩81％。对全部的压缩时间序列信号附加脸部或者非脸部的标签，使用支持向量机方法，通过使其学习用于学习的1000个波形，形成判别器。然后，基于100个新的脸部以及非脸部图像，使用相同的光结构准备压缩时间序列信号，作为判别精度测定用样本。从该样本去除标签，使形成的判别器进行自动判别，测定标签(脸部或者非脸部)的正确回答率。

另一方面，对上述图像组提供噪声(S/N＝30dB)，附加脸部或者非脸部的标签，使用线性可分支持向量机方法，通过使其学习用于学习的1000个图像，形成判别器。然后，作为判别精度测定用样本，同样地准备了100个新的脸部以及非脸部图像。从该样本去除标签，使形成的判别器进行自动判别，测定标签(脸部或者非脸部)的正确回答率。

其结果是，通过进行了压缩时间波形信号样本学习的判别器，得到的脸部或者非脸部的压缩时间波形信号的判别精度(脸部和非脸部的正确回答数/全体数×100)是75％，通过进行了图像样本学习的判别器，得到的图像的脸部或者非脸部的判别精度是82％。基于该结果可知，即使通过光结构进行光学的图像压缩，利用机器学习而得的判别精度也能够维持相同精度。

另外，发现学习1000个时间波形样本花费的时间是399秒，学习1000个图像样本花费的时间是475秒。基于该结果可知，学习相同的样本时，与原始图像相比，在压缩时间信号的情况下能够缩短16％的时间。

进一步地发现，判别100个压缩时间序列样本花费的时间是0.0065秒，判别100个图像样本花费的时间是0.0147秒。基于该结果可知，在判别相同样本时，与原图像判别相比，在压缩时间信号判别的情况下能够缩短56％。

实施例2

实施例2(利用无监督的机器学习进行的细胞分类)

本实施例使用的计算机的处理器为2.8GHz Intel Core i7、存储器为16GB。

作为样本，对于通过分散小鼠脾脏而生成的一个细胞群，使用CalceinAM进行活细胞染色。如上述地，将经荧光标记的单细胞溶液在载玻片上铺开，使用荧光显微镜，用sCMOScamera(浜松光电公司(浜松ホトニクス社製)制，Flash 4.0)大量拍摄单细胞群的荧光图像。在计算机内读取该图像数据，通过软件(imagej)特定单细胞的位置，以纵横70像素划分出单细胞的周围，准备了大量的单细胞图像组样本2165个(图19)。该单细胞图像组，除了包含大小不同的单细胞，还包含图像，该图像包括多个细胞、细胞以外的物体。

在计算机内，对上述图像组提供噪声(S/N＝30dB)，虚拟地执行通过光结构的所述GMI进程，并生成时间序列信号，准备了虚拟流式细胞术细胞时间波形组(图20)。在这里使用的光结构是纵70像素、横400像素，时间序列信号变成470像素(图21)。(另一方面，对相同的图像样本提供噪声(S/N＝30dB)，准备了虚拟流式细胞术细胞图像。)

将如上所述准备的单细胞时间波形样本，使用软件(matlab)进行无监督的机器学习分类。具体而言，使用k-means方法，分类成20种细胞群。从处于各相同分类组中的细胞时间波形组中分别生成(平均)典型的时间序列信号，根据该时间序列信号生成细胞图像(图22以及图23)。其结果发现，能够正确分类是单细胞还是多个细胞、或是垃圾、还是细胞尺寸等。这些是以往细胞计量术的最大的错误源之一，并且，示出了即使在使用通过光结构而得的压缩时间波形信号进行的无监督的机器学习中，也能够正确地判别。

实施例3

实施例3(利用有监督的机器学习进行的光结构的优化)

在本实施例中，使用与实施例1中的样本相同的样本。

作为初始光结构，准备纵80像素、横20像素的随机结构，并且通过实施例1的图像样本，准备了时间波形信号组样本。与实施例1同样地使用线性可分支持向量机方法进行学习，求出判别精度(脸部和非脸部的正确回答数/全体数×100)。将该判别精度作为目标函数，为了使目标函数最大化，通过机器学习优化光结构(图24)。具体而言，使用遗传算法。个体数是200、代数是16000，采用轮盘赌选择进行选择，采用均匀交叉(uniform crossover)进行交叉。其结果是，与实施例1同样地，使用未优化的图像样本进行评价的结果是，利用初始随机光结构时的判别精度是65％，利用优化后的光结构时的判别精度是75％，提高了10％的判别精度。

接下来，参照图25，对分析部11的一个例子进行说明。

图25是表示分析系统的一个例子的一个例子。

分析系统200具有：流式细胞仪300、分析部11及计算机400。流式细胞仪300观测并分选观测对象物5。流式细胞仪300将观测的与观测对象物5相关的光信号输出给分析部11。分析部11根据来自流式细胞仪300的与观测对象物5相关的光信号，判别观测对象物5。计算机400对流式细胞仪300观测的与观测对象物5相关的光信号进行机器学习。计算机400根据机器学习的结果，改变判别部101的判别算法。

流式细胞仪300具有受光部7以及分选部33。

受光部7接收来自观测对象物5的光信号，并将其转换为电信号ES。受光部7将转换的电信号ES输出给信号输入部100。

分选部33基于信号判别结果R，对观测对象物5进行分选，所述判别结果R表示由分析部11分析电信号ES而得的结果。

计算机400具有存储部9以及机器学习部401。

在存储部9中存储有输入信号SS。机器学习部401机器对存储在存储部9中的光信号进行学习。

在该一个例子中，分析部11具有信号输入部100以及判别部101。判别部101具有能够变更逻辑电路构成的逻辑电路。逻辑电路可以是FPGA(field-programmable gatearray，现场可编程门阵列)等的可编程逻辑器件、或ASIC(application specificintegrated circuit，专用集成电路)等。

机器学习部401基于机器学习的结果，变更分析部11所具有的判别部101的判别算法。在该一个例子中，机器学习部401基于机器学习的结果，变更判别部101的逻辑电路构成。具体而言，机器学习部401基于机器学习的结果，构成判别逻辑LP，变更逻辑电路，所述判别逻辑LP是适于观测对象物5的判别算法的逻辑电路。

信号输入部100从受光部7获取电信号ES。信号输入部100将从受光部7获取的电信号ES作为输入信号SS，对存储部9以及判别部101进行输出。

信号输入部100可以通过对电信号ES进行滤波而除去电信号ES的噪声。作为噪声的一个例子，是高频噪声、散粒噪声等。信号输入部100通过除去电信号ES的噪声，能够使开始获取作为输入信号SS的电信号ES的触发位置稳定。信号输入部100通过使触发位置稳定，能够输出作为输入信号SS的适合机器学习使用的信号。

另外，信号输入部100可以根据观测对象物5的细胞尺寸等区分观测对象物5是单细胞还是多个细胞、或者观测对象物5是垃圾，从而确定是否作为输入信号SS输出。

根据观测对象物5，改变上述的滤波器。滤波器通过使电信号ES变成平缓的波形，从而消除噪声。具体而言，在滤波器中，存在与电信号ES的阈值进行比较的滤波器、在对电信号ES进行移动平均之后与阈值进行比较的滤波器、将对电信号ES进行移动平均而得的值进行微分之后与阈值进行比较的滤波器等。

判别部101从信号输入部100获取输入信号SS。判别部101基于从信号输入部100获取的输入信号SS，判别流式细胞仪300观测的观测对象物5。

判别部101通过利用逻辑电路来判别输入信号SS，从而判别观测对象物5。判别部101通过利用逻辑电路来判别观测对象物5，能够比通用计算机更高速地判别观测对象物5。

如上所述，受光部7，接收来自观测对象物的散射光、透射光、荧光、或者电磁波，将其转换为电信号，所述观测对象物存在于被来自光源的光照射的光照射区域。分析部11基于信号来分析观测对象物5，该信号基于由受光部7输出的电信号ES的时间轴而抽出。

另外，分析部11具有信号输入部100。信号输入部100对由流式细胞仪300输出的电信号ES进行滤波。信号输入部100通过对电信号ES进行滤波，将降低了噪声后的信号作为输入信号SS，输出给判别部101以及存储部9。机器学习部401能够基于降低了噪声后的输入信号SS进行机器学习，并能够提高观测对象物5的判别精度。此外，信号输入部100可以由逻辑电路构成。在信号输入部100由逻辑电路构成的情况下，可以基于机器学习结果而改变滤波器构成。

另外，分析部11具有判别部101。判别部101由于具有逻辑电路，因此，能够以比通用计算机的运算更短的时间来判别观测对象物5。

接下来，参照图26，说明支持向量机方法，该支持向量机方法是上述分析部11的判别算法的一个例子。

图26是表示分析部11的判别式计算电路的一个例子的图。

支持向量机方法的判别式能够通过式(1)表示。基于式(1)的结果的正负进行判别。

数学式1

式(1)中包含的b是常数。其中，通过使式(1)中包含的b变化，能够调节支持向量机方法的判别条件。例如，在将式(1)中包含的b改变以使判别的条件变得严格的情况下，能够将假阳性率抑制为较低。式(1)中包含的α以及Y是通过机器学习获得的值。

其中，将式(1)中包含的在X的上部带有＾(乘方符号)的符号记作X(乘方)。在式(1)中包含的X(乘方)能够通过式(2)表示。

数学式2

式(2)中包含的X是通过机器学习获得的矩阵。式(2)中包含的X(乘方)_jk是将通过机器学习获得的矩阵X归一化而得的值。

数学式3

式(3)中包含的x是输入到分析部11的数据。在该一个例子中，输入到分析部11的数据是指基于从受光部7输出的电信号的时间轴而抽出的信号。式(3)中包含的在x的上部带有＾(乘方符号)的符号记载为x(乘方)。式(3)中包含的x(乘方)_k是将x归一化而得的值。

其中，将上述式(1)以逻辑电路的形式实现时，逻辑电路规模变得庞大，有时不处于FPGA、PLD的逻辑电路规模内。于是，在安装于判别部101的逻辑电路中，安装基于式(4)的逻辑电路。

数学式4

式(4)中包含的在K的上部带有～(波浪号)的符号记载为K(波浪号)。式(4)中包含的在X的上部带有～(波浪号)的符号记载为X(波浪号)。式(4)中包含的在σ的上部带有～(波浪号)的符号记载为σ(波浪号)。

式(4)中包含的β_j、K(波浪号)，X(波浪号)_jk以及σ(波浪号)_k能够由式(5)表示。式(5)预先由计算机400所具有的机器学习部401算出。计算的结果被放入在分析部11所具有的逻辑电路中。式(4)中包括的b以及K(波浪号)是常数，β_j以及σ(波浪号)_k是向量，X(波浪号)_jk是矩阵。

数学式5

图26(a)是上述式(4)的判别式计算电路。通过并行地计算式(4)中包含的k的累加，来缩短运算时间。分析部11通过缩短运算时间，能够缩短观测对象物5的判别所花费的时间。

图26(b)是更高速地运算上述式(4)的判别式计算电路。在图26(b)所示的判别式计算电路中，除了并行上述的k的累加的结构之外，并行地运算式(4)中包含的j的累加。由此，分析部11能够比图26(a)所示的判别式计算电路更高速地判别观测对象物5。

以上，虽然已经说明了通过判别式计算电路实现支持向量机方法的方法，但判别部101的判别算法并不限于此。

接下来，说明当分析装置对用流式细胞术观察的观测对象物5进行机器学习时的一个例子。

图27是表示现有的细胞计量术的图。在现有的细胞计量术中，存在难以高速地对观察对象物进行观察且难以按照测定目的改变测定方法的问题。

图28是表示对解决上述问题的GMI法的观察对象物进行观察的处理方法的一个例子的图。GMI法对在流路中移动的细胞等观察对象物照射图案照明。被图案照明照射的观察对象物放出电磁波。检测从观察对象物放出的电磁波。此外，照射于细胞的图案照明可以是照射均一光的照明。在对观察对象物照射均一光的情况下，GMI法使从观察对象物放出的电磁波透射图案结构，该图案结构具有电磁波的透射特性不同的多个区域。GMI法检测透射图案结构后的电磁波。

图29表示其概念。通过将机器学习直接应用于时间波形信号，缩短了图像重构以及从图像提取特征量并解析所花费的时间，通过对压缩后的小数据直接解析，飞跃地缩短了处理速度。

图30以后表示细胞分类中的其具体的实现例。

图30例示具体使用的三种细胞的图。Miapaca、MCF7具有相同大小以及相似的特征，k562稍小。通过死细胞染色(LIVE/DEAD可固定死细胞染料试剂盒，488nm激发，赛默飞世尔科技公司)而全部染成绿色，并通过机器学习进行判别。仅MCF7用蓝色进行核染色(DAPI)，然后用于判别精度的验证。

图30表示判别器的形成方法。Miapaca、MCF7、k562分别流入流路，并且生成GMI法拍摄时产生的时间波形信号。对产生的信号进行阈值处理，并附加各自的细胞种类标签。将该附带有细胞种类标签的波形信号组在计算机内混合，形成将其分类的判别器。作为判别器形成方法之一，应用了支持向量机(Support Vecter Machine)法。

接下来，通过实验混合图31所示的不同的细胞种类(这里指MCF7和Miapaca)，对于通过GMI产生的时间波形信号，使用预先准备的判别器进行细胞判别(分类)，并且通过DAPI信号强度总量进行了判别结果的验证。

图32是其结果。其图示是，当使混合液中的MCF7的浓度变化时，对绿色荧光信号的时间波形进行机器学习判别而得到的MCF7浓度相对于进行DAPI(蓝色、正确回答)判别而得到的MCF7浓度的值，以高精度(＞87％)示出正确回答。在用绿色荧光图像比较MCF7和Miapaca时，人眼判别是困难的，可知机器学习的有用性。已证明实现高速、高精度的细胞分类。

进一步地，在图33～图35中示出实现流式细胞术时的流体系统的改进实现例。虽然在这里验证了使流体实验系统变化时的上述细胞分类精度，但是未通过DAPI信号强度给出正确回答，而将附有细胞种类标签的时间波形组在计算机内混合，并判别该时间波形组(不告诉机器正确回答)，验证精度。如图8所示，已知一般通过使用微流体工学技术(流动聚焦方法)，能够在同一条流线上以规定的宽度(振动)排列细胞。

在图34以及图35中，绘制了当使流体系统变化时，相对于用于学习的时间波形数，判别精度提高了多少。此外，学习的细胞时间波形使用将各细胞随机混合而得的细胞时间波形。在理想的流体实验系统中，细胞流过相同的流线，生成非常均一的GMI时间波形。此时，如图34(a)所示，判别精度急剧上升，达到98％左右。另一方面，如图34(b)所示，当放松流动聚焦并给流线赋予宽度时，虽然精度的上升变得稍缓，达成精度也有所降低，但是即使这样也能够达成95％以上的精度。但是在现实的流体实验使用中，存在流路的振动、光学系统不稳定等情况，需要稳健的判别方法。此时，如果用放松了流动聚焦时的波形信号进行学习，判别加强了流动聚焦的波形信号时，如图35(a)所示，能够稳健地获得90％左右的判别精度，精度也稳定。另一方面，如图35(b)所示，如果用加强了流动聚焦时的波形信号进行学习，判别放松了流动聚焦后的波形信号时，判别精度达不到90％，精度也不稳定。由此可见，通过使用更广泛的数据进行学习，能够实现机器学习的普遍化，能够提高实用性。另外，在上述图7所示的实验中，将加强了的流动聚焦的数据和放松了流动聚焦的数据混合使用在学习中。

也就是说，基于放松了流动聚焦来学习而获得的监督信息，加强流动聚焦进行测试时，能够获得最稳健的判别精度。另一方面，基于加强了流动聚焦来学习而获得的监督信息，加强流动聚焦进行测试时，如果条件均一，则能获得最正确的判别精度。

另外，如果基于监督信息进行测试，能获得稳健且准确的判别精度，这些监督信息混合有放松了流动聚焦来学习的数据和加强了流动聚焦来学习的数据。

换言之，分析装置，根据通过流式细胞仪300所具有的流路宽度调整部调节的流线宽度，对观测对象物5进行机器学习。此外，在以下的说明中，流线宽度也被记载为流路宽度。分析装置基于监督信息，通过分析观测对象物5，能够进行更高精度的判别，该监督信息组合有以下数据：在流线宽度宽于观测对象物5的直径的状态下对观测对象物5进行机器学习的数据、以及在流线宽度与观测对象物5的直径对应的情况下对观测对象物5进行机器学习的数据。

本实施方式的分析装置，具有：流路，观察对象物能够在其中移动；光射出部，将照射到流路的光照射区域的光射出；图案结构部，具有光的透射特性不同的多个区域；流路宽度控制部，可变地控制在流路中移动的观察对象物的能够移动的流路宽度；检测部，通过使光照射至光照射区域的观察对象物，基于区域、以及光与观察对象物在流路内的相对移动，检测从被光照射的观察对象物放出的电磁波；获取部，作为观察结果信号，获取由检测部检测到的电磁波的强度的时间变化，所述观察结果信号表示被光照射的观察对象物的状态；监督信息生成部，根据由获取部获取的观察结果信号以及获取该观察结果信号时的流路宽度，通过机器学习生成监督信息，该监督信息表示判别观察对象物状态的标准；以及推定部，根据由获取部获取的观察结果信号和由监督信息生成部生成的监督信息，推定在流路中移动的观察对象物的状态。

另外，在分析装置中，分析装置所具有的流路宽度控制部将流路宽度控制为与观察对象物的直径对应的宽度即第一流路宽度；监督信息生成部，将基于第一观察结果信号的第一监督信息作为监督信息生成，该第一观察结果信号是在流路宽度控制部控制的第一流路宽度的条件下由检测部检测到的；推定部，可以根据由监督信息生成部生成的第一监督信息和由获取部获取的观察结果信号，推定在流路中移动的观察对象物的状态。

另外，在分析装置中，分析装置所具有的流路宽度控制部，其控制流量宽度为第二流路宽度，该第二流路宽度是基于观察对象物直径的宽度，并且比第一流路宽度更宽；监督信息生成部，进一步地，将基于第二观察结果信号的第二监督信息作为监督信息生成，该第二观察结果信号是在流路宽度控制部控制的第二流路宽度的条件下由检测部检测到的；推定部，可以根据由监督信息生成部生成的第一监督信息、由监督信息生成部生成的第二监督信息、以及由获取部获取的观察结果信号，推定在流路中移动的观察对象物的状态。

另外，在分析装置中，分析装置所具有的流路宽度控制部控制流量宽度为第一流路宽度，该第一流路宽度是基于观察对象物直径的宽度，并且比第二流路宽度的宽度更窄；监督信息生成部，进一步地，使基于第一观察结果信号的第一监督信息作为监督信息生成，该第一观察结果信号是在流路宽度控制部控制的第一流路宽度的条件下由检测部检测到的；推定部，可以根据由监督信息生成部生成的第一监督信息、由监督信息生成部生成的第二监督信息、以及由获取部获取的观察结果信号，推定在流路中移动的观察对象物的状态。

附图标记的说明：

1 光源

3 光照射区域

5 观测对象物

7 受光部

9 存储部

11 分析部

13 光学系统控制部

21 多个光区域

25 受光区域

31 流动室

33 分选部

200 分析系统

300 流式细胞仪

400 计算机

401 机器学习部

Claims

1.一种分析装置，其中，

具有：受光部，接收来自观测对象物的散射光、透射光、荧光、或者电磁波，并将其转换为电信号；

分析部，基于从所述受光部输出的所述电信号的时间轴提取信号，基于该信号对所述观测对象物进行分析，

所述观测对象物存在于被来自光源的光照射的光照射区域，

在光学系统与所述受光部中的至少一者中具有光学元件，所述光学系统用于对所述观测对象物照射光，所述光学元件具有光特性不同的多个区域，所述光特性是指在所述观测对象物通过所述光照射区域时，所述观测对象物的行进方向的坐标相互不同、且与所述行进方向垂直的方向的坐标相同、且使所述观测对象物内的多个位置经受相同的照明图案，

所述分析装置还具有相对位置控制机构，该相对位置控制机构使所述光学元件与所述观测对象物的相对位置变动，

通过在使所述光学元件与所述观测对象物的相对位置变动的同时，使来自所述光源的光介由所述光学元件所含的光特性不同的多个区域而在所述光照射区域中照射于所述观测对象物，从而使能重构为所述观测对象物的二维图像的空间信息以一维数据的形式被压缩并包含在所述信号中，或者，通过在使所述光学元件与所述观测对象物的相对位置变动的同时，使来自所述观测对象物的散射光、透射光、荧光或电磁波介由所述光学元件所含的光特性不同的多个区域，由所述受光部接收，从而使能重构为所述观测对象物的二维图像的空间信息以一维数据的形式被压缩并包含在所述信号中，

所述分析部基于对与所述观测对象物有关的所述信号进行了机器学习的结果，不重构所述观测对象物的图像而基于所述信号对所述观测对象物进行判别。

2.如权利要求1所述的分析装置，其中，还具有光学系统控制部，

所述光学系统控制部基于由所述分析部对与所述观测对象物有关的所述信号进行了机器学习的结果，优化所述多个区域或光照射区域。

3.如权利要求1所述的分析装置，其中，

所述分析部基于判别的结果更新判别算法。

4.如权利要求1～3中任一项所述的分析装置，其中，

基于由所述分析部判别的结果，控制所述光照射区域。

5.一种流式细胞仪，其中，

具有权利要求1所述的分析装置，

所述流式细胞仪包括流动室，该流动室包括所述光照射区域。

6.如权利要求5所述的流式细胞仪，其中，

具有分选部，该分选部基于所述分析部的判别结果，判别所述观测对象物，对所述观测对象物进行分选。