本申请要求于2019年4月5日提交的美国临时专利申请第62/830,311号的优先权权益,并且是于2019年8月28日提交的国际专利申请第PCT/US2019/048678号的部分继续申请,该申请要求于2018年10月5日提交的美国临时申请序列第62/742,247号和于2018年8月28日提交的美国临时申请序列第62/724,025号的权益;本申请还是2019年8月16日提交的国际专利申请No.PCT/US2019/046971的部分继续申请,该申请要求2018年8月16日提交的美国临时申请系列第62/764,886号和2018年8月16日提交的美国临时申请系列第62/719,129号的权益,这些申请的内容通过引用全部结合到本文中。本文提及的任何出版物或专利文献的全部公开内容通过引用整体并入。
具体实施方式
以下具体实施方式通过示例而非限制的方式示出了本发明的一些实施例。这里使用的章节标题和任何字幕仅用于组织目的,而不应被解读为以任何方式限制所描述的题材。章节标题和/或子标题下的内容不限于章节标题和/或子标题,而是适用于本发明的整个描述。
任何出版物的引用是针对其在申请日之前的公开,并且不应当被解读为承认本权利要求由于在先发明而无权先于这种出版物。此外,所提供的公开日期可以不同于实际的公开日期,实际的公开日期可能需要被独立地确认。
术语“可信度”、“错误风险”,“错误风险因子”和“风险因子”是可互换的术语,以描述测试结果不准确的可能性。更“可信的”意味着更小的“可能性”(即,更小的风险),并且因此是更低的“风险因子”。
术语“指令”和“算法”是可互换的。
术语“基于成像的测定”是指包含用于检测样品中的分析物的成像器的测定。
通过检查测试结果的可信度来提高测定准确度
提高测试准确性的基于可靠性的测试报告示例。在许多测定情况下,在测定操作,样品处理和与测定操作相关的其它过程中存在随机变化,并且这些随机变化可影响测定的测试结果准确度。
根据本发明,用于监测测定操作参数的监测结构被放置在样品保持器上(在一些实施例中,在被测试的样品区域中)。作为图1的流程图中所示的示例,在测试期间,样品中的分析物和监测结构都被测量(并行或顺序地),并且通过指令(存储该指令的非瞬态存储介质)从监测结构测量中确定分析物测量的可信度。如果可信度高于阈值(即,风险因子低于阈值),则将报告分析物测量结果,否则将不报告分析物测量结果。
如果由于可信度差(高于阈值)而没有报告分析物测量结果,任选地,将以与第一样品和/或第一测试中相同的方式测试第二样品和/或第二测试。如果第二样品和/或第二测试仍然具有差的可信度,则将执行第三样品和/或第三测试。该过程可以继续直到报告可信的分析物测量结果。
监测结构的示例包括但不限于Q卡(即QMAX卡)上的间隔件,刻度标记,成像标记和位置标记。图2是样品保持器Q卡的示意图。监测参数包括但不限于监测结构的图像,光透射,光散射,颜色(波长谱),偏振等。监测参数还包括Q卡上的样品图像。确定可信与否的指令可以通过在偏离理想条件的各种条件下进行测试来确定。在一些实施例中,机器学习用于学习如何确定可信度阈值。
在一些实施例中,监测参数与样品保持器操作和条件、样品条件,或试剂条件,或测量仪器条件有关。
一种用于提高测定的测试结果准确度的方法,所述方法包含:
具有带有监测标记的样品保持器;
在样品保持器上具有样品,其中样品疑似含有分析物;
并行或顺序测量分析物以产生分析物测量结果(即测试结果),并测量监测标记以产生监测参数;
使用指令以及监测参数来确定分析物测量结果的可信性;
确定分析物测量结果的公布。
图3示出了具有可信度检查的测定示意图,并且在一些实施例中,分析物测量结果仅在可信度高(风险因子低)时公布。在一些实施例中,当可信度低时,将不公布分析物测量结果。在一些实施例中,当可信度低时,第一样品的分析物测量结果将不被公布,并且第二样品将用于经历与上述相同的过程。在一些实施例中,重复该过程直到获得高可信度的分析物测量结果。
一种通过测量监测参数提高测试准确度的装置,包含:具有监视结构的样品卡、成像器以及存储用于确定测试结果的可信度的指令的介质。
移动测定(使用QMAX卡)的方法和装置的示例-使用图像处理和机器学习的浓度估计(CBC),分割等。
AA-1.一种用于校正含有薄层样品的图像系统的系统误差的方法,该方法包含:
由图像系统的处理装置接收与包含样品和监测标准品的样品卡相关联的图像以及第一参数;
由处理装置使用第一机器学习模型通过将第一参数与在样品卡的制造期间确定的与监测标准品相关联的第二参数进行比较来确定图像系统的系统误差;
通过处理装置校正考虑系统误差的样品卡的图像;以及
通过处理装置使用校正的图像来确定样品的生物学特性。
AA-2.如示例AA-1所述的方法,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上。
AA-3.如示例AA-1所述的方法,其中样品是从动物收集的生物学样品。
图5示出了利用柱进行真实横向尺寸(TLD)估计并且使用标记物(柱)进行来自Q卡成像的图像校正的流程图。
BA-1.一种智能测定监测方法,包含:
由处理装置接收对样品卡中沉积的生物样品的第一信息以及多个监测标记的第二信息进行编码的图像;
通过处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量;
由处理装置确定几何特征的测量值与样品卡所提供的几何特征的地面真值之间的变化;
由处理装置基于变化来校正对第一信息和第二信息进行编码的图像;以及
由处理装置使用校正的图像来确定生物样品的生物学特性。
BA-2.如示例BA-1所述的方法,其中样品卡包含第一板、基本上垂直地集成到第一板的表面的多个柱,以及能够包围第一板以形成薄层的第二板,其中生物样品沉积在薄层中。
BA-3.如示例BA-2所述的方法,其中多个监测标记对应于多个柱。
BA-4.如示例BA-3所述的方法,其中多个柱中的至少两个被真实横向尺寸(TLD)分开,并且其中通过处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量,该测量包含由在图像上执行第一机器学习模型的处理装置确定TLD。
图6示出了在使用监测标记柱的TLD校正中训练用于柱检测的机器学习模型的流程图。图7示出了训练机器学习模型和在预测(推导)中应用训练的机器学习模型之间的关系。
BB-1一种成像系统,包含:
样品卡,其包含第一板、基本上垂直地集成到第一板的表面的多个柱,以及能够包围第一板以形成薄层的第二板,其中生物样品沉积在薄层中;
一种计算装置,包含:
处理装置,其通信地耦合到光学传感器,以:
从光学传感器接收对样品卡中沉积的生物样品的第一信息以及多个监测标记的第二信息进行编码的图像;
针对图像使用第一机器学习模型来确定与多个监测标记相关联的几何特征的测量;
确定几何特征的测量值与样品卡所提供的几何特征的地面真值之间的变化;
基于变化来校正对第一信息和第二信息进行编码的图像;以及
基于校正的图像确定生物样品的生物学特性。
用于检测测定中卡闭合不正确的柱上对象检测
CA-1.一种用于校正记录在薄层样品的测定图像中的人为操作误差的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含集成在样品卡的第一板上的多个纳米结构,并且其中样品沉积在处于开放构造的样品卡的第一板上,并且由处于闭合构造的样品卡的第二板包围;
通过处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域;
通过处理装置将第二子区域与在样品的制造期间提供的监测标准品进行比较,以确定第二子区域中的至少一个是否含有除纳米结构之外的外来物体;
响应于确定第二子区域中的至少一个含有除纳米结构之外的外来物体,确定与操作样品卡相关联的误差;以及
通过从图像中去除至少一个子区域来校正样品卡的图像。
CA-2.如实施例CA-1所述的方法,其中外来物体是样品的一部分、气泡或杂质中的一者。
测定中缺陷(例如,气泡,灰尘等)和辅助结构(例如,柱子)去除的示例
DA-1.一种用于测量薄层样品卡中的样品的体积的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含垂直集成到样品的第一板的多个柱,并且多个柱中的每一个具有基本上相同的高度(H);
通过处理装置使用机器学习模型确定多个非样品子区域,其中多个非样品子区域对应于柱、气泡或杂质元素中的至少一种;
由处理装置通过从图像中去除多个非样品子区域来计算样品所占据的面积;
通过处理装置基于所计算的面积和高度(H)来计算样品的体积,并且
通过处理装置基于体积来确定样品的生物学特性。
确定测定结果的可信度的示例
a.结合基于ML的边界框检测以及基于图像处理的形状确定的形状分割
b.测定中分析物检测的均匀度(基于IQR的离群值检测)
c.使用ML的聚集分析物检测
d.使用ML的卡检测上的干质地结构
e.使用ML检测缺陷,例如灰尘,油等
f.使用ML的气泡检测
EA-1.一种用于确定与图像测定结果相关联的测量的可信度的方法,该方法包含:
通过图像系统的处理装置接收样品卡的图像,样品卡包含样品和监测标准品,监测标准品包含集成到样品的第一板的多个纳米结构;
通过处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域;
通过处理装置使用第一机器学习模型确定第一子区域或第二子区域中的至少一个中的不合规元素;
通过处理装置基于第一子区域和第二子区域确定样品的生物学特性;
通过处理装置基于不合规元素的统计分析来计算与生物学特性相关联的可信度测量;以及
通过处理装置基于可信度测量确定对样品的进一步动作。
EA-2.如示例EA-1所述的方法,进一步包含:
通过处理装置基于可信度测量确定生物学特性是可靠的;以及
通过处理装置将生物学特性提供给显示装置。
EA-3.如示例EA-1所述的方法,进一步包含:
通过处理装置基于可信度测量来确定生物学特性并非可靠的;以及
通过处理装置将生物学特性和相应的可信度测量提供给显示装置,以允许用户确定是接受还是丢弃该生物学特性。
EA-4.如示例EA-1所述的方法,其中通过处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域;
通过处理装置利用图像处理方法对图像进行第一图像分割,生成第一分割结果;
通过处理装置使用第二机器学习模型对图像进行第二图像分割,生成第二分割结果;以及
通过处理装置组合第一分割结果和第二分割结果以将图像分割成对应于样品的第一子区域和对应于多个纳米结构的第二子区域。
EA-5.如示例EA-1所述的方法,其中通过处理设备使用第一机器学习模型来确定第一子区域或第二子区域中的至少一个中的不合规元素包含:以下中的至少一者
通过处理装置基于样品中的至少一种分析物的分布不均匀性来确定不合规元素;
通过处理装置基于样品的聚合分析物检测来确定不合规元素;
通过处理装置基于样品中干质地结构的检测来确定不合规元素;
通过处理装置基于样品中的杂质的检测来确定不合规元素;或者
通过处理装置基于样品中的气泡的检测来确定不合规元素。
对具有基于分割的内容物的单个卡的多分段测试
FA-1.一种使用单个样品卡确定多个分析物的测量值的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含集成到样品的第一板的多个纳米结构;
通过处理装置使用第一机器学习模型将图像分割成与在样品中含有的第一分析物相关联的第一子区域,与在样品中含有的第二分析物相关联的第二区域,以及对应于多个纳米结构的第三子区域;
通过处理装置基于对应于多个纳米结构的第三子区域确定两个相邻纳米结构之间的真实横向距离(TLD);
通过处理装置基于TLD确定第一子区域的第一累积面积,并进一步基于第一累积面积和与多个纳米结构相关联的高度确定第一体积;
通过处理装置基于TLD确定子区域的第二累积面积,并进一步基于第二累积面积以及与多个纳米结构相关联的高度确定第二体积;
通过处理装置基于第一体积中的第一分析物的计数确定第一分析物的第一测量值;以及
通过处理装置基于第二体积中的第二分析物的计数来确定第二分析物的第二测量值。
基于柱的分光光度计的系统和装置
GA-1.一种用于测量在包含多个纳米柱的样品卡中提供的样品的生物学特性的方法,该方法包含:
通过图像系统的处理装置接收样品卡的图像,样品卡包含样品和监测标准品,监测标准品包含集成到样品的第一板的多个纳米结构;
通过处理装置将图像分割成对应于样品的第一子区域和对应于多个纳米柱的第二子区域;
通过处理装置确定第一子区域的第一分光光度测量值;
通过处理装置确定第二子区域的第二分光光度测量值;以及
通过处理装置基于第一分光光度测量值与第二分光光度测量值之间的比率来确定样品的生物学特性。
GA-2.一种使用测量的化合物在特定光波长或多个光波长下的响应来分析化合物浓度的方法,该方法包含:
通过图像系统的处理装置接收在具有特定或多个光波长的样品卡上拍摄的图像或多个图像,其中样品卡包含样品和监测标准品,监测标准品包含集成到样品的第一板的多个纳米结构;
通过处理装置将每个图像分割成对应于样品的第一子区域和对应于多个纳米柱的第二子区域;
从在不同波长拍摄的样品的图像确定来自样品的第一子区域处的光吸收;
从在不同波长拍摄的样品的图像确定来自纳米柱的第二子区域处的光吸收;以及
从这两个子区域在一个或多个波长处的光吸收测量来确定化合物浓度。
此外,在本发明的一些实施例中,每个图像到对应于样品的第一子区域和对应于多个纳米柱的第二子区域的检测和分割是基于在具有标记的纳米柱的训练图像样品上训练的机器学习模型。
标记大量小而重复的对象
HA-1.一种用于标记图像中的多个对象以准备训练数据的方法,该方法包含:
通过处理装置接收图形用户界面中的图像;
由处理设备通过图形用户界面接收对图像中的位置的选择;
通过处理装置基于对该位置局部的多个像素来计算包围该位置的边界框;
通过处理装置提供在图形用户界面中叠加在图像上的边界框的显示;以及
响应于接收到用户确认,将边界框内的区域标记为训练数据。
IA-1.一种用于制备测定图像的方法,该方法包含:
提供包含多个标记物元素的样品卡;
将样品沉积在处于开放构造的样品卡的第一板上;
闭合样品卡以将样品卡的第二板压靠在第一板上以形成闭合构造,其中处于闭合构造的第一板和第二板形成薄层,薄层包含样品和多个标记物元素的基本上均匀的厚度;以及
提供图像系统,其包含处理装置以及存储指令的非暂时性存储介质,指令在通过处理装置执行时将:
捕获样品卡的图像,图像包含样品和多个标记物元素的基本上均匀的厚度;
检测图像中的多个标记物元素;
将检测到的多个标记物元素和与样品卡相关联的监测标准品进行比较,以确定多个标记物元素和监测标准品之间的几何映射;
基于几何映射来确定图像系统的非理想因子;以及处理样品卡的图像以校正非理想因子。
IB-1.一种用于制备测定图像的方法,该方法包含:
提供包含多个标记物元素的样品卡;
将样品沉积在处于开放构造的样品卡的第一板上;
闭合样品卡以将样品卡的第二板压靠在第一板上以形成闭合构造,其中处于闭合构造的第一板和第二板形成薄层,薄层包含样品和多个标记物元件的基本上均匀的厚度;以及
提供图像系统,其包含处理装置以及存储指令的非暂时性存储介质,指令在通过处理装置执行时将:
捕获样品卡的图像,图像包含样品和多个标记物元素的基本上均匀的厚度;
将图像分割成多个子区域;
使用机器学习模型和多个标记物元素确定多个子区域中的每一个是否满足图像系统的要求;
响应于确定子区域不符合要求,将第一子区域标记为不合规;
响应于确定子区域满足要求,将第一子区域标记为顺应性;以及
使用图像的顺应性子区域执行测定分析。
IC-1.一种用于校正图像系统的非理想因子的方法,该方法包含:
通过图像系统的处理装置接收样品卡的图像,该图像包含沉积在样品卡的板上的基本上均匀的样品层以及与样品卡相关联的多个标记物元素;
通过处理装置检测图像中的多个标记物元素;
将检测到的多个标记物元素和与样品卡相关联的监测标准品进行比较,以确定多个标记物元素和监测标准品之间的几何映射;
基于几何映射来确定图像系统的非理想因子;以及
处理样品卡的图像以校正非理想因子。
ID-1.一种用于校正图像系统的非理想因子的方法,该方法包含:
通过图像系统的处理装置接收样品卡的图像,样品卡包含沉积在样品卡的板上的基本上均匀的样品层以及与样品卡相关联的多个标记物元素;
通过处理装置将图像分割成多个子区域;
通过处理设备使用机器学习模型和多个标记物元素确定多个子区域中的每一个是否满足图像系统的要求;
响应于确定子区域不符合要求,通过处理装置将第一子区域标记为不合规;
响应于确定子区域满足要求,通过处理装置将第一子区域标记为顺应性;以及
通过处理装置使用图像的顺应性子区域执行测定分析。
IE-1.一种图像系统,包含:
用于保持样品卡的适配器,样品卡包含第一板、第二板和多个标记物元素;
耦合到适配器的移动计算装置,该移动计算装置包含:
用于捕获多个标记物元素和样品卡的图像的光学传感器,该图像包含沉积在样品卡的第一板和第二板之间的基本上均匀的样品层;
处理装置,其通信地耦合到光学传感器,以便:
接收由光学传感器捕获的图像;
检测图像中的多个标记物元素;
将检测到的多个标记物元素和与样品卡相关联的监测标准品进行比较,以确定多个标记物元素和监测标准品之间的几何映射;
基于几何映射来确定图像系统的非理想因子;以及
处理样品卡的图像以校正非理想因子。
IF-1.一种图像系统,包含:
用于保持样品卡的适配器,样品卡包含第一板、第二板和多个标记物元素;
耦合到适配器的移动计算装置,该移动计算装置包含:
用于捕获多个标记物元素和样品卡的图像的光学传感器,该图像包含沉积在样品卡的第一板和第二板之间的基本上均匀的样品层;
处理装置,其通信地耦合到光学传感器,以便:
接收由光学传感器捕获的图像;
将图像分割成多个子区域;
使用机器学习模型和多个标记物元素确定多个子区域中的每一个是否满足图像系统的要求;
响应于确定子区域不符合要求,将第一子区域标记为不合规;
响应于确定子区域满足要求,将第一子区域标记为顺应性;以及
使用图像的顺应性子区域执行测定分析。
IG-1.一种移动成像装置,包含:
光学传感器;以及
处理装置,其通信地耦合到光学传感器,以便:
接收由光学传感器捕获的图像,该图像包含多个标记物元素以及沉积在样品卡的第一板和第二板之间的基本上均匀的样品层;
检测图像中的多个标记物元素;
将检测到的多个标记物元素和与样品卡相关联的监测标准品进行比较,以确定多个标记物元素和监测标准品之间的几何映射;
基于几何映射来确定图像系统的非理想因子;以及
处理样品卡的图像以校正非理想因子。
IH-1.一种移动成像装置,包含:
光学传感器;以及
处理装置,其通信地耦合到光学传感器,以便:
接收由光学传感器捕获的图像,该图像包含多个标记物元素以及沉积在样品卡的第一板和第二板之间的基本上均匀的样品层;
将图像分割成多个子区域;
使用机器学习模型和多个标记物元素确定多个子区域中的每一个是否满足图像系统的要求;
响应于确定子区域不符合要求,将第一子区域标记为不合规;
响应于确定子区域满足要求,将第一子区域标记为顺应性;以及
使用图像的顺应性子区域执行测定分析。
II-1.一种智能测定监测方法,包含:
由处理装置接收对样品卡中沉积的生物样品的第一信息以及多个监测标记的第二信息进行编码的图像;
通过处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量;
由处理装置确定几何特征的测量值与样品卡所提供的几何特征的地面真值之间的变化;
由处理装置基于变化来校正对第一信息和第二信息进行编码的图像;以及
由处理装置使用校正的图像来确定生物样品的生物学特性。
II-2.如示例II-1所述的方法,其中样品卡包含第一板、基本上垂直地集成到第一板的表面的多个柱,以及能够包围第一板以形成薄层的第二板,其中生物样品沉积在薄层中。
II-3.如权利要求II-2所述的方法,其中多个监测标记对应于多个柱。
II-4.如权利要求II-2所述的方法,其中多个监测标记设置在第一板或第二板中的至少一个中。
II-5.如示例II-1所述的方法,其中通过处理装置对图像执行第一机器学习模型来确定与多个监测标记相关联的几何特征的测量进一步包含:
通过处理装置执行第一机器学习模型从图像中识别多个监测标记;以及
通过处理装置基于识别的多个监测标记来确定几何特征的测量值。
II-6.如权利要求II-1所述的方法,其中由处理装置确定几何特征的测量值与样品卡所提供的几何特征的地面真值之间的变化进一步包含:
通过处理装置确定系统错误或人类操作者错误中的一个;以及
在与所述处理装置相关联的显示装置上呈现系统错误或人类操作者错误中确定的一者。
II-7.一种图像系统,包含:
样品卡,其包含第一板、基本上垂直地集成到第一板的表面的多个柱,以及能够包围第一板以形成薄层的第二板,其中生物样品沉积在薄层中;
一种计算装置,包含:
处理装置,其通信地耦合到光学传感器,以:
从光学传感器接收对样品卡中沉积的生物样品的第一信息以及多个监测标记的第二信息进行编码的图像;
针对图像使用第一机器学习模型来确定与多个监测标记相关联的几何特征的测量;
确定几何特征的测量值与样品卡所提供的几何特征的地面真值之间的变化;
基于变化来校正对第一信息和第二信息进行编码的图像;以及
基于校正的图像确定生物样品的生物学特性。
IJ-1.一种用于校正薄层样品的测定图像中的非理想因子的方法,该方法包含:
提供包含监测标准品的样品卡,监测标准品包含在样品卡的板上的多个纳米结构;
将样品沉积在样品卡的板上;以及
提供图像系统,图像系统包含处理装置和存储指令的非暂时性存储介质,指令在通过处理装置执行时将:
捕获包含样品和监测标准品的样品卡的图像;
通过将样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定图像系统的非理想因子;以及
考虑到非理想因子,校正样品卡的图像。
IJ-2.一种用于校正薄层样品的测定图像中的非理想因子的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
由处理装置通过将样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定图像系统的非理想因子;以及
考虑到非理想因子,校正样品卡的图像。
IJ-3.一种用于校正薄层样品的测定图像中的非理想因子的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
通过处理装置使用机器学习模型来确定图像系统的非理想因子,其中机器学习模型是通过将样品卡的图像与在样品卡的制造期间确定的监测标准品的几何值进行比较来训练的;以及
考虑到非理想因子,校正样品卡的图像。
IJ-4.一种移动成像装置,包含:
光学传感器;以及
处理装置,其通信地耦合到光学传感器,以便:
接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
通过将样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定移动成像系统的非理想因子;以及
考虑到非理想因子,校正样品卡的图像。
IJ-5.一种图像系统,包含:
用于保持包含监测标准品的样品卡的适配器,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
耦合到适配器的移动计算装置,该移动装置包含:
光学传感器;以及
处理装置,其通信地耦合到光学传感器,以便:
接收样品卡的图像;
通过将含有沉积在板上的样品的样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定图像系统的非理想因子;以及
考虑到非理想因子,校正样品卡的图像。
IJ-6.一种样品卡,包含:
一种监测标准品,其包含在样品卡的板上的多个纳米结构,其中样品沉积在板上,且其中样品卡插入耦合到图像系统的适配器中,图像系统包含处理装置以及用以捕获样品卡的图像的光学传感器,处理装置用以:
接收样品卡的图像;
通过将含有沉积在板上的样品的样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定图像系统的非理想因子;以及
考虑到非理想因子,校正样品卡的图像。
IJ-7.一种用于校正含有薄层样品的图像系统的系统误差的方法,该方法包含:
通过图像系统的处理装置接收与包含样品和监测标准品的样品卡相关联的图像和第一参数,其中监测标准品包含样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
由处理装置通过将第一参数与在样品卡的制造期间确定的与监测标准品相关联的第二参数进行比较来确定图像系统的系统误差;
考虑到系统误差,校正样品卡的图像。
IJ-8.一种用于校正记录在薄层样品的测定图像中的人为操作误差的方法,该方法包含:
通过图像系统的处理装置接收包含样品和监测标准品的样品卡的图像,其中监测标准品包含在样品卡的板上的多个纳米结构,并且其中样品沉积在板上;
由处理装置使用机器学习模型通过将样品卡的图像与在样品卡的制造期间确定的监测标准品的多个几何值进行比较来确定反映在图像中的人为操作误差,其中人为操作误差包含图像系统的错误处理;以及
通过去除图像中反映的人为操作错误来校正样品卡的图像。
针对测定装置操作错误的监测和校正
一种监测和校正在操作测定装置中发生的误差的方法,包含:
(a)在板上(样品内部)具有监测标记的Q-CARD;
(b)执行样品沉积,
(c)在测量期间使用成像器对监测标记进行成像;
(d)通过将监测标记的图像与监测标记的理想图像进行比较来确定操作误差;
其中,监测标记的理想图像为正确执行操作时的监测标记的图像;
其中监测标记是预制的。
一种监测在操作测定装置中的缺陷的方法,包含:
(a)在板上(样品内部)具有监测标记的Q-CARD;
(b)执行样品沉积,
(c)在测量期间使用成像器对监测标记进行成像;
(d)通过将监测标记的图像与监测标记的理想图像进行比较来确定操作误差;
其中,监测标记的理想图像为正确执行操作时的监测标记的图像;
其中监测标记是预制的。
OA-1在本发明的一些实施例中,一种用于提高具有一种或多种不可预测和随机的操作条件的测定的准确度的方法,包含:
(a)检测含有或疑似含有分析物的样品中的分析物,包含:
(i)将样品送入检测仪器中,并且
(ii)使用检测仪器测量样品以检测分析物,产生检测的检测结果;
(B)确定步骤(a)中的检测结果的可信度,包含:
(i)拍摄(1)样品的一部分和/或(2)检测仪器的围绕样品的该部分的一部分的一个或多个图像,其中这些图像基本上代表在步骤(a)中产生检测结果时测量样品的该部分的条件;以及
(ii)使用具有算法的计算装置分析步骤(b)(i)中拍摄的图像,以确定步骤(a)中检测结果的可信度;以及
(c)报告检测结果和可信度两者;
其中步骤(a)具有一个或多个不可预测且随机的操作条件。
在某些实施例中,方法OA-1还包含如下步骤:如果在步骤(b)中确定的可信度低于阈值,则丢弃在步骤(a)中生成的检测结果。
在某些实施例中,方法OA-1还包含如下步骤:如果在步骤(b)中确定的可信度低于阈值,则修改在步骤(a)中生成的检测结果。
OA-2.一种用于提高具有一种或多种不可预测和随机的操作条件的测定的准确度的设备,包含:
(1)检测装置,其检测样品中的分析物以产生检测结果,其中样品含有或疑似含有分析物;
(2)检查由检测装置产生的特定检测结果的可信度的检查装置,包含:
(i)成像器,其能够拍摄(1)样品的一部分和/或(2)检测仪器的围绕样品的该部分的一部分的一个或多个图像,其中这些图像基本上代表在步骤(a)中产生检测结果时测量样品的该部分的条件;以及
(ii)计算单元,其具有能够分析在步骤(b)(i)中拍摄的图像中的特征以确定检测结果的可信度的算法;
(c)如果步骤(b)确定检测结果不可信,则丢弃步骤(a)中产生的检测结果;
其中步骤(a)具有一个或多个不可预测且随机的操作条件。
在某些实施例中,OA-1中的算法是机器学习、人工智能、统计方法等或其组合。
进行测定时的术语“操作条件”是指进行测定的条件。操作条件包括但不限于至少三类:(1)样品相关的缺陷,(2)样品保持器相关的缺陷,(3)测量过程相关的缺陷。术语“缺陷”是指偏离理想条件。
与样品相关的缺陷的示例包括但不限于样品中的气泡,样品中的灰尘,外来物体(即不是来自原始样品而是稍后进入样品中的物体),样品的某一部分变干的样品中的干质地结构,不足量的样品,不正确的样品,没有样品,具有不正确基质(例如血液,唾液)的样品,不正确反应的试剂与样品,不正确检测范围的样品,不正确信号均匀性的样品,分布不正确的样品,样品位置不正确的样品保持器(例如,间隔件下方的血细胞)等。
与样品保持器相关的缺陷的示例包括但不限于样品保持器中丢失间隔件,样品保持器未正确闭合,样品保持器损坏,样品保持器表面被污染,样品上的试剂未正确制备,样品保持器处于不正确的位置,样品保持器具有不正确的间隔件高度,大的表面粗糙度,不正确的透明度,不正确的吸收率,没有样品保持器,样品保持器具有不正确的光学性质,样品保持器具有不正确的电性质,不正确的几何形状(尺寸),样品保持器的厚度等。
与测量过程相关的缺陷的实例包括但不限于光强度,相机条件,成像器拍摄的图像中未聚焦的样品,光的温度,光的颜色,环境光的泄漏,光的分布,透镜条件,滤光器条件,光学部件条件,电气部件条件,仪器的组装条件,样品的相对位置,样品保持器和仪器等。
A.固相上的薄层样品。
A1.一种用于测定具有随机和不可预测的一个或多个操作条件的样品的方法,包含:
(a)提供含有或疑似含有分析物的样品;
(b)将所述样品沉积到固体表面上;
(c)在步骤(b)之后测量样品以检测分析物并产生检测的结果,其中所述结果可通过进行测定时的一个或多个操作条件来实现,并且其中操作条件是随机的和不可预测的;
(d)对在步骤(c)中测量样品中的分析物的样品面积/体积的一部分成像;以及
(e)通过分析在步骤(d)中生成的一个或多个图像中示出的一个或多个操作条件来确定在步骤(c)中测量的结果的错误风险概率。
此外,如果步骤(e)确定在步骤(c)中测量的结果具有高错误风险概率,则将丢弃该结果。
AD1.一种用于在一个或多个操作变量下测定样品中存在的分析物的装置,包含:
(a)具有用于接收样品薄层的样品接触区域的固体表面,所述样品含有待测量的分析物;
(b)成像器,其被配置为对样品接触区域的测量分析物的一部分进行成像;以及
(c)一种具有指令的非瞬态计算机可读介质,当所述指令被执行时,其通过分析在样品的所述部分的图像中显示的操作变量来执行对所述测定结果的可信度的确定。
B.两个板之间的薄层样品
B1.一种用于测定具有一个或多个操作变量的样品的方法,包含:
(a)将含有分析物的样品沉积在第一板和第二板之间;其中样品夹在基本上平行的第一板与第二板之间;
(b)测量在样品中含有的分析物以产生结果,其中所述测量涉及一个或多个随机并且不可预测的操作变量;
(c)使第一板和第二板的区域部分成像以产生图像,其中区域部分含有样品并且测量样品中含有的分析物;以及
(d)通过分析含有样品的区域部分的图像中所示的操作变量来确定步骤(b)中测量的结果是否可信。
此外,如果步骤(d)中的分析确定步骤(b)中测量的结果不可信,则丢弃该结果。
C.在两个板之间具有间隔件的薄层样品
C1.一种用于测定具有一个或多个操作变量的样品的方法,包含:
(a)将含有或疑似含有分析物的样品沉积在第一板和第二板之间,其中样品夹在第一板和第二板之间,第一板和第二板可相对于彼此移动成第一构造或第二构造;
(b)测量样品中的分析物以产生结果,其中所述测量涉及一个或多个随机并且不可预测的操作变量;
(c)对样品的测量分析物的区域部分成像;以及
(d)通过分析区域部分的图像中所示的操作变量来确定步骤(b)中测量的结果是否可信。
其中第一构造是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中第二构造是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加不精确的按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
此外,如果步骤(d)确定在步骤(b)中测量的结果不是可信的,则丢弃该结果。
D.描述的所有装置的可靠性检查
D1.一种用于测定具有一个或多个操作变量的样品的方法,包含:
(a)沉积含有或疑似含有分析物的样品,其中样品沉积在本公开中所述的任何实施例的装置中的区域中;
(b)测量样品中的分析物,其中所述测量涉及一个或多个随机并且不可预测的操作变量;
(c)对样品区域的一部分成像,其中所述部分是测量分析物的地方;以及
(d)通过分析样品的部分的图像中所示的操作变量来确定步骤(b)中测量的结果是否可信。
此外,如果步骤(d)中的分析确定步骤(b)中测量的结果不可信,则丢弃该结果。
E.利重测定装置的测定
E.1某些实施例中,使用多个测定装置来执行测定,其中所述测定具有使用图像分析来检查测定结果是否可信的步骤,并且其中如果发现第一测定装置不值得信赖,则使用第二测定装置,直到发现测定结果可信。
在一些实施例中,样品是生物或化学样品。
在某些实施例中,在步骤(d)中,分析使用具有训练集的机器学习来确定结果是否可信,其中训练集使用具有样品中的已知分析物的操作变量。
在某些实施例中,在步骤(d)中,分析使用查找表来确定结果是否可信,其中查找表含有样品中已知分析物的操作变量。
在某些实施例中,在步骤(d)中,分析使用神经网络来确定结果是否可信,其中使用具有样品中的已知分析物的操作变量来训练神经网络。
在某些实施例中,在步骤(d)中,分析使用操作变量的阈值来确定结果是否可信。
在某些实施例中,在步骤(d)中,分析使用机器学习、查找表或神经工作来确定结果是否可信,其中操作变量包括样品的所述部分的图像中的气泡和/或灰尘的状况。
在某些实施例中,在步骤(d)中,分析使用机器学习(其确定结果是否可信),使用机器学习、查找表或神经网络来确定样品的所述部分的图像中的气泡和/或灰尘的操作变量。
在一些实施例中,在测量分析物的步骤(b)中,测量使用成像。
在一些实施例中,测量分析物的步骤(b),测量使用成像,并且用于分析物测量的相同图像用于步骤(d)中的可信度确定。
在一些实施例中,测量分析物的步骤(b),测量使用成像,并且用于分析物测量的相同成像器用于步骤(d)中的可信度确定。
在一些实施例中,在A1、B1和/或C1中使用的装置进一步包含监测标记。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中监测标记与算法中的成像处理方法一起被用作参数,该算法(i)调整该图像,(ii)处理样品的图像,(iii)确定与微特征相关的特性,或(iv)以上各项的任何组合。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中监测标记与步骤(b)一起用作参数。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中间隔件是所述监测标记,其中间隔件具有等于或小于200微米的基本上均匀的高度以及固定的间隔件间距(ISD);
在本发明的一些实施例中,监测标记用于估计TLD(真实横向尺寸)以及真实体积估计。
在某些实施例中,步骤(b)还包含用于基于图像的测定的图像分割。
在某些实施例中,步骤(b)还包含基于图像的测定中的聚焦检查。
在某些实施例中,步骤(b)还包含样品中分析物分布的均匀度。
在某些实施例中,步骤(b)还包含分析和检测样品中的聚集分析物。
在某些实施例中,步骤(b)还包含在样品中分析样品图像中的干质地结构。
在某些实施例中,步骤(b)还包含分析样品中的缺陷。
在某些实施例中,步骤(b)还包含如失真消除、温度校正、亮度校正、对比度校正之类的像机参数和条件的校正。
在某些实施例中,步骤(b)还包含具有基于直方图的操作,基于数学的操作,基于卷积的操作,平滑操作,基于导数的操作,基于形态的操作的方法和操作。
F.用于可靠性检查的系统
图8是在样品保持器处的样品中可能出现缺陷(例如灰尘,气泡等)的示意图。图9是真实血液样品的图像,其含有在基于图像的测定中出现的多个缺陷。
F1.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将样品添加到样品保持装置,例如QMAX装置,其间隙与待分析的分析物的尺寸成比例,或者分析物在间隙之间形成单层;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)将来自(b)的由成像器拍摄的样品的图像分割成大小相等且不重叠的子图像片(例如8×8大小相等的小图像片);
d)使用训练的机器学习模型对每个图像斑的分析物检测和分割进行基于机器学习的推导,以确定但不限于分析物计数及其浓度;
e)将构建的子图像斑的分析物浓度按升序排序,确定其25%分位数Q1和75%分位数Q3;
f)使用基于分位数间距的置信度测量确定样品图像中分析物的均匀性:置信度-IQR=(Q3-Q1)/(Q3+Q1);以及
g)如果来自(f)的置信度-IQR超过某一阈值(例如30%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F2.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置,其间隙与待分析的分析物的尺寸成比例,或者分析物在间隙之间形成单层;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)使用用于干质地结构检测和分割的训练的机器学习模型来执行基于机器学习的推导,从而检测干质地结构区域,并确定与覆盖样品的图像的区域中的那些干质地结构区域的分割轮廓掩码相关联的AoI中的干质地结构的面积;
d)测定AoI中的干质地结构的面积与AoI面积之间的面积比:AoI中的干质地结构的面积比=AoI中的干质地结构的面积/AoI的面积;以及
h)如果来自(d)AoI中的干质地结构的面积比超过某一阈值(例如10%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F3.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置,其间隙与待分析的分析物的尺寸成比例,或者分析物在间隙之间形成单层;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)利用训练的机器学习模型执行基于机器学习的推导,以便用于聚集分析物检测和分割,从而检测群集分析物并确定与在其AOI中覆盖群集分析物的分割轮廓掩码相关联的区域(AoI中的聚集分析物面积);
d)测定AoI中的聚集分析物面积与AoI面积之间的面积比:AoI中的聚集分析物面积比=AoI中的聚集分析物面积/AoI的面积;以及
i)如果来自(d)AoI中的聚集分析物面积比超过某一阈值(例如40%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F4.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置,其间隙与待分析的分析物的尺寸成比例,或者分析物在间隙之间形成单层;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)利用训练的机器学习模型执行基于机器学习的推导,以便用于检测和分割样品的图像中的缺陷,其中所述缺陷包括(但不限于)灰尘,油等,从而检测所述缺陷并确定与在其AoI中覆盖所述缺陷的分割轮廓掩码相关联的区域(AoI中的缺陷面积);
d)确定AoI中的缺陷面积与AoI的面积比:AoI中的缺陷面积比=AoI中的缺陷面积/AoI的面积;以及
e)如果来自(d)的AoI中的缺陷面积比超过某一阈值(例如15%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F5.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置,其间隙与待分析的分析物的尺寸成比例,或者分析物在间隙之间形成单层;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)使用用于气泡和气隙检测和分割的训练的机器学习模型来执行基于机器学习的推导,以便检测气泡和气隙,并确定与在其AoI中覆盖它们的分割轮廓掩码相关联的AoI中气泡气隙的面积;
d)测定AoI中的气泡间隙面积和AoI的面积之间的面积比:
AoI中的气泡间隙面积比=AoI中的气泡间隙面积/AoI的面积;以及
k)如果来自(d)的AoI中的气泡间隙面积比超过某一阈值(例如10%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F6.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物装入样品保持装置,例如QMAX装置中,其中样品保持装置具有与待分析的分析物的尺寸成比例的间隙,或者分析物在间隙之间形成单层,并且存在监测标记(例如柱),其驻留在装置中并且不浸没,可以通过成像器在样品保持装置上与样品一起成像;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)使用训练的机器学习模型执行基于机器学习的推导,以便检测并分割顶部具有分析物的监测标记(柱),基于检测到的监测标记(柱)在AoI中的分割轮廓掩码来确定与检测到的监测标记(柱)相关联的面积(AoI柱上分析物面积);
d)确定AoI中的柱上分析物面积与AoI面积之间的面积比:
AoI中的柱上分析物面积比=AoI中的柱上分析物面积/AoI的面积;以及
l)如果来自(d)的在Ao1中的柱上分析物面积比超过某一阈值(例如10%),则升高标志并且该测定结果是不可信的,其中所述阈值是从训练/评估数据或从管理分析物分布的物理规则导出的。
F7.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)执行基于机器学习的聚焦检查,以便检测由成像器拍摄的样品的图像是否在样品的焦点上,其中用于检测成像器的焦点的机器学习模型是根据具有已知焦点对准和离焦条件的成像器的多个图像构建的;以及
d)如果由成像器拍摄的样品的图像在(c)中被检测到离焦,则升高标志并且基于图像的测定结果是不可信的。
F8.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物装载到样品保持装置,例如QMAX装置;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)执行基于机器学习的分析物检测;以及
d)如果分析物计数超出预设的可接受范围极低,则升高标志,结果不可靠,其中可接受范围基于测定的物理或生物学条件指定。
F9.一种用于测定具有一个或多个未知操作条件的样品的系统,包含:
a)将分析物添加到样品保持装置,例如QMAX装置;
b)利用成像器拍摄感兴趣区域(AoI)上的样品保持装置中的样品的图像以用于测定;
c)将样品的图像分割成不重叠的、大小相等的子图像斑;
d)在其每个子图像斑上执行基于机器学习的分析物检测;以及
e)如果对于一些子图像斑,检测的分析物的计数不切实际地低(例如,在全血细胞计数中,样品中的红细胞的数目低于人类可接受的范围),则升高标志,并且结果对于在测定中具有不足的样品或样品的不均匀分布是不可靠的。
F10.在所有前述权利要求所述的方法、装置和实施例中,其中在基于图像的测定中从由成像器拍摄的样品的图像中检测和分割异常是基于图像处理、机器学习或图像处理和机器学习的组合。
F11.在所有前述权利要求所述的方法、设备和实施例中,在样品的图像的感兴趣区域(AoI)中由分割轮廓掩码覆盖的面积的估计利用基于每个图像或每个子图像斑的真实横向尺寸(或视场(FoV))估计来补偿微观成像中的失真,包括但不限于来自透镜的球面失真、微观水平的缺陷、聚焦中的未对准等。
F12.在F11所述的方法、设备和实施例中,在样品保持装置(例如QMAX卡)中内置有监测标记(例如柱);并且监测标记(例如柱)被用作可检测的锚点以使真实横向尺寸(或视场(FoV))估计的估计面对显微成像中的失真是精确的。
F13.在F12所述的方法、设备和实施例中,样品保持装置的监测标记(例如柱)具有在样品保持装置中具有规定的固定间隔的分布的一些已知构造,例如QMAX卡,以使监测标记的检测和定位作为真实横向尺寸(TLD)(或视场(FoV))估计中的锚点可靠和稳健。
F14.在F1所述的方法、设备和实施例中,基于图像的测定中的离群值的检测和表征基于在此描述的样品的输入图像的非重叠子图像斑,并且离群值的确定可以在测定过程中基于非参数方法、参数方法以及两者的组合。
G-1一种方法,包含:
(a)检测包含或疑似包含分析物的样品中的分析物,所述检测包含:
(i)将样品沉积到检测仪器中,以及
(ii)使用检测仪器测量样品以检测分析物,从而产生检测结果;
(B)确定检测结果的可靠性,所述确定包含:
(i)拍摄样品的一部分和/或检测仪器中邻近样品的该部分的一部分的一个或多个图像,其中该一个或多个图像反映了产生检测结果的一个或多个操作条件;以及
(ii)使用具有算法的计算装置分析一个或多个图像以确定步骤(a)中的检测结果的可靠性;以及
(c)报告检测结果以及检测结果的可靠性;
其中一个或多个操作条件是不可预测的和/或随机的。
测定结果中的术语“不可靠”意指对于测定给定样品,测定结果不总是精确的:有时测定的结果是准确的,但有时结果是不准确的,其中不准确的结果基本上不同于准确的结果。这种不准确的结果称为“错误结果”。在一些文献中,错误结果也称为“离群值”。
测定结果中的术语“准确”是指在允许的安排内,测定结果与由受过训练的专业人员在理想环境下操作的金标准仪器测定的相同样品的结果一致。
传统上,诊断测定通常使用复杂的(通常昂贵的)仪器来执行,并且需要高度训练的人员和复杂的基础设施,这在有限的资源设置中是不可用的。
用于测定样品的术语“有限资源设置”或“LRS”是指进行测定的设置,其中其使用简化/低成本的测定过程或简化/低成本的仪器,由未经训练的人进行,在不利环境(例如具有灰尘的开放和非实验室环境)中使用,或其任意组合。
术语“LRS测定”是指在LRS下进行的测定。
描述特定测定结果(或数据)的可靠性的术语“可信度”是指特定测定结果的可靠性分析确定该结果具有不准确性的低概率。
描述特定测定结果(或数据)的可靠性的术语“不可信度”是指特定测定结果的可靠性分析确定该结果具有不准确性的高概率。
进行测定时的术语“操作条件”是指进行测定的条件。操作条件包括但不限于样品中的气泡,样品中的灰尘,外来物体(即不是来自原始样品而是稍后进入样品中的物体),固相表面的缺陷和/或测定的处理条件。
当在有限资源设置(LRS)中测定样品时,测定结果可能不可靠。然而,传统上,在对给定样品进行特定测试期间或之后,不检查特定结果的可靠性。
本发明观察到,在LRS测定中(或甚至在实验室测试环境中),可发生一个或多个不可预测的随机操作条件并影响测定结果。当发生这种情况时,即使使用相同的样品,从一个特定的测定到下一个测定也可以是基本上不同的。然而,代替照原样取测定结果,可以通过分析与特定测定中的测定操作条件相关的一个或多个因素来评估给定样品的特定测试中的特定结果的可靠性。
本发明观察到,在具有一个或多个不可预测的随机操作条件的LRS测定中,通过使用对每个特定测定的可靠性的分析和通过拒绝不可信的测定结果,可以显著提高测定的总准确度。
本发明的一个方面是这样的装置、系统和方法,其通过不仅测量特定测试中的分析物,而且通过分析特定测试的操作条件来检查测量结果的可信度,从而执行分析。
在本发明的一些实施例中,在机器学习框架中对测定的测量结果的可信性的检查进行建模,并且设计并应用机器学习算法和模型来处理发生并影响测定结果的不可预测的随机操作条件。
术语“机器学习”是指人工智能领域中的算法、系统和设备,其通常使用统计技术和人工神经网络来向计算机提供从数据“学习”(即,逐步改善对特定任务的性能)而不被明确编程的能力。
术语“人工神经网络”是指由生物网络启发的分层连接系统,其可以通过考虑示例“学习”以执行任务,通常不用任何任务专用规则来编程。
术语“卷积神经网络”是指一类多层前馈人工神经网络,其最普遍地应用于分析视觉图像。
术语“深度学习”是指在人工智能(AI)中从具有由许多连接层组成的网络结构的数据中学习的广泛类别的机器学习方法。
术语“机器学习模型”是指从数据的机器学习中的训练过程构建的经训练的计算模型。在推导阶段期间由计算机应用训练的机器学习模型,其给予计算机执行特定任务(例如,检测和分类对象)的能力。机器学习模型的示例包括ResNet、DenseNet等,由于其网络结构中的分层深度,它们也被称为“深度学习模型”。
术语“图像分割”是指将数字图像分割成多个段(像素集,具有覆盖沿它们的段边界轮廓的图像段的位映射掩码集)的图像分析过程。图像分割可以通过分水线、迭代图割、均值漂移等图像处理中的图像分割算法来实现,也可以通过MaskRCNN等机器学习算法来实现。
图像中的术语“对象”或“感兴趣的对象”是指在图像中可见并且具有固定形状或形式的对象。
在本发明中,机器学习的创新使用具有这样的优点,即在测定中直接从数据中面对不可预测的随机操作条件,而不对可能复杂、难以预测且易于出错的不可预测条件做出明确假设的情况下,自动化确定测定结果的可信度的过程。
本发明中的机器学习框架涉及一种过程,该过程包含:
(a)采集训练任务数据;
(b)准备带有标记的数据;
(c)选择机器学习模型;
(d)利用训练数据训练选定的机器学习模型;
(e)利用训练和评估数据调整超参数和模型结构,直到模型在评估和测试数据上达到满意的性能;以及
(f)使用来自(e)的训练的机器学习模型执行对测试数据的推导。
基于图像的测定的图像分割:在用于验证测试结果的可信度的本发明的一些实施例中,需要从样品的图像中分割感兴趣的对象以进行分析。尽管基于机器学习的图像分割算法(例如Mask RCNN)是强大的,但是它们需要对样品的显微图像中的对象的形状进行精确的轮廓标记,从而训练机器学习模型,这已经成为许多应用的瓶颈。此外,它们对图像中对象的形状非常敏感。对于基于图像的测定,难以对对象的形状轮廓进行这种标记,因为样品中的对象可以非常小,它们的出现是随机的,而且,它们在形状、尺寸和颜色(例如灰尘,气泡等)上存在巨大的变化。
在本发明的一些实施例中,基于基于机器学习的粗略结合框分割和基于图像处理的精细形状确定的组合来设计精细图像分割算法。它被应用于基于图像的测定中的图像分割,其中每个对象仅需要在粗略的边界框中被标记,独立于其形状和形状轮廓细节。由此,消除了对样品的图像中的对象的形状相关轮廓的精细标记的需要,该标记是困难的、复杂的、昂贵的并且难以精确。该精细图像分割算法包含:
a)收集由成像器拍摄的样品的多个图像,多个图像含有在样品的图像中的待检测的对象,用于进一步分析;
b)利用含有用于模型训练的对象的粗略结合框标记所收集的图像中的每个对象;
c)训练机器学习模型(例如FRCNN)以检测具有含有对象的粗略边界框的样品的图像中的对象;
d)将样品的图像作为测定中的输入;
e)应用训练的机器学习模型来检测对象在样品的图像中具有其粗略边界框;
f)将对应于检测到的结合框的每个图像斑变换成灰色,然后变换成具有自适应阈值的二进制;
g)进行形态学扩张(7x7)和侵蚀(3x3)以根据背景噪声增强形状的轮廓;
h)对每个图像斑进行凸轮廓分析,将图像斑中找到的最长连接轮廓作为对象形状的轮廓,从而确定对象的图像掩码(例如,样品图像中覆盖对象的二进制位图);以及
i)通过收集来自(h)的所有图像掩码来完成图像分割。
(如果需要额外边距Δ的分割掩码,则在(h)中扩张每个检测到的轮廓,将边距Δ作为新掩码)
图10是在基于图像的测定中应用到图9中描绘的血液样品的图像的所描述的精细图像分割算法的示例。如示例中所示,所描述的精细图像分割算法可以在基于图像的测定中适当地处理具有不同尺寸和形状的对象,其中非常紧密的掩码覆盖样品图像中的对象。
基于图像的测定中的焦点检查:在基于图像的测定中,由成像器拍摄的样品的图像需要由成像器聚焦在样品上以进行测定,并且由成像器拍摄的样品的图像中的离焦使样品的图像中的分析物模糊,因此测定结果变得不可信。然而,存在许多可导致样品的图像部分或甚至完全离焦的随机因素,包括但不限于在所拍摄的图像期间的振动/手抖,样品保持装置与图像传感器平面的错位等。此外,现有技术主要依赖于某些基于边缘内容的测量,例如Tenengrad等,以及一些预设的内容相关阈值,这些阈值是不可靠的、脆弱的,并且对于基于显微成像的测定中的要求是不足的。
在本发明的一些实施例中,设计并应用基于机器学习的验证过程,从而确定在基于图像的测定中由成像器拍摄的样品的图像是焦点对准还是离焦,其中在对焦和离焦条件下由成像器拍摄的样品的图像被收集为训练数据,并且基于它们的已知对焦条件对它们进行标记。选择机器学习模型,并用标记的训练数据对其进行训练。在测定过程中,将训练的机器学习模型应用于成像器所拍摄的样品的图像,以推导/预测成像器所拍摄的用于测定的样品的图像是否处于焦点中,并判定测定结果是否值可信,而不需要现有技术中的预设的与内容相关的阈值。
在一些实施例中,柱形式的监测标记位于样品保持QMAX卡上,以保持样品保持QMAX卡的两个平行板之间的间隙均匀。这样,由成像器拍摄的样品保持QMAX卡上的图像中的感兴趣区域(AoI)下的样品体积可以由AoI及其两个平行板之间的间隙确定。
样品中分析物分布的均匀度:可以影响测定结果的可靠性的一个因素是分布在样品中的分析物的均匀度,并且即使有经验的技术人员也难以通过眼球检查来检测它们。
在本发明的一些实施例中,设计并应用具有基于机器学习的专用进程的算法,以从由成像器拍摄的样品的图像中确定分析物是否均匀地分布在用于测定的样品中,其中收集由成像器拍摄的样品的多个图像,由此识别并标记样品的图像中的分析物。选择机器学习模型(例如F-RCNN)并用标记的训练图像对其进行训练以检测样品图像中的分析物。
在测定过程期间,具有其专用进程的算法包含:
a)利用来自成像器的样品的图像为输入;
b)将样品图像分割成大小相等且不重叠的图像斑(例如8×8大小相等的小图像斑);
c)将训练的机器学习模型应用于每个构建的图像斑,以确定且不限于每个斑中的分析物浓度;
d)以升序对构建的像斑的分析物浓度进行排序,并确定构建的像斑的排序浓度序列中其25%分位数Q1和75%分位数Q3;
e)应用稳健的、非参数离群值检测算法以根据构建的图像斑的分析物浓度分布来确定用于测定的样品中的分析物的均匀度/均匀度,其中在本发明的一些中构建并应用基于分位数间距的置信度测量:
置信度-IQR=(Q3-Q1)/(Q3+Q1);以及
如果置信度-IQR超过某一阈值(例如30%),则升高标志,且测定结果不可信,其中该阈值取决于不均匀分布对最终估计的影响,最终估计可从训练和评价数据估计。
样品中的聚集分析物:此外,样品中聚集的分析物可影响测定结果的准确度,特别是它们占据样品的相当大的部分。例如,在全血计数中,红细胞的某些部分可以聚集在样品中,特别是如果它们暴露在开放空气中一段时间。样品中聚集的分析物根据它们如何聚集在一起而具有各种尺寸和形状。如果样品中聚集分析物的部分超过一定百分比,则样品不应用于测定。
在本发明的一些实施例中,设计并应用基于机器学习的过程,以从由成像器拍摄的样品的图像中确定分析物在用于分析的样品中是否聚集/群集,其中良好样品的图像和样品中具有不同程度的聚集分析物的样品的图像由成像器拍摄并作为训练数据收集。按照本发明中描述的精细图像分割算法,图像中聚集的分析物首先由边界框粗略标记,而不管它们的形状和形状轮廓细节。选择机器学习模型(例如Fast RCNN)并用标记的训练图像进行训练,以用其结合框检测样品的图像中的聚集的分析物群集,然后,执行附加的处理步骤以基于本发明中描述的精细分割图像分割算法来确定其精细分割。
在测定过程中,进行聚集分析物的操作,包含:
a)利用来自成像器的样品的图像为输入;
b)应用用于聚集分析物的训练的机器学习模型来检测结合框中待分析样品的图像中的聚集分析物;
c)在遵循本发明中的精细图像分割算法的样品的图像中确定它们的分割轮廓掩码;
d)通过对与来自(c)的覆盖它们的分割轮廓掩码相关联的所有面积求和,确定样品图像中感兴趣区域(AoI)中的聚集分析物占据的总面积(AoI中的聚集分析物面积);
e)确定样品图像中AoI中的聚集分析物面积与AoI面积之间的面积比:
AoI中的聚集分析物面积比=AoI中的聚集分析物面积/AoI的面积;以及
f)如果A01中的聚集分析物面积比超过某一阈值,则对测定结果的可信度升高标志,其中在所述方法的一些实施例中,所述阈值为约10-20%,其中所述阈值取决于聚集分析物面积对最终估计的影响,最终估计可从训练和评价数据估计。
样品的图像中的干质地结构:样品图像中的干质地结构是影响基于图像的测定中测定结果的可信度的另一因素。当用于测定的样品的量低于所需的量或图像保持装置中的样品的某些部分由于一些不可预测的因素而变干时,发生这种情况。
在本发明的一些实施例中,设计并应用基于机器学习的过程以在基于图像的测定中检测由成像器拍摄的样品的图像中的干质地结构区域,其中无干质地结构区域的良好样品的图像和具有样品中的各种程度的干质地结构区域的样品的图像被收集为训练数据,根据训练数据中,图像中的干质地结构区域由结合框粗略地标记,而不管形状和形状轮廓细节。选择机器学习模型(例如,Fast RCNN),并使用标记的训练图像进行训练,以检测具有结合框的样品的图像中的干质地结构区域,然后遵循本发明中描述的精细图像分割算法来确定覆盖它们的分割轮廓掩码。
在基于图像的测定过程中,它执行以下处理操作,包含:
a)利用来自成像器的样品的图像为输入;
b)将用于干质地结构的训练的机器学习模型(如Fast RCNN)应用于样品的图像进行测定,并在结合框中检测其干质地结构区域;
c)如果在(b)中的样品的图像中检测到干质地结构区域,则通过本发明中的精细图像分割算法来确定分割轮廓掩码;
d)通过基于在(c)中覆盖干质地结构的分割轮廓掩码对检测到的干质地结构的所有面积进行求和,确定用于测定的样品的图像中的感兴趣区域(AoI)中的干质地结构所占据的总面积(AOI中的干质地结构面积);
e)确定样品图像中AoI中的干质地结构面积与AoI的面积之间的面积比:
AoI中的干质地结构面积比=AoI中的干质地结构面积/AoI的面积;以及
f)如果AoI中的干质地结构面积比超过某一阈值,则对测定结果的可信度升高标志,其中在所述方法的一些实施例中,所述阈值为约10%,其中所述阈值取决于干质地结构面积对最终估计的影响,最终估计可从训练和评价数据估计。
样品缺陷:样品中的缺陷可严重影响测定结果的可靠度,其中这些缺陷可以是样品中的任何不希望的物体,包括但不限于灰尘,油等。它们难以用现有技术处理,因为它们在样品中的出现和形状都是随机的。
在本发明的一些实施例中,设计了用于缺陷检测的专用进程,并将其应用于基于图像的测定,其中无缺陷的良好样品的图像以及在样品中具有不同程度的缺陷的样品的图像被收集为训练数据,根据训练数据,图像中的缺陷区域用粗略的结合框标记来标记。选择机器学习模型(例如,Fast RCNN),并使用标记的训练图像对其进行训练,以检测结合框中的样品的图像中的缺陷,然后应用本发明中描述的精细图像分割算法来确定覆盖它们的分割轮廓掩码。
在基于图像的测定过程期间,执行缺陷检测和面积确定以验证测定结果的可信度,包含:
a)利用来自成像器的样品的图像为输入;
b)将用于缺陷的训练的机器学习模型(如Fast RCNN)应用于样品的图像进行测定,并在结合框中检测其缺陷;
c)在遵循本发明中的精细图像分割算法中确定它们的分割轮廓掩码;
d)通过基于来自(c)的覆盖缺陷的分割轮廓掩码对检测到的缺陷的所有面积进行求和,确定用于测定的样品的图像中的感兴趣区域(AoI)中的缺陷所占据的总面积(AoI中的缺陷面积);
e)确定样品的图像中AoI中的缺陷面积与AoI的面积之间的面积比:
AoI中的缺陷面积比=AoI中的缺陷面积/AoI的面积;以及
f)如果A01中的缺陷比超过某一阈值,则对测定结果的可信度升高标志,其中在所述方法的一些实施例中,所述阈值为约15%,其中所述阈值取决于缺陷面积对最终估计的影响,最终估计可从训练和评价数据估计。
样品中的气泡:样品中的气泡是在测定中出现的特殊类型的缺陷。它们的出现是随机的,这可以来自操作程序以及样品中分析物和其它试剂之间的反应。与固体粉尘不同,它们的出现更随机,因为它们的数量、尺寸和形状都可以随时间变化。
在本发明的一些实施例中,设计并应用专用进程以在基于图像的测定中检测样品中的气泡,其中无气泡的良好样品的图像以及具有各种程度的气泡的样品的图像被收集为训练数据,根据训练数据,图像中的气泡仅由边界框粗略地标记,而不管其形状和形状轮廓细节。选择机器学习模型(例如FastRCNN),并用标记的训练图像进行训练,以检测粘合结合框盒中的样品图像中的气泡。然后,遵循本发明中描述的精细图像分割算法,确定在样品的图像中覆盖它们的分割轮廓掩码。
在基于图像的测定过程中,在本发明的一些实施例中执行气泡检测和面积确定,以验证测定结果的可信度,包括:
a)利用来自成像器的样品的图像为输入;
b)将用于气泡的训练的机器学习模型(如Fast RCNN)应用于样品的图像进行测定,并在结合框中检测其气泡;
c)在应用本发明中的精细图像分割算法中确定它们的分割轮廓掩码;
d)通过基于来自(c)的覆盖气泡的分割轮廓掩码对检测到的气泡的所有面积进行求和,确定用于测定的样品的图像中的感兴趣区域(AoI)中的气泡所占据的总面积(AoI中的缺陷面积);
e)测定样品图像中AoI中的气泡面积与AoI面积之间的面积比:
AoI中的气泡面积比=AoI中的气泡面积/AoI的面积;以及
f)如果AoI中的气泡比超过某一阈值,则对测定结果的可信度升高标志,其中在所述方法的一些实施例中,所述阈值为约10%,其中所述阈值取决于气泡面积对最终估计的影响,最终估计可从训练和评价数据估计。
在本发明的一些实施例中,对气泡应用更严格的阈值,因为气泡占据的大量面积是用于测定的样品中的组分之间的一些化学或生物反应或样品保持装置中的一些缺陷/问题的指示。
使用监测标记的基于成像的测定
在用于测定样品中的分析物的基于图像的测定中,使用成像器来产生样品保持器上的样品的图像,并且该图像用于确定分析物的特性。
然而,许多因素可能使图像失真(即,不同于真实样品或完美条件下的图像)。图像失真可导致分析物特性测定的不准确性。例如,一个事实是聚焦差,因为生物样品本身不具有聚焦中优选的锐边。当聚焦差时,对象尺寸将不同于真实对象,并且其它对象(例如,血细胞)可能变得不可识别。另一个示例是透镜可能是完美的,导致样品的不同位置具有不同的失真。再一个示例是样品保持器不在与光学成像系统相同的平面中,导致在一个区域中的良好聚焦和在其它区域中的不良聚焦。
本发明涉及能够从失真图像获得“真实”图像的装置和方法,因此提高了测定的准确性。
本发明的一个方面是使用具有平行于相邻表面的光学可观察平表面的监测标记的装置和方法。
本发明的另一个方面是使用QMAX卡使样品的至少一部分形成均匀层并使用卡上的监测标记以提高测定准确度的装置和方法。
本发明的另一方面是与计算成像、人工智能,和/或机器学习一起使用监测标记的装置和方法。
术语“横向尺寸”是指在被成像的薄样品层的平面中的线性尺寸。
术语“真实横向尺寸(TLD)”和“视场(FoV)”是可互换的。
术语“样品中的微特征”可指样品中的分析物、微结构和/或物质的微变化。分析物指颗粒,细胞,大分子,例如蛋白质、核酸和其它部分。微结构可以指不同材料的微观尺度差异。微观变化是指样品的局部性质的微观变化。微变化的示例是局部光学指数和/或局部质量的变化。细胞的示例是血细胞,例如白细胞、红细胞和血小板。
A.固相表面上的监测标记
A1-1.一种用于使用成像器来测定样品中的微特征的装置,该装置包含:
(a)固相表面,其包含用于接触含有微特征的样品的样品接触区域;以及
(B)一个或多个监测标记,其中监测标记:
i.由与样品不同的材料制成;
ii.在对微结构进行测定的过程中,位于样品内部,其中样品在样品接触区域上形成厚度小于200μm的薄层;以及
iii.具有约1μm(微米)或更大的它们的横向线性尺寸,和
iv.具有至少一个300μm或更小的横向线性尺寸;以及
其中在测定期间至少一个监测标记由成像器成像;
其中测定分析物期间使用;以及监测标记的几何参数(例如形状和尺寸)和/或监测标记之间的间距(a)在对分析物的测定之前预先确定并且已知,以及(b)在确定与微特征相关的性质的算法中用作参数。
A1-2.一种用于使用成像器来测定样品中的微特征的装置,该装置包含:
固相表面,其包含用于接触含有微特征的样品的样品接触区域;以及
一个或多个监测标记,其中每个监测标记包含来自固相表面的突起或沟槽,其中:
v.该凸起或沟槽包含平坦表面,该平坦表面基本上平行于相邻表面,该相邻表面是与该凸起或沟槽相邻的固相表面的一部分;
vi.平坦表面与相邻表面之间的距离为约200微米(μm)或更小;
vii.平坦表面具有(a)线性尺寸为至少约1μm或更大的,和(b)至少一个线性尺寸为150μm或更小的面积;
viii.通过在测定微特征期间使用的成像器对至少一个监测标记的平坦表面进行成像;以及
ix.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
B.QMAX卡上的监测标记
A2-1.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个监测标记,其中:
i.第一板和第二板可相对于彼此移动成不同的构造;
ii.第一板和第二板中的每一个包含内表面,该内表面包含用于接触含有微特征的样品的样品接触区域;
iii.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
iv.间隔件具有等于或小于200微米的基本均匀的高度以及固定间隔件间距(ISD)。
v.监测标记由与样品不同的材料制成;
vi.在对微结构进行测定的过程中,监测标记位于样品内部,其中样品在样品接触区域上形成厚度小于200μm的薄层;以及
vii.监测标记具有约1μm(微米)或更大的横向线性尺寸,并且具有至少一个300μm或更小的横向线性尺寸;
其中在测定期间至少一个监测标记由成像器成像;
其中在测定期间使用微特征;并且平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
A2-2.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个监测标记,其中:
viii.第一板和第二板可相对于彼此移动成不同的构造;
ix.第一板和第二板中的每一个包含内表面,该内表面包含用于接触含有微特征的样品的样品接触区域;
x.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
xi.间隔件具有等于或小于200微米的基本均匀的高度以及固定间隔件间距(ISD)。
xii.每个监测标记包含在一个或两个样品接触区域上的突起或沟槽;
xiii.该凸起或沟槽包含平坦表面,该平坦表面基本上平行于相邻表面,该相邻表面是与该凸起或沟槽相邻的固相表面的一部分;
xiv.平坦表面与相邻表面之间的距离为约200微米(μm)或更小;
xv.平坦表面具有(a)线性尺寸为至少约1μm或更大的,和(b)至少一个线性尺寸为150μm或更小的面积;
xvi.通过在测定微特征期间使用的成像器对至少一个监测标记的平坦表面进行成像;以及
xvii.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
A3.一种基于图像的测定的装置,包含:
如任一前述实施例所述的装置,其中所述装置具有至少五个监测标记,其中所述监测标记中的至少三个不在直线上对准。
A4.一种用于使用成像器测定样品中的分析物的装置,所述系统包含:
(a)如前述装置实施例中任一项所述的装置;以及
(b)用于测定含有分析物的样品的成像器。
A5.一种用于执行基于成像的测定的系统,该系统包含:
(a)如前述实施例中任一项所述的装置;
(b)用于测定含有分析物的样品的成像器;以及
(c)算法,其利用装置的监测标记来确定与分析物相关的特性。
在一些实施例中,配置薄层的厚度,使得对于给定的分析物浓度,在薄层中有单层分析物。术语“单层”是指在薄样品层中,在垂直于样品层平面的方向上,两个相邻分析物之间基本上没有重叠。
C.具有计算成像人工智能和/或机器学习的监测标记
本发明的另一方面是将监测标记与计算成像、人工智能和/或机器学习相结合。它利用从测量形成图像的过程,使用算法来处理图像并将图像中的对象映射到它们在真实世界中的物理尺寸。在本发明中应用机器学习(ML)来学习样品中的对象的显著特征,其嵌入在ML模型中,该模型是根据由成像器拍摄的样品的图像构建和训练的。智能决策逻辑被构建并应用于本发明的推导过程中,以便根据嵌入ML模型中的知识来检测和分类样品中的目标对象。计算成像是使用依赖于大量计算的算法从测量间接形成图像的过程。
A6.一种用于使用成像器测定样品中的分析物的系统,该系统包含:
(a)如前述实施例中任一项所述的装置;
(b)用于测定含有分析物的样品的成像器;以及
(c)一种算法,其利用装置的监测标记来测定与分析物相关的特性,其中所述算法使用机器学习。
A7.一种用于使用成像器测定样品中的分析物的方法,包含:
(a)获得前述实施例中任一项所述的装置、设备或系统;
(b)获得样品并将样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中样品含有分析物;以及
(c)测定分析物。
8.一种用于使用成像器测定样品中的分析物的方法,包含:
(a)获得前述实施例中任一项所述的装置、设备或系统;
(b)获得样品并将样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中样品含有分析物;以及
(c)测定分析物,其中所述测定包含使用机器学习的步骤。
本发明的一个关键思想是在样品保持装置(例如QMAX装置)中使用柱作为可检测的锚点,用于校准和提高基于图像的测定的准确度。在QMAX装置中,柱是监测标记,以保持在样品保持装置中保持样品的两个板之间的间隙均匀。然而,准确地检测样品保持装置中的柱作为用于校准并提高测定的准确性的锚点是一个挑战,因为柱被样品保持装置内的分析物渗透和包围。此外,它们的图像在显微镜成像中由于透镜的球形(桶形)失真、来自显微镜物体的光衍射、显微镜水平的缺陷、聚焦的未对准、样品图像中的噪声等而失真和模糊。而且,如果通过商用装置(例如,来自智能电话的相机)进行成像,则变得更加困难,因为这些相机一旦制造完成就没有专用硬件校准。
在本发明中,柱检测被配制到机器学习框架中,以检测样品保持装置(例如QMAX装置)中的柱,具有适合于基于图像的测定中的校准和准确度提高的准确度。由于柱的分布和物理配置是先验已知的,并且由精细的纳米级制造(例如QMAX装置)控制,因此它使得这种使用可检测的监测标记(例如柱)作为基于图像的测定中的锚点的创新方法不仅可行而且有效。
在一些实施例中,如前述实施例中任一项所述的算法包括计算成像、人工智能和/或机器学习的算法。
在一些实施例中,如前述实施例中任一项所述的算法包含机器学习算法。
在一些实施例中,如前述实施例中任一项所述的算法包含人工智能和/或机器学习的算法。
在一些实施例中,如前述实施例中任一项所述的算法包含计算成像和/或机器学习的算法。
在一些实施例中,其设计基于机器学习的柱检测以根据样品的图像检测柱,且由此,其应用来自卡制造的柱的已知配置和分布以构造良好的点集,即,图像平面处的点以及卡的物理平面处的彼此对应的点。然后,基于检测到的良好点集,计算对应(透视)变换,该单应变换将失真图像平面映射到具有正确TLD(真实横向尺寸)的样品的物理平面。图6是使用基于柱的机器学习的真实横向尺寸(TLD)估计和校正的流程图,并且本发明的实施例包含:
(1)在基于图像的测定中使用样品添加装置,例如QMAX装置,其中在该装置中存在具有已知构造的监测标记,这些监测标记不浸没在样品中并且可以在基于图像的测定中通过成像器从顶部成像;
(2)拍摄包括分析物和监测器标记的样品添加装置中的样品的图像;
(3)建立并训练机器学习(ML)模型,用于从成像器所拍摄的图像中检测样品保持装置中的监测标记;
(4)使用(3)中ML检测模型,从成像器拍摄的样品图像中检测并定位样品添加装置中的监测标记;
(5)从在(4)中检测到的监测标记生成一个标记栅格;
(6)基于生成的监测标记栅格来计算单应变换;以及
(7)估计TLD,并确定基于图像的测定中成像分析物的面积、大小和浓度。
可以进一步改进本发明以执行基于区域的TLD估计和校准,从而提高基于图像的测定的准确度。这种方法的实施例包含:
(1)在基于图像的测定中使用样品添加装置,例如QMAX装置,其中存在监测标记,其不浸没在样品中并且驻留在装置中,可以在基于图像的测定中通过成像器从顶部成像;
(2)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(3)建立并训练机器学习(ML)模型,用于从成像器所拍摄的图像中检测样品保持装置中的监测标记;
(4)将由成像器拍摄的样品的图像分割成非重叠区域;
(5)使用(3)的ML模型从由成像器拍摄的样品图像中检测并定位监测标记;
(6)针对在局部区域中检测到的具有多于5个非共线监测标记的区域中的每一个生成一个基于区域的标记栅格;
(7)基于检测到的监测标记,根据由成像器拍摄的样品的图像中为所有不在(6)中的区域生成标记栅格;
(8)基于在(6)中生成的其自己的基于区域的标记栅格,为(6)中的每个区域计算区域特定单应变换;
(9)基于在(7)中生成的标记栅格来计算针对所有其它区域的单应变换;
(10)基于(8)中生成的基于区域的单应变换来估计(6)中的针对每个区域的基于区域的TLD;
(11)基于来自(9)的单应变换来估计针对其他区域的TLD;以及
(12)应用来自(10)和(11)的估计TLD以确定基于图像的测定中每个分区中成像分析物的面积和浓度。
在一些实施例中,监测标记具有锐边和平坦表面。
在一些实施例中,监测标记用于确定图像的局部特性和/或局部操作条件(例如间隙尺寸,板质量)。
在一些实施例中,监测标记具有与间隔件相同的形状。
使用监测标记监测测定操作
本发明的一个方面是为了用具有两个可移动板的QMAX卡进行测定,放置在薄样品内的监测标记可用于监测QMAX卡的操作条件。操作条件可包括样品是否正确添加,两个板是否正确闭合,两个板之间的间隙是否与预定值相同或近似相同。
在一些实施例中,对于包含两个可移动板并且在闭合构造中在两个板之间具有预定间隙的QMAX卡,通过在闭合构造中拍摄监测标记的图像来监测QMAX测定的操作条件。例如,如果两个板没有正确地闭合,则与两个板正确地闭合相比,监测标记将在图像中出现得不同。被样品包围的监测标记将具有与未被样品包围的监测标记不同的外观。因此,它可以提供关于样品添加条件的信息。
Z-1.1一种用于使用监测标记来监测装置的操作条件的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个监测标记,其中:
i.第一板和第二板可相对于彼此移动成不同的构造;
ii.第一板和第二板中的每一个包含内表面,该内表面包含用于接触正被分析的样品的样品接触区域;
iii.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
iv.监测标记具有(a)预定且已知的其尺寸中的至少一个,以及(b)可由成像器观察到;
v.测标记为至少一个横向线性尺寸为300μm或更小的微结构;以及
vi.监测标记在样品内部;
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中,在用力使两个板达到闭合构造之后,对监测标记成像,以确定(i)两个板是否已达到预期的闭合构造,从而将样品厚度调节为大约预定厚度,和/或(ii)确定样品是否已根据需要添加。
在一些实施例中,监测标记的图像用于确定两个板是否已经达到预期的闭合构造,其中调节样品以具有大约预定厚度的厚度。
在一些实施例中,监测标记的图像被用于确定样品是否已经根据需要被添加。
在一些实施例中,监测标记被成像以确定两个板是否已经达到预期的闭合构造,其中样品厚度被调节为预定厚度,并且确定样品是否已经根据需要被添加。
在一些实施例中,间隔件用作监测标记。
在一些实施例中,所述系统包含装置、计算设备以及具有指令的非瞬态计算机可读介质,所述指令在被执行时执行所述确定。
在一些实施例中,一种具有指令的非暂时性计算机可读介质,所述指令在被执行时执行一种方法,所述方法包含使用薄样品层连同监测标记的一个或多个图像以确定(i)两个板是否已达到预期闭合构造,借此将样品厚度调节为近似预定厚度,或(ii)样品是否已按需要添加。
在一些实施例中,该系统包含具有指令的非瞬态计算机可读介质,所述指令在被执行时执行本公开的任何方法。
W-1.一种用于使用监测标记来监测装置的操作条件的方法,该方法包含:
(a)获得任一前述实施例所述的装置,其中所述装置包含两个可移动板、间隔件和一个或多个监测标记,其中监测标记在样品接触区域中;
(b)获得成像器;
(c)将样品沉积在(a)的装置的样品接触区域中,并且迫使两个板进入闭合构造;
(d)使用成像器拍摄薄样品层连同监测标记的一个或多个图像;以及
(e)使用监测标记的图像来确定(i)两个板是否已达到预期的闭合构造,从而将样品厚度调节为大约预定厚度,或(ii)样品是否已根据需要添加。
在一些实施例中,监测标记的图像用于确定两个板是否已经达到预期的闭合构造,其中调节样品以具有大约预定厚度的厚度。
在一些实施例中,监测标记的图像被用于确定样品是否已经根据需要被添加。
在一些实施例中,监测标记被成像以确定两个板是否已经达到预期的闭合构造,其中样品厚度被调节为预定厚度,并且确定样品是否已经根据需要被添加。
在一些实施例中,所述系统包含装置、计算设备以及具有指令的非瞬态计算机可读介质,所述指令在被执行时执行所述确定。
选择感兴趣区域和/或去除缺陷图像区域
在一些实施例中,样品具有缺陷,一种消除缺陷对测定的影响的方法,包含:识别图像中的缺陷,拍摄缺陷图像或选择未由缺陷引起的图像的图像良好区域。
在一些实施例中,从图像去除的拍摄区域大于缺陷图像区域的面积。
在一些实施例中,样品的厚度被配置为薄的厚度,使得感兴趣的对象(例如,细胞)形成单层(即在垂直于样品层的方向上对象之间没有显著的重叠)。
一种用于使用成像器来确定QMAX卡的制造质量的方法,该方法包含:
(f)获得任一前述实施例所述的装置,其中所述装置包含两个可移动板、间隔件和一个或多个监测标记,其中监测标记在样品接触区域中;
(g)获得成像器;
(h)将样品沉积在(a)的装置的样品接触区域中,并且迫使两个板进入闭合构造;
(i)使用成像器拍摄薄样品层的一个或多个图像;以及
(j)使用监测标记的图像来确定QMAX卡的制造质量。
在如前述实施例中任一项所述的方法中,确定制造质量包含测量一个或多个监测标记的特征(例如,长度、宽度、间距、厚边),以及将测量的特征与参考值进行比较以确定QMAX卡的制造质量。
在如前述实施例中任一项所述的方法中,确定制造质量包含测量一个或多个第一监测标记的第一特征(例如,数量、长度、宽度、间距、厚边),以及将测量的第一特征与一个或多个第二监测标记的第二特征(例如,数量、长度、宽度、间距、厚边)进行比较,以确定QMAX卡的制造质量。
在如前述实施例中任一项所述的方法中,在使用任一先前实施例所述的装置分析样品期间执行所述确定。
本发明的另一个方面是使监测标记在样品保持装置中例如在QMAX装置中具有固定间隔的图案,使得它们在由成像器拍摄的样品的图像中以一定的间距按固定间隔出现。基于这种固定间隔的特性,监测标记检测可以变得非常可靠,因为当监测标记以预定的构造固定间隔地定位时,所有监测标记可以被识别并从仅少数检测到的监测标记中导出,此外,这种构造可以通过诸如纳米压印的纳米制造技术而变得精确。由此,由于监测标记的固定间隔的图案,基于样品图像和基于图像区域的TLD估计都可以变得更加准确和稳健。
A.具有微标记的样品保持器
单个板
AA-1.1一种用于使用成像器来测定薄样品中的微特征的装置,该装置包含:
(a)固相表面,其包含用于接触薄样品的样品接触区域,薄样品具有200μm或更小的厚度,并且包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
x.具有锐边,锐边(i)具有预定的和已知的形状和尺寸,并且(ii)通过成像微特征的成像器可观察到;
xi.是至少一个横向线性尺寸为300μm或更小的微结构;以及
xii.在样品内;
其中标记中的至少一个在测定期间由成像器成像。
AA-1.2一种用于使用成像器来测定薄样品中的微特征的装置,该装置包含:
(a)固相表面,其包含用于接触薄样品的样品接触区域,薄样品(i)具有200μm或更小的厚度和(ii)包含或疑似包含微特征;以及
(b)一个或多个标记,其中所述标记:
i.包含来自固相表面的突起或沟槽
ii.具有锐边,该锐边是通过对微特征进行成像的成像器可观察到的;
iii.是至少一个横向线性尺寸为300μm或更小的微结构;以及
iv.在样品内;
其中标记中的至少一个在测定期间由成像器成像。
间距恒定的两板
AA-2.1一种用于使用成像器来测定薄样品中的微特征的装置,该装置包含:
第一板、第二板以及一个或多个间隔件其中:
xviii.第一板和第二板中的每一个包含内表面,该内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
xix.样品的至少一部分通过第一和第二板限制成厚度基本上恒定为200μm或更小的薄层;
xx.监测标记具有锐边,该锐边(a)具有预定的和已知的形状和尺寸,并且(b)通过成像微特征的成像器可观察到;
xxi.监测标记为至少一个横向线性尺寸为300μm或更小的微结构;以及
xxii.监测标记在样品内部;
其中标记中的至少一个在测定期间由成像器成像。
两个移动板
AA-3.一种用于使用成像器来测定薄样品中的微特征的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个检测标记,其中:
vii.第一板和第二板可相对于彼此移动成不同的构造;
viii.第一板和第二板中的每一个包含内表面,该内表面包含用于接触包含或疑似包含微特征的样品的样品接触区域;
ix.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
x.监测标记具有锐边,该锐边(a)具有预定的和已知的形状和尺寸,并且(b)通过成像微特征的成像器可观察到;
xi.监测标记为至少一个横向线性尺寸为300μm或更小的微结构;以及
xii.监测标记在样品内部;
其中标记中的至少一个在测定期间由成像器成像。
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。B.使用具有微标记的样品保持器的图像拍摄改进
BB-1.一种用于改进样品中的微特征的图像拍摄的设备,该设备包含:
(c)如前述实施例中任一项所述的装置;以及
(d)成像器,其用于分析包含或疑似包含微特征的样品;
其中成像器拍摄图像,其中至少一个图像包含样品的一部分以及监测标记两者。
BB-2.一种用于改进样品中的微特征的图像拍摄的系统,该系统包含:
(a)如前述装置实施例中任一项所述的装置;
(e)成像器,其用于分析包含或疑似包含微特征的样品;以及
(f)一种具有指令的非瞬态计算机可读介质,所述指令在被执行时将标记作为参数与成像处理方法一起用于调整下一图像的成像器的设置。
C.使用具有微标记的样品保持器的成像分析
CC-1:一种用于改进对样品中的微特征的图像的分析的设备,该设备包含:
(a)如前述装置实施例中任一项所述的装置;以及
(B)计算装置,其用于接收标记以及包含或疑似包含微特征的样品的图像;
其中,计算装置运行将标记作为参数与成像处理方法一起使用的算法,以提高图像中的图像质量。
CC-2:一种用于改进对样品中的微特征的图像的分析的系统,该系统包含:
(a)如前述实施例中任一项所述的装置;
(b)成像器,其用于通过拍摄样品和标记的一个或多个图像来对包含或疑似包含微特征的样品进行测定;以及
(c)一种具有指令的非瞬态计算机可读介质,所述指令在被执行时将标记作为参数与成像处理方法一起使用,以提高在(c)中拍摄的至少一个图像中的图像质量。
CC-3:一种用于测定样品中的微特征的计算机程序产品,该程序包含计算机程序代码装置,该计算机程序代码装置被应用并且被适配成用于在至少一个图像中:
(a)接收样品以及一个或多个监测标记的图像,其中该样品被添加到任何先前装置权利要求所述的装置中,并且其中该图像是由成像器拍摄的;以及
(b)处理和分析图像以计算微特征的量,其中所述分析使用基于机器学习和由图像提供的监测标记的信息的检测模型。
CC-4:一种用于测定样品中的微特征的计算装置,计算装置包含操作本发明的任何实施例中的算法的计算装置。
CC-5:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中图像质量的改进包含选自由以下各项组成的群组中的至少一者:去噪、图像归一化、图像锐化、图像缩放、对准(例如,用于面部检测)、超分辨率、去模糊及其任何组合。
CC-6:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中成像处理方法包含选自由以下组成的群组的至少一者:基于直方图的操作,基于数学的操作,基于卷积的操作,平滑操作,基于导数的操作,基于形态的操作,阴影校正,图像增强和/或恢复,分割,特征提取和/或匹配,对象检测和/或分类和/或定位,图像理解及其任何组合。
CC-6.1:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中基于直方图的操作包含选自由以下组成的群组的至少一者:对比度拉伸,均衡,最小滤波,中值滤波,最大滤波及其任何组合。
CC-6.2:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中基于数学的运算包含选自由以下组成的群组的至少一者:二进制运算(例如,NOT、OR、AND、XOR和SUB),基于算术的运算(例如,ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG和INVERT)和其任何组合。
CC-6.3:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中基于卷积的操作包含选自由以下组成的群组的至少一者:空间域中的操作,傅立叶变换,DCT,整数变换,频域中的操作及其任何组合。
CC-6.4:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中平滑操作包含选自由以下组成的群组的至少一者:线性滤波器、均匀滤波器、三角形滤波器、高斯滤波器、非线性滤波器、中间滤波器、kuwahara滤波器及其任意组合。
CC-6.5:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中基于导数的操作包含选自由以下各项组成的群组的至少一者:一阶导数操作、梯度滤波器、基本导数滤波器、Prewitt梯度滤波器、Sobel梯度滤波器、变梯度滤波器、高斯梯度滤波器、二阶导数滤波器、基本二阶导数滤波器、频域拉普拉斯算子、高斯二阶导数滤波器、变拉普拉斯滤波器、梯度方向二阶导数(SDGD)滤波器、三阶导数滤波器、高阶导数滤波器(例如大于三阶导数滤波器),及其任何组合。
CC-6.6:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中基于形态的操作包含选自由以下组成的群组的至少一者:扩张、侵蚀、布尔卷积、开放和/或闭合、命中-未命中操作、轮廓、骨架、传播、灰度值形态处理、灰度扩张、灰度侵蚀、灰度打开、灰度关闭、形态平滑、形态梯度、态拉普拉斯算子和其任何组合。
CC-6.7:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中图像增强和/或恢复包含选自由以下组成的群组的至少一者:锐化、非锐化、噪声抑制、失真抑制及其任何组合。
CC-6.8:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中所述分割包含选自由以下组成的群组的至少一者:阈值转换、固定阈值转换、直方图导出阈值转换、Isodata算法、背景对称算法、三角形算法、边缘查找、基于梯度的程序、基于零点交叉的程序、基于PLUS的程序、二进制数学形态学、椒盐滤波、分离具有孔的对象、填充对象中的孔、去除边缘接触对象、外骨架、接触对象、灰度值数学形态学、高帽变换、阈值处理、局部对比度拉伸及其任何组合。
CC-6.9:如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中特征提取和/或匹配包含选自由以下组成的群组的至少一者:独立分量分析、等值线图、核主组分分析、潜在语义分析、偏最小二乘、主组分分析、多因素降维,非线性降维、多线性主分量分析、多线性子空间学习、半定嵌入、自动编码器及其任何组合。
NN1.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
(a)固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
(B)一个或多个监测标记,其中监测标记:
v.由与样品不同的材料制成;
vi.在对微结构进行测定的过程中,位于样品内部,其中样品在样品接触区域上形成厚度小于200μm的薄层;
vii.具有约1μm(微米)或更大的它们的横向线性尺寸,和
viii.具有约1μm(微米)或更大的它们的横向线性尺寸,以及
其中在测定期间至少一个监测标记由成像器成像;
其中测定分析物期间使用;以及监测标记的几何参数(例如形状和尺寸)和/或监测标记之间的间距(a)在对分析物的测定之前预先确定并且已知,以及(b)在确定与微特征相关的性质的算法中用作参数。
NN2.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
固相表面,其包含用于接触包含微特征的样品的样品接触区域;以及
一个或多个监测标记,其中每个监测标记包含来自固相表面的突起或沟槽,其中:
ix.该凸起或沟槽包含平坦表面,该平坦表面基本上平行于相邻表面,该相邻表面是与该凸起或沟槽相邻的固相表面的一部分;
x.平坦表面与相邻表面之间的距离为约200微米(μm)或更小;
xi.平坦表面具有(a)线性尺寸为至少约1μm或更大的,和(b)至少一个线性尺寸为150μm或更小的面积;
xii.通过在测定微特征期间使用的成像器对至少一个监测标记的平坦表面进行成像;以及
xiii.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
NN3.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个检测标记,其中:
xiii.第一板和第二板可相对于彼此移动成不同的构造;
xiv.第一板和第二板中的每一个包含内表面,该内表面包含用于接触包含微特征的样品的样品接触区域;
xv.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
xvi.第一板和第二板中的每一个包含内表面,该内表面包含用于接触包含微特征的样品的样品接触区域;
xvii.监测标记由与样品不同的材料制成;
xviii.在对微结构进行测定的过程中,监测标记位于样品内部,其中样品在样品接触区域上形成厚度小于200μm的薄层;以及
xix.监测标记具有约1μm(微米)或更大的横向线性尺寸,并且具有至少一个300μm或更小的横向线性尺寸;
其中在测定期间至少一个监测标记由成像器成像;
其中在测定期间使用微特征;并且平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
NN4.一种用于使用成像器来分析样品中的微特征的装置,该装置包含:
第一板、第二板、间隔件,以及一个或多个检测标记,其中:
xx.第一板和第二板可相对于彼此移动成不同的构造;
xxi.第一板和第二板中的每一个包含内表面,该内表面包含用于接触包含微特征的样品的样品接触区域;
xxii.第一板和第二板中的一个或两个包含永久地固定在相应板的内表面上的间隔件;
xxiii.间隔件具有等于或小于200微米的基本均匀的高度以及固定间隔件间距(ISD)。
xxiv.每个监测标记包含在一个或两个样品接触区域上的突起或沟槽;
xxv.该凸起或沟槽包含平坦表面,该平坦表面基本上平行于相邻表面,该相邻表面是与该凸起或沟槽相邻的固相表面的一部分;
xxvi.平坦表面与相邻表面之间的距离为约200微米(μm)或更小;
xxvii.平坦表面具有(a)线性尺寸为至少约1μm或更大的,和(b)至少一个线性尺寸为150μm或更小的面积;
xxviii.通过在测定微特征期间使用的成像器对至少一个监测标记的平坦表面进行成像;以及
xxix.平坦表面的形状、平坦表面的尺寸、平坦表面与相邻表面之间的距离,和/或监测标记之间的间距是(a)在对微特征进行测定之前预先确定并且已知的,并且(b)在确定与微特征相关的特性的算法中用作参数;
其中所述构造中的一个是开放构造,在开放构造中,两个板是部分或完全分开的,板之间的间距不通过所述间隔件调节,并且样品沉积在板中的一个或两个上;并且
其中,构造中的另一个是闭合构造,闭合构造是在样品以开放构造沉积并且通过在力区域上施加按压力迫使板达到闭合构造之后配置的;并且在闭合构造中,样品的至少一部分被两个板压缩成高度均匀厚度的层并且相对于板基本上是停滞的,其中层的均匀厚度由两个板的样品接触区域限制并且通过板和间隔件调节。
其中监测标记是(i)与间隔件不同的结构,或(ii)用作间隔件的相同结构。
NN5.一种基于图像的测定的装置,包含:
如任一前述实施例所述的装置,其中所述装置具有至少五个监测标记,其中所述监测标记中的至少三个不在直线上对准。
NN6.一种用于使用成像器来分析样品中的微特征的设备,该设备包含:
(c)如前述实施例中任一项所述的装置;以及
(d)用于测定包含微特征的样品的成像器。
NN7.一种用于执行基于成像的测定的系统,该系统包含:
(d)如前述装置实施例中任一项所述的装置;
(e)用于测定包含微特征的样品的成像器;以及
(f)一种包含指令的非瞬态计算机可读介质,所述指令在被执行时利用所述装置的监测标记来确定与微特征相关的特性。
NN8.一种用于使用成像器来分析样品中的微特征的系统,该系统包含:
(a)如前述装置实施例中任一项所述的装置;
(h)用于测定包含微特征的样品的成像器;以及
(i)一种包括指令的非瞬态计算机可读介质,所述指令在被执行时利用所述装置的监测标记来测定与微特征相关的特性,其中所述指令包含机器学习。
NN9.一种用于使用成像器来测定样品中的微特征的方法,包含:
(d)获得前述实施例中任一项所述的装置、设备或系统;
(e)获得样品并将样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中样品包含微特征;以及
(f)测定微特征。
NN10.一种用于使用成像器来测定样品中的微特征的方法,包含:
(d)获得前述实施例中任一项所述的装置、设备或系统;
(e)获得样品并将样品沉积在(a)中的装置、设备或系统中的样品接触区域上,其中样品包含微特征;以及
(f)测定微特征,其中所述测定包含使用机器学习的步骤。
T1.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,该方法包含:
(a)获得任一前述实施例所述的装置,其中所述装置包含在样品接触区域中的一个或多个监测标记;
(b)获得成像器、计算硬件以及包含算法的非瞬态计算机可读介质;
(c)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(d)使用成像器拍摄薄样品层连同监测标记的一个或多个图像,其中成像器定位在该薄样品层上方;以及
(e)使用算法确定样品的真实横向尺寸;
其中,
(i)所述算法是在计算机系统上执行的计算机代码;以及
(ii)所述算法使用监测标记的图像作为参数。
T2.一种用于从失真图像确定样品保持器上的样品的真实横向尺寸(TLD)的方法,该方法包含:
(a)获得任一前述实施例所述的装置,其中所述装置包含在样品接触区域中的一个或多个监测标记;
(b)获得成像器、计算硬件以及包含算法的非瞬态计算机可读介质;
(c)在(a)的装置的样品接触区域中沉积包含微特征的薄样品层;
(d)使用成像器拍摄薄样品层连同监测标记的一个或多个图像,其中成像器定位在该薄样品层上方;以及
(e)使用所述算法通过物理度量(例如微米)确定成像样品在真实世界中的真实横向尺寸和坐标;
其中,
(i)所述算法是在计算机系统上执行的计算机代码;以及
(ii)所述算法使用监测标记的图像作为参数。
T3.如前述实施例中任一项所述的装置、方法或系统,其中来自样品的微特征和监测标记设置在样品保持装置内。
T4.如前述实施例中任一项所述的装置、方法或系统,其中所述确定包含检测和定位由成像器拍摄的样品的图像中的监测标记。
T5.如前述实施例中任一项所述的装置、方法或系统,其中所述确定包含基于从由成像器拍摄的样品的图像中检测到的监测标记来产生监测标记栅格。
T6.如前述实施例中任一项所述的装置、方法或系统,其中所述确定包含根据生成的监测标记栅格来计算单应变换。
T7.如前述实施例中任一项所述的装置、方法或系统,其中所述确定包含根据单应变换来估计TLD,以及在基于图像的测定中确定检测到的微特征的面积、大小和浓度。
T8.如前述实施例中任一项所述的方法、装置或系统,其中TLD估计基于由成像器拍摄的样品图像中的区域,包含:
(a)获得样品;
(b)将样品添加到样品保持装置例如QMAX装置中,其中存在监测标记,其中监测标记不浸没在样品中并且驻留在装置中,该装置可以在基于图像的测定中通过成像器从顶部成像;
(c)拍摄包括微特征和监测标记的样品添加装置中的样品的图像;
(d)检测由成像器拍摄的样品图像中的监测标记;
(e)将样品图像分割成非重叠区域;
(f)针对在局部区域中检测到的具有多于5个非共线监测标记的非重叠区域中的每一个生成基于区域的标记栅格;
(g)基于从由成像器拍摄的样品图像中检测到的监测标记,为不在(f)中的所有其他区域生成标记栅格;
(h)基于由(f)生成的其自身的基于区域的标记栅格来计算针对(f)中的每个区域的区域特定单应变换;
(i)基于在(g)中生成的标记栅格,计算针对在(f)中没有的所有其它区域的单应变换;
(j)基于(g)的基于区域的单应变换来估计针对(f)中的每个区域的基于区域的TLD;
(k)基于(i)的单应变换来估计针对不在(f)中的其他区域的TLD;以及
(L)应用来自(j)和(k)的估计的TLD以确定在基于图像的测定中每个图像分区中成像的微特征的面积和浓度。
T9.如前述实施例中任一项所述的方法、装置或系统,其中样品保持装置中的监测标记根据具有界定间距周期的固定间隔图案而分布。
T10.如前述实施例中任一项所述的方法、装置或系统,其中监测标记被检测并用作可检测的锚点,用于校准和提高基于图像的测定中的测量准确度。
T11.如前述实施例中任一项所述的方法、装置或系统,其中对成像器所拍摄的样品图像中的监测标记的检测利用样品固持装置中的监测标记分布的固定间隔来进行错误校正及/或检测的可靠性。
T12.如前述实施例中任一项所述的方法、装置或系统,其中在基于图像的测定中对监测标记的检测、识别、区域和/或形状轮廓估计是通过机器学习(ML)进行的,机器学习使用基于ML的监测标记检测模型和设备,根据基于图像的测定中装置上的成像器所拍摄的图像而构建或训练的。
T13.如前述实施例中任一项所述的方法、装置或系统,其中在基于图像的测定中对监测标记的检测、识别、区域和/或形状轮廓估计通过图像处理或结合机器学习的图像处理。
T14.如前述实施例中任一项所述的方法、装置或系统,其中将检测的监测标记应用于基于图像的测定中的TLD估计,以校准系统和/或提高基于图像的测定中的测量准确度。
T15.如前述实施例中任一项所述的方法、装置或系统,其中在基于图像的测定中应用检测的监测标记以校准系统和/或提高测量准确度,而不限于微特征大小、体积和/或浓度估计。
T16.如前述实施例中任一项所述的方法、装置或系统,其中监测标记的检测和/或TLD估计被应用于基于图像的测定中的故障检测,包括但不限于检测样品保持装置中的缺陷、样品保持装置在成像器中的错位,和/或成像器的聚焦故障。
T17.如前述实施例中任一项所述的方法、装置或系统,其中监测标记被检测为锚点,以应用于在基于图像的测定中估计对象的面积的系统中,包含:
i.在基于图像的测定中将样品添加到具有驻留在装置中的监测标记的样品保持装置中;
ii.拍摄包括微特征和监测标记的样品保持装置中的样品的图像;以及
iii.检测由样品保持装置上的成像器拍摄的样品的图像中的监测标记,确定TLD并计算基于图像的测定中的面积估计,以根据图像中的像素到真实世界中的微米的物理尺寸来确定成像对象的大小。
T18.如前述实施例中任一项所述的的方法、装置或系统,其中所述系统包含:
i.检测数字图像中的监测标记;
ii.生成监测标记栅格;
iii.基于监测标记栅格来计算图像变换;以及
iv.在基于图像的测定中估计样品图像中对象的面积及其在真实世界中的物理尺寸。
T19.如前述实施例中任一项所述的方法、装置或系统,其中使用根据检测的监测标记生成的监测标记栅格来计算单应变换以估计TLD、由成像器拍摄的样品的图像中的对象的面积,以及真实世界中的对象的物理尺寸。
T20.如前述实施例中任一项所述的的方法、装置或系统,其中所述方法包含:
i.将在基于图像的测定中由成像器拍摄的样品的图像分割成不重叠的区域;
ii.检测图像中的局部监测标记;
iii.如果在该区域中检测到多于5个非共线监测标记,则为该区域生成基于区域的标记栅格;
iv.基于在由成像器拍摄的样品的图像中检测到的监测标记生成针对所有其他区域的标记栅格;
v.针对(iii)中的每个区域,根据生成的基于区域的标记栅格计算基于区域的单应变换;
vi.基于在(iv)中生成的标记栅格,计算针对在(iii)中的所有其它区域的单应变换;以及
vii.基于由(v)和(vi)产生的单应变换估计每个区域的TLD,在基于图像的测定中确定样品图像中每个区域的对象面积及其在真实世界中的大小。
T21.如前述实施例中任一项所述的方法、装置或系统,其中所述测定是医学、诊断、化学或生物测试。
T22.如前述实施例中任一项所述的方法、装置或系统,其中微特征是细胞。
T23.如前述实施例中任一项所述的方法、装置或系统,其中微特征是血细胞。
T24.如前述实施例中任一项所述的方法、装置或系统,其中微特征是蛋白质、肽、DNA、RNA、核酸、小分子、细胞或纳米颗粒。
T25.如前述实施例中任一项所述的方法、装置或系统,其中微特征包含标签。
T26.如前述实施例中任一项所述的方法、装置或系统,其中所述算法包含计算机程序产品,该计算机程序产品包含计算机程序代码装置,该计算机程序代码装置适于在至少一个图像中:
(a)接收样品的图像,其中,样品被添加到QMAX装置中,并且图像由连接到QMAX装置的成像器拍摄,其中图像包括样品及监测标记;
(b)使用检测模型分析图像并生成图像的2D数据阵列,其中2D数据阵列包括微特征在图像中的每个位置处的概率数据,并且检测模型通过训练过程建立,训练过程包含:
i.将注释的数据集馈送到卷积神经网络,其中注释的数据集是来自与测试样品相同类型且针对相同微特征的样品;和
ii.通过卷积来训练并建立检测模型;以及
(c)通过以下各项来分析所述2D数据阵列以检测局部信号峰:
i.信号列表处理,或
ii.局部搜索处理;和
(g)基于局部信号峰信息来计算微特征的量。
T27.如前述实施例中任一项所述的方法、装置或系统,其中所述算法包含计算机程序产品,该计算机程序产品包含计算机程序代码装置,该计算机程序代码装置应用并适于在至少一个图像中:
(a)表示样品中的对象与样品的图像中的对象的像素等高线图之间的推导的图案,该图像是由在样品固持装置上的成像器拍摄的,
(b)对从样品的图像中的推导图案检测到的至少一个对象的图像进行数值重建,并生成包围推导模块识别的对象的轮廓掩码,所述对象在推导模块中被聚焦,
(c)针对样品的图像的所选择的部分中的至少一个对象来识别样品的图像的至少一个部分,并且
(d)从至少一个部分计算独享的至少一个特征,以识别由成像器拍摄的样品的图像的选定部分中的对象,
(e)根据样品的图像的选择部分计算选定部分中的检测对象的计数及其浓度,
此时所述程序在计算装置上运行,或通过网络连接在计算云中运行。
T28.如前述实施例中任一项所述的方法、装置或系统,其中所述算法包含计算机程序产品,该计算机程序产品包含计算机程序代码装置,该计算机程序代码装置适于在至少一个图像中:
(a)接收样品的图像,其中,样品被添加到QMAX装置中,并且图像由连接到QMAX装置的成像器拍摄,其中图像包括样品及监测标记;以及
(b)分析图像以计算微特征的量,其中所述分析使用基于机器学习和由图像提供的监测标记的信息的检测模型。
如前述实施例中任一项所述的方法、装置或系统还包含计算机可读存储介质或存储器存储单元,其包含任一在先实施例所述的计算机程序。
如前述实施例中任一项所述的方法、装置或系统还包含任一先前实施例所述的计算装置的计算设施或移动设备。
如前述实施例中任一项所述的方法、装置或系统还包含计算设施或移动设备,其包含任一在先实施例所述的计算机程序产品。
如前述实施例中任一项所述的方法、装置或系统还包含计算设施或移动设备,其包含任一先前实施例所述的计算机可读存储介质或存储单元。
一种用于分析样品的装置,包含:
第一板、第二板、表面放大层以及捕获剂,其中
(a)第一和第二平板可相对于彼此移动成不同的构造,并且在其各自的表面上具有用于接触包含目标分析物的样品的样品接触区域,
(b)表面放大层在样品接触区域之一上,
(c)将捕获试剂固定在表面放大层上,其中捕获试剂特异性结合目标分析物,
其中当目标分析物接近表面放大层时,表面放大层放大来自目标分析物或者附着于目标分析物的标签的光学信号,比距离微米或更远时更强烈。
其中一种构造是开放构造,其中两个板的内表面之间的平均间距为至少200μm;以及
其中另一种构造是闭合构造,其中至少部分样品在两个板之间,并且板的内表面之间的平均间距小于200μm。
一种用于分析样品的装置,包含:
第一板、第二板、表面放大层以及捕获剂,其中
(d)第一和第二平板可相对于彼此移动成不同的构造,并且在其各自的表面上具有用于接触包含目标分析物的样品的样品接触区域,
(e)表面放大层在样品接触区域之一上,
(f)将捕获试剂固定在表面放大层上,其中捕获试剂特异性结合目标分析物,
其中当目标分析物接近表面放大层时,表面放大层放大来自附着于目标分析物的标签的光学信号,比距离微米或更远时更强烈。
其中一种构造是开放构造,其中两个板的内表面之间的平均间距为至少200μm;
其中另一种构造是闭合构造,其中至少部分样品在两个板之间,并且板的内表面之间的平均间距小于200μm;
其中在闭合构造中的样品的厚度、在闭合构造中样品中溶解的标签的浓度以及表面放大层的放大因子被配置成使得直接或间接结合至捕获剂的任何标签在闭合构造中是可见的,而不冲洗掉未结合的标签。
一种设备包含前述实施例中任一项所述的装置以及用于读取所述装置的读取器。
一种使用如前述实施例中任一项所述的装置的均相测定方法,其中将处于闭合构造的样品的厚度,标签的浓度和放大表面的放大因子配置成使结合在放大表面上的标签可见而不冲洗未结合的标签。
如前述实施例中任一项所述的方法,其中该方法通过以下方式执行:
获得实施例中任一项所述的装置;
当板处于开放构造时,将样品沉积在板中的一个或两个上,
将板闭合至闭合构造;以及
利用读取装置读取样品接触区域以产生信号图像。
如前述实施例中任一项所述的装置或方法,其中结合到放大表面的标签在60秒内可见。
如前述实施例中任一项所述的装置或方法,其中所述方法是均相测定,其中在不使用冲洗步骤去除未结合至放大表面的任何生物材料或标签的情况下读取信号。
如前述实施例中任一项所述的装置或方法,其中结合到放大表面的标签通过像素化读取方法来读取。
如前述实施例中任一项所述的装置或方法,其中结合到放大表面的标记通过一次性集总读取方法读取。
如前述实施例中任一项所述的装置或方法,其中所述测定具有0.1nM或更小的检测灵敏度。
如前述实施例中任一项所述的装置或方法,其中所述方法在读取前通过海绵除去未结合到放大表面的生物材料或标签。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含D2PA。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含金属材料层。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含由选自由金、银、铜、铝、其合金和其组合组成的群组的材料制成的连续金属膜。
如前述实施例中任一项所述的装置或方法,其中不同金属层局部增强或充当反射器,或两者,以增强光学信号。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含金属材料层以及在金属材料层之上的介电材料,其中捕获剂在介电材料上。
如前述实施例中任一项所述的装置或方法,其中金属材料层是均匀金属层、纳米结构化金属层或其组合。
如前述实施例中任一项所述的装置或方法,其中通过等离子体增强来放大信号。
如前述实施例中任一项所述的装置或方法,其中所述测定包含通过拉曼散射检测标签。
如前述实施例中任一项所述的装置或方法,其中捕获剂是抗体。
如前述实施例中任一项所述的装置或方法,其中捕获剂是多核苷酸。
如前述实施例中任一项所述的装置或方法,其中所述装置进一步包含固定在板中的一者上的间隔件,其中间隔件在闭合构造中调节第一板与第二板之间的间距。
如前述实施例中任一项所述的装置或方法,其中调整表面放大层的放大系数以使来自直接或间接结合到捕获剂的单个标签的光学信号可见。
如前述实施例中任一项所述的装置或方法,其中调整所述表面放大层的放大系数以使来自直接或间接结合到捕获剂的单个标签的光学信号可见,其中单独计数结合到捕获剂的可见单个标签。
如前述实施例中任一项所述的装置或方法,其中第一板与第二板之间在闭合构造中的间距被配置为使目标分析物与捕获剂的饱和结合时间为300秒或更短。
如前述实施例中任一项所述的装置或方法,其中第一板与第二板之间在闭合构造中的间距被配置为使目标分析物与捕获剂的饱和结合时间为60秒或更短。
如前述实施例中任一项所述的装置或方法,其中调整表面放大层的放大系数以使来自单个标签的光学信号可见。
如前述实施例中任一项所述的方法和装置,其中捕获剂是核酸。
如前述实施例中任一项所述的装置或方法,其中捕获剂是蛋白质。
如前述实施例中任一项所述的装置或方法,其中捕获剂是抗体。
如前述实施例中任一项所述的装置或方法,其中第二板的样品接触区域具有试剂储存位点,并且在闭合构造中,储存位点大约在第一板上的结合位点上方。
如前述实施例中任一项所述的装置或方法,其中试剂储存位点包含与目标分析物结合的检测剂。
如前述实施例中任一项所述的装置或方法,其中检测剂包含标签。
如前述实施例中任一项所述的装置或方法,其中捕获剂和检测剂都结合至目标分析物以形成包含标签的夹层。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含金属材料层。
如前述实施例中任一项所述的装置或方法,其中信号放大层包含金属材料层以及在金属材料层之上的介电材料,其中捕获剂在介电材料上。
如前述实施例中任一项所述的装置或方法,其中金属材料层是均匀金属层、纳米结构化金属层或其组合。
如前述实施例中任一项所述的装置或方法,其中放大层包含金属材料层以及在金属材料层之上的介电材料,其中捕获剂在介电材料上,并且介电材料层具有如下厚度:0.5nm,1nm,5nm,10nm,20nm,50nm,100nm,200nm,500nm,1000nm,2μm,3μm,5μm,10μm,20μm,30μm,50μm,100μm,200μm,500μm,或在所述值中的任何两个之间的范围内。
如前述实施例中任一项所述的装置或方法,其中所述方法进一步包含量化图像区域中的信号以提供对样品中的一种或多种分析物的量的估计。
如前述实施例中任一项所述的装置或方法,其中所述方法包含识别和计数图像区域中分析物与捕获剂之间的个别结合事件,借此提供对样品中一种或多种分析物的量的估计。
如前述实施例中任一项所述的装置或方法,其中所述识别和计数步骤包含:(1)确定背景信号的局部强度,(2)确定一个标签、两个标签、三个标记和四个或更多个标签的局部信号强度;以及(3)确定成像区域中标签的总数。
如前述实施例中任一项所述的装置或方法,其中所述识别和计数步骤包含:(1)确定背景信号的局部频谱,(2)确定一个标签、两个标签、三个标记和四个或更多个标签的局部信号频谱;以及(3)确定成像区域中标签的总数。
如前述实施例中任一项所述的装置或方法,其中所述识别和计数步骤包含:(1)确定背景信号的局部拉曼特征,(2)确定一个标签、两个标签、三个标记和四个或更多个标签的局部信号拉曼特征;以及(3)确定成像区域中标签的总数。
如前述实施例中任一项所述的装置或方法,其中所述识别和计数步骤包含确定局部强度、光谱和拉曼特征中的一个或多个。
如前述实施例中任一项所述的装置或方法,其中所述方法包含量化图像区域中的一次性集总信号,借此提供对样品中的一种或多种分析物的量的估计。
如前述实施例中任一项所述的装置或方法,其中第二板的样品接触区域具有试剂储存位点,并且在闭合构造中,储存位点大致位于第一板上的结合位点上方。
如前述实施例中任一项所述的装置或方法,其中所述方法进一步包含利用检测剂标记目标分析物的步骤。
如前述实施例中任一项所述的装置或方法,其中检测剂包含标签。
如前述实施例中任一项所述的装置或方法,其中捕获剂和检测剂均结合到目标分析物以形成夹层。
如前述实施例中任一项所述的装置或方法,其中所述方法进一步包含测量由读取装置成像的区域中的样品的体积。
如前述实施例中任一项所述的装置或方法,其中目标分析物是蛋白质、肽、DNA、RNA、核酸、小分子、细胞或纳米颗粒。
如前述实施例中任一项所述的装置或方法,其中所述图像示出信号的位置、局部强度和局部频谱。
如前述实施例中任一项所述的装置或方法,其中所述信号是选自由荧光、电致发光、化学发光和电化学发光信号组成的群组的发光信号。
如前述实施例中任一项所述的装置或方法,其中所述信号为拉曼散射信号。
如前述实施例中任一项所述的装置或方法,其中所述信号是归因于板与读取装置之间的局部电、局部机械局部生物或局部光学相互作用的力。
根据以上任一实施例所述的方法和装置,其中间隔件具有柱形形状和几乎均匀的横截面。
根据以上任一实施例所述的方法或装置,其中间隔件间距(SD)等于或小于约120μm(微米)。
根据以上任一实施例所述的方法或装置,其中间隔件间距(SD)等于或小于约100μm(微米)。
根据以上任一实施例所述的方法和装置,其中间隔件间距(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x106μm3/GPa或更小。
根据以上任一实施例所述的方法和装置,其中间隔件间距(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x105μm3/GPa或更小。
根据以上任一实施例所述的方法和装置,其中间隔件具有柱状形状、基本上平坦的顶表面、预定的基本上均匀的高度,以及预定的恒定间隔件间距,间隔件间距比分析物的尺寸大至少约2倍,其中间隔件的杨氏模量乘以间隔件的填充因子等于或大于2MPa,其中填充因子是间隔件接触区域与总板区域的比率,并且其中对于每一间隔件,间隔件的横向尺寸与其高度的比率为至少1(一)。
根据以上任一实施例所述的方法和装置,其中间隔件具有柱状形状、基本上平坦的顶表面、预定的基本上均匀的高度,以及预定的恒定间隔件间距,间隔件间距比分析物的尺寸大至少约2倍,其中间隔件的杨氏模量乘以间隔件的填充因子等于或大于2MPa,其中填充因子是间隔件接触区域与总板区域的比率,且其中对于每一间隔件,间隔件的横向尺寸与其高度的比率为至少1(一),其中间隔件间距(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x106μm3/GPa或更小。
根据以上任一实施例所述的方法和装置,其中间隔件的间隔件间距与间隔件的平均宽度的比率为2或更大,并且间隔件的填充因子乘以间隔件的杨氏模量为2MPa或更大。
根据以上任一实施例所述的方法和装置,其中分析物是蛋白质、肽、核酸、合成化合物或无机化合物。
根据以上任一实施例所述的方法和装置,其中样品选自以下的生物样品:羊水,房水,玻璃体液,血液(例如,全血、分馏血、血浆或血清),母乳,脑脊髓液(CSF),耳垢(耳屎),乳糜,食糜,内淋巴,外淋巴,粪便,呼吸,胃酸,胃液,淋巴液,粘液(包括鼻引流和痰),心包液,腹膜液,胸膜液,脓液,风湿液,唾液,呼出的冷凝物,皮脂,精液,痰,汗液,滑液,泪液,呕吐物和尿液。
根据以上任一实施例所述的方法和装置,其中间隔件具有柱的形状,并且柱的宽度与高度的比率等于或大于1。
根据以上任一实施例所述的方法和装置,其中沉积在一个或两个板上的样品具有未知的体积。
根据以上任一实施例所述的方法和装置,其中间隔件具有柱的形状,并且柱具有基本上均匀的横截面。
根据以上任一实施例所述的方法和装置,其中样品用于检测、纯化和定量与某些疾病的阶段相关的化学化合物或生物分子。
根据以上任一实施例所述的方法和装置,其中样品涉及感染性和寄生虫病、损伤、心血管疾病、癌症、精神障碍、神经精神障碍、肺部疾病、肾脏疾病,和其他和器质性疾病。
根据以上任一实施例所述的方法和装置,其中样品涉及微生物的检测、纯化和定量。
根据以上任一实施例所述的方法和装置,其中样品涉及来自环境(例如,食物、水、土壤)的病毒,真菌和细菌。
根据以上任一实施例所述的方法和装置,其中样品涉及对食品安全或国家安全造成危害的化学化合物或生物样品(例如,有毒废物、炭疽热)的检测,定量。
根据以上任一实施例所述的方法和装置,其中,样品与医学或生理监视器中的生命参数的量化相关。
根据以上任一实施例所述的方法和装置,其中样品与葡萄糖、血液、氧水平、全血细胞计数相关。
根据以上任一实施例所述的方法和装置,其中样品涉及检测和定量来自生物样品的特异性DNA或RNA。
根据以上任一实施例所述的方法和装置,其中样品涉及用于基因组分析的染色体和线粒体中的DNA中的遗传序列的测序和比较。
根据以上任一实施例所述的方法或装置,其中样品涉及例如在药物合成或纯化期间检测反应产物。
根据以上任一实施例所述的方法和装置,其中样品是细胞、组织、体液和粪便。
根据以上任一实施例所述的方法和装置,其中样品是人、兽、农业、食品、环境和药物测试领域中的样品。
根据以上任一实施例所述的方法和装置,其中样品是选自毛发、指甲、耳屎、呼吸、结缔组织、肌肉组织、神经组织、上皮组织、软骨、癌性样品或骨的生物样品。
根据以上任一实施例所述的方法和装置,其中间隔件间距在5μm到120μm的范围内。
根据以上任一实施例所述的方法和装置,其中间隔件间距在120μm至200μm的范围内。
根据以上任一实施例所述的方法和装置,其中柔性板具有20μm到250μm范围内的厚度和0.1GPa到5GPa范围内的杨氏模量。
根据以上任一实施例所述的方法和装置,其中对于柔性板,柔性板的厚度乘以柔性板的杨氏模量在60到750GPa-μm的范围内。
根据以上任一实施例所述的方法和装置,其中均匀厚度样品层在至少1mm2的横向面积上是均匀的。
根据以上任一实施例所述的方法和装置,其中均匀厚度样品层在至少3mm2的横向面积上是均匀的。
根据以上任一实施例所述的方法和装置,其中均匀厚度样品层在至少5mm2的横向面积上是均匀的。
根据以上任一实施例所述的方法和装置,其中均匀厚度样品层在至少10mm2的横向面积上是均匀的。
根据以上任一实施例所述的方法和装置,其中均匀厚度样品层在至少20mm2的横向面积上是均匀的。
如前述实施例中任一项所述的方法和装置,其中均匀厚度样品层在至少20-100mm2的横向面积上是均匀的。
如前述实施例中任一项所述的方法或装置,其中均匀厚度样品层具有高达+/-5%或更好的厚度均匀性。
如前述实施例中任一项所述的方法或装置,其中均匀厚度样品层具有高达+/-10%或更好的厚度均匀性。
如前述实施例中任一项所述的方法或装置,其中均匀厚度样品层具有高达+/-20%或更好的厚度均匀性。
如前述实施例中任一项所述的方法或装置,其中均匀厚度样品层具有高达+/-30%或更好的厚度均匀性。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其具有五个或更多个监测标记,其中监测标记中的至少三个不在直线上。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中板中的每一者在其相应外表面上包含力区,用于施加将板压在一起的不精确按压力。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中一个或两个板是柔性的;
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中间隔件间距(ISD)的四次方除以柔性板的厚度(h)和杨氏模量(E)(ISD4/(hE))为5x106μm3/GPa或更小。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中间隔件中的至少一者在样品接触区域内;
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中分析物的宽规格。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中算法的宽规格。
如前述实施例中任一项所述的方法、装置、计算机程序产品或系统,其中压印的宽规格通过手来强制和按压。
如前述实施例中任一项所述的装置、系统或方法,其中算法存储在非暂时性计算机可读介质上,且其中算法包含指令,在执行指令时执行利用所述装置的监测标记来确定对应于分析物的特性的方法。
标记的一些示例
在本发明中,在一些实施例中,标记具有与间隔件相同的形状。
在某些实施例中,标记是固定间隔的或非固定间隔的。
在一些实施例中,两个标记之间的距离是预定的和已知的,但是板上的绝对坐标是未知的。
在一些实施例中,标记具有预定和已知的形状。
在一些实施例中,标记被配置为在板中具有分布,使得不管板的位置如何,在成像光学器件的视场中总是存在标记。
在一些实施例中,标记被配置为在板中具有分布,使得不管板的位置如何,在成像光学器件的视场中总是存在标记,并且标记的数量足以用于局部光学信息。
在一些实施例中,标记用于控制样品的局部区域的光学性质,而区域大小为1μm2,5μm2,10μm2,20μm2,50μm2,100μm2,200μm2,500μm2,1000μm2,2000μm2,5000μm2,10000μm2,100000μm2,500000μm2,或在所述值中的任何两个之间的范围内。
使用“有限成像光学器件”
在本发明中,在一些实施例中,用于使测定成像的光学系统具有“有限成像光学器件”。有限成像光学器件的一些实施例包括,但不限于:
1.一种受限成像光学系统,包含:
成像透镜;
成像传感器;
其中成像传感器是智能电话的相机的一部分;
其中成像透镜中的至少一个是智能电话的相机的一部分;
2.如前述实施例中任一项所述的有限成像光学系统,其中物理的光学分辨率差于1μm,2μm,3μm,5μm,10μm,50μm,或在所述值中的任何两个之间的范围内。
3.如前述实施例中任一项所述的有限成像光学系统,其中每个物理的光学分辨率差于1μm,2μm,3μm,5μm,10μm,50μm,或在所述值中的任何两个之间的范围内。
4.如前述实施例中任一项所述的有限成像光学系统,其中优选的物理的光学分辨率在1μm和3μm之间。
5.如前述实施例中任一项所述的有限成像光学系统,其中数值孔径小于0.1,0.15,0.2,0.2,0.25,0.3,0.35,0.4,0.45,0.5,或在所述值中的任何两个之间的范围内。
6.如前述实施例中任一项所述的有限成像光学系统,其中优选的数值孔径在0.2和0.25之间。
7.如前述实施例中任一项所述的有限成像光学系统,其中工作距离为0.2mm,0.5mm,1mm,2mm,5mm,10mm,20mm,或在所述值中的任何两个之间的范围内。
8.如前述实施例中任一项所述的受限成像光学系统,其中工作距离为0.2mm,0.5mm,1mm,2mm,5mm,10mm,20mm,或在所述值中的任何两个之间的范围内。
9.如前述实施例中任一项所述的有限成像光学系统,其中优选的工作距离在0.5mm到1mm之间。
10.如前述实施例中任一项所述的有限成像光学系统,其中焦点深度是100nm,500nm,1μm,2μm,10μm,100μm,1mm,或在所述值中的任何两个之间的范围内。
11.如前述实施例中任一项所述的有限成像光学系统,其中焦点深度是100nm,500nm,1μm,2μm,10μm,100μm,1mm,或在所述值中的任何两个之间的范围内。
12.如前述实施例中任一项所述的有限成像光学系统,其中图像传感器是智能电话相机模块的一部分。
13.如前述实施例中任一项所述的有限成像光学系统,其中图像传感器的对角线长度小于1英寸,1/2英寸,1/3英寸,1/4英寸,或在所述值中的任何两个之间的范围内。
14.如前述实施例中任一项所述的有限成像光学系统,其中成像透镜包含至少两个透镜,并且一个透镜是智能电话相机模块的一部分。
15.如前述实施例中任一项所述的有限成像光学系统,其中至少一个外部透镜与智能电话的内部透镜成对。
16.如前述实施例中任一项所述的有限成像光学系统,其中外部透镜的光轴与智能电话的内部透镜对准,对准公差小于0.1mm,0.2mm,0.5mm,1mm,或在所述值中的任何两个之间的范围内。
17.如前述实施例中任一项所述的有限成像光学系统,其中外部透镜的高度小于2mm,5mm,10mm,15mm,20m,或在所述值中的任何两个之间的范围内。
18.如前述实施例中任一项所述的有限成像光学系统,其中外部透镜的优选高度在3mm到8mm之间。
19.如前述实施例中任一项所述的有限成像光学系统,其中外部透镜的优选高度在3mm到8mm之间。
20.如前述实施例中任一项所述的有限成像光学系统,其中外部透镜的直径小于2mm,4mm,8mm,10mm,15mm,20mm,或在所述值中的任何两个之间的范围内。
21.如前述实施例中任一项所述的有限成像光学系统,其中物理的光学放大率小于0.1X,0.5X,1X,2X,4X,5X,10X,或在所述值中的任何两个之间的范围内。
22.如前述实施例中任一项所述的有限成像光学系统,其中物理的优选光学放大率小于0.1X,0.5X,1X,2X,4X,5X,10X,或在所述值中的任何两个之间的范围内。
术语“基于图像的测定”是指利用由成像器拍摄的样品的图像的测定程序,其中样品可以是但不限于医学、生物和化学样品。
术语“成像器”是指能够拍摄对象图像的任何装置。其包括但不限于显微镜、智能电话或可在各种波长下拍摄图像的特殊装置中的照相机。
术语“样品特征”是指代表潜在感兴趣的条件的样品的一些性质。在某些实施例中,样品特征是出现在样品的图像中并且可以通过机器学习模型来分割和分类的特征。样品特征的示例包括但不限于样品中的分析物类型,例如,红细胞、白细胞和肿瘤细胞,并且其包括分析物计数、尺寸、体积、浓度等。
术语“机器学习”是指人工智能领域中的算法、系统和设备,其通常使用统计技术和人工神经网络来向计算机提供从数据“学习”(即,逐步改善对特定任务的性能)而不被明确编程的能力。
术语“人工神经网络”是指由生物网络启发的分层连接系统,其可以通过考虑示例“学习”以执行任务,通常不用任何任务专用规则来编程。
术语“卷积神经网络”是指一类多层前馈人工神经网络,其最普遍地应用于分析视觉图像。
术语“深度学习”是指从具有一定深度网络结构的数据中学习的人工智能(AI)中的一大类机器学习方法。
术语“机器学习模型”是指从数据的机器学习中的训练过程构建的训练的计算模型。在推导阶段期间由计算机应用训练的机器学习模型,其给予计算机执行特定任务(例如,检测和分类对象)的能力。机器学习模型的示例包括ResNet、DenseNet等,由于其网络结构中的分层深度,它们也被称为“深度学习模型”。
术语“图像分割”是指将数字图像分割成多个段(像素集,通常具有覆盖由它们的段边界轮廓所包围的图像段的位映射掩码集)的图像分析过程。图像分割可以通过分水线、迭代图割、均值漂移等图像处理中的图像分割算法来实现,也可以通过MaskRCNN等机器学习算法来实现。
术语“样品中的缺陷”是指在理想的样品条件下不应该存在或在样品的特征中不应该考虑的现象。它们可以来自但不限于污染物,例如灰尘,气泡等,以及来自样品中的外围物体,例如样品保持装置中的监测标记(例如柱)。缺陷可以具有显著的尺寸并且在样品中占据显著量的体积,例如气泡。除了它们在样品中的分布和量(其是样品依赖性的)之外,它们可以具有不同的形状。
本文中的术语“阈值”是指用作例如将样品特征分类为特定类型的分析物或样品中异常细胞与正常细胞的比率的截止值的任何数字。可以根据经验或分析识别阈值。
使用“有限样品操纵”
在本发明中,在一些实施例中,用于对测定进行成像的样品定位系统具有“有限的样品操纵”。有限样品操纵的一些实施例包括,但不限于,:
有限样品操纵系统描述:
1.一种有限样品操纵系统,包含:
样品保持器;
其中样品保持器具有用于收纳样品卡的容器。
2.如前述实施例中任一项所述的有限样品操纵系统,其中在沿着光轴的方向上定位样品的准确度差于0.1μm,1μm,10μm,100μm,1mm,或在所述值中的任何两个之间的范围内。
3.如前述实施例中任一项所述的有限样品操纵系统,其中在沿着光轴的方向上定位样品的优选准确度在50μm和200μm之间。
4.如前述实施例中任一项所述的有限样品操纵系统,其中在垂直于光轴的平面中定位样品的准确度差于0.01μm,0.1μm,1μm,10μm,100μm,1mm,或在所述值中的任何两个之间的范围内。
5.如前述实施例中任一项所述的有限样品操纵系统,其中在垂直于光轴的平面中定位样品的优选准确度在100μm和1mm之间。
6.如前述实施例中任一项所述的有限样品操纵系统,其中定位样品卡的水平误差差于0.01度,0.1度,0.5度,1度,10度,或在所述值中的任何两个之间的范围内。
7.如前述实施例中任一项所述的有限样品操纵系统,其中定位样品卡的优选水平差在0.5度至10度之间。
8.如前述实施例中任一项所述的有限样品操纵系统,其中定位样品卡的优选水平差在0.5度至10度之间。
使用监测标记的TLD和体积估计
图2示出了在本发明的一些实施例中使用的样品保持装置、QMAX装置及其监测标记、柱的实施例。QMAX装置中的柱使得样品保持装置的两个平行板之间的间隙均匀。间隙是狭窄的,并且与分析物在间隙中形成单层的分析物的大小有关。此外,QMAX装置中的监测标记是柱的特殊形式,因此,它们不被样品浸没,并且可以在基于图像的测定中通过成像器与样品一起成像。
使用监测标记的TLD(真实横向尺寸)估计示例
在本发明的一些实施例中,针对TLD和真实体积进行估计。监测标记(柱)用作可检测的锚点。然而,在基于图像的测定中以适于TLD估计的准确度检测监测标记是困难的。这是因为这些监测标记被样品保持装置内的分析物渗透和包围,并且由于来自透镜的失真、来自微观物体的光衍射、微观水平的缺陷、聚焦的未对准、样品图像中的噪声等,它们在图像中失真和模糊。并且如果成像器是来自商用装置的相机(例如,来自智能电话的相机),则变得更加困难,因为这些相机一旦离开制造就不再用专用硬件校准。
在本发明中,作为用于TLD估计的可检测锚点的监测标记的检测和定位在机器学习框架中制定,并且建立/训练专用机器学习模型以在显微成像中检测它们。此外,在本发明的一些实施例中,监测标记的分布被有意地制成固定间隔的,并以预定的图案分布。这使得本发明中的方法更加稳健和可靠。
特别地,本发明的实施例包含:
(8)将样品添加到样品保持装置,例如QMAX装置,其中在装置中存在具有已知构造的监测标记,这些监测标记不浸没在样品中并且可以由成像器成像;
(9)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(10)建立并训练机器学习(ML)模型以检测样品图像中的监测标记;
(11)使用来自(3)的ML检测模型从样品的图像中检测并定位样品保持装置中的监测标记;
(12)根据在(4)中检测的监测标记生成标记栅格;
(13)基于生成的监测标记栅格来计算单应变换;
(14)从来自(6)的单应变换估计并保存样品的图像的真实横向维度;以及
(15)在随后的基于图像的测定中应用来自(7)的估计TLD以确定分析物的面积、大小、体积和浓度。
在本发明的一些实施例中,在基于图像的测定中采用基于区域的TLD估计和校准。其包含:
(13)将样品添加到样品保持装置,例如QMAX装置,其中在装置中存在监测标记,监测标记不浸没在样品中并且可以在基于图像的测定中通过成像器成像;
(14)拍摄包括分析物和监测标记的样品保持装置中的样品的图像;
(15)建立并训练机器学习(ML)模型,用于从由成像器拍摄的样品的图像中检测监测标记;
(16)将由成像器拍摄的样品的图像分割成非重叠区域;
(17)使用(3)的ML模型从由成像器拍摄的样品的图像中检测和定位监测标记;
(18)针对在局部区域中检测到的具有多于5个非共线监测标记的区域中的每一个生成一个基于区域的标记栅格;
(19)基于检测到的监测标记,根据由成像器拍摄的样品的图像中为所有不在(6)中的区域生成标记栅格;
(20)基于在(6)中生成的其自己的基于区域的标记栅格,为(6)中的每个区域计算区域特定单应变换;
(21)基于在(7)中生成的标记栅格来计算针对所有其它区域的单应变换;
(22)基于(8)中生成的基于区域的单应变换来估计(6)中的针对每个区域的基于区域的TLD;
(23)基于来自(9)的单应变换来估计针对其他区域的TLD;以及
(24)将(10)和(11)中的估计TLD保存并应用于分割区域的后续基于图像的检测中。
当监测标记以预定义的固定间隔图案分布时,例如在QMA装置中,它们以一定的间距固定间隔地出现和分布,结果,在上述过程中检测监测标记变得更加稳健和可靠。这是因为在固定间隔的情况下,如果检测到的位置和配置不遵循预定义的固定间隔图案,则可以仅从少数检测到的监测标记中识别和确定所有监测标记,并且可以校正和消除检测误差。
利用监测标记的体积估计
为了估计测定中样品的真实体积,需要从样品中的缺陷和外围对象中去除该体积,本发明的实施例包含:
(1)将样品添加到具有监测标记的样品保持装置,例如QMAX装置,并通过成像器拍摄样品的图像;
(2)使用上述方法和设备,通过检测样品图像中的监测标记作为锚点,估计图像的真实横向尺寸(TLD);
(3)使用根据样品图像构建和训练的机器学习(ML)检测模型来检测和定位样品图像中的缺陷,例如气泡、灰尘、监测标记等;
(4)使用根据样品的图像构建和训练的机器学习(ML)分割模型来确定样品的图像中的检测到的缺陷的覆盖掩码;
(5)根据样品和样品保存装置中分析物/对象的大小(例如2x最大分析物直径)确定边距距离Δ;
(6)确定所有检测到的缺陷的Δ+掩码,即对(4)的覆盖掩码进行额外边距Δ扩展的掩码;
(7)根据样品图像(6)中的Δ+掩码去除检测到的缺陷;
(8)保存(7)中的图像,在后续基于图像的测定中,用(7)中相应的Δ+掩码去除体积后保存相应的体积;以及
(9)如果移除的Δ+掩码的面积或样品的剩余真实体积超过某个预设阈值,则拒绝样品。
在本发明中,使用额外的边距Δ+掩码从样品图像中去除缺陷。这是重要的,因为缺陷会影响它们的环境。例如,一些缺陷可以改变样品保持装置中的间隙的高度,并且缺陷周围的局部体积或浓度分布可以变得不同。
术语“监测标记”和“标记”在本发明的描述中是可互换的。
术语“成像器”和“相机”在本发明的描述中是可互换的。
术语“降噪”是指从接收的信号中去除噪声的过程。一个示例是去除样品图像中的噪声,因为来自成像器/相机的图像可从各种来源拾取噪声,包括但不限于白噪声、椒盐噪声、高斯噪声等。去噪方法包括但不限于:线性和非线性滤波、小波变换、统计方法、深度学习等等。
术语“图像归一化”是指改变经处理的图像中的像素强度值的范围的算法、方法和设备。例如,它包括但不限于通过直方图拉伸来增加对比度,从每个图像中减去平均像素值等。
术语“图像锐化”是指增强图像的边缘对比度和边缘内容的过程。
术语“图像缩放”是指调整图像大小的过程。例如,如果对象在样品的图像中太小,则可以应用图像缩放来放大图像以帮助检测。在本发明的一些实施例中,为了训练或推导的目的,在输入到深度学习模型之前,需要将图像调整到指定的尺寸。
术语“对准”是指将不同的数据集变换成一个公共坐标系,以便将它们进行比较和组合。例如,在图像处理中,不同的数据集来自但不限于来自多个成像器传感器的图像和来自同一传感器但在不同时间、聚焦深度等的图像。
术语“超分辨率”是指从一个或多个低分辨率图像中获得较高分辨率图像的过程。
术语“去模糊”是指从图像中去除模糊伪像的过程,例如去除由成像过程中的散焦、抖动、运动等引起的模糊。
在本发明的一些实施例中,设计方法和算法以利用样品保持装置(例如,QMAX装置)中的监测标记。这包括但不限于成像装置中以下参数的估计和调整:
1.快门速度,
2.感光度
3.焦点(透镜位置),
4.曝光补偿,
5.白平衡:温度、色调,以及
6.缩放(比例因子)。
与标记一起使用的图像处理/分析算法示例
在本发明的一些实施例中,利用本发明中的监测标记来应用和增强图像处理/分析。它们包括但不限于以下图像处理算法和方法:
1.基于直方图的操作包括但不限于:
a.对比度扩展;
b.均衡化;
c.最小滤波;
d.中值滤波;以及
e.最大滤波。
2.基于数学的操作包括但不限于:
a.二进制运算:NOT,OR,AND,XOR,SUB等,以及
b.算术运算:ADD,SUB,MUL,DIV,LOG,EXP,SQRT,TRIG,INVERT等。
3.空间域和频率域中的基于卷积的操作包括但不限于傅立叶变换、DCT、整数变换、小波变换等。
4.平滑操作包括但不限于:
a.线性滤波:均匀滤波器,三角滤波器,高斯滤波器等,以及
b.非线性滤波:中位滤波器,kuwahara滤波器等。
5.基于衍生工具的操作包括但不限于:
a.一阶导数:梯度滤波器、基本导数滤波器、prewitt梯度滤波器、sobel梯度滤波器、交替梯度滤波器、高斯梯度滤波器等;
b.二阶导数:基本二阶导数滤波器、频域拉普拉斯算子、高斯二阶导数滤波器、变拉普拉斯滤波器、梯度方向二阶导数(SDGD)滤波器等,以及
c.具有较高导数的其它滤波器等。
6.基于形态的操作包括但不限于:
a.膨胀和侵蚀;
b.布尔卷积;
c.开放和闭合;
d.命中-未命中操作;
e.分割和轮廓;
f.骨架;
g.增殖;
h.灰度值形态处理:灰阶膨胀、灰阶侵蚀、灰阶打开、灰阶关闭等;以及
i.形态平滑、形态梯度、形态拉普拉斯算子等。
图像处理/分析技术的其他示例
在本发明的一些实施例中,图像处理/分析算法与本公开中描述的监测标记一起使用并由其增强。它们包括但不限于以下:
1.图像增强和恢复包括但不限于
a.锐化和解锐化,
b.噪声抑制,以及
c.失真抑制。
2.图像分割包括但不限于:
a.阈值-固定阈值,直方图导出阈值,等值线算法,背景对称算法,三角算法等;
b.边缘查找-基于梯度的程序,基于零点交叉的程序,基于PLUS的程序等;
c.二元数学形态学-椒盐过滤,分离带孔对象,填充对象中的孔,去除边界接触对象,外骨架,接触对象等;以及
d.灰度值数学形态学-高帽变换,自适应阈值处理,局部对比度拉伸等。
3.特征提取和匹配包括但不限于:
a.独立成分分析;
b.等值线图;
c.主组分分析和核主组分分析;
d.潜在语义分析;
e.最小二乘和偏最小二乘;
f.多因素降维和非线性降维;
g.多线性主组分分析;
h.多线性子空间学习;
i.半定嵌入;以及
J.自动编码器/解码器。
4.对象检测、分类和定位
5.图像理解
使用监测标记的显微成像的改进
监测标记可用于改善显微成像中的聚焦。特别地,具有锐边的标记将为聚焦评估算法提供可检测(可见的特征),以分析某些聚焦设置的聚焦条件,特别是在低光照环境和显微镜成像中。在本发明的一些实施例中,卡上的监测标记用于进行显微图像校正和增强。例如,聚焦评估算法在如图11所示的自动聚焦实现中的核心部分。
对于一些诊断应用(例如,比色、基于吸收的血红蛋白测试,以及对于具有非常低的细胞浓度的样品的CBC),由样品的图像中的分析物提供的可检测特征通常不足以使焦点评估算法准确且平滑地运行。具有锐边的标记,例如QMAX装置中的监测标记,为聚焦评估程序提供了附加的可检测特征,从而实现基于图像的测定中所需的准确性和可靠性。
对于一些诊断应用,样品中的分析物分布不均匀。纯粹依赖于由分析物提供的特征倾向于产生一些不公平的聚焦设置,其给出聚焦在一些局部高浓度区域上的高权重,而低分析物浓度区域偏离目标。在本发明的一些实施例中,利用来自监测标记的信息的聚焦调节来控制该效果,监测标记具有强边缘并且以精确处理的固定间隔的图案均匀地分布。
使用超分辨率从单个图像来生成较高分辨率图像。
每个成像器具有部分地受限于其传感器中的像素数量的成像分辨率,其从一百万像素变化到数百万像素。对于一些显微成像应用,分析物在样品中具有小的或微小的尺寸,例如人血液中血小板的尺寸具有约1.4μm的直径。当目标检测程序需要一定数量的像素时,除了FOV的可用尺寸之外,图像传感器中有限的分辨率对基于图像的测定中的装置的能力施加了显著的限制。
单图像超分辨率(SISR)是使用图像处理和/或机器学习技术来将原始源图像上采样到更高的分辨率并尽可能多地去除由插值引起的模糊的技术,使得对象检测程序也可以在新生成的图像上运行。这将显着地减少上述的限制,并且允许一些否则不可能的应用。具有已知形状和结构的标记(例如QMAX中的监测标记)可用作评估SISR算法的局部参考,避免大多数现有技术算法产生的过锐化效应。
在本发明的一些实施例中,执行图像融合以打破基于图像的测定中的物理SNR(信噪比)限制。
信噪比测量显微镜成像中成像器拍摄的样品的图像质量。由于成本、技术、制造等,对于成像装置存在实际限制。在某些情况下,例如在移动健康护理中,该应用需要比成像装置能够提供的更高的SNR。在本发明的一些实施例中,(利用相同和/或不同的成像设置,例如将聚焦在不同聚焦深度的多个图像合并为一个超聚焦图像的3D融合的实施例)拍摄并处理多个图像,产生具有较高SNR的输出图像,从而使这种应用成为可能。
然而,由一个成像器或多个成像器拍摄的图像往往具有一些由物理限制和实现约束引起的缺陷和瑕疵。由于样品中的分析物具有微小的尺寸并且通常没有明显的边缘特征,因此在基于图像的测定中样品的显微成像中情况变得很尖锐。在本发明的一些实施例中,图像保持装置(例如QMAX装置)中的监测标记用于增强的解决方案。
一个这样的实施例是处理由成像器拍摄的样品的图像中的失真。图12是对一般相机模式的改进的图。当失真参数已知时,情况相对简单(大多数制造给出了它们的透镜的曲线/表格以描述比率失真,其它失真可以在明确定义的实验中测量)。然而,当失真参数对于监测标记是未知的时,它可以使用样品保持装置(例如QMAX装置)的规则地甚至固定间隔性地放置的监测标记来迭代地估计失真参数,而不需要如图13所示的单个坐标参考。
一些附加实施例
在本发明中,在一些实施例中,为了分析基于图像的测定中的微特征,样品保持装置具有带有一些特殊监测标记的平坦表面。本发明的一些实施例列举如下:
A1:在基于图像的测定中对样品的显微图像的真实横向尺寸(TLD)估计。真实横向尺寸(TLD)确定真实世界中成像分析物的物理尺寸,并且其还确定与基于图像的测定中的浓度估计相关的样品在真实世界中的图像坐标。监测标记可用作可检测锚点,确定TLD并提高基于图像的测定的准确性。在本发明的一个实施例中,使用监测标记的机器学习模型来检测监测标记,从该模型导出样品图像的TLD。此外,如果监测标记在样品保持装置的平坦表面上具有固定间隔的分布图案,则监测标记的检测和基于每个样品的TLD估计在基于图像的测定中可以变得更加稳健和稳健。
A2:使用在特定波长的光或在多个波长的光下来自分析物化合物的测量响应来分析分析物,从而预测分析物浓度。未浸没在样品中的监测标记可用于测定对应于无分析物化合物的背景的光吸收,以便通过光吸收来确定分析物浓度,例如完全血液测试中的HgB测试。此外,每个监测标记可以作为背景吸收的独立检测器,以使浓度估计稳健和可靠。
A3:在基于图像的测定的显微图像中聚焦。均匀分布的监测标记可用于提高聚焦准确度。(a)它可以用于为没有/少于必要数量的特征的样品提供最小量的视觉特征,以进行可靠的聚焦,并且由于监测标记的边缘内容,这可以在弱光下进行。(b)当样品中的特征分布不均匀时,其可用于提供视觉特征,以使焦点决策更准确。(c)它可以为局部照明条件提供参考,该局部照明条件不受样品内容的影响/影响较小/不同,以调整聚焦评估算法中的权重。
A4:监测标记可用作参考,检测和/或纠正由但不限于以下原因引起的图像缺陷:不均匀分布的照明,各种类型的图像失真,噪声和不完美的图像预处理操作。(a)例如,如图14所示,当3D世界中的直线被映射到图像成为曲线时,样品图像中标记的位置可用于检测和/或校正比率失真。可以基于标记的位置变化来估计整个图像的比率分布参数。并且可以通过基于假定的比率失真参数对具有失真消除的再现图像中的水平/垂直线进行线性测试来迭代地估计比率失真参数值。
机器学习(ML)计算的示例
B1:使用机器学习的一种方式是检测样品图像中的分析物,并计算覆盖它们的位置的边界框,并且在处理的推导过程中使用训练的机器学习模型来执行。使用机器学习方法来检测和定位样品图像中的分析物的另一种方式是构建和训练检测和分割模型,其涉及在像素水平上对样品图像中的分析物进行注释。在这种方法中,样品图像中的分析物可以用覆盖它们的密封的二进制像素掩码在基于图像的测定中检测和定位。
B2:当测试人血中的血红蛋白时,在给定的窄带波长下拍摄图像,然后分析通过分析物区域和参考区域的平均能量。基于已知的分析物在给定波长下的吸收率和分析物样品区域的高度,可以估计浓度。然而,该测量具有噪声。为了消除噪声,可以使用不同波长的光拍摄多个图像,并且使用机器学习回归来实现更准确和稳健的估计。在本发明的一些实施例中,基于机器学习的推导拍摄在不同波长拍摄的样品的多个输入图像,并输出单个浓度数。
识别错误风险以提高测量可靠性的示例
在一些实施例中,一种用于提高测定的可靠性的方法,所述方法包含:
(a)将样品成像在QMAX卡上;
(b)分析错误风险因子;以及
(c)如果错误风险因子高于阈值,则拒绝所述卡报告卡的测量结果;
其中错误风险因子是以下因子中的一者或其任意组合。这些因子是,但不限于,(1)血液缘,(2)血液中的气泡,(3)血容量太小或血容量太大,(4)间隔件下方的血细胞,(5)聚集的血细胞,(6)裂解的血细胞,(7)样品的过度曝光图像,(8)样品的曝光不足图像,(8)样品的不良聚焦,(10)杠杆位置错误的光学系统错误,(11)未闭合的卡,(12)错误卡因卡无间隔件,(13)卡中的灰尘,(14)卡中的油,(15)所述卡上所述焦点平面外的污渍,(16)不在读取器内正确位置的卡,(17)空卡,(18)卡中的制造错误,(19)用于其他应用的错误卡,(20)干血,(21)过期卡,(22)血细胞分布的大变化,(23)非血液样品或非目标血液样品等。
在一些实施例中,错误风险分析器能够检测、区分、分类、修正和/或纠正在装置中的生物和化学应用中的下列情况:(1)样品缘,(2)样品中的气泡,(3)样品体积太小或样品体积太大,(4)间隔件下方的样品,(5)聚集的样品,(6)裂解的样品,(7)样品的过度曝光图像,(8)样品的曝光不足图像,(8)样品的不良聚焦,(10)杠杆位置错误的光学系统错误,(11)未闭合的卡,(12)错误卡因卡无间隔件,(13)卡中的灰尘,(14)卡中的油,(15)所述卡上所述焦点平面外的的污渍,(16)不在读取器内正确位置的卡,(17)空卡,(18)卡中的制造错误,(19)用于其他应用的错误卡,(20)干燥样品,(21)过期卡,(22)血细胞分布的大变化,(23)错误样品等。
其中所述阈值由组测试确定。
其中所述阈值根据机器学习确定。
其中监测标记用作对照以识别错误风险因子。
其中监测标记用作比较以评估错误风险因子的阈值。
以下简要概述并不旨在包括本发明的所有特征和方面。
本文公开了在生物、化学和医学诊断中分析样品的形态、分子、物理、比色和病理特征的基于图像的测定的方法和系统。例如,在CBC(全血细胞计数)测试中,它是根据样品的图像来表征血细胞,如红细胞,白细胞等;分子和核酸测试是捕获在各种条件下连同试剂拍摄的样品图像中抗原和抗体或颗粒的结合;并且比色测试是根据样品图像中捕获的各种波长的光吸收来确定样品特征和颗粒浓度。
然而,所有这些测试都是在测试期间从样品制备到装置操作的许多未知因素下进行的,这些因素可能影响测试结果的可靠性。例如,在血液测试中,常见的未知因素包括但不限于细胞聚集、灰尘、气泡、不均匀分布、干质地结构等。除了常规测试程序之外,还迫切需要能够控制这些未知因素的方法和系统。
本文公开的方法和系统的一个方面是基于图像的测定中的可信框架。它与常规的基于图像的测定平行运行,但它根据用于基于图像的测定的相同图像来分析被测试样品的元特征。关于被测试样品的这些元特征提供了确定测试结果的可信度的关键信息。此外,在一些实施例中,关于基于图像的测定的这些元特征被捕获并且由专用的机器学习模型来表征,该机器学习模型可以在嘈杂且多样的环境中执行。
具体地,公开了用于验证测试结果的可信性的关键方法和系统,包括:
(a)在基于图像的测定中检测样品的不均匀分布的方法和系统中,不均匀分布的(涂抹的)样品是不准确和错误的原因。
(b)在基于图像的测定中检测样品的干质地结构的方法和系统中,部分干燥的(例如血液)样品可影响测试结果的准确性。
(c)在基于图像的测定中检测样品聚集的方法和系统中,测试样品中的聚集程度是样品质量,用于测试的试剂等的强指示。
(d)在用于针对基于图像的测定的检测样品中的缺陷的方法和系统中,样品中的缺陷包括但不限于灰尘、气泡、纤维等。
所提出的基于图像的测定的可信度测试框架由机器学习提供动力,其中构建专用机器学习模型以用于快速且稳健地估计测定结果的可信度。它已经应用于实际应用,例如血液和比色测试。
此外,在此公开了一种专用分割方法,用于在基于图像的测定中获得对象的精细轮廓掩码级分割。其应用于细胞检测和表征,还应用于可信度测定以检测和表征样品中的缺陷和异常。
所提出的方法将基于机器学习的分割应用于边界框级的分割,该方法快速易于构建。然后,对于边界框中的每个对象,设计专用的形态分析方法以获得精细轮廓掩码分割。该方法在基于图像的有效性分析中应用广泛。
本文公开的方法和系统的另一方面是具有特别设计的样品保持器的基于图像的测定的框架,其中样品保持器具有柱形式的监测标记结构,其在基于图像的测定过程中从样品保持器中的样品的图像可见。该特别设计的样品保持器在基于图像的测定中展现了许多新的能力和特征,包括:
(a)在用于基于图像的测定的真实横向尺寸(TLD)校正的方法和系统中,TLD将图像中的细胞的尺寸确定为它们在物理世界中的真实尺寸,该真实尺寸是影响测定结果的准确度的关键参数,这是因为由成像器拍摄的样品的图像中的失真。
(b)基于具有样品保持器的样品的图像的图像系统中的分光光度计的方法和系统,其中使用机器学习模型将样品的图像分成两个子区域。第一子区域对应于样品,第二子区域对应于柱。基于在单个或多个光波长下拍摄的一个或多个图像对两类子区域进行光谱化学测量,并且收集这些数据并将其应用于导出样品的化学和物理性质,例如化合物浓度。
(c)基于具有均匀高度的监测标记柱来确定样品体积的方法和系统,其中样品的体积可以通过图像中样品的表面积来确定,因为样品夹在样品保持器的两个平行板之间,其中具有由柱控制的均匀间隙。该提出的结构能够从样品中实际去除任何可见的缺陷、柱、灰尘、气泡等,并且在去除用于测定后仍具有对样品体积的精确控制。
(d)在使用监测标记柱提高基于图像的测定中的显微成像质量的方法和系统,其中局部照明、照明的均匀性和比率失真控制可以基于基于图像的测定中检测到的柱的图像。这些参数在显微成像中是难以控制的,特别是对于被成像用于测定的不同类型的样品。
通常,检测、定位和分割样品图像中的柱是一个挑战性问题,尤其是在显微图像中,例如来自基于图像的测定的那些显微图像。在所描述的方法和实施例中,还构建了用于柱检测的专用机器学习模型,并且将上述分割方法与用于柱位置,形状轮廓和尺寸的高准确度估计的真实横向尺寸(TLD)校正相结合,使得上述方法对于基于图像的测定是有效的。