CN111095263A

CN111095263A - 用于虚拟胰造影术的系统、方法和计算机可访问介质

Info

Publication number: CN111095263A
Application number: CN201880053873.5A
Authority: CN
Inventors: 阿里·考夫曼; 康斯坦丁·德米特里耶夫
Original assignee: Research Foundation of the State University of New York
Current assignee: Research Foundation of the State University of New York
Priority date: 2017-06-26
Filing date: 2018-06-26
Publication date: 2020-05-01
Also published as: EP3646240A4; JP2020525127A; US20200226748A1; EP3646240B1; CA3067824A1; EP3646240A1; WO2019005722A1; US11348228B2

Abstract

用于使用医学成像数据来筛查囊性病灶的系统、方法和计算机可访问介质可包括，例如，接收一个患者的器官的第一成像信息，通过对第一成像信息执行分割操作来生成第二成像信息以识别多种组织类型，所述多种组织类型包括指示囊性病灶的组织类型，识别第二成像信息中的囊性病灶，以及将第一分类器和第二分类器应用于囊性病灶以将囊性病灶分类为多种囊性病灶类型中的一种或更多种。第一分类器可以是随机森林分类器，并且第二分类器可以是卷积神经网络分类器。卷积神经网络可包含至少6个卷积层，其中所述至少6个卷积层可包含最大池化层、退出层和全连接层。

Description

用于虚拟胰造影术的系统、方法和计算机可访问介质

相关申请的交叉引用

本申请涉及并要求于2017年6月26日提交的美国专利申请No.62/524,819的优先权，其全部公开内容通过引用并入本文。

关于联邦政府资助的研究的声明

本发明是在由国家科学基金会(National Science Foundation)授予的基金No.CNS-0959979、IIP 1069147和CNS-1302246的政府支持下完成的。政府在本发明中拥有某些权利。

技术领域

本公开内容一般地涉及医学成像，并且更具体地涉及用于虚拟胰造影术的示例性系统、方法和计算机可访问介质的一些示例性实施方案。

背景技术

如其所正式地被知晓的，胰腺癌或胰腺导管腺癌(pancreatic ductaladenocarcinoma，“PDAC”)可能是所有癌症中最致命的癌症之一，具有极差的预后并且五年总存活率小于9％。该疾病没有特定的早期症状，并且大多数病例是在癌症已扩散到胰腺之外之后的晚期被诊断出来的。

PDAC前体的早期检测可为防止浸润性PDAC发生提供机会。PDAC的三个前体中的两个，导管内乳头状黏液性肿瘤(intraductal papillary mucinous neoplasm，“IPMN”)和黏液性囊性肿瘤(mucinous cystic neoplasm，“MCN”)，形成胰腺囊性病灶。这些囊性病灶可以是常见的并且用目前可用的成像方式例如计算机断层扫描(computed tomography，“CT”)和磁共振成像(magnetic resonance imaging，“MRI”)容易检测。IPMN和MCN可相对容易地被识别并且为PDAC的早期识别提供了潜力。然而，该问题可能是复杂的，因为存在许多其他类型的胰腺囊性病灶。这些从不需要手术干预的完全良性或非癌性囊肿(例如浆液性囊腺瘤(serous cystadenoma，“SCA”))变化到可能是恶性且应进行手术切除的实性假乳头状肿瘤(solid-pseudopapillary neoplasm，“SPN”)。这些问题突出了正确识别囊肿类型以确保适当管理的重要性。(参见，例如，参考文献1)。

大多数胰腺囊性病灶可在CT扫描时被偶然发现，这使得CT成为第一可用的成像数据来源用于诊断。除一般人口统计学特征(例如患者年龄和性别)之外，CT成像发现的组合还可用于区分不同类型的胰腺囊性病灶。(参见，例如，参考文献1)。然而，即使对于有经验的放射科医生来说，通过手动检查胰腺囊性病灶的放射学影像来正确地识别囊性病灶类型也可具有挑战性。最近的研究(参见，例如，参考文献2)报道了由具有超过10年的腹部成像经验的两名读者进行的CT扫描对130例胰腺囊性病灶的鉴别准确度为67％至70％。

使用计算机辅助诊断(computer-aided diagnosis，“CAD”)方法不仅可帮助放射科医生，而且可改善在CT扫描中识别出的多种胰腺囊性病灶的可靠性和客观性。尽管已经提出了用于在多种器官中非侵入性地分析良性和恶性团块(mass)的许多方法，但是没有用于对胰腺囊性病灶类型进行分类的CAD方法。

因此，提供可克服上文所述缺陷中的至少一些的用于虚拟胰造影术的示例性系统、方法和计算机可访问介质可以是有益的。

发明内容

用于使用医学成像数据来筛查囊肿(例如，用于囊性病灶的分割和可视化)的系统、方法和计算机可访问介质可包括例如接收一个患者的器官的第一成像信息，通过对第一成像信息执行分割操作来生成第二成像信息以识别多种组织类型，包括指示囊肿的组织类型，识别第二成像信息中的囊肿，以及将第一分类器和第二分类器应用于囊肿以将囊肿分类为多种囊性病灶类型中的一种或更多种。第一分类器可以是随机森林(RandomForest)分类器，并且第二分类器可以是卷积神经网络分类器。卷积神经网络可包含至少6个卷积层，其中所述至少6个卷积层可包含最大池化层(max-pooling layer)、退出层(dropout layer)和全连接层(fully-connected layer)。

在本公开内容的一些示例性实施方案中，最大池化层可包含3个最大池化层，退出层可包含2个退出层，并且全连接层可包含3个全连接层。3个全连接层可包含2个退出层。可通过将第一成像信息分割为用于使囊性病灶可视化的前景(foreground)和背景(background)来生成第二成像信息。前景可包含胰腺，并且背景可包含多个另外的囊性病灶。可通过产生针对可用于使囊性病灶可视化的前景和背景的多个分割轮廓来生成第二信息。可通过分析患者的特征来应用第一分类器，其中所述特征可包含：(i)患者的年龄，(ii)患者的性别，(iii)胰腺中囊肿的位置，(iv)囊肿的形状，或(iv)囊肿的强度特征。

在本公开内容的某些示例性实施方案中，可基于前景的分割轮廓或强度特征来产生所述特征。分割操作可以是自动分割程序。可通过以下来生成第二成像信息：向用户显示第一成像信息(例如，用于可视化)，以及基于从用户接收的输入来分割第一成像信息。可将第一分类器应用于囊肿以产生第一组类别概率，并且可将第二分类器应用于囊肿以产生第二组类别概率。可通过将贝叶斯(Bayesian)组合应用于第一组类别概率和第二组类别概率来对囊肿进行分类。

在本公开内容的一些示例性实施方案中，囊肿可分类为(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。该分类可包含囊肿可以是以下的概率：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。囊肿可位于患者的胰腺中。第一成像信息可包含磁共振成像信息或计算机断层扫描成像信息。磁共振成像信息和计算机断层扫描成像信息可以是使用分割程序进行的分割以供医生可视化。分割的囊性病灶还可使用一种或更多种分类器进行分类。

此外，用于对解剖结构进行多标签分割的示例性系统、方法和计算机可访问介质可包括：接收与解剖结构的多个单标签数据集有关的第一成像信息，接收与解剖结构的多个类别标签有关的第二信息，通过使用卷积神经网络(CNN)基于第一成像信息对第二信息进行编码来生成第三信息，通过使用CNN对第三信息进行解码来生成第四信息，以及基于第四信息分割解剖结构。

在本公开内容的一些示例性实施方案中，可使用多个编码层来生成第三信息，并且可使用多个解码层来生成第四信息。可通过基于先前一个编码层对一个编码层进行连接特征映射来生成第三信息，并且可通过基于先前一个解码层对一个解码层进行连接特征映射来生成第四信息。编码层可包含卷积层和至少三个最大池化层。编码层可在每个稠密块中包含与每个稠密块的深度成比例的特定数目的特征信道。

在本公开内容的某些示例性实施方案中，可使用具有跨步的多个转置卷积作为与编码层拓扑对称的上采样层来生成第四信息。解码层之一可包含S型函数。解剖结构可以是腹部器官。编码层或解码层可例如使用分割的目标标签来调节。

当结合所附权利要求书阅读以下对本公开内容的一些示例性实施方案的详细描述时，本公开内容的一些示例性实施方案的这些和其他目的、特征和优点将变得明显。

附图说明

通过以下详细描述结合示出了本公开内容的一些举例说明性实施方案的附图，本公开内容的另一些目的、特征和优点将变得明显，其中：

图1是在根据本公开内容的一个示例性实施方案的示例性可视化系统中使用的用于生成图像的示例性方法；

图2A至2D是显示根据本公开内容的一个示例性实施方案的胰腺内囊性病灶的位置的图像；

图3是举例说明根据本公开内容的一个示例性实施方案的囊性病灶的轮廓的一组图像；

图4A至4C是根据本公开内容的一个示例性实施方案的分类程序的示意图；

图5是根据本公开内容的一个示例性实施方案的一个示例性可视化界面的图像；

图6是根据本公开内容的一个示例性实施方案的一个示例性可视化界面的另一图像；

图7A至7F是当根据本公开内容的一个示例性实施方案分割图像时产生的中间图像结果；

图8是根据本公开内容的一个示例性实施方案的一组分割的图像；

图9是显示根据本公开内容的一个示例性实施方案的3D取向包围盒和相关测量的图；

图10是根据本公开内容的一个示例性实施方案的2D切片视图的图像；

图11是举例说明根据本公开内容的一个示例性实施方案的与中心线正交的重建的2D切片的图像；

图12是根据本公开内容的一个示例性实施方案的中心线的3D图像；

图13是根据本公开内容的一个示例性实施方案的导管的3D图像。

图14是根据本公开内容的一个示例性实施方案的用于可视化界面的高级渲染参数的示例性图像；

图15A是根据本公开内容的一个示例性实施方案的畸形胰腺的2D图像；

图15B是根据本公开内容的一个示例性实施方案的来自图15A的畸形胰腺的3D图像；

图16A至16E是根据本公开内容的一个示例性实施方案的解剖结构的分割的图像；

图17A是根据本公开内容的一个示例性实施方案的一个示例性卷积神经网络的示意图；

图17B是根据本公开内容的一个示例性实施方案的可对编码器执行的调节的图；

图17C是根据本公开内容的一个示例性实施方案的可对解码器执行的调节的图；

图18A至18E是根据本公开内容的一个示例性实施方案的多种示例性模型的学习曲线的图；

图19是根据本公开内容的一个示例性实施方案的一组示例性CT图像；

图20A是根据本公开内容的一个示例性实施方案的用于使用医学成像数据来筛查一个或更多个囊性病灶的示例性方法的流程图；

图20B是根据本公开内容的一个示例性实施方案的用于对解剖结构进行多标签分割的示例性方法的流程图；并且

图21是根据本公开内容的某些示例性实施方案的示例性系统的示例性框图的举例说明。

在整个附图中，除非另有说明，否则相同的附图标记和字符用于表示一些所示实施方案的相同的特征、要素、组件或部分。此外，尽管现在将参照附图详细描述本公开内容，但是其结合一些举例说明性实施方案来进行并且不受附图和所附权利要求书中所示出的一些特定实施方案的限制。

具体实施方式

本文中描述的本发明的一些实施方案提供了用于虚拟胰造影术(“virtualpancreatography，VP”)的示例性系统、方法和计算机可访问介质。示例性系统、方法和计算机可访问介质可包含用于通过腹部扫描(例如计算机断层扫描(“CT”)或磁共振成像(“MRI”))对胰腺囊性病灶进行非侵入性放射学评价的软件工具。可提供胰腺和胰腺囊性病灶的医生指导的或自动的分割，包含分割的胰腺囊性病灶的自动图像分析以病理组织学分类为囊性病灶类型(例如，导管内乳头状黏液性肿瘤、黏液性囊性肿瘤、浆液性囊腺瘤和实性假乳头状肿瘤)以及具有3D渲染和测量能力的综合可视化界面。

示例性系统、方法和计算机可访问介质可帮助医生(例如通常是放射科医生)提高诊断的准确度并改善在放射性扫描(例如CT或MRI)中所识别的多种胰腺囊性病灶的区分的客观性。示例性系统、方法和计算机可访问介质可支持胰腺囊性病灶的早期检测，这可显著改变胰腺癌的存活率。

图1示出了在根据本公开内容的一个示例性实施方案的示例性分类和可视化系统中使用的用于生成图像的示例性方法100。例如，在程序105处，可接收患者扫描(例如，患者的CT扫描或MRI扫描)。在程序110处，可对患者扫描执行自动或半自动分割程序以识别多个区域的组织类型，例如器官和潜在的囊性病灶。在程序115处，可对分割的患者扫描执行囊性病灶分类程序以将潜在的囊性病灶分类为多种囊性病灶类型之一。在程序120处，可将程序110和115的结果输入到3D可视化界面中，以供例如放射科医生查看。

示例性系统、方法和计算机可访问介质可包含胰腺和囊性病灶分割。具体地，VP系统可包含执行医生/技术人员指导的或自动的胰腺、囊性病灶和导管的分割的模块。医生指导的模块可包含图形用户界面，该图形用户界面具有用于包围盒放置以对目的区域进行参数化的工具以及在前景(胰腺和囊性病灶)和背景的代表性区域上绘制笔画(stoke)的“画笔(brush)”或“标记”工具。模块可使用此信息和原始扫描图像来产生粗略的分割轮廓，所述粗略的分割轮廓随后可通过随机游走(random walker)程序进行细化以在前景和背景要素之间创建最终的分割边界。

示例性系统、方法和计算机可访问介质可包含囊性病灶分类。放射科医生使用的用于区分胰腺囊性病灶的最常见特征包括患者的性别和年龄，以及胰腺内囊性病灶的位置，囊性病灶的形状和一般外观。(参见，例如图2A至2D)。例如，MCN(参见，例如图2C和图3，要素315)和SPN(参见，例如图2D和图3，要素320)经常存在于绝经前期年龄的女性中，而IPMN(参见，例如图2B和图3，要素310)在男性与女性之间具有均等的分布并且通常存在于60多岁的患者中。绝大多数MCN和SPN出现在胰腺的主体或尾部中，而其他类型的未显示出这样的倾向。示例性系统、方法和计算机可访问介质可利用所有这些特征来产生存在MCN和SPN的最终概率。示例性CNN可用于胰腺和囊性病灶的同时自动分割以及囊性病灶的组织病理学分类。可使用来自CT扫描的放射学特征和空间信息，并且可对囊性病灶的组织病理学类型与其在胰腺内的位置、其形状和其放射学外观之间的关系进行编码。

如图4A中所示，VP系统的分类模块可使用胰腺囊性病灶的轮廓、原始成像扫描以及患者的年龄和性别来执行自动组织病理学分析。分类模块可包含：(i)概率随机森林分类器420，其可分析因素410例如患者的年龄和性别，胰腺内囊性病灶的位置，来源于扫描的轮廓和强度的胰腺内囊性病灶的形状和强度特征；和(ii)卷积神经网络，如图4B中示例的，其可分析囊性病灶的高水平成像特征。参照图4C，可将这两个模块组合成贝叶斯组合455以编码四种最常见的胰腺囊性病灶类型与囊性病灶的特征之间的关系，从而可产生囊性病灶为特定类型的最终概率460。

示例性系统、方法和计算机可访问介质可包含可视化界面，该可视化界面的一个实例在图5和6中示出。VP系统的可视化模块可提供用于具有分割轮廓的任选叠加的原始扫描图像的2D可视化的工具，用于一般的和胰腺/囊性病灶特定的3D体积渲染和测量的工具。此外，该模块可配置成重建与胰腺中心线或胰管正交的原始2D切片。这可提供对囊性病灶的内部结构以及理解囊性病灶/胰腺关系的更多见解。测量工具可包含手动距离、测量以及囊性病灶的体积和最大程度。组织病理学分类的结果示于可视化界面的指定窗口中。

分割是支持可视化和诊断的医疗系统中的组成部分。在传统的临床实践中，如果需要分割，通常由临床医生或技术人员手动进行。但是，手动分割可能耗时、费力且依赖于操作者。所得勾画的高的操作者内部和操作者之间可变性使得分割过程不太精确且不可重现。与手动分割形成对比，示例性系统、方法和计算机可访问介质可半自动分割图像或自动分割图像而无需任何用户输入。可使用卷积神经网络(Convolutional Neural Network，“CNN”)，其在广泛的医学应用中包含多种器官的分割。例如，可对示例性CNN进行训练和评价，以自动分割胰腺和囊性病灶，这可分析CT扫描数据上的精细纹理和空间信息以产生输出。该分析的信息也可用于囊性病灶组织病理学分类。

示例性数据采集

使用示例性数据集，其包含用Siemens SOMATOM扫描仪(例如，Siemens MedicalSolutions，Malvem，PA)收集的134个腹部对比增强CT扫描。该数据集由四个最常见的胰腺囊性病灶组成：74例IPMN、14例MCN、29例SCA和17例SPN。所有的CT图像均具有0.75mm的层厚(slice thickness)。对象(例如43位男性，91位女性)的年龄为19至89岁(例如，平均年龄59.9±17.4岁)。

另一个示例性数据集包含319个胰腺CT数据集(例如，具有不同囊性病灶的310个和9个健康患者)。其中，有182例包含手动分割。下表1中示出了已知囊性病灶类型和未经标记数据集的数目，以及相应的手动分割数目。

表1.囊性病灶类型的患者数据分布。

计算机辅助囊性病灶分析的一个重要方面可以是分割。示例性分类程序的有效性和稳健性可部分地取决于分割轮廓的精度。参照图3，通过半自动的基于图的分割程序(参见，例如，参考文献3)获得了多个囊性病灶的轮廓，并由有经验的放射科医生将其确认为SCA 305、IPMN 310、MCN 315和SPN 320。每位对象的组织病理学诊断均由胰腺病理学家基于随后切除的试样确定。在分割程序之后是使用最先进(state-of-the-art)的BM4D增强滤波器的去噪程序。(参见，例如，参考文献4)。

示例性方法

示例性系统、方法和计算机可访问介质可提供胰腺囊性病灶的准确的组织病理学区分。图4A至4C示出了根据本公开内容的一个示例性实施方案的示例性分类程序的示意图。该示例性模型可包含：(i)概率随机森林(Random Forest，“RF”)分类器420，其可用于分析手动选择的定量特征；和(ii)卷积神经网络(“CNN”)435，其经过训练以发现高水平成像特征以更好地区分。

例如，图4A示出了经过训练以对来自分割的囊性病灶405的定量特征410的向量进行分类的随机森林分类器。定量特征410可包括但不限于年龄、性别、位置、强度统计和形状特征。定量特征410可以是合并的415，并且输入到RF分类器420中以产生类别概率425。图4B中示出了示例性CNN体系结构。分割的囊性病灶405可调整大小为64像素乘64像素的图像430。在图4B中示出了六(6)个卷积层(例如，3个最大池化层435和3个全连接(Fully-connected，“FC”)层445，其中的两个可以是退出层440，其可全部用于产生类别概率450。如图4C中所示，来自图4A的类别概率425和来自图4B的类别概率450可形成贝叶斯组合455，其可用于产生类别概率460。在VP系统的情况下，类别概率可包括例如IPMN、MCN、SCN和SPN。

示例性系统、方法和计算机可访问介质可利用患者的一般人口统计学信息以及囊性病灶的CT图像。其可基于RF分类器420的贝叶斯组合455，贝叶斯组合455可学习亚类特定的人口统计学特征(例如，年龄和性别)，囊性病灶的位置(例如，头部、主体和尾部)、强度和形状特征；以及基于可利用精细纹理信息的CNN。

基于数据集的大小，RF和CNN可用作两个分开的分类器。或者，可在单分类器中使用RF和CNN。使用RF和CNN作为两个分开的分类器可以是有利的，因为RF分类器在通过利用患者人口统计学信息对不具有独特成像特征的小囊性病灶进行分类中可表现出更好的性能，而CNN可在分析大的囊性病灶中表现出相似的性能。在独立训练了RF和CNN分类器之后，进行了贝叶斯组合以确保更稳健且准确的分类器在做出最终决策时更有力。

对134个数据集使用分层的10折交叉验证策略、在训练和测试数据集中维持相似的数据分布以避免可能的囊性病灶类别过多和不足的表现来测试所开发的分类程序的性能。下表2中总结了每种囊性病灶类型的分类准确度。

表2.自动囊性病灶分类器的囊性病灶分类准确度

示例性定量特征和随机森林

医学文献中讨论的可用于初始胰腺囊性病灶区分的最常见特征包括对象的性别和年龄，以及囊性病灶的位置、形状和一般外观。(参见，例如，参考文献2)。可以通过以下限定14个定量特征的集合

以描述特定病例：(i)患者的年龄

和性别

(ii)囊性病灶位置

囊性病灶的(iii)强度特征

和(iv)形状特征

以下描述了这些特征的重要性和辨别力。

1.年龄和性别。数项研究报道了患者的年龄和性别与某些胰腺囊性病灶类型之间的强相关性。(参见，例如，参考文献1和5)。例如，MCN和SPN经常存在于绝经前期年龄的女性中。相比之下，IPMN在男性与女性之间具有均等的分布，并且通常存在于60多岁的患者中。

2.囊性病灶位置。某些囊性病灶类型可见于胰腺内的特定位置。例如，绝大多数MCN出现在胰腺的主体或尾部中。

3.强度特征。由于胰腺囊性病灶的精细结构的差异，例如均匀性相对于常见存在的分隔、钙化或固体组分，可使用集合

作为粗略初始差异的总体强度特征，

可分别为强度的平均值、标准差、峰度、偏度和中位数。

4.形状特征。胰腺囊性病灶还可根据种类表现出形状差异。具体地，囊性病灶可分为三类：平滑形状的、分叶状的和多形的囊性病灶。(参见，例如，参考文献5)。为了捕获囊性病灶的不同形状特征，可使用其中总结的特征：体积

表面积

表面积与体积之比

垂直度

凸性

和离心率

(参见，例如，参考文献6)。

考虑到已知的组织病理学亚型

的胰腺囊性病灶的实例x_i的集合D＝{(x₁，y₁)，...，(xk，yk)}，可确定集合D中所有k个样品的所描述特征的连接

在特征提取之后，可使用RF分类器420来执行针对不可见的囊性病灶样品x_m计算的特征向量q_m的分类。基于RF的分类器已在多种分类任务(包含许多医学应用)中显示出优异的性能，具有高的预测准确度和计算效率。(参见，例如，参考文献7和8)。

可使用T决策树森林。考虑到特征向量q_m，每个决策树θ_t可预测组织病理学类别y的条件概率

最终的RF类别概率可如下得出：

示例性CNN

在所提出的定量特征上训练的RF可以以相当高的准确度用于胰腺囊性病灶分类。然而，尽管具有高的泛化潜力，但是所提出的示例性特征可能无法充分利用成像信息。特别地，由于胰腺囊性病灶的内部结构的变化，它们可显示出不同的放射学特征：(i)SCA囊性病灶通常具有有中央星形或分隔的蜂窝样外观；(ii)MCN囊性病灶表现出具有周边钙化的“囊性病灶内的囊性病灶”外观，(iii)IPMN囊性病灶倾向于造成“葡萄串”样外观，并且SPN囊性病灶通常由实性和囊性组分组成。(参见，例如，参考文献10)。但是，对于某些囊性病灶亚型，这些放射学特征可重叠，尤其是当囊性病灶可能是小的并且内部结构无法区分时。

示例性系统、方法和计算机可访问介质可利用CNN作为第二分类器，CNN可更适合于学习几乎不可感知但重要的成像特征。(参见，例如，参考文献11)。示例性的CNN体系结构示于图4B中。图4B示出了6个卷积层，3个最大池化层435，3个FC层445，其中两个可以是退出层440。每个卷积层和前两个FC层可跟随修正线性单元(rectified linear unit，“ReLU”)激活函数；最后的FC层445可以以softmax激活函数结束以获得最终的类别概率。

如下生成用于训练和测试示例性CNN的数据。使用双三次插值，将具有分割的囊性病灶x_i的原始3D包围盒

的每个二维(“2D”)轴向切片

调整大小为64×64像素的正方形。由于囊性病灶的大体球形形状，靠近体积顶部和底部的切片未包含足以进行准确诊断的囊性病灶的像素。因此，排除了重叠率(其可定义为切片中的囊性病灶像素的百分比)小于40％的切片。利用数据增强程序来提高训练数据集的大小并防止过度拟合：(i)[-25°；+25°]度范围内随机旋转；(ii)随机垂直和水平翻转；(iii)以及[-2；+2]像素范围内随机垂直和水平平移。

网络可使用Keras库来实现并在512大小的小批量上进行训练以使用随机梯度下降(Stochastic Gradient Descent)以0.001学习速率持续100个epoch来使类别平衡交叉熵损失函数最小化。在测试阶段，通过CNN单独分析重叠率大于40％的每个切片，并通过对每个切片的类别概率求平均值来获得最终的概率向量，例如：

其中

可以是类别概率的向量，并且J_m可以是用于囊性病灶样品x_m分类的2D轴向切片的数目。

尽管示例性数据集可代表群体中出现的囊性病灶的类型，但是它可包含有限的信息并且可能不包括对于获得稳健的CNN性能可以是有益的罕见成像外观的足够的囊性病灶病例。因此，通过利用关于患者的临床信息以及一般的强度和形状特征，RF分类器可用于在对不具有足够的独特成像特征的小囊性病灶进行分类时显示更好的性能，然而可预期示例性CNN在分析大的囊性病灶时显示出类似的性能。

表3：RF(例如，左)和CNN(例如，右)分类器的个体混淆矩阵。

已经表明，通过单独学习不同的(例如，独立的)分类子问题，与单分类器模型(参见，例如，参考文献12)相比，多个分类器的组合(例如，分类器集成)可实现优异的性能。因此，在独立训练RF和CNN分类器之后，可进行贝叶斯组合以确保更稳健且准确的分类器在做出最终决策时可更有力。在数学上，可以以下方式写出最终的组织病理学诊断

使用分层的10折交叉验证策略、在训练和测试数据集中维持相似的数据分布以避免由于数据集不平衡造成的组织病理学类别的过多和不足的表现来评价示例性系统、方法和计算机可访问介质的性能。可根据归一化的平均混淆矩阵和总体分类准确度来报道分类性能。还分析了单独和集成分类器的准确度与错误分类的囊性病灶的平均大小之间的依赖性。

所有实验均在具有NVIDIA Titan X(12GB)GPU的机器上进行。在每个交叉验证环(loop)期间，对RF和CNN分类器的训练分别花费约1秒和30分钟，并且最终类别概率的测试时间花费约1秒来计算单个样本。

单独分类器的示例性结果：单独比较了RF和CNN分类器的性能，并且总体准确度分别为79.8％和77.6％。表3中提供了定量细节。实验表明，RF中30个树的准确度导致误差收敛并且足以实现优异的性能。在开发提议的定量特征集合之前，使用仅年龄、性别和胰腺内囊性病灶的位置(作为临床医生使用的最客观标准)来评价RF分类器的性能。总体准确度为62％，并且增加作为特征的囊性病灶的体积使分类提高了2.2％。此外，在使用数据增强程序时评价了CNN的性能优势。具体地，发现数据增强的使用将CNN的整体准确度提高了13.2％。

表4：最终集成分类器的混淆矩阵。

其中一个有趣的但也是预期的结果可以是错误分类的囊性病灶的平均大小。特别地，CNN分类器难以正确解释体积小于9cm³或直径小于2.3cm的囊性病灶(例如，错误分类的囊性病灶的平均体积和直径可分别为5.1cm³和1.3cm)，由于缺乏独特的外观这可能是一个相当大的挑战。但是，RF的准确度并未显示出这样的依赖性(例如，错误分类的囊性病灶的平均体积和直径可分别为81cm³和5.2cm)。

集成分类器的示例性结果。在该实验中，测试了RF和CNN分类器的贝叶斯组合对性能的影响，并且将结果示于上表4中。总准确度可为83.6％，这可高于单独分类器的性能。注意到错误分类的囊性病灶的平均体积和直径的变化也很吸引人注意，对于集成模型，所述平均体积和直径可分别为65cm³和4.8cm。这些结果验证了示例性假设并证明了将RF分类器和CNN分类器组合为贝叶斯组合以根据它们在分析训练数据集时有多准确来考虑其单独诊断的决策。

示例性囊性病灶分类盲法研究

对具有未知囊性病灶类型分布的61个患者进行盲法研究。用半自动分割流水线首先处理所有病例，并随后使用示例性自动分类系统对囊性病灶进行分类。由于噪声数据，该分割在1个病例中未能分割囊性病灶，并因此测定了总共60个病例的分类结果。示例性系统、方法和计算机可访问介质预测了总共45例IPMN、7例MCN、6例SCA和2例SPN。独立评价了所述病例，并将结果与自动分类进行比较。下表5示出了这些病例的分类器预测和经病理学证实的结果(例如，金标准)的混淆矩阵。结果的分析揭示，示例性系统、方法和计算机可访问介质可正确分类所有病例的91.7％。每种囊性病灶类型的分类准确度示于下表6中。

表5.60个盲病例的分类器预测和金标准的混淆矩阵。

表6.盲法研究的囊性病灶分类准确度。

胰腺和囊性病灶的示例性半自动分割

示例性系统、方法和计算机可访问介质可包含胰腺和囊性病灶的半自动分割。可使用区域生长与随机游走(random walker)程序的组合。分割模块的图形用户界面的一个实例示于图6中。示例性分割流水线可总结为以下程序：

1.通过用户输入进行初始化，将包围盒放置在胰腺和囊性病灶周围，并使用画笔工具标记胰腺、囊肿和背景的一些体素(voxel)。

2.通过用中值滤波和各向异性扩散平滑的降噪来进行图像增强。

3.使用用户放置的画笔笔画(stroke)通过区域生长进行粗略分割。

4.通过随机游走算法进行分割细化。

5.用二进制表决算法(binary voting algorithm)进行的输出增强。

图7A至7F示出了中间图像结果，并且图8示出了分割结果的一些实例。例如，图7A示出了目的区域和由用户放置的标记705。图7B示出了平滑之后的目的区域。图7C示出了通过区域生长产生的粗略分割。图7D示出了通过随机游走算法产生的精细分割。图7E示出了图7D的3D渲染，并且图7F示出了最终的增强分割。图8示出了胰腺805、囊性病灶810和胰管815的分割结果的一些3D体积渲染实例。

示例性的分割程序对于胰腺和囊性病灶分割分别达到了71.5±10.5％和81.4±8.5％的准确度。

示例性系统、方法和计算机可访问介质可包含虚拟胰造影术，该虚拟胰造影术可包含基于计算机的软件系统，该软件系统具有可允许医生检查从胰腺的分割CT扫描重建的胰腺和周围组织的3D模型的工具。这可促进通过胰腺/胆管和胰腺/胆管周围的3D可视化和导航以识别和表征囊性病灶并使囊性病灶特征与囊性病灶诊断相关联。示例性系统、方法和计算机可访问介质可帮助医生识别并正确分类胰腺中囊性病灶类型和发育异常程度。这种非侵入性工具可帮助避免在患有不具有进展潜力的良性囊性病灶患者中进行不必要的手术，并且可通过识别处在进展为不可治愈的浸润性胰腺癌风险之中的囊性病灶来帮助挽救生命。

示例性系统、方法和计算机可访问介质可进行胰腺和囊性病灶的用户指导的分割。可将许多用户输入(包含包围盒以及前景和背景区域的种子点)与CT扫描图像组合以产生粗略分割，所述粗略分割随后可通过随机游走程序进行细化。使这完全自动化可促进进行作为预处理步骤而没有任何用户输入的分割。

可提供示例性可视化界面以供医生使用。(参见，例如，图5)。如其中所示，可提供用于查看2D CT切片以及用于腹部和胰腺/囊性病灶具体3D体积渲染和测量的工具。3D可视化可帮助用户观察与腺体和导管有关的囊性病灶的位置。但是，调整单个数据集的渲染参数是耗时的并且需要专门知识。因此，示例性系统、方法和计算机可访问介质可包含自动传递函数生成以减轻用户的这种琐事，以及可包含特殊的渲染模式以增强不同囊性病灶类型的特性特征。

示例性的可视化系统可用于分析图像输出文件(例如，从CT扫描仪获取的符合DICOM的腹部图像)，其可被分类为诊断设备以帮助放射科医生检测胰腺癌。这可帮助放射科医生检测浸润性胰腺癌和早期非浸润性病变二者。与仅使用传统2D CT图像相比，当前成像系统对浸润性癌症的鉴别和敏感性可改善，并且放射科医生的阅读时间可缩短。早期检测除了能够检测胰腺中的小病灶之外，还可靶向具有提高的发生胰腺癌风险的患者群体(例如，具有强的胰腺癌或波伊茨-耶格综合征(Peutz-Jeghers syndrome)家族史的患者。这可提供对具有偶然扫描时发现的非浸润性小病灶的患者的早期筛查。

示例性系统、方法和计算机可访问介质可分析分割的纹理特征，以及分类的纹理和人口统计学特征二者。其可提供临床相关且可重现的定量数据。可视化可允许临床医生从任何期望的方向和比例以3D方式查看分割的和未经分割的CT数据。可利用自动自定义传递函数生成和自定义可视化模式来增强不同囊性病灶类型的特性特征。由于不同的囊性病灶类型具有不同的视觉CT外观，因此基于示例性分类程序的结果或来自放射科医生的指示，每种囊性病灶类型均可利用自定义渲染模式。

尽管已开发了体积可视化程序用于多种应用，但应对这些程序进行修改和优化以有效地用于特定的应用和数据。渲染参数(例如传递函数)如果未经正确配置，则其可引起跨数据的最终渲染的图像的大的可变性。自定义每个数据实例的这些设置通常是在常规放射科医生的工作流中利用3D可视化的障碍。相比之下，示例性可视化系统可包含自动传递函数生成，其可在具有极少的用户干预或无用户干预的情况下一致地从事于胰腺中心CT扫描、分割的胰腺及其特征。

可提供可视化预设(例如，预先配置的参数)，其可基于放射科医生的输入或CAD结果来增强胰腺囊性病灶的特征。胰腺囊性病灶具有可帮助将这些病灶分类为不同类型的特性特征。囊性病灶的分类是诊断的重要部分，因为其可影响最终的诊断、治疗和结果。在传统的2D视图中，识别这些特征可能是困难且耗时的。以3D渲染和增强所述特征，同时保持用户交互最低，可在诊断过程中辅助放射科医生。一些示例性放射学特征包括：(i)囊性病灶壁的厚度，(ii)内部纹理/图案，以及(iii)钙化的存在。(参见，例如，图2A至2D)。具体地，SCA囊性病灶(参见，例如，图2A、图3，要素305)通常具有薄壁和有中央瘢痕或分隔的蜂窝样内部外观，MCN囊性病灶(参见，例如，图2C、图3，要素315)通常具有厚壁并且显现出有外围钙化的切开的橙(cut orange)的外观，IPMN囊性病灶(参见，例如，图2B、图3，要素310)倾向于具有薄壁(例如，如果其起源于次级导管)并且具有“葡萄串”样外观，并且SPN囊性病灶(参见，例如，图2D、图3，要素320)通常由实性和囊性组分组成。

示例性系统、方法和计算机可访问介质可被包含在组合的软件程序中，所述组合的软件程序可包含用于分割、分类和可视化的多种软件模块。所述三种模块可组合成通用的、用户友好的、综合的软件包。其可用作统一的端至端胰腺癌筛查系统，所述系统用户对于放射科医生的工作流有效同时需要极少的用户干预。该系统可将原始DICOM图像作为输入并提供具有分割的腺体和囊性病灶以及分类的囊性病灶的3D可视化界面。在将特定的CT数据集加载到系统中之后，可在后台同时且自动地执行分割和分类模块。分割和分类组件也可作为独立模块递送。

示例性系统、方法和计算机可访问介质可体现在用于可视化腹部CT扫描数据的3D图形应用中，特别关注分割的胰腺、囊性病灶和胰管。该应用可利用作为输入的患者的CT扫描(例如，或其他成像扫描)，以及相应的分割掩码，并提供3D和2D可视化工具二者。具有加载的数据集的图形用户界面的一个实例的截图示于图5中。在中心，该应用提供了用于全数据集的体积渲染的3D视图，以及通畅的胰腺、囊性病灶和胰管(如果可见的话)的视图。左侧栏包含从DICOM标头和中心线切片视图提取的信息。右侧包含常规的2D切片视图(例如，轴向、矢状和冠状)。分割掩码的轮廓也示于所有2D视图中。

用户可通过双击左侧或右侧的任一个2D视图来替换中心视图，使得能够更详细研究切片视图。对于所有2D视图，除切片下方的浮动块之外，还提供了鼠标滚动导航来滚动通过切片栈(stack)。界面中还存在以下工具以供在检查期间使用：

示例性测量：医生可在3D取向的包围盒(参见，例如，图9)上和在所有2D切片视图(参见，例如，图10)上进行手动距离测量，并且可同时进行多个测量。可测量囊性病灶的主要组分和最大程度，并且可提供对于分割的特征(例如，胰腺、囊性病灶和导管)的体积测量。(参见，例如，图9和10)。

示例性胰腺/导管中心线切片视图：医生可查看与胰腺1105、导管1110或囊性病灶1115的中心线正交的重建的2D切片。(参见，例如，图11)。该视图可提供对囊性病灶特征和理解囊性病灶-胰腺界面的另外的见解。对于上下文，可在3D渲染视图中示出相应的中心线1205。(参见，例如，图12)。

示例性可见性选择：用户可使用主窗口底部的一组复选框(checkbox)来改变不同叠加的可见性(例如，显示/隐藏)。例如，图13示出了导管(要素1305)和囊性病灶(要素1310)的3D视图。

示例性分类结果：在分割已完成之后，分类程序可在后台运行，并且可在特别窗口中查看结果。

示例性渲染调整：如果期望的话，用户可通过编辑单独特征(例如，全容积、胰腺、囊性病灶和导管)的传递函数1405来调整高级渲染参数。每个传递函数均可根据需要进行编辑、存储和加载。(参见，例如，图13)。

图15A和15B是一组图像，其举例说明了由医生进行的涉及胰腺、囊性病灶和导管的体积变形的导管-囊性病灶关系的查看并且以2D和3D可视化。例如，以2D(图15A)和3D(图15B)示出了变形的胰腺、囊性病灶和导管的可视化。

从单标签数据集学习多标签分割

如上所述，图像分割是通常在医学成像应用中并且更特别地在本发明的VP系统和方法中采用的一种要素。已证明深度学习是用于广泛任务(包括语义分割)的有力工具。在该研究领域中已取得了进展，并且这样的发展的主要因素之一是大规模的多标签数据集的公共可用性，所述数据集例如ImageNet(参见，例如，参考文献14)、COCO(参见，例如，参考文献29)、PASCAL VOC(参见，例如，参考文献19)等。如此多样的可用数据集不仅提供了训练和评价不同分割模型的方法，而且还展示了不同的标签。但是，与自然图像相比，存在某些域，在所述域中尽管分割研究具有重要的意义，但真实情况(ground truth)注释和标记的生成是极其昂贵的并且仍然是促进研究的瓶颈。

生物医学成像是一个这样的领域：其中多种结构的准确分割是临床研究中的基本问题。在传统的临床实践中，在诊断过程期间通常省略分割。但是，生物医学图像的手动分析(包含测量)遭受大的可变性，因为其取决于不同的因素，包括目的结构、图像质量和临床医生的经验。此外，分割是支持计算机辅助诊断(“CAD”)(参见，例如，参考文献16和21)和手术/治疗计划的多种医疗系统中的关键组成部分。此外，早期癌症检测和分期(包括VP应用)可通常取决于分割的结果。

近年来已取得进展的生物医学图像的领域之一是放射学图像(例如磁共振成像(“MRI”)和计算机断层扫描(“CT”)三维(“3D”)扫描)的分割。放射学图像在单个图像内显示出多种对象，例如腹部器官(参见，例如，图16A和16B)。但是，为这样的图像创建专家注释是一项耗时且密集的任务，并因此难以生成多标签数据集。已经在多标签数据集上提出并评价了有限数目的分割程序。这些包含由于缺乏资金而不可获得的私有或公共数据集，例如VISCERAL(参见，例如，参考文献26)。此外，这些多标签数据集的大小通常受限的(例如，少于30卷)并且来自单一机构，在所述机构中，所述数据集是使用同一成像协议和成像设备生成的，导致开发的分割程序对这样的成像参数敏感。在另一方面，单标签数据集的生成利用更少的时间和精力，并且它们作为挑战的一部分通常是可公开获得的，例如Sliver07(参见，例如，参考文献22)(参见，例如，图16C)和NTH胰腺(参见，例如，图16D)。(参见，例如，参考文献23)。另外，这些单标签数据集来自不同的机构，并且表现出例如以下的因素的可变性：恶性的存在、成像协议和重建程序。

然而，尽管单标签数据集通常在单图像内包含相同的对象，但是真实情况注释以二进制掩码的形式提供给仅特定类别的对象，并且图像集本身在数据集之间不重叠。因此，简单地组合数据集来训练用于多标签分割的模型是有障碍的。通常，单标签数据集已用于开发针对特定类别的分割的高度定制的解决方案。

先前的工作是在生成根据某些属性(例如类别或标签)调节的图像上进行的，并且已显示出成功且引人注目的结果。(参见，例如，参考文献28、38、40和41)。例如，已提出了用于基于任意姿势的人图像合成的框架。(参见，例如，参考文献31)。其他工作对图像到图像的转换的潜在结果的分布进行了建模。(参见，例如，参考文献44)。还已证明图像的合成给出了期望的内容及其在图像内的位置。(参见，例如，参考文献35)。然而，用于语义分割的条件卷积网络(conditional convnet)的领域尚未开发，并且尚未探究任何应用。示例性系统、方法和计算机可访问介质可包含调节卷积网络，其可用于分割，并随后评价腹部器官的分割。

解剖结构尤其是腹部器官的分割可被认为是一个难题，因为它们显现出大小、位置、形状和噪声的高可变性。(参见，例如，图16A至16E)。已经提出了多种基于卷积网络的分割程序用于腹部器官分割。利用单标签数据集的这些程序中的大多数可专门用于特定器官例如肝(参见，例如，参考文献17和30)或胰腺(参见，例如，参考文献20和36)的分割。已经提出了一些更普遍适用的基于卷积网络的程序，并将其在多个器官上进行了测试。(参见，例如，参考文献18)。所有这些程序都描述了模型，并且可应用于单独器官的分割，并且分开的分割可融合在一起以产生最终标签。但是，在显示出最先进性能的同时，这些模型可被训练并分别应用于每个器官的分割，这体现了计算资源的低效使用和另外的训练时间。此外，这样的单独训练的模型在腹部器官之间不嵌入空间相关性并因此可能对于每个特定的单标签数据集均过度拟合。另外，这些模型经常利用预处理和后处理步骤，这更进一步使模型复杂化和特殊化。

已经提出了对于医学图像中的解剖结构的同时多标签或多器官分割的数项研究。这些中的大多数利用概率图谱(atlas)(参见，例如，参考文献13、33和39)和统计形状模型。(参见，例如，参考文献32)。这些程序利用待注册的训练数据集中的所有体积图像。该预处理步骤可以是计算昂贵的，并且由于患者之间腹部器官的大小、形状和位置的相当大变化而常常是不完善的。最近，提出了少数基于卷积网络的解决方案用于同时多器官分割。(参见，例如，参考文献37)。但是，所有这样的程序均在不可公开获得的多标签分割数据集上开发和评价。此外，所使用的多标签数据集是由单个机构获得的并且显示出相同的图像质量且缺乏慢性异常。示例性系统、方法和计算机可访问介质可利用多种单标签数据集并且描述了用于调节卷积网络以开发高泛化能力的多标签分割模型的程序。

示例性系统、方法和计算机可访问介质可同时学习给出单标签数据集的集合的多标签知识，而不是为单标签数据集中的每个对象生成分开的模型。例如，考虑单标签数据集的集合

其中每个数据集

包含对象c_i∈C，i＝1，...m的输入图像的集合

和相应的二进制分割掩码的集合

另外，每个输入图像的集合I^j包含所有标签的对象c_i∈C。此外，其还可假定数据集

不具有相同的

对，例如

并且每个数据集可具有不同的基数。这些假定极大地放宽了初始条件，并试图使问题的描述更普遍且具有挑战性。考虑到不可见的输入图像

目标可以是预测分割掩码的集合

示例性基础模型

示例性系统、方法和计算机可访问介质可包含3D全卷积U网络样体系结构，例如具有跳过连接(skip connection)的编码器-解码器。(参见，例如，图17A)。例如，如其中所示，可使用基础模型1710来调节来自K个单标签数据集的输入图像1705以及类别标签1725，所述基础模型1710可包含编码器1715和解码器1720。这可导致多个输出分割1730。可对基础模型1710的编码器层1715(参见，例如，图17B)或解码器层1720(参见，例如，图17C)或二者进行调节。

另外，可利用3D紧密连接的卷积块(参见，例如，参考文献24和25)，其可有效地利用CT扫描中可用的体积信息。示例性模型可包含复合函数的密急连接单元H_l(·)，并且l^th层的输出x_l可被定义为，例如：

x_l＝H_l([x₀，x₁，…，x_l-1]) (4)其中[...]可以是来自先前层的特征映射的连接操作。在一些示例性实验中，H_l(·)可被定义为修正线性单元(“ReLU”)，随后是3×3×3的卷积。模型的编码器部分可包含一个卷积层，然后是六个密集连接的卷积块，其通过2×2×2最大池化层依次连接。每个稠密块中的特征信道的数目可与其深度成比例。模型的解码器部分可利用具有跨步的转置卷积作为上采样层并且可与编码器拓扑对称。最后的卷积层可以以S型函数结束。

示例性调节

与每个标签c_i∈C的训练分开模型的经典方法不同，示例性框架可从单标签数据集推断多个标签的分割和关系，并且可学习用单模型为所有标签c_i生成分割。示例性系统、方法和计算机可访问介质可用于用需要分割的目标标签c_i来调节基础卷积模型。虽然用于调节的某些程序已广泛用于生成对抗网络(generative adversarial net，“GAN”)(参见，例如，参考文献15、31和35)用于图像合成，但是先前未曾尝试过调节卷积网络以分割。

这可以有益于保持基础模型全卷积、简单且高效以避免可能对性能产生负面影响的另外的开销。为了实现这一点，示例性系统、方法和计算机可访问介质可在执行卷积运算之后并且在应用非线性之前将条件信息作为中间激活信号的一部分并入。虽然调节的GAN的一些实例(参见，例如，参考文献35)建议学习条件函数，但可使用计算上更高效的方法用于分割任务。具体地，可使用以下示例性函数：

其中⊙可以是元素级乘法(element-wise multiplication)，O^H×W×D可以是大小为H×W×D的张量，其中所有元素均设定为1，并且哈希(·)可以是预定义查找表的哈希函数。其可以是，函数

可创建大小为H_j×W_j×D_j的张量，其中所有值均设定为哈希(c_i)。因此，在大小为H_l×W_l×D_l的输入x_l的情况下，l^th层的示例性调节可被定义为，例如：

其中x_l-1可以是先前层的输出。重要的是要注意，示例性调节不取决于标签的可能属性，例如位置、形状等。其可被进行以提高示例性系统、方法和计算机可访问介质的泛化能力。

在训练时间期间，可在对

上对网络进行训练，所述对

可从不同的数据集D_j随机采样，同时在二进制真实情况分割掩码

中的相应的标签c_i上被调节。在推理时间期间，可在所有c_i∈C上对网络进行依次调节以生成输入图像

中所有对象的分割掩码

尽管使用预定义查找表的这样的方法可维持简单性和紧缩而无需待训练的另外的变量，但是其也可具有一些实际的益处。特别地，在添加新的目标分割标签c_m+1的情况下，示例性系统、方法和计算机可访问介质可仅利用查找表的新条目和简单的微调；如果已经学习了条件函数，则不像所预期的昂贵的重新训练那样。

考虑到编码器-解码器样体系结构，当可在解码器中的层上执行调节时，可期望更好的性能，这可使用编码器特征映射中存在的所提供的条件信息和低水平信息以将它们映射到网络内的更高水平。此外，可直接访问多个层的条件信息可促进优化。

示例性多标签实验

示例性实验可包含不同种类的损失函数和多种调节方式，以及将结果与解决方案进行比较，这些解决方案针对每个单标签数据集单独自定义或针对多标签数据集进行设计。示例性调节的多标签分割框架优于当前最先进的单标签分割方法。结果总结在以下所示的表5中。

示例性多标签数据集：为了评价示例性的系统、方法和计算机可访问介质，可使用腹部CT卷的三个单标签数据集。特别地，使用了20卷可公开获得的肝分割的Sliver07数据集(参见，例如，参考文献22)、82卷可公开获得的胰腺分割的NIH胰腺数据集(参见，例如，参考文献23)和74卷来自我们的肝和脾分割的另外的数据集。因此，在示例性实验中，c_i∈C＝{肝，脾，胰腺}。较后数据集中的分割掩码已被二值化并存储为分开的单标签文件。CT图像和相应的真实情况分割掩码的一些实例在图16C至16E和图19中示出。每个数据集均以约80/20的比例划分为训练集和验证集。每个数据集中卷的大小为约512×512×Z₀。每个数据集均在不同的机构用不同的成像扫描仪和协议收集，并且并入了多种切片间间距的卷，并且此外，表现出多种病理状况，例如肝肿瘤和脾肿大的情况。数据集中的这样的多样性允许可在具有挑战性的环境中测试示例性系统、方法和计算机可访问介质。

输入图像已被最少地预处理：每个图像均已被调整大小至约256×256×Z₀并被标准化。在训练期间，每个数据集均以相等的概率采样，并且已提取大小为约256×256×32的子卷以创建训练输入图像。此外，所有训练实例均增加了小的随机旋转、缩放和移动。

示例性多标签训练：在来自所有所使用的单标签数据集的实例上训练示例性的系统、方法和计算机可访问介质。以以下目标对框架进行优化：

其中

可以是单标签数据集

的损失函数，超参数α_i可指定特定标签c_i对总损失的影响，并且β_i＝{0，1}可指定训练批次中标签c_i的存在。

示例性多标签推理：在推理时间期间，可指定目标分割标签c_i。但是，为了简化在推理时间期间框架的使用，可通过迭代遍历查找表中的所有实体来使指定目标分割标签的过程自动化。或者，特别是对于腹部器官的分割，可定义一组预置，例如肝和胆囊，其经常可由临床医生一起进行分析。

示例性多标签实施：示例性系统、方法和计算机可访问介质是使用具有Tensor-Flow后端的Keras库实施的。使用Adam优化器(参见，例如，参考文献27)从零开始训练示例性网络，其中初始学习率为0.00005，并且β₁＝0.9，β₂＝0.999，其中批次大小为2进行25K迭代。

示例性多标签消融实验

可通过将预测的分割掩码在约0.5处阈值化来将其二值化。可使用普通戴斯相似性系数(Dice Similarity Coefficient，“DSC”)度量，其可被定义为

并且可测量二进制分割掩码Y和

之间的相似性。将示例性结果针对当前最先进的分割方法进行了比较，所述方法特别地针对单标签分割被提出，并且可针对特定标签定制。特别地，将示例性系统、方法和计算机可访问介质与先前的工作进行比较(参见，例如，参考文献43)，所述先前的工作描述了针对胰腺分割的两步的基于卷积网络的解决方案，并且在NIH胰腺数据集上产生了82.4％的DSC。(参见，例如，参考文献23)。还将示例性系统、方法和计算机可访问介质与另一基于卷积网络的分割工作进行了比较(参见，例如，参考文献42)，该工作在肝的1000个CT图像的私有数据集上显示出95％的DSC。还将示例性结果与两阶段多器官的基于卷积网络的解决方案进行了比较(参见，例如，参考文献37)，该解决方案在私有多标签数据集上进行了评价，并且对于肝、脾和胰腺，分别得到95.4％、92.8％和82.2％的DSC。

在所描述的所有示例性实验中，α₁＝1，并且基于DSC的损失函数可以如下：

另外，测试了二元交叉熵损失函数，其显示出显著更差的性能。示例性实验通过在不使用调节的情况下分析针对每个标签c_i单独训练的示例性基础模型的性能来开始。该实验可称为个体(indivs)，并且每个模型的学习曲线示于图18A至18E中。例如，线1805示出了肝(行1820)、脾(行1825)和胰腺(行1830)的戴斯相似性系数的最先进分割结果：95.2、92.8和82.4，其示于下表5中。线1810示出了训练数据集中的图像上肝、脾和胰腺的戴斯相似性系数。线1815示出了测试数据集中的图像上肝、脾和胰腺的戴斯相似性系数的结果。可观察到，尽管模型在前25K迭代期间未能接近最先进的性能，但结果表明，该模型具有足够的表示能力，并且给予更多的训练时间可改善性能。

接下来，测试了在单标签数据集上训练单模型的朴素方法以通过预测相同尺寸但具有三个信道的卷来产生合理的多标签分割结果，每个信道用于每个标签c_i，例如肝、脾和胰腺。该实验可称为无调节(no cond)，并且学习曲线示于图18B中。结果表明训练没有收敛，这可由以下事实来解释：模型难以从训练实例中不一致的二进制标签推断多标签关系。此外，此方法可受内存限制并且仅少量标签可以以这种方式建模。

表7：肝、脾和胰腺的不同分割模型的分割准确度(例如，平均DSC，％)的比较(例如，越高越好)。

模型	肝	脾	胰腺
				模型1(参见，例如，参考文献42)	95.0	-	-
模型2(参见，例如，参考文献43)	-	-	82.4
				模型3(参见，例如，参考文献37)	95.2	92.8	82.2
个体	91.5	74.4	42.9
				无调节	14.7	21.8	18.6
调节-第2	89.7	71.7	44.4
				调节-编码器	88.1	76.9	57.3
调节-解码器	95.8	93.7	85.1

在实验调节-第2中，通过提供条件信息作为输入卷的第二信道，测试了调节单模型的简单方法。特别地，为每个c_i定义调节变量的查找表，其中随机实值从[-1，1]中采样。具体地，每个训练3D子卷已在第二信道中增加有相同大小的卷，其中所有元素均设定为哈希(c_i)。图18C中示出的学习曲线表明，模型能够利用所提供的条件信息并且学习以生成多标签分割。然而，与其中编码器中每个稠密块均可直接访问条件信息的实验调节-编码器类似(参见，例如，图18D)，该模型显示出是合适的。

此外，通过提供对调节张量的直接访问来检查调节基础模型的解码器部分。图18E中示出的学习曲线显示出优异的分割性能。该实验中的训练比其他实验中的收敛更快。除了优于针对私有数据集上设计的单标签分割的精心定制解决方案和多标签分割的精心定制解决方案二者之外，示例性框架还显示出显著的泛化能力。该实验的分割结果的实例示于图19中。可观察到，即使在图19中所示的困难情况中(例如，行1905)，模型也准确地描绘所有目标对象，在图19中所示的困难情况中，由于所有的器官(除了被拥塞在一起的之外)上的成像协议还具有相似的强度并且其边界难以区分。由示例性模型进行的这样的准确分割的原因可能是由于(i)建模的所有标签之间的隐式参数共享的程度高，以及(ii)解码器路径利用可用的条件信息并逐渐恢复空间信息和目标标签的清晰边界的能力。

如图19中所示，每行1905、1910和1915均显示出由专家手动生成的用于真实情况分割的分割实例(例如，轮廓1920和轮廓1925)。轮廓1930显示出不同数据集中自动生成的不同器官轮廓。例如，行1905显示出来自具有肝的真实情况分割的数据集的图像分割结果。行1910显示出来自具有胰腺的真实情况分割的数据集的图像分割结果。行1910显示出来自具有肝和脾的真实情况分割的数据集的图像分割结果。

示例性系统、方法和计算机可访问介质可包括通过调节多标签分割的卷积网络来从非重叠标签数据集学习多标签分割。进行了调节模型的多种方式的广泛实验评价，其发现提供解码器路径中的每个层直接访问条件信息产生最准确的分割结果。在分割医学图像的任务上评价了示例性系统、方法和计算机可访问介质，其中自然出现单标签数据集的问题。在计算上显著更高效的同时，该方法优于针对每个单标签数据集特别定制的当前最先进的解决方案。

虽然示例性模型使用放射学CT图像进行了验证，但其可容易地扩展至多种其他领域中的应用。特别地，示例性系统、方法和计算机可访问介质可应用于病理图像中的癌症转移的检测。用于转移检测的病理学显示出相似的数据集分片-目前尚不存在多种生物学组织(例如脑或乳腺)的病理学图像的统一数据库，并且研究集中在分开的子问题上。与示例性实验相似，可根据不同组织样品中转移的癌细胞的目标类型来调节卷积网络。此外，可应用出于实例级分割的目的而调节卷积网络的相似应用，其中每个实例可根据某些属性(例如大小、颜色等)或一些更复杂的(例如种类(specie)或种类)进行调节。此外，先前的工作已经描述了出于分类目的在多个视觉领域中学习数据表示的方法(参见，例如，参考文献34)。示例性系统、方法和计算机可访问介质可出于分割的目的而增强这样的工作。

图20A是根据本公开内容的一个示例性实施方案的用于使用医学成像数据来筛查一个或更多个囊性病灶的方法2000的流程图。例如，在程序2005处，可接收患者的器官的第一信息。在程序2010处，可通过执行分割操作来生成第二信息，所述分割操作可包括将第一信息分割为前景和背景。在程序2015处，可基于前景和背景产生分割轮廓。作为替代或补充，在程序2020处，可将第一信息显示给用户，并随后可通过基于来自用户的输入对第一信息执行分割程序来生成第二信息。在程序2025处，可识别第二信息中的一个或更多个囊性病灶。在程序2030处，可通过将第一和第二分类器单独应用于一个或更多个囊性病灶来产生第一和第二类别概率。在程序2035处，可将第一和第二分类器的结果进行组合，例如通过将贝叶斯组合应用于第一和第二组类别概率，并且可基于贝叶斯组合将一个或更多个囊性病灶分类为特定的类型。

图20B是根据本公开内容的一个示例性实施方案的用于多标签分割解剖结构的示例性方法2050的流程图。例如，在程序2055处，可接收与解剖结构的单标签数据集有关的第一信息。在程序2060处，可接收与解剖结构的类别标签有关的第二信息。在程序2065处，可通过使用卷积神经网络基于第一信息对第二信息进行编码来生成第三信息。在程序2070处，可调节第三信息。在程序2075处，可通过使用卷积神经网络对第三信息进行解码来生成第四信息。在程序2080处，可调节第四信息。在程序2085处，可基于第四信息来分割解剖结构。

图21示出了根据本公开内容的系统的一个示例性实施方案的框图，其可用于执行上述方法200。例如，可通过处理装置和/或计算装置(例如，计算机硬件装置)2105来执行根据本文中描述的本公开内容的示例性程序(例如，方法2000)。这样的处理/计算装置2105可以是：例如，计算机/处理器2110的全部或一部分，或者包含但不限于计算机/处理器2110，该计算机/处理器2110可包含例如一个或更多个微处理器，并使用存储在计算机可访问介质(例如，RAM、ROM、硬驱动器其他存储设备)上的指令。

如图21中所示，可提供例如计算机可访问介质2115(例如，如上文中所述，存储设备例如硬盘、软盘、记忆棒、CD-ROM、RAM、ROM等，或其集合)(例如，与处理装置2105通信)。计算机可访问介质2115可在其上包含可执行指令2120。作为补充或替代，存储装置2125可与计算机可访问介质2115分开提供，后者可向处理装置2105提供指令以便将处理装置配置成执行例如如上文中所述的某些示例性程序、过程和方法。示例性程序可包括：接收患者的成像信息；分割成像信息；以及在成像信息中对囊性病灶进行分类。

此外，示例性处理装置2105可装备有或包含输入/输出端口2135，其可包含例如有线网络、无线网络、互联网、内联网、数据收集探针、传感器等。如图21中所示，示例性处理装置2105可与示例性显示装置2130通信，根据本公开内容的某些示例性实施方案，示例性显示装置2130可以是例如配置成除了从处理装置输出信息之外还向处理装置输入信息的触摸屏。例如，显示装置2130可用于向用户(例如，医生)显示成像信息，所述用户可提供输入以对成像信息执行分割操作。此外，示例性显示装置2130和/或存储装置2125可用于以用户可访问的格式和/或用户可读的格式显示和/或存储数据。

前述内容仅举例说明了本公开内容的原理。鉴于本文中的教导，所描述的实施方案的多种修改和改变对于本领域技术人员而言将是明显的。因此，将认识到，本领域技术人员将能够设计出许多系统、装置和程序，尽管本文中未明确显示或描述，但所述许多系统、装置和程序体现了本公开内容的原理，并且因此可以在本公开内容的精神和范围内。如本领域普通技术人员应理解的，多种不同的示例性实施方案可彼此一起使用以及与其互换使用。另外，在本公开内容(包含说明书、附图及其权利要求书)中使用的某些术语，可在某些情况下同义地使用，包括但不限于例如数据和信息。应理解，尽管可彼此同义地使用的这些词和/或其他词可在本文中同义地使用，但是可以存在可能期望不同义地使用这样的词的情况。此外，如果现有技术知识未通过引用明确地并入上文，则其整体明确地并入本文。所引用的所有出版物均通过引用整体并入本文。

示例性参考文献

以下参考文献在此通过引用整体并入。

[1]Lennon,A.M.,Wolfgang，C.L.,Canto,M.I.,Klein,A.P.，Herman，J.M.，Goggins，M.，Fishman，E.K.,Kamel，I.，Weiss，M.J.，Diaz，L.A.，Papadopoulos，N.，Kinzler，K.W.，Vogelstein，B.，Hruban，R.H.:The early detection of pancreaticcancer:What will it take to diagnose and treat curable pancreatic neoplasia？Cancer Research 74(13)(2014)3381-3389.

[2]Sahani,D.V.，Sainani，Blake,M.A.，Crippa，S.，Mino-Kenudson，M.，delCastillo，C.F.:Prospective evaluation of reader performance on mdct incharacterization of cystic pancreatic lesions and prediction of cyst biologicaggressiveness.American Journal of Roentgenology 197(1)(2011)W53-W61.

[3]Dmitriev，K.，Guntenko，I.，Nadeem，S.，Kaufman,A.:Pancreas and cystsegmentation.Proc.of SPIE Medical Imaging(2016)97842C-97842C.

[4]Maggioni，M.，Katkovnik，V.，Egiazarian，K.，Foi，A.:Nonlocal transform-domain filter for volumetric data denoising and reconstruction,IEEETransactions on Image Processing 22(1)(2013)119-133.

[5]Cho，H.W.，Choi，J.Y.，Kim，M.J.，Park，M.S.，Lim，J.S.，Chung，Y.E.，Kim，K.W.:Pancreatic tumors:emphasis on CT findings and pathologicclassification.Korean Journal of Radiology 12(6)(2011)731-739.

[6]Yang，M.，Kpalma，K.，Ronsin，J.:A survey of shape feature extractiontechniques.Pattern Recognition(2008)43-90.

[7]Raman，S.P.,Chen,Y.,Schroeder，J.L.，Huang,P.，Fishman,E.K.:CT textureanalysis of renal masses:pilot study using random forest classification forprediction of pathology.Academic Radiology 21(12)(2014)1587-1596.

[8]Raman，S.P.，Schroeder，J.L.，Huang，P.，Chen，Y.，Coquia，S.F.，Kawamoto，S.，Fishman，E.K.:Preliminary data using computed tomography texture analysisfor the classification of hypervascular liver lesions:generation of apredictive model on the basis of quantitative spatial frequency measurements-a work in progress.Journal of Computer Assisted Tomography39(3)(2015)383-395.

[9]Criminisi，A.，Shotton,J.,Konukoglu，E.:Decision forests forclassification，regression，density estimation,manifold learning and semi-supervised learning.Microsoft Research Cambridge，Tech，Rep.MSRTR-2011-1145(6)(2011)12.

[10]Zaheer，A.，Pokharel，S.S.，Wolfgang，C.，Fishman，E.K.，Horton，K.M.:Incidentally detected cystic lesions of the pancreas on CT:review ofliterature and management suggestions.Abdominal Imaging 38(2)(2013)331-341.

[11]Shin，H.C.,Roth,H.R.，Gao，M.，Lu，L.，Xu，Z.，Nogues,I.，Yao，J.，Mollura，D.，Summers，R.M.:Deep convolutional neural networks for computer-aideddetection:Cnn architectures，dataset characteristics and transferlearning.IEEE Transactions on Medical Imaging 35(5)(2016)1285-1298.

[12]Ingalhalikar，M.，Parker，W.A.，Bloy,L.，Roberts，T.P.，Verma,R.:Usingmulti-parametric data with missing features for learning patterns ofpathology，Proc.of International Conference on MICCAI(2012)468-475.

[13]Chengwen Chu，Masahiro Oda，Takayuki Kitasaka，Kazunari Misawa，Michitaka Fujiwara，Yuichiro Hayashi,Yukitaka Nimura，Daniel Rueckert，andKensaku Mori.Multi-organ segmentation based on spatially-dividedprobabilistic atlas from 3D abdominal CT images.International Conference onMedical Image Computing and Computer-Assisted Intervention,(MICCAI),pages165-172,292,2013.

[14]Jia Deng，Wei Dong,Richard Socher,Li-Jia Li,Kai Li，and Li Fei-Fei.Imagenet:A large-scale hierarchical image database.Proc.of IEEEConference on Computer Vision and Pattern Recognition，(CVPR)，pages 248-255,2009.

[15]Emily L Denton，Soumith Chintala，Rob Fergus，et al.Deep generativeimage models using a laplacian pyramid of adversarial networks.Advances inNeural Information Processing Systems，NIPS，pages 1486-1494,2015.

[16]Konstantin Dmitriev，Arie E Kaufman，Ammar A Javed，Ralph H Hruban，Elliot K Fishman，Anne Marie Lennon,and Joel H Saltz.Classification ofpancreatic cysts in computed tomography images using a random forest andconvolutional neural network ensemble.Proc.of International Conference onMedical Image Computing and Computer-Assisted Intervention，(MICCAI)，pages303-150-158，2017.

[17]Qi Dou，Hao Chen，Yueming Jin，Lequan Yu，Jing Qin,and Pheng-AnnHeng.3D deeply supervised network for automatic liver segmentation from CTvolumes.Proc.of International Conference on Medical Image Computing andComputer-Assisted Intervention，(MICCAI)，pages 149-157,2016.

[18]Michal Drozdzal，Gabriel Chartrand,Eugene Vorontsov,Mahsa Shakeri，Lisa Di Jorio，An Tang,Adriana Romero,Yoshua Bengio，Chris Pal，and SamuelKadoury.Learning normalized inputs for iterative estimation in medical imagesegmentation.Medical image analysis，44:1-13，2018.

[19]Mark Everingham，Luc Van Gool，Christopher KI Williams，John Winn，and Andrew Zisserman.The pascal visual object classes(voc)challenge.International Journal of Computer Vision，88(2):312 303-338，2010.

[20]Amal Farag，Le Lu，Holger R Roth，Jiamin Liu，Evrim Turkbey，andRonald M Summers.A bottom-up approach for pancreas segmentation usingcascaded superpixels and(deep)image patch labeling.IEEE Transactions on ImageProcessing,26(1):386-399,2017.

[21]Michael

Christian Weber，Bram Stieltjes，Klaus Maier-Hein,and KMaier.Learning from small amounts of labeled data in a brain tumorclassification task.Proc.of Neural Information Processing Systems，NIPS，2014.

[22]Tobias Heimann，Bram Van Ginneken，Martin A Styner，Yulia Arzhaeva，Volker Aurich，Christian Bauer，Andreas Beck，Christoph Becker，Reinhard Beichel，

Bekes，et al.Comparison and evaluation of methods for liversegmentation from CT datasets.IEEE Transactions on Medical Imaging，28(8):1251-1265，2009.

[23]Roth Holger，Farag Amal,Turkbey Evrim,Lu Le,Liu Jiamin,and SummersRonald.Data from pancreas-CT.Cancer Imaging Archive，2016.

[24]Gao Huang,Zhuang Liu，Kilian Q Weinberger，and Laurens van derMaaten.Densely connected convolutional networks.Proc.of the IEEE Conferenceon Computer Vision and Pattern Recognition，(CVPR)，1(2):3，2017.

[25]Simon Jégou，Michal Drozdzal，David Vazquez，Adriana Romero，andYoshua Bengio.The one hundred layers tiramisu:Fully convolutional densenetsfor semantic segmentation.Proc.of IEEE on Computer Vision and PatternRecognition Workshops(CVPRW),pages 1175-1183,2017.

[26]Oscar Jimenez-del Toro,Henning Müller,Markus Krenn，KatharinaGruenberg，Abdel Aziz Taha，Marianne Winterstein，Ivan Eggel,AntonioFoncubierta-Rodríguez，Orcun Goksel，András Jakab，et al.Cloud-based evaluationof anatomical structure segmentation and landmark detection algorithms:Visceral anatomy benchmarks.IEEE Transactions on Medical Imaging，35(11):2459-2475，2016.

[27]Diederik P Kingma and Jimmy Ba.Adam:A method for stochasticoptimization.arXiv preprint:1412.6980，2014.

[28]Christoph Lassner，Gerard Pons-Moll，and Peter V Gehler.Agenerative model of people in clothing，arXiv preprint arXiv:1705.04098，2017.

[29]Tsung-Yi Lin，Michael Maire，Serge Belongie，James Hays，PietroPerona，Deva Ramanan，Piotr，and C Lawrence Zitnick.Microsoft COCO:Commonobjects in context.Proc.of European on Computer Vision，(ECCV)，pages 740-755，2014.

[30]Fang Lu，Fa Wu，Peijun Hu，Zhiyi Peng，and Dexing Kong.Automatic 3Dliver location and segmentation via convolutional neural network and graphcut.International Journal of Computer Radiology and Surgery，12(2):171-182,2017.

[31]Liqian Ma，Xu Jia,Qianru Sun,Bernt Schiele,Tinne Tuytelaars，andLuc Van Gool.Pose guided person image generation.Advances in NeuralInformation Processing Systems,NIPS,pages 405-415，2017.

[32]Toshiyuki Okada,Marius George Linguraru，Masatoshi Hori，Ronald MSummers，Noriyuki Tomiyama，and Yoshinobu Sato.Abdominal multi-organsegmentation from CT images using conditional shape-location and unsupervisedintensity priors.Medical Image Analysis，26(1):1-18，2015.

[33]Bruno Oliveira，Sandro Queirós，Pedro Morais，Helena R Torres，

Gomes-Fonseca，Jaime C Fonseca，and

L

A novel multi-atlas strategywith dense deformation field reconstruction for abdominal and thoracic multi-organ segmentation from computed tomography.Medical Image Analysis，45:108-120，2018.

[34]Sylvestre-Alvise Rebuffi，Hakan Bilen，and Andrea Vedaldi.Learningmultiple visual domains with residual adapters.Advances in Neural InformationProcessing Systems，NIPS，pages 506-516，2017.

[35]Scott E Reed，Zeynep Akata，Santosh Mohan，Samuel Tenka，BerntSchiele，and Honglak Lee.Learning what and where to draw.Advances in NeuralInformation Processing Systems,NIPS,pages 217-225,2016.

[36]Holger R Roth,Le Lu,Amal Farag,Hoo-Chang Shin,Jiamin Liu,Evrim BTurkbey，and Ronald M Summers.Deeporgan:Multi-level deep convolutionalnetworks for automated pancreas segmentation.Proc.of International Conferenceon Medical Image Computing and Computer-Assisted Intervention,(MICCAI)，pages556-564，2015.

[37]Holger R Roth，Hirohisa Oda，Yuichiro Hayashi，Masahiro Oda，NatsukiShimizu，Michitaka Fujiwara，Kazunari Misawa，and Kensaku Mori.Hierarchical 3Dfully convolutional networks for multi-organ segmentation.arXiv preprintarXiv:1704.06382,2017.

[38]Aaron van den Oord，Nal Kalchbrenner，Lasse Espeholt，Oriol Vinyals，Alex Graves，et al.Conditional image generation with pixelcnndecoders.Advances in Neural Information Processing Systems，NIPS，pages 4790-4798，2016.

[39]Robin Wolz，Chengwen Chu，Kazunari Misawa，Kensaku Mori，and DanielRueckert.Multi-organ abdominal CT segmentation using hierarchically weightedsubject-specific atlases.Proc.Of International Conference on Medical ImageComputing and Computer-Assisted Intervention(MICCAI),pages 10-17,2012.

[40]Tianfan Xue,Jiajun Wu,Katherine Bouman，and Bill Freeman.Visualdynamics:Probabilistic future frame synthesis via cross convolutionalnetworks.Advances in Neural Information Processing Systems，NIPS，pages 91-99，2016.

[41]Xinchen Yan,Jimei Yang,Kihyuk Sohn，and HonglakLee.Attribute2image:Conditional image generation from visualattributes.Proc.of European Conference on Computer Vision，(ECCV)，pages 776-791，2016.

[42]Dong Yang，Daguang Xu，S Kevin Zhou，Bogdan Georgescu，Mingqing Chen，Sasa Grbic，Dimitris Metaxas，and Dorin Comaniciu.Automatic liver segmentationusing an adversarial image-to-image network.International Conference onMedical Image Computing and Computer-Assisted Intervention，(MICCAI),pages507-515，2017.

[43]Yuyin Zhou,Lingxi Xie,Wei Shen,Yan Wang,Elliot K Fishman，and AlanL Yuille.A fixed-point model for pancreas segmentation in abdominal CTscans.International Conference on Medical Image Computing and Computer-Assisted Intervention，(MICCAI)，pages 693-701，2017.

[44]Jun-Yan Zhu,Richard Zhang,Deepak Pathak,Trevor Darrell，Alexei AEfros，Oliver Wang，and Eli Shechtman.Toward multimodal image-to-imagetranslation.Advances in Neural Information Processing Systems,NIPS，pages465-476，2017.

Claims

1.非暂时性计算机可访问介质，其上存储有用于使用医学成像数据来筛查至少一个囊性病灶的计算机可执行指令，其中，当计算机装置执行所述指令时，所述计算机装置配置成执行包括以下的程序：

接收至少一个患者的至少一个器官的第一成像信息；

通过对所述第一成像信息执行分割操作来生成第二成像信息以识别多种组织类型，所述多种组织类型包括指示所述至少一个囊性病灶的至少一种组织类型；

在所述第二成像信息中识别所述至少一个囊性病灶；以及

将第一分类器和第二分类器应用于所述至少一个囊性病灶以将所述至少一个囊性病灶分类为多种囊性病灶类型中的一种或更多种。

2.权利要求1所述的计算机可访问介质，其中所述第一分类器是随机森林(RF)分类器，并且所述第二分类器是卷积神经网络分类器(CNN)。

3.权利要求2所述的计算机可访问介质，其中所述CNN包括至少6个卷积层。

4.权利要求3所述的计算机可访问介质，其中所述至少6个卷积层包括至少一个最大池化层、至少一个退出层和至少一个全连接层。

5.权利要求4所述的计算机可访问介质，其中所述至少一个最大池化层包括3个最大池化层，所述至少一个退出层包括2个退出层，并且所述至少一个全连接层包括3个全连接层。

6.权利要求5所述的计算机可访问介质，其中所述3个全连接层包括所述2个退出层。

7.权利要求1所述的计算机可访问介质，其中所述计算机装置配置成通过将所述第一成像信息分割为前景和背景来生成所述第二成像信息。

8.权利要求7所述的计算机可访问介质，其中所述前景包括胰腺，并且所述背景包括多个另外的囊性病灶。

9.权利要求7所述的计算机可访问介质，其中所述计算机装置还配置成通过产生针对所述前景和所述背景的多个分割轮廓来生成所述第二信息。

10.权利要求9所述的计算机可访问介质，其中所述计算机装置配置成通过分析所述至少一个患者的至少一个特征来应用所述第一分类器，其中所述至少一个特征包括以下中的至少一个：(i)所述至少一个患者的年龄，(ii)所述至少一个患者的性别，(iii)胰腺中所述至少一个囊性病灶的位置，(iv)所述至少一个囊性病灶的形状，或(iv)所述至少一个囊性病灶的强度特征。

11.权利要求10所述的计算机可访问介质，其中所述计算机装置还配置成基于所述前景的分割轮廓或强度特征中的至少一个来产生所述至少一个特征。

12.权利要求1所述的计算机可访问介质，其中所述分割操作是自动分割程序。

13.权利要求1所述的计算机可访问介质，其中所述计算机装置配置成通过以下来生成所述第二成像信息：

向至少一个用户显示所述第一成像信息，以及

基于从所述至少一个用户接收的输入来分割所述第一成像信息。

14.权利要求1所述的计算机可访问介质，其中所述计算机装置配置成：

将所述第一分类器应用于所述至少一个囊性病灶以产生第一组类别概率；以及

将所述第二分类器应用于所述至少一个囊性病灶以产生第二组类别概率。

15.权利要求14所述的计算机可访问介质，其中所述计算机装置配置成通过将贝叶斯组合应用于所述第一组类别概率和第二组类别概率来对所述至少一个囊性病灶进行分类。

16.权利要求1所述的计算机可访问介质，其中所述计算机装置配置成将所述至少一个囊性病灶分类为以下中的至少一种：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

17.权利要求16所述的计算机可访问介质，其中所述分类包括所述至少一个囊性病灶是以下中的至少一种的概率：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

18.权利要求1所述的计算机可访问介质，其中所述至少一个囊性病灶位于所述至少一个患者的胰腺中。

19.权利要求1所述的计算机可访问介质，其中所述第一成像信息包括磁共振成像信息或计算机断层扫描成像信息。

20.用于使用医学成像数据来筛查至少一个囊性病灶的系统，其包含：

计算机硬件装置，其配置成：

接收至少一个患者的至少一个器官的第一成像信息；

在所述第二成像信息中识别所述至少一个囊性病灶；以及

21.权利要求20所述的系统，其中所述第一分类器是随机森林(RF)分类器，并且所述第二分类器是卷积神经网络分类器(CNN)。

22.权利要求21所述的系统，其中所述CNN包括至少6个卷积层。

23.权利要求22所述的系统，其中所述至少6个卷积层包括至少一个最大池化层、至少一个退出层和至少一个全连接层。

24.权利要求23所述的系统，其中所述至少一个最大池化层包括3个最大池化层，所述至少一个退出层包括2个退出层，并且所述至少一个全连接层包括3个全连接层。

25.权利要求24所述的系统，其中所述3个全连接层包括所述2个退出层。

26.权利要求20所述的系统，其中所述计算机硬件装置配置成通过将所述第一成像信息分割为前景和背景来生成所述第二成像信息。

27.权利要求26所述的系统，其中所述前景包括胰腺，并且所述背景包括多个另外的囊性病灶。

28.权利要求26所述的系统，其中所述计算机硬件装置还配置成通过产生针对所述前景和所述背景的多个分割轮廓来生成所述第二信息。

29.权利要求28所述的系统，其中所述计算机硬件装置配置成通过分析所述至少一个患者的至少一个特征来应用所述第一分类器，其中所述至少一个特征包含以下中的至少一个：(i)所述至少一个患者的年龄，(ii)所述至少一个患者的性别，(iii)胰腺中所述至少一个囊性病灶的位置，(iv)所述至少一个囊性病灶的形状，或(iv)所述至少一个囊性病灶的强度特征。

30.权利要求29所述的系统，其中所述计算机硬件装置还配置成基于所述前景的分割轮廓或强度特征中的至少一个来产生所述至少一个特征。

31.权利要求20所述的系统，其中所述分割操作是自动分割程序。

32.权利要求20所述的系统，其中所述计算机硬件装置配置成通过以下来生成所述第二成像信息：

向至少一个用户显示所述第一成像信息，以及

33.权利要求20所述的系统，其中所述计算机硬件装置配置成：

34.权利要求33所述的系统，其中所述计算机硬件装置配置成通过将贝叶斯组合应用于所述第一组类别概率和所述第二组类别概率来对所述至少一个囊性病灶进行分类。

35.权利要求20所述的系统，其中所述计算机硬件装置配置成将所述至少一个囊性病灶分类为以下中的至少一种：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

36.权利要求35所述的系统，其中所述分类包括所述至少一个囊性病灶是以下中的至少一种的情况的概率：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

37.权利要求20所述的系统，其中所述至少一个囊性病灶位于所述至少一个患者的胰腺中。

38.权利要求20所述的系统，其中所述第一成像信息包含磁共振成像信息或计算机断层扫描成像信息。

39.用于使用医学成像数据来筛查至少一个囊性病灶的方法，其包括：

接收至少一个患者的至少一个器官的第一成像信息；

在所述第二成像信息中识别所述至少一个囊性病灶；以及

使用计算机硬件装置，将第一分类器和第二分类器应用于所述至少一个囊性病灶以将所述至少一个囊性病灶分类为多种囊性病灶类型中的一种或更多种。

40.权利要求39所述的方法，其中所述第一分类器是随机森林(RF)分类器，并且所述第二分类器是卷积神经网络分类器(CNN)。

41.权利要求40所述的方法，其中所述CNN包括至少6个卷积层。

42.权利要求41所述的方法，其中所述至少6个卷积层包括至少一个最大池化层、至少一个退出层和至少一个全连接层。

43.权利要求42所述的方法，其中所述至少一个最大池化层包括3个最大池化层，所述至少一个退出层包括2个退出层，并且所述至少一个全连接层包括3个全连接层。

44.权利要求43所述的方法，其中所述3个全连接层包括所述2个退出层。

45.权利要求39所述的方法，其还包括通过将所述第一成像信息分割为前景和背景来生成所述第二成像信息。

46.权利要求45所述的方法，其中所述前景包括胰腺，并且所述背景包括多个另外的囊性病灶。

47.权利要求45所述的方法，其还包括通过产生针对所述前景和所述背景的多个分割轮廓来生成所述第二信息。

48.权利要求47所述的方法，其还包括通过分析所述至少一个患者的至少一个特征来应用所述第一分类器，其中所述至少一个特征包含以下中的至少一个：(i)所述至少一个患者的年龄，(ii)所述至少一个患者的性别，(iii)胰腺中所述至少一个囊性病灶的位置，(iv)所述至少一个囊性病灶的形状，或(iv)所述至少一个囊性病灶的强度特征。

49.权利要求48所述的方法，其还包括基于所述前景的分割轮廓或强度特征中的至少一个来产生所述至少一个特征。

50.权利要求39所述的方法，其中所述分割操作是自动分割程序。

51.权利要求39所述的方法，其还包括通过以下来生成所述第二成像信息：

向至少一个用户显示所述第一成像信息，以及

52.权利要求39所述的方法，其还包括：

53.权利要求52所述的方法，其还包括通过将贝叶斯组合应用于所述第一组类别概率和所述第二组类别概率来对所述至少一个囊性病灶进行分类。

54.权利要求39所述的方法，其还包括将所述至少一个囊性病灶分类为以下中的至少一种：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

55.权利要求54所述的方法，其中所述分类包括所述至少一个囊性病灶是以下中的至少一种的情况的概率：(i)导管内乳头状黏液性肿瘤，(ii)黏液性囊性肿瘤，(iii)浆液性囊腺瘤或(iv)实性假乳头状肿瘤。

56.权利要求39所述的方法，其中所述至少一个囊性病灶位于所述至少一个患者的胰腺中。

57.权利要求39所述的方法，其中所述第一成像信息包括磁共振成像信息或计算机断层扫描成像信息。

58.非暂时性计算机可访问介质，其上存储有用于对至少一个解剖结构进行多标签分割的计算机可执行指令，其中，当计算机装置执行所述指令时，所述计算机装置配置成执行包括以下的程序：

接收与所述至少一个解剖结构的多个单标签数据集有关的第一成像信息；

接收与所述至少一个解剖结构的多个类别标签有关的第二信息；

通过使用卷积神经网络(CNN)基于所述第一成像信息对所述第二信息进行编码来生成第三信息；

通过使用所述CNN对所述第三信息进行解码来生成第四信息；以及

基于所述第四信息分割所述至少一个解剖结构。

59.权利要求58所述的计算机可访问介质，其中所述计算机装置配置成：

使用多个编码层生成所述第三信息；以及

使用多个解码层生成所述第四信息。

60.权利要求59所述的计算机可访问介质，其中所述计算机装置还配置成：

通过基于先前一个编码层对一个编码层进行连接特征映射来生成所述第三信息；以及

通过基于先前一个解码层对一个解码层进行连接特征映射来生成所述第四信息。

61.权利要求59所述的计算机可访问介质，其中所述编码层包括至少一个卷积层和至少三个最大池化层。

62.权利要求61所述的计算机可访问介质，其中所述编码层在每个稠密块中包括与每个稠密块的深度成比例的特定数目的特征信道。

63.权利要求59所述的计算机可访问介质，其中所述计算机装置配置成使用具有跨步的多个转置卷积作为与所述编码层拓扑对称的上采样层来生成所述第四信息。

64.权利要求59所述的计算机可访问介质，其中所述解码层之一包括S型函数。

65.权利要求58所述的计算机可访问介质，其中所述至少一个解剖结构是至少一个腹部器官。

66.权利要求59所述的计算机可访问介质，其中所述计算机装置还配置成调节以下至少一个：(i)所述编码层或(ii)所述解码层。

67.权利要求66所述的计算机可访问介质，其中所述计算机装置配置成使用分割的目标标签来调节以下至少一个：(i)所述编码层或(ii)所述解码层。

68.用于对至少一个解剖结构进行多标签分割的系统，其包含：

计算机硬件装置，其配置成：

基于所述第四信息分割所述至少一个解剖结构。

69.权利要求68所述的系统，其中所述计算机硬件装置配置成：

使用多个编码层生成所述第三信息；以及

使用多个解码层生成所述第四信息。

70.权利要求69所述的系统，其中所述计算机硬件装置还配置成：

71.权利要求69所述的系统，其中所述编码层包括至少一个卷积层和至少三个最大池化层。

72.权利要求71所述的系统，其中所述编码层在每个稠密块中包括与每个稠密块的深度成比例的特定数目的特征信道。

73.权利要求69所述的系统，其中所述计算机硬件装置配置成使用具有跨步的多个转置卷积作为与所述编码层拓扑对称的上采样层来生成所述第四信息。

74.权利要求69所述的系统，其中所述解码层之一包括S型函数。

75.权利要求68所述的系统，其中所述至少一个解剖结构是至少一个腹部器官。

76.权利要求69所述的系统，其中所述计算机硬件装置还配置成调节以下至少一个：(i)所述编码层或(ii)所述解码层。

77.权利要求76所述的系统，其中所述计算机硬件装置配置成使用分割的目标标签来调节以下至少一个：(i)所述编码层或(ii)所述解码层。

78.用于对至少一个解剖结构进行多标签分割的方法，其包括：

使用计算机硬件装置，基于所述第四信息分割所述至少一个解剖结构。

79.权利要求78所述的方法，其还包括：

使用多个编码层生成所述第三信息；以及

使用多个解码层生成所述第四信息。

80.权利要求79所述的方法，其还包括：

81.权利要求79所述的方法，其中所述编码层包括至少一个卷积层和至少三个最大池化层。

82.权利要求81所述的方法，其中所述编码层在每个稠密块中包括与每个稠密块的深度成比例的特定数目的特征信道。

83.权利要求79所述的方法，其还包括使用具有跨步的多个转置卷积作为与所述编码层拓扑对称的上采样层来生成所述第四信息。

84.权利要求79所述的方法，其中所述解码层之一包括S型函数。

85.权利要求78所述的方法，其中所述至少一个解剖结构是至少一个腹部器官。

86.权利要求79所述的方法，其还包括调节以下至少一个：(i)所述编码层或(ii)所述解码层。

87.权利要求86所述的方法，其中所述调节以下至少一个：(i)所述编码层或(ii)所述解码层包括使用分割的目标标签。