CN116157826A

CN116157826A - 深度无监督的图像质量增强

Info

Publication number: CN116157826A
Application number: CN202180054538.9A
Authority: CN
Inventors: L·戈申
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2020-09-03
Filing date: 2021-08-26
Publication date: 2023-05-23
Also published as: EP4208844A1; EP3965051A1; US20230316462A1; WO2022048977A1

Abstract

一种训练系统(TS)，用于训练用于医学图像中的图像质量增强的机器学习模型。该系统包括用于接收训练输入图像

的输入界面

该系统(TS)包括生成对抗型的人工神经网络模型框架(G，D)，其包括生成器网络(G)和判别器网络(D)。生成网络(G)处理训练输入图像以产生训练输出图像

该系统的缩小器(DS)将训练输入图像缩小。判别器尝试对缩小的训练输入图像(I')和训练输出图像进行判别，以产生判别结果。训练控制器(TC)基于判别结果调整人工神经网络模型框架的参数。

Description

深度无监督的图像质量增强

技术领域

本发明涉及一种用于训练用于图像质量增强的机器学习模型的训练系统，涉及训练过的机器学习模型，涉及一种训练用于图像质量增强的机器学习模型的方法，涉及一种医学成像中图像质量增强的方法，涉及一种成像装置，涉及一种计算机程序单元，以及涉及一种计算机可读介质。

背景技术

医学成像中增强的图像质量使改善的诊断准确性和对患者进行更适当的管理成为可能。

例如，在X射线成像中，如CT(计算机断层显象)扫描，图像质量(IQ)有许多组成部分并受到许多技术参数影响。

虽然图像质量一直是临床医学界关注的问题，但由于近年来人们更加关注减少辐射剂量的策略，确保临床上可接受的图像质量已成为更重要的问题。

发明内容

在图像质量增强领域可能有改善的需要。

本发明的目的是由独立权利要求的主题解决的，进一步的实施例纳入从属权利要求中。应指出的是，本发明的下述方面同样适用于训练过的机器学习模型、训练用于图像质量增强的机器学习模型的方法、医学成像中图像质量增强的方法、成像装置、计算机程序单元和计算机可读介质。

根据本发明的第一方面，本发明提供了一种训练系统，该训练系统用于训练用于医学图像中的图像质量增强的机器学习模型，该训练系统包括：

用于接收训练输入图像的输入界面

生成对抗型的人工神经网络模型框架，其包括生成器网络和判别器网络；

用于处理训练输入图像以产生训练输出图像的生成网络；

被配置为缩小训练输入图像的缩小器，并且判别器尝试在缩小的训练输入图像和训练输出图像之间进行判别，以产生判别结果，和

基于判别结果调整人工神经网络模型框架的参数的训练控制器。

训练控制器使用表示生成网络和判别器的相反的目标的目标函数。该目标函数可以表述为成本/损失函数或效用函数。

在实施例中，判别器被配置为逐个图像块(patch-wise)进行判别。这样使更稳健的训练成为可能。判别是基于分类操作。在分类中，作为把图像作为整体来处理的替代，待分类的图像被首先分成子集，即所谓的图像块，然后按每一图像块进行分类。这就产生了局部的分类结果，这些局部的分类结果然后可以结合起来以获得整体的分类，从而获得(尝试的)判别结果。

在实施例中，生成器包括第一部分，第一部分具有包括两个处理线的架构，这两个处理线为复杂度降低器线和复杂度增强器线，该复杂度降低器线用于处理输入图像以获得具有比输入图像更简单的表示的第一中间图像，该复杂度增强器线用于变换中间图像以获得具有比中间图像更复杂的表示的第二中间图像。表示的复杂度可与维度/尺度表示有关，低维度/尺度比高维度/尺度更简单。在给定的系统中，表示的稀疏性是表示的简单性的另一个示例，更大的稀疏性比不太稀疏的表示更简单。这里还设想到其他类型的表示复杂度和相关转换。

更具体地，在实施例中，生成器包括有具有两个处理线的多尺度架构的第一部分，这两个处理线为缩小线和放大线，该缩小线用于对输入图像进行缩小处理以获得第一中间图像，该放大线用于对中间图像进行放大处理以获得训练输出图像或可处理成训练输出图像的第二中间图像。

在替代性的实施例中，生成器包括有具有两个处理线的架构的第一部分，这两个处理线为稀疏性增强器线和稀疏性降低器线，稀疏性增强器线用于处理输入图像以获得具有比输入图像更大的稀疏性的第一中间图像，而稀疏性降低器线用于降低中间图像的稀疏性以获得训练输出图像或可处理成训练输出图像的第二中间图像。

在实施例中，生成器包括第二部分，该第二部分被配置为将第二中间图像处理成第三中间图像，以降低第三中间图像中的噪声，并将如此获得的噪声降低的噪声图像与第二中间图像相组合以获得训练输出图像。

在实施例中，训练控制器是基于以下中的任一项或多项来调整参数：i)第三中间图像与从输入图像计算的噪声图的对比；ii)第二中间图像特性的平滑度；iii)a)第二中间图像的低通滤波版本与b)第三中间图像之间的依赖关系。

在另一方面，本发明提供了一种训练过的机器学习模型，该机器学习模型是在处理一个或多个训练输入图像后，作为训练系统的生成网络获得的。

在另一方面，本发明提供了一种可训练的机器学习模型，该机器学习模型包括：

第一部分，该第一部分有具有包括两条处理线的多尺度架构，这两个处理线为缩小线和放大线，缩小线用于将输入图像缩小以获得第一中间图像，放大线用于将中间图像放大以获得第二中间图像；以及

第二部分，该第二部分被配置为将第二中间图像处理成第三中间图像，以降低第三中间图像中的噪声，并将如此获得的降低噪声的噪声图像与第二中间图像相组合以获得训练输出图像。

因此，第一部分和第二部分相互作用以便可以基于输入图像和第二中间图像获得噪声估计值(如第三中间图像捕获的)。该组合确保噪声估计值的降低版本被添加回第二中间图像中。具体来说，这种噪声降低优选地小于降到零(less than to zero)，因此原始噪声的一些残留量保留，并被组合回“结构图像”(第二中间图像)中以确保更自然的外观，而不是早期图像增强方法中的激进性的降噪。

在实施例中，第三中间图像可通过从原始输入图像中减去第二中间图像获得。

在另一方面，本发明提供了一种训练用于医学图像中的图像质量增强的机器学习模型的方法，该机器学习模型是生成对抗型的人工神经网络模型框架的生成器网络，该框架进一步包括判别器网络，该方法包括：

接收训练输入图像；

通过生成网络处理训练输入图像以产生训练输出图像；

缩小训练输入图像；

使用判别器网络来尝试在缩小的训练输入图像和训练输出图像之间进行判别，以产生判别结果，以及

基于判别结果调整人工神经网络模型框架的参数。

在另一方面，本发明提供了一种医学成像中的图像质量增强的方法，该方法包括：

接收输入图像；以及

将训练过的机器学习模型应用于输入图像以获得输出图像。

在另一方面，本发明提供了一种成像装置，该成像装置包括成像设备和实现机器学习模型的计算系统。

在另一方面，本发明提供了如权利要求11所述的成像装置，其中，成像设备是以下中的任一种：i)X射线成像设备，ii)MR成像设备，和iii)核成像设备。

在实施例中，X射线成像设备是计算机断层显象扫描仪。

增强的图像质量使改善的诊断准确性和对患者进行更适当的管理成为可能。所提出的方法和系统能够同时对图像进行去模糊和降低图像的噪声，而仍能生成具有“经典”外观的增强的图像，即对于受过教育的观察者来说看起来不像人造的。可以达到由于更有利的MTF(调制传递函数)行为而导致的更高锐度。

本发明提出的方法优选的是基于机器学习，尤其是基于具有人工神经网络模型的深度学习。深度学习通常需要准备大量的训练数据集，其包括明确的标记。在许多情况下，这种大型训练数据集的标记是具有挑战性的、冗长的、耗时的和昂贵的任务。所提出的方法和系统具有吸引人的优势，即模型可以以无监督的方式进行训练。训练数据的标记可能是不可行的或非常具有挑战性的，尤其是在人们希望提供的IQ增强超出当前系统限制的情况下。所提出的方法使用训练网络框架，类似于生成对抗网络(“GAN”)，其中判别器网络和生成器网络被联合训练，但目标是相反的。所提出的使用缩小器和/或基于图像块的判别器使GAN设置的改进利用成为可能，这导致训练过的模型(在这种情况下是生成器)在临床实践中快速、稳健和广义的学习并具有良好的表现。缩小器减小了图像大小。通常，缩小操作可包括减少像素/体素的数量。它的操作可以理解为对从训练数据集中提取的训练输入图像进行虚拟放大。

在另一方面，本发明提供了一种计算机程序单元，该计算机程序单元在被至少一个处理单元执行时适于使处理单元执行根据上述实施例中的任一个所述的方法。

在另一方面，本发明还提供了一种计算机可读介质，其上存储有程序单元。

定义

“用户”涉及人，如医务人员或其他，其为患者操作成像设备或监督成像过程。换句话说，用户通常不是患者。

“患者/受试者”并不排除动物或其他“有机物质”，如生物样本等。此外，无生命的物体，如安全检查中的行李或非破坏性测试中的产品，在此也不排除作为被成像的物体，尽管这里主要提到“患者”。这里使用术语“患者”并不意味着对患者的整体进行成像。有时仅对物体或患者的一部分进行成像，如患者的具体解剖结构或器官，或患者的一组解剖结构或器官。

通常，“机器学习”使用实现机器学习(“ML”)算法的计算机化的装置来训练ML模型。该模型被配置为执行任务。在ML算法中，在向模型提供更多(新)的训练数据后，任务表现得到了可测量的改善。该表现可以通过基于测试数据的客观测试来测量。表现可以根据对于给定的测试数据所达到的一定错误率来限定。例如，参见T.M.Mitchell，“MachineLearning”(第2页，第1.1节，McGraw-Hill，1997)。

附图说明

现在将参照以下附图描述本发明的示例性实施例，除非另有说明，这些附图不按比例，其中：

图1示出了成像装置；

图2示出了调制传递函数的示例；

图3示出了用于训练用于图像质量增强的机器学习模型的训练系统；

图4示出了根据一个实施例的使用生成-对抗型模型架构的训练系统；

图5示出了根据一个实施例的生成网络；

图6示出了训练用于图像质量增强的机器学习模型的方法的流程图；以及

图7示出了计算机实现的图像质量增强的方法的流程图。

具体实施方式

首先参照图1，该图示出了成像装置IAR的示意性框图。

该装置IAR可包括医学成像设备IA和在一个或多个数据处理装置PU上实现的计算机化图像质量(“IQ”)增强器IQE。

医学成像设备IA产生图像，例如用于治疗或诊断目的。图像可以作为截面图像提供以揭露患者的生理学和/或病理生理学的内部结构的多个方面。图像可以通过有线或无线连接转发到图像质量增强器IQE。IQ增强器IQE将接收到的图像处理成质量增强的图像，该质量增强的图像可以显示在显示装置DD上，或可以存储在图像数据库IR中，或可以以其他方式处理。图像可不必由IQ增强器IQE直接从成像设备IA接收，但可以事先存储在图像数据库中。根据用户要求或以自动方式，图像质量增强器IQE可以然后访问存储的图像以然后产生图像质量增强的图像。

现在更详细地解释成像设备IA的成像操作。在实施例中，成像设备是X射线成像设备，如图1所示的CT扫描仪。然而，X射线成像方式，如U型臂扫描仪，以及射线照相成像仪也被设想到。

更详细地说，图1示意性地示出了CT扫描仪IA。扫描仪IA包括固定门架SG和旋转门架RG。旋转门架由固定门架SG可旋转地支撑，并围绕检查区域ER和其中的物体或受试者的一部分围绕Z轴旋转。辐射源XS(如X射线管)由旋转门架RG支撑并和旋转门架RG一起围绕检查区域ER旋转。辐射源XS通常发射宽带多色X射线辐射，该辐射被可选地校准以大致形成扇形、楔形或锥形的X射线辐射束，该辐射束穿过检查区域ER以及因此穿过至少患者的关注区域。

X射线检测器D的辐射敏感检测器阵列对着与在检查区域ER对过的辐射源XS相对的角弧。检测器阵列包括一排或多排检测器像素，这些像素沿Z轴相对于彼此布置，并检测穿过检查区域ER的X射线辐射。检测器D提供投影(原始)数据。

重构器RECON对投影原始数据进行重构，从而生成重构图像。正如下文将详细探讨的那样，系统IQE处理图像以获得IQ增强的图像。

受试者支撑件PC(例如诊察台)支撑处于检查区域ER中的患者。受试者支撑件PC可以是可与执行成像操作协同地移动的，以便相对于检查区域ER移动患者，以装载、扫描和/或卸载患者。

操作者控制台OC可包括人类可读的输出装置(如显示监视器等)以及用户输入装置(如键盘、鼠标等)。操作者控制台OC进一步包括处理器(如中央处理单元(CPU)、微处理器等)和计算机可读存储介质(如物理存储器)。操作者控制台OC允许用户控制成像操作。

装置IAR可进一步包括处理单元PU，如工作站，用于对由成像仪获取的原始投影数据进行图像处理。操作者控制台OC和工作站可布置在同一计算系统中，或布置在不同的计算系统中。重构器RECON可以在工作站PU上运行。

虽然本发明所公开的原理是主要参照CT或其他体积/旋转成像方式(如C型臂成像仪或类似方式)来描述的，但它们同样应用于射线照相中的投影成像。

更详细地说，在成像操作期间，患者或至少是患者的关注区域(“ROI”)位于检查区域ER中。例如，患者可以躺在患者诊察台PC上，该患者诊察台至少部分地布置在甜甜圈形状的CT检查区域ER内。

X射线源XS被通电。X射线从源XS显现，穿过检查区域ER和ROI/患者，然后在远端记录在X射线敏感像素上，这些像素构成了X射线检测器D的X射线敏感表面。

撞击的X辐射使X射线敏感像素以电信号作出反应。这些电信号由扫描仪IA中的数据采集电路(未示出)处理以产生(数字)投影原始数据。投影域中的投影原始数据可由重构器RECON处理，以计算例如在图像域中ROI的横截面图像。

重构器RECON是转换器，它从位于检测器表面的投影域转换到位于检测区域ER的图像域。重构器RECON可以通过不同类型的重构算法实现，如基于拉东(Radon)变换的算法，尤其是滤波背投影(FBP)。傅里叶变换型的算法也被设想到，以及迭代的、代数的或基于机器学习的重构算法。

重构的横截面图像可以被认为是图像值，这些图像值被重构器分配到构成检查区域的3D部分中的网格点，这些点称为体素。在图像域的不同截平面上可能有多个这样的截面图像。不同的此类平面中的多个截面图像构成了3D图像体。在给定的横截面图像中，图像值的位置在这里也可以称为(图像)像素。

同样，虽然上面主要提到了旋转式3D X射线成像，但这并不是这里的限制，因为2D射线照相也被设想到。本发明还设想到基于衰减的成像，以及相位对比或暗场成像，和其他基于X射线的方式。然而，这里并不局限于X射线成像，并且也设想到其他成像方式，如发射成像(PET或SPECT)、磁共振成像(MRI)、超声(US)成像，或其他，如(电子)显微镜、(生物)分子/化合物的成像，以及其他。虽然本发明主要设想了在医学领域的应用，但所提出的图像质量增强器IQE仍可用于医学领域之外，如行李检查或非破坏性材料测试。

现在更详细地转到图像质量增强器IQE，它是计算机化的系统，并像所说的一样由一个或多个数据处理单元PU来实现。数据处理单元PU可以是经过适当编程的单一通用目的计算机。数据处理单元PU可以与成像设备IA通信联接。分布式云架构也被设想到，其中有两个或更多个处理单元PU(如服务器或其他)通信联接以共同实现图像质量增强器IQE。一组成像器，如来自多个成像部门或来自多个医疗设施的成像器可以通过这种方式服务。

一个或多个处理单元PU包括一个或多个处理器PR1以通过运行实现图像质量增强器IQE的一个或多个软件模块来处理数据。实现的软件模块可以被保存在主存储器和/或二级存储器ME1中。

优选地，数据处理单元PU的实现电路包括高性能处理器PR1。具体地，处理器PR1可具有并行处理的能力，如那些具有多核设计的处理器以提高图像处理的吞吐量。具体地，在实施例中，使用了图形处理单元GPU。作为在软件中实现图像质量增强器IQE的替代，或除了在软件中实现图像质量增强器IQE之外，本发明还设想了硬件实施例，如FPGA(现场可编程门阵列)、ASIC(专用集成电路)或其他软编码和/或硬编码电路。

正如下文将更充分地解释的那样，图像质量增强器IQE是由机器学习(“ML”)模型G实现的，该模型先前在训练数据上进行了训练。因此，图像质量增强器IQE可在两种模式下操作，即训练模式和部署模式。在训练模式下，训练系统TS(将在下文中详细描述)用于调整基于训练数据的初始化模型的参数，以配置训练过的模型G。一旦充分训练过，如此训练过的模型G就可以然后用于部署，这样不是训练集的一部分的新图像就可以在例如临床使用期间被处理。虽然本发明所述的图像质量增强器IQE主要被设想为用于处理图像域中的图像，但本发明不排除处理投影域中的投影图像，尤其是在要使用无迭代重构的情况下。

无论是在投影域还是在图像域，要处理的输入图像I_IN的图像值都可以被认为是对(真实)结构和噪声的编码。这可以被附加地概念化为I＝S+N，其中I指示记录或重构的实际图像值，S表示结构信号以及N是噪声贡献。结构性贡献S理想化地表示被成像的物体或患者中关注的医学结构的多个方面，而对于N则没有这种关联。图像质量增强器IQE的目标是尤其要减少噪声贡献，从而因此提高信噪比SNR。此外或作为提高信噪比的替代，提高对比度被设想到，尤其是对比度与噪声比CNR。图像质量增强器IQE也可以作为去模糊器，以减少或消除图像的模糊来提高图像的锐度。提高图像质量是期望的，因为这可以帮助临床医生得出更准确的诊断或治疗结论。

在下文中，将主要提及图像质量增强器IQE的训练方面或训练阶段，同时将参照图7描述其部署。在提供机器学习模型G的训练阶段的更多细节之前，首先参照图2中的图以更好地说明本文提出的方法。图2示出了给定图像的调制传递函数(MTF)的示例图。纵轴上示出的是由调制函数表示的调制比。它表示成像系统对在横轴上以线每毫米LP/mm为单位以空间频率的形式示出的结构的判别能力。调制函数所捕捉到的调制比描述了围绕平均值的对比度波动并且该调制比是当沿着空间频率轴前进时成像系统对更精细的结构提供对比度的能力的衡量。调制传递函数MTF可以理解为空间域中的傅里叶变换的点扩散函数(PSF)。通常，调制比会随着空间频率的增加而降低，如一定的输入图像的MTF尾部T2所表示的。如果对输入图像进行缩小处理，就会观察到现象：缩小的图像的MTF尾部T1比未缩放的原始输入图像的MTF尾部T2要高。有更高的MTF尾部意味着比未缩放的图像有更好的对比度提供，尽管是在降低的频率范围内。除了MTF行为的改善，缩小的图像也编码了更少的噪声，所以有更好的SNR。尤其是对于较高的空间频率，增加MTF允许增加图像的锐度。

本发明提出了使用机器学习来传播这些改善的IQ特性，即降低的噪声和改善的MTF，正如在缩小的图像相对于原始的未缩放的图像中观察到的那样。换句话说，本发明的机器学习模型是训练过的，以便学习改善的IQ在缩小的图像中与在原始图像中的关系。训练过的模型G对这种关系进行编码，因此可以应用于将原始图像转换为其IQ增强的版本。这种关系可以被认为是两个图像空间(缩小的图像空间和原始图像空间)之间的潜在映射。通过使用具体的依赖性假设来学习这种潜在的映射解析将会出现困难。有利地，在ML中，没有这种具体的依赖性假设的需求。事实上，在实施例中使用了机器学习网络，其被训练以在改善的SNR和改善的MTF的“用语”中“重绘”给定的输入图像，如可以在缩小的图像中观察到的一样，从而得出新版本的具有更高IQ和自然外观的输入图像。观察到现有的图像质量增强器虽然提高了图像质量，但也引入了相当人工的图像外观，这对于因为在医学学校接受教育而习惯于更“经典”外观的临床用户来说，并没有被很好的接受。利用所提出的图像质量增强器，图像质量可以得到提高而不会过度扭曲图像外观。用户将获得更好的图像质量，但可能仍然觉得他或她正在看“经典的”图像。

现在参照图3，它示出了本发明设想的用于训练机器学习模型G的训练系统TS的更多细节。如可以看出那样，目标模型G(我们希望训练来提高IQ的模型)被嵌入到附加的一个或多个模型的框架中，这些模型通过训练控制器TC的操作被共同训练。训练系统通常可以在具有处理器PR2和存储器MEM2的计算装置上实现。被配置为提供训练系统TS的计算系统通常不同于可在部署期间使用的计算系统。这是因为训练的计算需求经常比部署期间更高，并且可能需要更强大的、因此更昂贵的计算设备来执行训练。训练可以在新的训练数据可用时反复进行，或者训练可以作为一次性的操作，例如在设置时进行。一旦训练阶段已完成，训练过的模型G可以被移植到计算能力可能较低的计算系统PU上。训练过的模型G然后可以由图像增强器IQE在部署期间应用以增强临床使用中可能出现的新图像。

正如下文将详细解释的那样，本发明主要设想使用的训练框架是生成对抗神经网络(“GAN”)型的设置。这种神经网络设置包括生成器网络G和判别器网络D，它们被联接在一起使得生成器G的输出可以被判别器D处理。生成器G在这里作为我们希望用于增强IQ的训练的关注的模型。生成器网络G和判别器网络D优选地被布置为前馈型或递归型的人工神经网络。生成器G和判别器D的架构作为合适的数据结构(如二维或更高维度的矩阵)存储在存储器MEM2中。训练数据被保存在训练数据存储装置TD中。训练系统的参数，即生成器G和判别器D的参数，在训练操作期间被调整，优选地是迭代调整。参数调整被训练控制器TC监督和协调。训练控制器TC实现目标函数，其处理响应于训练数据由模型G和D产生的数据。更具体地，模型G和D的参数被调整以改善目标函数。目标函数可以被表示为成本函数，其具有待调整的参数用以改善(也就是减少)由成本函数所能返回的值。替代性地，训练方案可被配置为增加效用函数。训练系统通过优选地是大量的训练数据项进行迭代，这些数据项可包括历史图像。优选地，所提出的系统可用于无监督学习设置中，使得训练数据项可以不需要事先被标记，这通常是冗长而昂贵的工作。训练数据可以从历史图像中获得，如PACS(影像归档和通信系统)或医院信息系统(HIS)或其他医疗图像库中保存的先前的患者的CT图像。

在插图A、B中示出了本发明设想的生成器网络G的架构的更多细节。为了配置上述(在图2)提到的传播特性，这里设想的合适的架构可包括两个网络部分P1和P2。图2中讨论的传播特性与网络学习缩小的图像的相关特性的能力有关，也就是，与从其中提取有用的高尾部MTF行为和提高的SNR并将其应用于输入图像的能力有关。

更详细地，第一网络部分P1接收训练输入图像

并将其处理成中间图像S'，该中间图像然后由第二部分P2处理以尝试估计训练输入图像

的更高图像质量版本

并将其提供为训练输出。这里使用波浪“～”符号来指示训练输入和训练输出数据，与图7中部署期间用于图像处理的无波浪符号相反。而且，对于在训练数据处理过程中出现在网络D、G“内部”的中间图像，也将不使用波浪符号。

通常，神经网络类型的架构包括多个计算节点，这些节点布置在级联层中。人工神经网络(在此简称为“网络”)，如本发明设想到的判别器D和生成器G，是深层网络，原因是它们分别包括输入层、输出层和介于二者之间的一个、两个或更多个隐藏层。训练输入图像

在输入层处被应用和处理，然后作为特征图(下文有更多介绍)通过网络从一层传播到另一层，然后在输出层作为训练输出图像

出现，这是增强的训练输入图像的估计。在隐藏层内，局部输入和局部输出经常被称为上述的特征图。一层产生的特征图由后续层处理，后续层又产生更高代的特征图，然后由下一个后续层处理，如此循环。每一代的特征图的数量可以从层到层不断增长。本发明所述的“中间”图像(在此也被称为特征图)包括在神经网络内产生的输入/输出。换句话说，至少还有一个更多的层是处理中间图像的。

训练输入和输出图像以及特征图可以被表示和存储为二维、三维或更高维度的矩阵，这取决于人们希望处理的通道数量和要产生的特征图的数量。因此，可以说特征图和训练输入和输出图像都有大小，即宽度、高度和深度，它们表示矩阵的空间维度。判别器D的输出可以用分类矢量来表示，下面将对此详细探讨。

每个隐藏层的处理是由一组数字限定的函数，该组数字也被称为“权重”，用于基于接收到的输入特征图来计算给定层的输出特征图。这些数字组被称为滤波器。每层可能有不止一个这样的滤波器。因此，一层可以产生不止一个的特征图。具体地，权重对前代特征图进行操作以产生logit z，该logit z然后通过给定层的激活层以如此产生下一代特征图。在前代特征图上计算logit的操作可以是上一层的节点和所述权重的线性组合。也可以用其他函数作为替代来计算logit。参数可以进一步包括附加的偏置项。激活层优选是非线性函数，如软阈值或硬阈值。在输入层、输出层或隐藏层的激活层中可以使用Sigmoid函数、tanh函数、软最大值函数、线性修正单元“ReLU”(＝max{z，0}，其中z为logit)。

在全连接层中，每个节点都是前一层的所有特征图条目的函数。然而，还有一种不同类型的层，即卷积层，对于它来说，情况并非如此并且卷积层中的输出特征图仅由处理从前一层收到的输入特征图的子集条目/节点产生。如此处理的子集以滑动窗口的方式对该层中的每个logit进行改变，每个logit是输入特征图的不同子集的函数。这样处理的子集优选地是平铺(tile)整个前一个特征图。这使得以经典信号处理中已知的卷积方式进行处理成为可能，因此被称为“卷积”层。处理窗口在当前特征图上滑动的步幅由称为“步长(stride)”的超参数来描述。步长等于1时，在卷积层输出端产生的特征图的大小通常被保留，并等于输入特征图的大小。填充可用于处理靠近输入特征图的边缘的条目。使用等于2或更多的步长允许与给定卷积层的输入特征图相比降低输出特征图的大小。以这种方式，可以按照下面将详细描述的实施例中的设想，对缩小操作进行建模。

反卷积层，是卷积层的操作的准逆，在实施例中的训练系统TS中也被设想到。反卷积层允许对放大的操作进行建模。插值技术可被用来相比输入特征图的大小增加输出特征图的大小。

其他功能层也可在这里使用，如最大池化层、剔除层和其他。

如上所述，级联隐藏层的序列可以被布置在不同的网络部分P1、P2中。现在对这些网络部分P1、P2的细节进行更详细的描述。在图2中如上所述的缩小操作可以被认为是获取图像的简化表示的操作。第一网络部分可以因此被认为是被配置为强迫网络学习训练输入图像

在简化下如何转换，然后将这些知识输入到第二部分，该第二部分更关注学习简化图像的噪声行为。

简化器部分P1可包括两个处理线或路径，每个都有自己的级联层。一条路径将输入图像

转化为所述的简化表示，另一条路径再将简化表示重新转化为输入图像的更复杂版本，其复杂度与输入图像相似。因此，这两条处理线可被认为分别是复杂度降低器或“收缩器”和复杂度增强器或“扩展器”，按顺序启用。

在一个实施例中，复杂度降低器以缩小路径DS来实现，而复杂度增强器以放大路径US来实现。更详细地说，缩小器线DS对输入图像

进行缩小处理，以获取比输入图像的大小更小的中间图像。该中间图像然后被放大器US处理，以尝试恢复与输入训练图像的尺度相等的图像版本。

在另一个实施例中，表示的复杂度不是通过尺度变化获取的，而是通过稀疏性变化。任何图像都可以被认为是高维空间中实例的表示，例如，大小为n x m的图像(n，m是其像素的行和列布局)是n x m维矢量空间中的元素。在选择这样的表示时，人们已经对算法可以或不可以表示的内容施加了一定的限制。矢量空间的每个元素都可以被表示为一定基元素的线性组合。如果元素在基元素方面的扩展有更多的零系数，则被称为比另一个元素更稀疏。换句话说，如果一个元素的线性组合所使用的这类基元素较少，那么这个元素的表示就比另一个元素稀疏。例如，在矩阵的矢量空间中，基元素是可以用零条目形成的所有可能的矩阵，稳妥地其中一个条目是一。特征图的图像越稀疏，它的零条目就越多，或者更通常地，它在一定的可忽略阈值以下的条目就越多。

在如插图B)所示的实施例中，作为放大或缩小输入图像的替代，第一最大部分P1的两个处理线现在被布置为稀疏性降低器SR与稀疏性增强器SE串联布置，然后将其输出送入第二部分P2中。稀疏性增强器SE处理训练输入图像以产生比输入图像有更高的稀疏性的中间表示。这个中间的更高稀疏性的图像然后由稀疏性降低器SR处理以产生输出图像来恢复密度，从而获取与输入图像相当的稀疏性。尤其是，可以使用具有稀疏性的超完整表示。在这个实施例中，稀疏性增强器SE操作以增加输入图像

的几何大小和中间图像的稀疏性。稀疏性降低器SR然后降低大小和稀疏性以恢复更密集的表示。

在其他实施例中，本发明也设想了用于第一网络部分P1的其他复杂度降低和恢复变换/再变换的网络。

处理第一网络部分P1的输出的第二网络部分P2可被认为是噪声学习器，它学习噪声特征如何变换。大体上，噪声学习器PS2将复杂度学习器PS1的输出与原始输入图像

进行比较。

由训练控制器TC实现的目标函数相应地被调整为协调两个网络部分PS1、PS2的处理，这将在下面更详细地描述。

应理解的是，就上述介绍的术语而言，图3的插图A)、B)中的中间图像是特征图，或者可以由这种特征图组合而成。

在图3的A)、B)的实施例中，通过在穿过“代码”的“迂回”中传播输入，可以减少过拟合并改善学习。

现在更详细地转到嵌置有目标网络G的训练系统TS的架构，现在参照图4。正如已经提到的，本发明设想了生成-对抗型的架构。此前，Ian Goodfellow等人在“GenerativeAdversarial Networks”(2014年6月10日在线发表，可在arXiv:1406.2661下在线获得)中报告了这种架构。

在这个或类似的生成对抗设置网络(“GANs”)中，生成器网络G和判别器网络D，在训练控制TC实现的成本函数的控制下相互对抗。对于现有的目的，待训练的目标网络是生成器网络G。在这个对抗性设置中，生成器G处理从训练数据TD中提取的并在输入端口IN处接收的图像，以产生训练输出图像

判别器D处理这个训练输出图像并尝试对这个图像

实际上是直接源于训练数据集还是由生成器G人工生成的进行分类。

从概率学的角度来看，产生其输出的生成器G可以被认为是从第一概率分布Pr1中采样。训练数据集中的训练数据可被视为来自另一概率分布Pr2的样本，即真实概率分布(ground truth probability distribution)。然后，这里的目标是通过控制器FC调整网络G、D的参数，以便这两个概率分布对于判别器D来说变得不可区分。生成器G和判别器D之间的关系可以用博弈论的零和博弈来理解，因为生成器的优势是对判别器的损害。换句话说，由适当配置的成本函数所表达的目标是欺骗判别器，使其相信生成器在训练期间产生的图像是提取自训练数据集。换句话说，判别器D在统计上无法区分图像是由生成器G人工产生的还是实际上提取自训练数据本身。控制器TC使用的成本函数被配置为测量两个概率分布Pr1、Pr2彼此之间有何差异。参数被调整以降低该测量，从而提高统计上的不可区分性。可以作为项纳入成本函数的适当的测量包括交叉熵项，或者更通常地说，Kullback-Leibler散度(KLD)测量。也可以使用其他的统计测量项，其允许测量概率分布之间的距离。下面将更详细地讨论合适的成本函数。

在训练系统TS中，使用确定的或随机的切换器SW，其允许有选择地将不同的输入图像输入判别器，这些不同的输入图像要么直接从训练集TD中提取，要么通过切换器来拾取生成器G的输出

因此，判别器D尝试将输出

分为两类中的一类，从训练集TD中提取的真实图像l_g，或由生成器G在其操作中产生的“假”图像l_f。

如上文图2所解释的那样，为了配置训练系统TS以传播有用的MTF和噪声行为，在判别器D和训练数据集TD之间插入了缩小器DS。换句话说，通过切换器SW提供给判别器的不是从训练数据集中提取的原始样本，而是提取的训练样本首先被缩小，然后通过切换器SW提供这个缩小的版本给判别器D来分类。缩小器DSC是有用的，因为它允许去除图像的高频。被去除的高频通常具有低的MTF值，而图像中剩下的高频通常具有较高的MTF值。

缩小器DSC可以通过任何已知的缩小算法实现，如跳过像素或体素或任何其他算法，从而减少图像的大小。可以使用插值方法，如双线性插值、双立体插值或样条插值，或其他。在迭代过程中，缩小器DSC的缩小操作可以改变。例如，在一个实例中，缩小器DSC可以从通过输入端口IN提取的训练数据图像中对每个第n个像素进行采样，而在下一个实例中，当提取下一个训练图像时，使用不同的采样模式，如对每个第m个像素进行采样，m≠n。因此，用于分类的缩小的图像版本的大小可能不同。改变缩小操作可能会在训练过程中增加扰动，这可能有助于训练算法收敛到更稳健的解。

训练输出图像

和判别器D产生的判别结果然后被送入由训练控制器TC管理的成本函数，以返回成本。基于成本TC，两个网络D、G中的一个或全部两个的参数被调整以降低成本。这个过程以迭代的方式重复进行，直到获取足够的收敛，也就是说，直到对于足够数量的训练图像来说成本已下降到阈值之下。

迭代可以在两个循环中进行，内循环和外循环。在内循环中，对于任何给定的被处理的数据训练图像

模型参数在一个或多个迭代周期中被调整直到满足停止条件。判别器馈送切换器SW的切换优选地发生在外循环的迭代周期中，而在内循环中在参数更新期间不发生切换。在内循环中，判别器D和生成器G可以以交替的方式进行训练，即一个或多个迭代来训练生成器G，接着是一个或多个迭代来训练判别器D。然后由训练系统实现的处理可以切换到第二个，即外循环，在外循环中提取新的训练数据集，并如上所述进行处理。然后如上所述重新进入内迭代循环，但这次在调整参数时，需要考虑当前训练图像和所有以前处理的训练图像中的一些的累积成本。基于反向传播算法或任何其他基于梯度或非梯度的数字优化方法，由成本函数评估的参数可以被调整。成本函数的评估可以通过配置合适的参数更新/调整例程来隐含，正如在反向传播算法中所做的那样。

生成器G不仅可以被配置为如之前所讨论那样处理图像数据，而且还能另外处理上下文的非图像数据CXD，如患者数据和其他以改善学习。考虑到上下文的信息可以导致更稳定、更稳健的学习结果。对上下文数据CXD的处理将在下面的图5中更详细地描述。

应理解的是，一旦经过充分的训练，这里只关注生成器网络G，而训练系统TS的其他网络部分，尤其是判别器D，在这里较少关注并且不需要用于图像增强。换句话说，一旦训练结束，在当前架构中的网络G的当前参数集就可以被复制并可在临床部署中用于图像质量增强。之后可以用新的训练数据继续进行训练。

生成器网络G，尤其是简化器部分P1和噪声学习器P2，可以被布置为全卷积层，而没有全连接层。本发明还设想到混合版本，其中联合使用全连接层和全卷积层，且完全地使用全连接层也被设想到。然而，对于图像数据的处理，优选地是使用全卷积层，而对于上下文数据CXD的处理，全连接层是优选的。

广义上，生成器是回归型网络，将其输入图像

回归到其输出图像

相比之下，判别器网络D被配置为分类器并可被布置为具有一个、两个或更多个全连接层的网络，其处理判别器输入图像来在其输出层处产生分类结果<l_fl_g>。可选地，可以使用一个或多个卷积层。判别器输入图像要么是生成器输出图像

要么是由切换器SW提供的缩小的输入图像

分类结果可以在判别器D的输出层作为有两个条目的矢量提供，其中两个条目分别表示两个标签<l_f，l_g>的概率，如上所解释。判别器D输出层可以因此被配置成组合器层，该组合器层将之前的特征图组合成介于0和1之间(并包括0和1)的两个数字的归一化输出。在实施例中，可以使用一个软最大层，该软最大层允许在输出层中进行层间处理以产生归一化的结果。这与隐藏层不同，隐藏层通常只处理来自前一层且不是从给定层内节点输出的特征图。

在优选的实施例中，判别器G具有马尔可夫特征。分类是按图像块或平铺判别器输入图像的子集来操作的，而不是把输入图像作为一个整体进行分类。这样的判别器将待分类的图像，无论是

还是其缩小的版本

建模为马尔可夫随机场，假设由超过图像块的直径分隔的像素之间有独立性。参见P Isola等人的“Image-to-image translationwith conditional adversarial networks”，该文章发表在“Proceedings of the IEEEconference on computer vision and pattern recognition”(第1125-1134页(2017年))上。使用这种马尔科夫判别器的好处是对空间高频的建模。具体地，马尔科夫判别器D将N xN个图像块中的每个分类为真或假，因此是逐个图像块操作，而不是一次性对整个图像进行全局操作。这些图像块可以比判别器的输入图像小得多。对不同的图像块重复进行分类，直到覆盖整个图像平面。按每个图像块i计算相应的局部分类结果<l_f,l_g>ⁱ。局部分类结果可以被合并，例如通过平均得到整个图像的全局分类结果/标签<l_f，l_g>。这个全局分类结果然后被输入训练控制器TC，用于成本函数评估和参数调整。

应理解的是，在提出的基于GAN的训练系统TS中，不需要对训练数据进行标记。通过调整参数，以使判别器无法区分两个类别<l_f,l_g>，目标模型(即生成器G)的训练就会自动发生。

在图5的框图中现在更详细地讨论图3的A)部分中的缩小器和放大器实施例的回归生成层G的实施例，现在参照图5。生成器G的网络部分P1的收缩器和扩展器部分在实施例中可被布置为多尺度网络，类似于Ronneberg等人在“U-Net:Convolutional Networks forBiomedical Image Segmentation”中描述的U-net型架构，该文章发表在N Navab等人(编辑)的“Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015”(“Lecture Notes in Computer Science”，第9351卷(2015)，Springer，Cham)。

在图5的图中，尽管只是为了表示的方便，功能层如卷积(“C”、“Conv”)、反卷积(“D”、“Deconv”)、批归一化(“B”、“BN”)和激活(“RELU”)，已经被布置在功能块FB中。在实施例中，激活层被布置为RELU，但这是示例性的，其他激活层的类型，如Sigmoid或tanh函数，可以用于替代，如上所述。在图5中指向上下的箭头符号“↑”、“↓”分别指示反卷积层或卷积层的上采样操作或下采样操作。上采样算子可被配置为具有适当步长的反卷积层。下采样算子可被布置为步长大于2的卷积层。虽然池化层也可用于下采样，但优选地使用步长大于2的卷积层。步长越大，缩小就越大。可以使用一个或多个退出层来随机切断各层之间的连接，以减少过拟合的风险。批归一化器对层中的权重进行调整以避免在反向传播和类似的基于梯度的方法(这些方法依靠链式规则来制定)中可能发生的消失梯度问题。

收缩器线DS按照上文图3中的A)被布置为下采样路径DS，其处理输入的训练图像

以在多个尺度上产生比输入图像

的尺度更低的中间图像I_im。这个中间图像I_im有时在这里也被称为“代码”，因为它被认为是以较低的尺度“编码”图像

的特征。图5中示出了由三个虚线箭头表示的有三个尺度等级的三尺度网络，但更多或更少的尺度等级也可以用来替代。收缩器线DS可以通过使用两个(或更多个)卷积的重复应用来实现，可选择地每个卷积后面都有批归一化BN，以及线性修正单元(ReLU)或其他激活函数。卷积层可通过3x3x3滤波器来实现。也可以用更大或更小的滤波器来替代。在收缩器线DS中的每个功能块FB的每个尺度等级的最后一个卷积可以使用步长为2来实现，以用于下采样/缩小。

在扩展器路径或放大线US中，代码I_im被依次放大到与输入图像

相同的尺度层，并作为输出S'被释放，由噪声学习器网络部分P2处理。可选地，来自缩小路径DS的特征图可以作为附加的输入以相应的尺度等级输入到放大路径，如从左到右延伸的三个虚线箭头所示意性地示出的。这些交叉输入可被处理成扩展器路径US中的处于相应的放大等级的各层的附加通道中的附加特征图。这种跨尺度的交叉输入，也称为跳跃连接，允许更好地进行定位。通常，通过提供附加的信息，如通过所述的跳跃连接，可以改善上采样学习。交叉输入的信息可以帮助放大路径US更好地恢复(也就是定位)更小的图像特征。

扩展器线US可通过重复使用两个(或更多个)反卷积来实现，每个反卷积之后可选择地使用批归一化和ReLU或其他激活函数。每个尺度的最后的反卷积是使用为2的步长来完成的，用于上采样/放大。反卷积可被实现为3x3x3的滤波器，但也设想到更小或更大的滤波器。

通常，两线US、DS中的尺度的数量是相等的。在扩展器路径US的最后一层，可以使用1x1x1卷积来提供网络部分P1的最终输出S'图像。

如所提到的，给定的卷积/反卷积层可以使用更多滤波器。在尺度等级s中每层的卷积/反卷积滤波器的典型数量为(2³)^sc，其中s＝1，2，3，…为尺度等级。初始输入为被认为尺度为1的

c是网络控制参数。对于具有过完整表示的设置，c>1是优选的。

虽然特征图的大小在通过缩小路径DS一直传播到代码I_im的过程中减小，但这被反转并且当代码I_im通过放大路径US前进以产生下一个中间图像S'时，大小会增加。S'优选地具有与输入图像

相同的大小和相同的尺度。此处优选的是，特征图的数量，以及因此在各层中使用的卷积滤波器的数量，在缩小路径DS中增加，而所述滤波器数量在放大路径US中可减少。

放大的中间图像S'被传递到噪声学习器部分P2进行处理，现在将参照图5的右部分更详细地解释。在实施例中，低通滤波器LP，如归一化卷积层，被应用于中间图像S'以获得锐化的版本S，即中间结构图像，其可被认为编码的结构多于噪声。具体地，噪声等级在中间结构图像S'中有望不存在或可忽略不计。归一化卷积层可被配置为无偏置的单通道层，其中核权重之和等于一。这样得到的结构图像S(其大小与输入图像

相同)然后被从输入图像

中逐点减去以产生中间噪声图像N，即包括的噪声多于结构的图像。这个中间噪声图像N是对输入图像

的噪声等级的估计。这个中间噪声图像N然后通过降噪器NR进行降噪，例如通过与小于一的正数进行标量乘法，以产生降低噪声的中间图像N'。具有降低的噪声的中间图像N'然后被添加到之前网络部分P1的中间输出S'，以产生估计的训练输出图像

噪声N'因此是包括在最终输出图像

中的最终的噪声估计。因为降噪器NR，最终输出图像

相对于输入图像

来说是噪声降低的，但现在(重新)包括的降低的噪声估计确保了更自然、经典的外观，类似于输入图像

的尺度减小的版本。在实践中，申请人已经观察到，过多的噪声的去除导致了合成的和不自然的外观，如上文所提到的。因此，降噪器NR优选地不完全降低噪声。原始噪声的残余噪声优选地保留，并通过例如添加的方式“注入”回来。通过降噪器NR实现的降噪可以通过其他降噪技术代替简单的小于一乘法。设想的示例可包括(线性)平滑滤波器、各向异性扩散、非线性滤波器、小波法或统计学方法，以及其他方法。

总之，变换器/再变换器网络部分P1学习锐化的、没有或只有可忽略的噪声的中间图像S'。相对于输入图像

中间图像S'被锐化了。噪声学习器P2基于中间图像S'和原始输入图像

学习降低的噪声估计值N'，然后将其添加回中间图像S'以获得输入图像

的噪声降低的并且也看起来自然的版本

通过在噪声学习器部分P2中学习噪声特征和在第一部分P1中学习缩放行为，在上面图2中讨论的传播特性通过迫使网络G学习在缩小下的信息转换的方式来获取，因此保证了有优势的MTF和噪声行为。

如图5中生成器网络G的左上部分所示，除了两个网络部分P1、P2之外，生成器G可进一步包括有能力处理非图像上下文数据CXD的网络部分CP。如上文所简单提到的那样，上下文数据CXD可包括以下中的任一项或多项：i)患者的生物特征，ii)图像采集过程的规范和iii)图像重建过程的规范。患者的生物特征可包括患者的病史、患者的年龄、性别、体重、种族等。图像采集过程的规范可包括采集成像参数，如扫描类型、扫描的身体部位、X射线管电压kVp和电流强度mA、产生的辐射mAs、旋转时间、准直和间距中的任一项或多项。图像重建过程的规范可包括重建过滤器、重建算法(如FBP、iDose或IMR)、切片厚度、切片增量、矩阵大小和视场中的任一项或多项。

为了处理这种类型的主要是非图像数据CXD，上下文数据处理器网络部分CP可被布置为级联的全连接隐蔽层FC1、FC2形成的单独线。只有两个被示出，但可能只有一个或不止两个。独热编码可用于将上下文数据CXD编码为矢量或矩阵。此外或作为替代，也可以使用自动编码器网络，其中数据CXD在自动编码器的中心部分被转换为代码，以获得呈更密集的表示的简化代码，因为上下文数据的独热编码可能是稀疏的，这对于好的处理来说可能是不期望的。作为上下文处理器网络CP的最后一层的重塑层RS确保上下文数据CXD被处理成输出，被表示为一个或多个矩阵，其大小与网络部分P1的输入图像相对应。以这种方式，上下文数据CXD被网络部分CP有效地转化为可被输入网络的“伪图像”，例如，输入一个(多个)单独的图像通道中，并可以与输入图像一起被这样处理。伪图像形式的上下文数据因此作为新的通道被混合到图像数据中用于联合处理。用于上下文数据CXD的伪图像不必被输入网络部分P1的输入层，但可作为替代被输入网络的其他位置，通过重塑器RS在形状和大小上进行适当的转换，以便能够作为在相应尺度等级上的附加通道输入混合到网络部分P1中。

重塑器RS可将最后一个全连接层的输出重塑为一个伪体积或若干这样的伪体积表示。在实施例中，每个体积的大小是输入体积(输入图像)

的大小或是在预期输入的尺度等级s上的特征图的大小。重塑可以通过将最后一个完全连接层的每个输出值输入到预期大小的单独体积中来完成，其中整个伪图像体积被相应的输出值填充。

图5所示的U-net架构是根据一个实施例，其他的实施例也被设想到。跨尺度的跳跃连接是可选的。如果使用跳跃连接，对所有的尺度等级使用相同的连接是不必需的。作为U-net设置的替代，在生成器G中，可以使用自动编码器网络架构来处理图像数据。

现在参照图6，其示出了训练用于图像质量增强的ML网络的方法的流程图。该方法可用于实现上述的训练方案TS。然而，应理解的是，该方法的步骤不必与上文讨论的架构相联系。

在步骤S610处，从训练数据集接收训练输入图像

训练数据集可以从具有相关图像的历史数据库中获得。

为了训练，使用了生成-对抗(GAN)型的人工神经网络框架。该网络架构包括生成器网络和判别器网络。

在步骤S620处，生成器网络处理训练输入图像

以产生训练输出图像

在步骤S630处输入图像被缩小。

在访问训练数据集的外循环的每个迭代周期中，要么是所述缩小的图像，要么是训练输出图像通过切换器提供给判别器作为用于分类的输入。切换可以是随机的，或者可以是确定的，以便遵循预设的切换模式，如在训练数据集和生成器输出之间交替进行。

在步骤S640处，判别器尝试通过将输入图像相应地分类为i)从训练数据集中提取的元的实例l_g或ii)生成器的输出的实例l_f在这两幅图像之间进行判别。该分类构成了尝试的判别结果，其可能是或可能不是正确的。

在步骤S650处，判别结果和训练输出图像被输入控制训练程序的成本函数中。成本函数评估判别结果和输出图像。基于评估结果，在步骤S660处更新或调整生成器和/或判别器的当前参数以改善成本函数。成本函数考虑到先前外循环周期的所有或一些先前处理的输入，以使在调整或更新参数时改善的是累积成本。参数调整可以在一个或多个迭代周期内完成。在内循环迭代期间，优选地不操作切换器。

在步骤S670处，对内循环迭代的停止条件进行评估。该停止条件可被设定为内循环迭代的固定次数之一，或者被设定为在限定的偏差范围内收敛的条件。一旦确定停止条件得到满足，方法流程退出内循环，并(重新)进入外循环。方法流程返回到步骤S610处，在那里访问新的训练输入图像并按所述进行处理。

如果确定停止条件没有得到满足，则内循环中的迭代将继续通过参数调整来改善成本函数。

一旦所有或预设数量的训练数据项被处理，具有当前参数集的生成器网络G就被认为是充分训练过的并可用于部署。与处理图像数据一起并且除了处理图像数据之外，还可以如上所述处理上下文数据。

训练控制器TC通过实现参数更新功能来显性或隐性地管理成本函数的评估。具体地，成本函数的评估可以隐含在参数更新的方式中。成本函数的结构和应用于成本函数的具体优化算法往往会产生更新函数，该函数可以保证改善成本函数并且评估隐含在完成更新的方式中。例如，在反向传播方法中，其重复的向前和向后传递的序列就是这种情况。在其他虽然效率较低的暴力破解优化中，成本函数在每次参数调整后都会被显性地评估。调整是在参数空间中以适当的小步长进行的，要么是沿随机方向，要么是沿着成本函数的梯度，如在牛顿-拉弗森类型的数值方法中(如果梯度可以很好地近似计算并且梯度评估是易于处理的)。

在下文中，描述了合适的成本函数E的公式，它被配置为强迫学习上文在图2中讨论的传播特性：

总和i是针对来自训练数据集TD的训练输入图像

θ是待学习的生成器G和判别器D的参数，其中θ_D是判别器D的参数，θ_G是生成器G的参数，θ＝{θ_D，θ_G}。

是训练输入图像，而由切换器提供的判别器输入图像I^*要么是I'，即通过缩小器DSC的操作产生的

的缩小版本的符号，要么

即

的输出。D(I^*)是标签<l_f，l_g>中的一个，是判别器D基于从切换器SW收到的输入提供的判别/分类结果。

系统公式(1)的最小-最大优化可以作为两个优化交替运行。这种交替优化与生成器G和判别器D之间的对抗关系相对应。具体地，公式(1)可以对生成器参数θ_G进行最小化同时保持判别器D的参数θ_D为其当前值。与此相对，公式(1)可以对判别器参数θ_D进行最大化，同时保持生成器G的参数θ_G为其当前值。参数可以通过控制器TC管理的优化算法进行调整。该算法可以是迭代的。在本公开中，术语“优化”不必意味着会收敛到全局最优(最小或最大)。局部最优对于一些目的来说可能足够了。迭代可以在达到局部或全局最优之前基于停止条件而中止。

项T1是生成器G输出和判别器D的分类结果的函数。项T1可被配置为对两个概率分布的差异建模，即真实概率分布Pr1和生成器G生成“假”样本的概率分布Pr2之间的差异。项T1可被配置为交叉熵项。任何其他测量都可以用于这个概率分布比较项，如KLD或其他。具体地，项T1被配置为训练判别器以增加为其分类的输入图像分配正确标签的概率。同时，与此目标相反，生成器被训练为增加判别器分类错误的概率。

项T2-T4是正则项，其被配置为强迫最小化问题(1)的解具有一定特性。优化算法的收敛行为可以由正则项T2-T4控制。优化算法会收敛到具有相应特性的解。具体地，现在对正则项进行更详细的描述。

项T2被配置为强迫噪声估计值N比输入图像

上的噪声小。N被强迫表示输入图像中的噪声。

项T3被配置为强迫结构估计值S'具有比输入图像

更大的锐度。优选地，T3作为一个正则项强迫S'不包括或只包括可忽略的噪声。T3可以被实现为倾向于平滑度的项。

项T4被配置为由噪声学习器网络部分P2计算的结构估计值S和噪声估计值N之间存在低依赖性。

并非所有项T2-T4都是必需的，本发明也设想了项T1与项{T2，T3，T4}中的一个或多个的任何子选择的组合。

λ's是权重，用来对组成成本函数的项T_j,j＝1-4之间的相对强度或优势进行建模。

更详细地，在实施例中，使用了以下成本函数E，其项按此顺序对应于T1、T2、T3和T4：

其中：-

θ_G,D是网络参数，尤其是分别用于判别器网络D和生成器网络G的参数，θ＝{θ_D,θ_G}；

是来自训练集的给定输入图像/体积；

I'是I的缩小图像/体积的集合，其通过缩小器DSC的操作得到；

G是生成器网络，G(I)是给定训练输入图像

的相应的训练输出图像

I*是I'或G(I)，由切换器提供；

D是判别器网络，D(I*)是分类结果<l_fl_g>；

λ_N、λ_S'和λ_c是控制参数；

N、S'和S是网络G的中间结果，如图5；

是

的噪声图；

R(·)是粗糙度惩罚或正则化项，例如总变分、Huber损失或其他函数；以及

C(·)是相关性或协方差函数或依赖性的任何其他测量。

为了清楚起见，在公式(2a，b)中，(1)的最小-最大公式已被分成两个优化公式(2a)和公式(2b)，如上所述交替进行。在公式(2a，b)中，作为示例，项T1是基于二进制交叉熵的测量，log D(·)+log(1–D(G(·)))，但其他测量也可以用来替代。

可选择地且优选地，在上述公式(1，2)中，子图像，或“图像块”，

被提供给判别器作为输入(而不是作为整体的输入图像I*)，以便根据上述的马尔科夫实施例进行逐图像块判别。

用于估计输入图像

中每个像素的噪声贡献的噪声图

可以按照由申请人的US8 938 110所先前描述的进行计算。每个像素的噪声贡献

可以通过计算每个像素位置的小邻域的标准偏差(“std”)来估计。优选地，在本地std滤波器之后可以应用平滑滤波器，如宽中值滤波器，以移除边缘部分的不良噪声估计。噪声图

中的像素值为相应像素处的噪声贡献，而噪声图像N包括噪声和结构的贡献。

可以理解的是，(2)中的项是T1-T4的具体实施例，本发明也设想了其他的、替代性的配置。

此外，训练可以通过使用自动混合方法来提高，如M Freiman等人在“Unsupervised abnormality detection through mixed structure regularization(MSR)in deep sparse Auto-encoders”(该文发表在“Medical

Physics”，第46(5)卷，第2223-2231页(2019年))中所述或申请人的WO2019/229119中描述的方法。

还设想了各种GAN具体的优化算法，如I Goodfellow等人在“Generativeadversarial nets”(发表在"NIPS'14:Proceedings of the 27th InternationalConference on Neural Information Processing Systems"，第2卷，第2672-2680页(2014))中描述的,或由M Arjovsky等人在“Wasserstein GAN”(作为arXiv预印本发表在arXiv:1701.07875(2017))中描述的，或由Guo-Jun Qi在“Loss-sensitive generativeadversarial networks on Lipschitz densities”(作为arXiv预印本发表在arXiv:1701.06264(2017))中描述的。

如果使用图3的B)的实施例，带有稀疏性强制，公式(1)，(2a)可以包括稀疏性强制项，如那些惩罚大值的项。例如参见上面引用的Freiman等人，例如公式(5)第8页，或类似的。

现在参照图7，它示出了计算机化图像质量增强的方法的流程图。一旦生成器模型G如上所述被充分训练，该方法就可操作。

在步骤710处，输入图像I_IN被接收。例如，输入图像I_IN可以在临床使用成像设备IA期间获得。

这个输入图像I_IN在步骤S720处由训练过的生成器模型G处理。具体地，输入图像I_IN被应用于网络的输入层，并在此传播，以便在模型G的输出层提供输入图像I_IN的质量增强版本I_OUT。输出图像I_OUT可以显示在显示装置DD上，存储在存储器中，或者可以以其他方式进行处理。

用户可以通过适当的输入用户界面提供与待增强的图像I_IN有关的上下文数据CXD。上下文数据CXD在步骤S720处由网络G与输入图像联合处理。

本发明所述的一个或多个特征可被配置为或实现为或具有编码在计算机可读介质内的电路，和/或其组合。电路可包括分立和/或集成电路、片上系统(SOC)，及其组合、机器、计算机系统、处理器和存储器、计算机程序。

在本发明的另一个示例性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于，该计算机程序或计算机程序单元适于在适当的系统上执行根据前述实施例之一所述的方法的方法步骤。

计算机程序单元可因此被存储在计算机单元上，该计算机单元也可是本发明的实施例的一部分。该计算单元可适于执行或诱导执行上述方法的步骤。此外，它还可以适于操作上述设备的部件。该计算单元可以适于自动操作和/或执行用户的命令。计算机程序可被加载到数据处理器的工作存储器中。该数据处理器可因此被配备为执行本发明的方法。

本发明的该示例性实施例既覆盖从一开始就使用本发明的计算机程序，也覆盖通过更新将现有程序变成使用本发明的程序的计算机程序。

进一步说，计算机程序单元可能能够提供所有必需的步骤来满足上述方法的示例性实施例的程序。

根据本发明的另外的示例性实施例，提出了一种计算机可读介质，如CD-ROM，其中该计算机可读介质具有存储在其上的计算机程序单元，该计算机程序单元由前面的部分描述。

计算机程序可以存储和/或分布在合适的介质上(尤其是，但不必是非暂时性介质)，如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质，但也可以以其他形式分布，如通过互联网或其他有线或无线电信系统。

然而，计算机程序也可以通过像万维网这样的网络存在并可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了用于使计算机程序单元可供下载的媒介，该计算机程序单元被安排为执行根据本发明的前述实施例之一所述的方法。

必须指出的是，本发明的实施例是参照不同的主题来描述的。尤其是，一些实施例是参照方法类型的权利要求进行描述的，而其他实施例是参照装置类型的权利要求进行描述的。然而，本领域的技术人员将从上述描述中理解到，除非另有告知，除属于一种类型的主题的任何特征组合外，与不同主题相关的特征之间的任何组合也被认为是本申请公开的。然而，所有的特征都可以结合起来，从而提供比特征的简单相加更多的协同效应。

虽然本发明已在附图和前述描述中进行了详细示出和描述，但这种示出和描述应被视为例示说明性或示例性的，而不是限制性的。本发明不限于所公开的实施例。对于所公开的实施例的其他变化，可以由本领域的技术人员通过对附图、本公开和从属权利要求的研究在实施要求保护的发明时来理解和实现。

在权利要求书中，“包括”一词并不排除其他元件或步骤，而且不定冠词“一”或“一个”并不排除多个。单个处理器或多个处理器、其他计算单元可以实现权利要求中记载的几个物项的功能。仅仅是一些措施在相互不同的从属权利要求中被记载这一事实并不指示这些措施的组合不能被用来发挥优势。权利要求中的任何参照符号，无论是数字还是字母数字，或者一个或多个大写字母的组合，都不应被解释为限制范围。

Claims

1.一种训练系统(TS)，所述训练系统用于训练用于医学图像中的图像质量增强的机器学习模型，所述训练系统包括：

用于接收训练输入图像

的输入界面；

生成对抗型的人工神经网络模型(G，D)框架，所述人工神经网络模型框架包括生成器网络(G)和判别器网络(D)；

所述生成网络(G)被配置为处理所述训练输入图像以产生训练输出图像

缩小器(DS)，所述缩小器被配置为缩小所述训练输入图像，并且所述判别器被配置为在缩小的所述训练输入图像(I')和所述训练输出图像之间进行判别，以产生判别结果(l_f，l_g)，以及

训练控制器(TC)，所述训练控制器被配置为基于所述判别结果(l_f，l_g)调整所述人工神经网络模型框架的参数，

其中，所述生成器(G)包括第一部分(P1)，所述第一部分具有包括两个处理线的架构，所述两个处理线成复杂度降低器线(SE)和复杂度增强器线(SR)，所述复杂度降低器线(SE)用于处理输入图像以获得具有比所述输入图像更简单的表示的第一中间图像，而所述复杂度增强器线(SR)用于变换所述中间图像以获得具有比所述中间图像更复杂的表示的第二中间图像(S')，

其中，所述生成器(G)包括第二部分(P2)，所述第二部分被配置为将所述第二中间图像(S')处理成第三中间图像(N)，以降低所述第三中间图像中的噪声，并将如此获得的噪声降低的噪声图像(N')与所述第二中间图像(S')相组合以获得所述训练输出图像。

2.根据权利要求1所述的系统，其中，所述判别器(D)被配置为逐个图像块进行判别。

3.根据前述权利要求中的任一项所述的系统，其中，所述第一部分(P1)具有包括所述两个处理线的多尺度架构，其中，所述复杂度降低器线包括缩小线(DS)，而所述复杂度增强器线(SR)包括放大线(US)，所述缩小线用于将所述输入图像缩小以获得所述第一中间图像，所述放大线用于将所述中间图像放大以获得所述训练输出图像

或能够加工成所述训练输出图像的所述第二中间图像(S')。

4.根据前述权利要求中的任一项所述的系统，其中，所述复杂度降低器线包括稀疏性增强器线(SE)并且所述复杂度增强器线包括稀疏性降低器线(SR)，所述稀疏性增强器线用于处理所述输入图像以获得比所述输入图像具有更大稀疏性的所述第一中间图像，并且所述稀疏性降低器线用于降低所述中间图像的稀疏性以获得所述训练输出图像或能够处理成所述训练输出图像

的所述第二中间图像(S')。

5.根据前述权利要求中的任一项所述的系统，其中，所述训练控制器(TC)的操作是基于以下中的任一项或多项来调整所述参数：i)所述第三中间图像(N)与从所述输入图像计算的噪声图

的对比，ii)所述第二中间图像特性(S')的平滑度，iii)a)所述第二中间图像(S')的低通滤波版本(S)与b)所述第三中间图像(N)之间的依赖关系。

6.一种训练过的机器学习模型，所述训练过的机器学习模型是在处理一个或多个训练输入图像后，作为根据权利要求1-5中的任一项所述的训练系统(TS)的所述生成网络(G)获得的。

7.至少一种计算机可读介质，所述计算机可读介质上存储有可训练的机器学习模型(G)，所述机器学习模型包括：

第一部分(P1)，所述第一部分具有包括两个处理线的多尺度架构，所述两个处理线为缩小线(DS)和放大线(US)，所述缩小线用于将输入图像缩小以获得第一中间图像，而所述放大线用于将所述中间图像放大以获得第二中间图像(S')；以及

第二部分(P2)，所述第二部分被配置为将所述第二中间图像(S')处理成第三中间图像(N)，以降低所述第三中间图像中的噪声，并将如此获得的降声降低的噪声图像(N')与所述第二中间图像(S')相组合，以获得训练输出图像。

8.一种训练用于医学图像中的图像质量增强的机器学习模型的计算机实现的方法，所述机器学习模型是生成对抗型的人工神经网络模型(G，D)框架的生成器网络(G)，所述框架进一步包括判别器网络(D)，所述方法包括：

接收(S610)训练输入图像

由所述生成器网络(G)处理(S620)所述训练输入图像以产生训练输出图像

缩小(S630)所述训练输入图像；

使用所述判别器网络(D)以尝试在缩小的所述训练输入图像(I')和所述训练输出图像之间进行判别(S640)，以产生判别结果(l_f，l_g)，和

基于所述判别结果(l_f，l_g)调整(S660)所述人工神经网络模型框架的参数，

其中，所述生成器(G)包括第一部分(P1)，所述第一部分具有包括两个处理线的架构，所述两个处理线为复杂度降低器线(SE)和复杂度增强器线(SR)，所述复杂度降低器线(SE)用于处理所述输入图像以获得具有比所述输入图像更简单的表示的第一中间图像，而所述复杂度增强器线(SR)用于变换所述中间图像以获得具有比所述中间图像更复杂的表示的第二中间图像(S')，

其中，所述生成器(G)包括第二部分(P2)，所述第二部分被配置为将所述第二中间图像(S')处理成第三中间图像(N)，以降低所述第三中间图像中的噪声，并将如此获得的所述噪声降低的噪声图像(N')与所述第二中间图像(S')相组合以获得所述训练输出图像。

9.一种医学成像中的图像质量增强的方法，所述方法包括：

接收(S710)输入图像；和

将根据权利要求6或7所述的训练过的机器学习模型(G)应用于所述输入图像以获得输出图像。

10.一种成像装置(IAR)，所述成像装置包括成像设备(IA)和计算系统(PU)，所述计算系统实现根据权利要求6或7所述的模型。

11.根据权利要求10所述的成像装置，其中，所述成像设备(IA)是以下中的任一种：i)X射线成像设备，ii)MR成像设备，和iii)核成像设备。

12.根据权利要求10或11所述的成像装置，其中，所述X射线成像设备是计算机断层显像扫描仪。

13.一种计算机程序单元，所述计算机程序单元当被至少一个处理单元(PU)执行时适于使所述处理单元执行根据权利要求8-9中的任一项所述的方法。

14.至少一种计算机可读介质(MEM)，所述计算机可读介质上存储有程序单元，和/或所述计算机可读介质上存储有根据权利要求6所述的机器学习模型。