CN116888624A - 通过机器学习的对比度提升 - Google Patents

Abstract

一种用于图像增强的目标机器学习模型的训练系统以及相关方法。所述系统包括生成类型的两个机器学习模型(G1、G2)的框架，一个这样的模型(G1)是目标机器学习模型的部分。所述训练基于包括至少两种类型的训练影像，高图像质量IQ图像和低IQ图像，的训练数据集，所述训练输入图像(I)是所述高IQ类型的训练输入图像。所述生成网络(G1)处理所述高IQ类型的所述训练输入图像以产生具有降低的IQ的训练输出图像(I)。所述目标机器学习模型(TM)还基于所述训练输出图像(I)和所述高IQ类型的所述训练输入图像来产生第二训练输出图像所述第二生成器网络(G2)根据所述第二训练输出图像估计所述高IQ类型的所述训练输入图像的估计。训练控制器(TC)基于所述高IQ类型的所述训练输入图像的估计结果与所述高IQ类型的所述训练输入图像之间的偏差来调整所述机器学习模型框架的参数。

Description

通过机器学习的对比度提升

技术领域

本发明涉及用于训练用于图像增强的机器学习模型的训练系统、用于图像增强的系统、用于训练机器学习模型的方法、用于图像增强的方法、成像布置、计算机程序单元以及计算机可读介质。

背景技术

造影剂用于越来越多的诊断和介入临床流程中。在诊断成像研究期间(例如在CT(计算机断层扫描)、血管造影术、荧光镜检查、MRI(磁共振成像)和许多其他成像模式中)或在某些治疗流程(诸如PTCA(经皮腔内冠状动脉成形术)等)期间，向患者血管内施用造影介质(“CM”或“造影剂”)以改善组织可视化。

此外，根据成像流程的指示，造影剂可以口服和/或通过其他自然孔口施用。每年进行数千万次使用(例如碘化物)造影剂的放射学检查。例如，据估计，2010年美国总CT研究中有44％使用碘化物CM，印度有35％使用碘化物CM，日本有74％使用碘化物CM，并且中国有10-15％使用碘化物CM。

在造影增强CT中，使用非离子碘作为造影剂可引起急性过敏样反应。这些反应的范围从轻度症状如荨麻疹和瘙痒到更严重的反应如心肺骤停。

基于碘的药剂的最严重的副作用之一是造影剂诱导的肾病。Nash等人在“Hospital-acquired renal insufficiency”(Am.J.Kidney Dis(Official Journal ofthe National Kidney Foundation),vol.39,pp 930-936(2002))中报道了造影剂诱导的肾病是住院患者急性肾衰竭的第三大常见原因，但是并非所有这些病例都可能必然与CM施用有关。在任何情况下，在CM施用之前监测血清肌酸酐通常在采集造影增强的CT数据之前进行。

因此，从患者健康的角度来看，就副作用而言，减少造影剂的量将是有益的。然而，虽然意识到这些健康风险，但是造影增强成像(例如在CT中)是现代医学诊断成像中最有价值的日常程序之一。在图像数据采集之前，施予非离子碘造影剂或其他造影剂。在这样的施予之后是手动或团注追踪器触发的造影增强CT数据采集的开始。

与未增强的(天然)数据相比，所得到的增强断层扫描切片显著改善了诊断质量。因为在未增强的CT数据中，实体器官在40-60HU的范围内具有相似的密度，所以对异常的区分是困难的。对于造影增强CT，不同组织的密度可以升高到100HU以上。例如，关于肿瘤和病变的检测，可以观察到图像对比度的这种改善。对于其他诊断适应症，如CT血管造影或CT灌注研究，造影增强也是必要的。

除了减少造影剂利用的上述临床益处之外，还存在在代价方面减少造影剂利用的显著经济益处。CM代价在某些地区可能很高(例如，日本$120/100ml对比北美$20)。此外，目前常用的非离子和低渗造影剂在特殊效果方面患者耐受性更好，但是甚至更昂贵。

由于对患者施用的造影剂的量是令人关注的，因此开发了一组技术使能器来减少造影剂使用：功率注射器的使用、高速率追踪盐水、更快的旋转时间、更宽的覆盖区域、团注追踪软件、以及低kVp协议和光谱/常规增强算法的使用。然而，这些使能器中的一些是昂贵的、复杂的、容易出错的或难以使用的。

发明内容

因此，可能需要替代的系统和方法来解决上述缺点中的一些缺点。特别地，可能需要减少成像中使用的造影剂的量。

本发明的目的通过独立权利要求的主题来解决，其中，其他实施例被并入从属权利要求中。应当注意，本发明的以下描述的方面同样适合于用于图像增强的系统、用于训练机器学习模型的方法、图像增强的方法、成像布置、计算机程序单元以及计算机可读介质。

根据本发明的第一方面，提供了一种用于训练用于医学图像的图像增强的目标机器学习模型的训练系统，包括：

输入接口，其用于接收从训练数据集中抽取的训练输入图像，所述训练数据集包括至少两种类型的训练影像(高图像质量(IQ)影像和低IQ影像)，所述训练输入图像是高IQ类型的训练输入图像；

机器学习模型框架，其包括第一生成器网络和第二生成器网络，其中，所述目标机器学习模型包括所述第一生成器网络；

所述第一生成网络处理所述高IQ类型的训练输入图像以产生具有降低的IQ的训练输出图像；

所述目标机器学习(“ML”)模型进一步基于所述训练输出图像和所述高IQ类型的所述训练输入图像来产生第二训练输出图像，其中，所述第二生成器网络能操作为根据所述第二训练输出图像来估计对所述高IQ类型的所述训练输入图像的估计；以及

训练控制器，其能操作为至少基于对所述高IQ类型的所述训练输入图像的所述估计与所述高IQ类型的所述训练输入图像之间的偏差来调整所述机器学习模型框架的至少一个参数。

在实施例中，所述机器学习模型框架包括生成式对抗型的子网络，所述子网络包括第一生成器网络和鉴别器网络；其中，所述鉴别器尝试在从所述集合中抽取的低IQ类型的训练输入与训练输出图像之间进行鉴别，以产生鉴别结果；并且其中，所述训练控制器能操作为还基于所述鉴别结果来调整所述机器学习模型框架的参数。

在实施例中，目标机器学习模型被配置为通过组合训练输出图像和高IQ类型的训练输入图像来产生第二训练输出图像。所述组合可以通过训练输出图像和高IQ类型的训练输入图像的线性组合来完成。具体地，将高IQ类型的训练输入图像与(具有降低的IQ的)训练输出图像之间的任选地经缩放的差异添加到具有降低的IQ的训练输出图像。

在实施例中，所述系统被配置为处理所述训练输入图像以及背景数据，所述背景数据描述以下中的任何一项或多项：i)至少一个图像采集参数，ii)至少一个重建参数，iii)患者数据。

在实施例中，所述第一生成器网络和/或所述第二生成器网络的架构是卷积类型的。

在实施例中，所述第一生成器网络和/或所述第二生成器网络的架构是多尺度类型的。

在实施例中，所述IQ包括以下中的任何一个：i)对比度(水平)、ii)伪影(水平)和iii)噪声(水平)。

在实施例中，所述高IQ影像是当存在造影剂时由成像装置记录的图像，并且所述低IQ影像是当存在更少量的造影剂或所述造影剂时由所述成像装置或成像装置记录的图像。

因此，在其他实施例中，高IQ和低IQ的两个图像类别可以分别涉及具有高对比度和低对比度的图像类别，或具有低伪影贡献和高伪影贡献的图像，或具有低噪声贡献和高噪声贡献的图像。也可以针对其他图像质量度量定义这两个类别的高IQ和低IQ。来自高IQ等级的图像样本具有比来自低IQ等级的样本更高的IQ。IQ可以是局部的或全局的。来自高IQ类别的图像样本的IQ度量的平均值可以高于来自低IQ类别的图像样本的IQ度量的平均值。就对比度而言，作为本文主要设想的IQ的一个示例，与当采集低对比度图像(“非对比图像”)时存在于FOV中的造影剂的量/浓度相比，在高对比度图像(“对比图像”)中，当采集图像时存在于成像器的视场(“FOV”)中的造影剂的量/浓度可能已经更高。

在实施例中，所述集合中的所述高IQ/低IQ图像是X射线图像或MRI图像。

在实施例中，所述高IQ/低IQ图像是计算机断层摄影图像。

在另一方面中，提供了一种存储介质，其上存储有通过上述实施例中的任何一个的训练系统训练的目标网络。

在另一方面中，提供了一种成像装置，包括：

根据上述实施例中的任何一个的目标网络，其能操作为处理从图像存储设备接收或由成像装置供应的输入图像，以提供经处理的图像；以及

显示设备，其用于显示所述经处理的图像。

在另一方面中，提供了一种训练目标机器学习模型的方法，包括：

接收从训练数据集抽取的训练输入图像，所述训练数据集包括至少两种类型的训练影像：高图像质量影像和低IQ影像，所述训练输入图像是所述高IQ类型的训练输入图像；

通过生成式网络处理所述高IQ类型的所述训练输入图像，以产生具有降低的IQ的训练输出图像，其中，所述生成网络是机器学习模型框架的一部分，所述机器学习模型框架还包括第二生成器，其中，所述目标机器学习模型包括所述第一生成器网络；

通过所述目标机器学习模型进一步处理所述训练输出图像和所述高IQ类型的所述训练输入图像，以产生第二输出图像；

通过所述第二生成器网络从所述第二输出图像估计对所述高IQ类型的所述训练输入图像的估计；以及

通过训练控制器，至少基于对所述高IQ类型的所述训练输入图像的所述估计与所述高IQ类型的所述训练输入图像之间的偏差来调整所述机器学习模型框架的至少一个参数。

在另一方面中，提供了一种图像处理方法，包括：

通过根据上述实施例中的任何一个的目标网络处理从图像存储设备接收或由成像装置供应的输入图像，以提供经处理的图像。

在实施例中，所述机器学习模型框架包括生成式对抗型的子网络，所述子网络包括第一生成器网络和鉴别器网络作为部件。在这样的实施例中，所述方法还包括：

通过鉴别器在从所述集合中抽取的低IQ类型的训练输入与所述训练输出图像之间进行鉴别，从而产生鉴别结果；

并且其中，所述机器学习模型框架的所述参数的调整还基于所述鉴别结果。

如上面所使用的机器学习框架通常是包括多个ML模型或子ML系统的计算系统，这些ML模型或子ML系统在其相应的(一个或多个)输入和(一个或多个)输出中的至少一个方面至少部分地互连。在实施例中，第一和/或第二生成器和/或鉴别器是人工神经网络类型的。

在另一方面中，提供了一种计算机程序单元，所述计算机程序单元在由至少一个处理单元运行时适于使所述处理单元执行所述方法。

在另一方面中，提供了一种计算机可读介质，其上存储有所述程序单元。

由于所提出的训练方案，因此较少量的造影剂可能足以仍然获得足够的有用对比度的图像，从而节省患者的代价和不适。可以在与之前(当使用大量CM时)相同的临床/放射学效果的情况下实现CM使用的显著减少，而不改变常规CT扫描参数并且不损害CT研究的临床接受性，例如良好的血管增强和良好的器官增强。所提出的系统和方法通过增强研究图像来补偿造影剂量减小。

另外，所提出的方法和系统可以用作通用图像增强工具，其不限于降低对比度协议。

特别地，所提出的方法和利用所提出的系统训练的目标模型被配置为仅对比度提升，或主要增强给定图像中的造影剂贡献，从而生成具有更“经典”外观(即没有人工的、不自然的外观)的图像。不表示造影剂的图像部分在很大程度上被复制而没有变化。

此外，该方法和系统可以通过增强病变和异常的显著性来常规地改善和促进诊断。

此外，在错过的注射研究中，该方法和系统可以通过挽救这样的研究来实现剂量减少，并且消除重复扫描的需要。

除了上述临床益处之外，还存在造影剂利用减少的显著经济益处。注意，在某些地区，直接代价可能很高(例如，如上所述在日本120$/100ml)，并且间接代价(例如，延长的住院治疗、治疗和重复扫描)可能非常高。

该方法具有基于无监督学习方法的吸引人的优点。这种方法消除了准备大的可靠配对训练数据的需要，这是不可行的或非常具有挑战性的、乏味的、耗时的且因此昂贵的练习。特别地，所提出的训练系统不需要对比图像和非对比图像的配对。这对于基于CM的成像的当前目的是特别有益的，因为在这样的协议中，给定患者通常不能用两种不同量的造影剂并且在没有任何患者运动的情况下被扫描两次。

具体地，在对比度方面针对IQ，在实施例中，设想了一种用于训练用于医学影像的图像造影增强的目标机器学习模型的训练系统，包括：

输入接口，其用于接收从训练数据集中抽取的训练输入图像，所述训练数据集包括至少两种类型的训练影像(高对比图像和低对比图像)，所述训练输入图像是高对比类型的训练输入图像；

人工神经网络模型框架，其包括具有第一生成器网络和鉴别器网络的生成对抗类型的网络，并且所述框架还包括第二生成器网络；其中，所述目标机器学习模型包括所述第一生成器网络；

所述生成网络处理高对比类型的训练输入图像以产生具有降低的对比度的训练输出图像；

并且所述鉴别器尝试在从所述集合中抽取的所述低对比类型的训练输入和所述训练输出图像之间进行鉴别，以产生鉴别结果；

所述目标机器学习模型还基于所述训练输出图像和所述高对比类型的所述训练输入图像来产生第二输出图像，其中，所述第二生成器网络能操作为从所述第二输出图像估计所述高对比类型的所述训练输入图像的估计；以及

训练控制器，其能操作为至少基于i)所述鉴别结果和ii)对所述高对比类型的所述训练输入图像的所述估计与所述高对比类型的所述训练输入图像之间的偏差来调整所述人工神经网络模型框架的参数。

通常，“机器学习部件或模块”是实施机器学习(“ML”)算法的计算机化布置。该算法被配置为执行任务。ML算法可以基于其参数由ML算法在训练阶段基于训练数据来调整的ML模型。在ML算法中，任务性能通常随时间可测量地改善，在训练中使用更多(新的且改变的)训练数据。当向训练模型馈送测试数据并评估输出时，可以通过客观测试来对性能进行度量。可以通过要求针对给定测试数据实现一定的错误率来定义性能。参见T.M.Mitchell的“Machine Learning”(第1.1节,第2页,McGraw-Hill,1997)。本文主要感兴趣的任务是自动增加图像对比度，或去除/减少图像伪影/噪声，或改善其他IQ(图像质量)度量。

附图说明

现在将参考以下附图描述本发明的示例性实施例，以下附图未按比例绘制，其中：

图1示出了包括成像装置和图像处理系统的成像布置的框图；

图2示出了用于训练可以用于实施IQ增强器的机器学习部件的训练系统的操作原理的流程图；

图3示出了包括两个生成器网络和鉴别器网络的训练系统的框图；

图4示出了图3的训练系统的实施例；

图5示出了由图2-4中的任何一个的训练系统提供的经训练的机器学习模型的示意性框图；

图6示出了卷积类型的人工神经网络模型；

图7示出了用于IQ增强的计算机实施的方法的流程图；并且

图8示出了训练机器学习模型的计算机实施的方法的流程图。

具体实施方式

参考图1，示出了计算机化成像布置AR。在实施例中，布置AR包括成像装置IA和包括图像增强处理器IP的用于图像增强的系统SIE。非常简要地，图像增强处理器IP可以用于增强由成像装置IA获得的影像中的图像质量(“IQ”)。要被增强的影像可以由成像装置IA直接提供，或者可以从图像存储设备IRP检索。图像增强可以包括图像对比度的增加或图像伪影和/或噪声的减少或去除。图像对比度可以通过例如对比度噪声比(CNR)来度量和量化。更高的CNR是优选的。特别地，可以增加由CM赋予的对比度。在一些实施例中，图像增强处理器IP由机器学习模型TM实现。提供可以训练多个这样的ML模型(包括基于训练数据TD的(目标)模型TM)的训练系统TS。然后，图像增强处理器IP可以使用如此训练的模型TM来计算增强图像。在更详细地解释训练系统TS之前，首先解释成像布置的部件。

成像装置IA(在本文中有时简称为“成像器”)在本文中优选地被设想用于医学目的，并且能操作为采集患者PAT的一幅或多幅图像。概括地说，成像装置包括用于生成探询信号XB的信号源SS。探询信号XB与患者PAT中的组织相互作用，并且由此被修改。经修改的信号然后由检测单元DT来检测。检测到的信号(诸如强度值)形成探测器原始数据或投影图像。投影图像本身可能是感兴趣的，但是有时投影图像可以由重建模块RECON进一步处理以产生经重建的影像X。

本文中设想的成像器IA可以被配置用于结构或功能成像。在本文中设想了一系列成像模态，诸如透射成像和发射成像或其他成像模态，诸如超声(US)成像。例如，在透射成像(诸如基于X射线的成像)中，信号源SS是X射线管，并且探询信号是由管SS生成的X射线束XB。在该实施例中，经修改的X射线束撞击在探测单元DT的X射线敏感像素上。X射线敏感探测器DT将撞击辐射记录为强度值的分布。记录的强度值形成投影图像π。X射线投影影像π，尽管有时本身诸如在X射线摄影中是有用的，但是然后可以通过重建模块RECON在CT成像中被变换成横截面图像。具体地，重建模块RECON将重建算法(诸如滤波反投影或其他算法)应用于投影图像。横截面图像在3D空间中形成2D图像。在CT中，可以从投影图像的不同集合重建多幅这样的横截面图像以获得3D图像体积。

在MRI成像中，检测单元由线圈形成，所述线圈能够拾取表示投影影像的射频信号，可以通过MRI重建算法从所述投影图像重建MRI横截面图像。

CT或X射线摄影中的X射线影像表示患者解剖结构的结构细节。在诸如PET或SPECT的发射成像中，信号源SS可以以先前施用的放射性示踪物质的形式位于患者体内。由示踪物质引起的核事件然后在被布置在患者周围的PET/SPECT探测器DT处被记录为投影图像。然后应用PET/SPECT重建算法以获得重建的PET/SPECT图像，所述重建的PET/SPECT图像表示患者内部的过程(诸如代谢过程)的功能细节。

成像装置IA由操作者从操作者控制台CS控制。操作者可以设置多个成像参数Ip。成像参数包括采集参数和/或(如果适用的话)重建参数。采集参数是指控制成像操作的成像装置的设置，诸如X射线管设置(安培数或电压)等。另一方面，重建参数涉及与重建算法的操作有关的参数。重建参数不一定在操作者控制台CS处设置，而是可以在稍后阶段在工作站或其他位置处设置。计算机在X射线成像中，采集参数可以包括以下中的任何一个或多个：扫描类型、身体部位、XR源(管)XR设置(诸如mA、mAs、kVp)、旋转时间、准直设置、节距等。“扫描类型”可以是螺旋形的或轴向的，和/或可以指定要成像的感兴趣区域(ROI)，诸如胸部、肺部、肺栓塞、心脏等。“节距”是多层螺旋CT中的参数，并且被定义为工作台增量与探测器准直的比率。

如果诸如在CT或MR中或在发射成像(PET/SPECT)中调用由重建模块RECON进行的重建操作，则这可能需要指定重建参数以调整重建算法。在CT重建中设想的合适的重建参数可以包括以下中的任何一个或多个：重建滤波器、重建算法(例如，FBP、iDose或IMR)、切片厚度、切片增量、图像尺寸(以像素或体素为单位，m x n)和视场等。

采集参数指定成像装置如何操作以采集图像信号，图像信号然后被转换为图像值。重建参数描述图像值如何从一个域(例如，投影域)转换成不同域(例如，图像域)中的其他图像值。因此，成像参数和/或重建参数这两个参数都影响影像中的图像值或其分布。

除非特别说明，否则在下文中，将不在重建图像或投影图像之间进行区分，并且我们将两者简单地称为要由图像增强处理器IP处理的“(一幅或多幅)输入图像”或“影像”X。换句话说，图像增强处理器IP可以在其中被配置为对来自投影域的影像进行操作或可以对在成像域中重建的影像进行作用。

由装置IA产生或从存储设备IRP检索的输入影像X在成像处理器IP处在其接口IN处通过例如有线或无线通信手段被接收。影像X可以直接从成像装置IA接收，或可以从图像在采集之后被存储在其中的成像存储库IRP检索。

对于本身不充分吸收辐射的器官或组织，一些成像协议需要向患者施用造影剂/介质以提升图像对比度，更高的CNR。对比剂/造影剂可以用于CT或其他基于X射线的成像模态中，但也可以用于例如MRI中。在成像之前或期间，一定体积的液体造影剂(例如碘基)被施予给患者，被允许以足够的浓度在ROI处累积，并且然后成像开始或继续针对ROI采集“造影的”高对比度图像或采集ROI的“造影的”高对比度影像。

在大多数成像模态中，由于技术、物理或其他原因，所采集或处理的图像可能受到图像伪影的影响。图像伪影是不表示成像对象中的实际结构或功能性质的图像结构，或图像中的表示以某种方式失真或以其他方式不令人满意。在X射线成像中，这种图像伪影可以存在于投影图像或重建图像中。图像伪影包括以下中的任何一项或多项：射束硬化伪影(诸如条纹)、杯状伪影、环形伪影、部分体积伪影、不完全投影、光子不足、患者运动、环形伪影、螺旋和锥形射束伪影等。诸如MRI的其他成像模态可能吸引其他伪影，诸如化学位移、环绕、吉布斯伪影、金属伪影或基于RF的伪影、场不均匀性等。

在噪声方面的IQ通常受到例如所使用的X辐射的能量的影响，或受到探测器硬件中的缺陷的影响。检测量子效率(DQE)可以用于定义由探测器硬件引入的噪声量。一些图像处理算法(诸如重建算法)本身也可能引入噪声。

图像处理器IP能够产生增强影像，诸如伪影或噪声降低或对比度增加。例如，如在图像处理器IP的输入端口IN'处接收的可能的充斥伪影的输入影像X被处理成输出影像X'并且在输出端口OUT'处被输出。图像处理器IP的操作引起伪影被减少或完全去除。另外地或替代地，在没有或很少造影剂存在的情况下采集的低对比度影像X可以由图像增强处理器IP处理成更高对比度影像X'。

输出影像X'可以被映射到合适的灰度值或调色板上，并且然后可以由显示设备DD上的可视化模块(未示出)可视化。

因此，图像增强处理器IP可以通过使用增强影像X'来帮助诊断医师正确地解读输入影像X。图像处理器IP可以在通用计算单元上运行。计算单元PU可以通信地耦合到成像装置或成像存储库IRP。在其他实施例中，图像处理器IP被集成到成像装置IA中。成像处理器IP可以以硬件或软件或其组合来布置。硬件实施方式可以包括适当编程的电路，诸如微处理器或微控制器、FGPA或其他通用电路。本文还设想了硬编码电路，诸如ASICS或片上系统等。也可以使用专用处理器，例如GPU(图形处理单元)。

现在更详细地参考要处理的图像的性质，这可以被概念化为包括多个数字的1D、2D或3D或甚至更高维度(例如，图像的时间序列)的数据结构。取决于作为成像基础的对比度赋予机制，数字表示要成像的物理量或现象的强度值。这些数字在本文中可以被称为图像值。上面提到的数据结构可以包括一个或更多个n维矩阵或“张量”(n≥3)。n的合适值为1、2、3、4或n>4。图像可以是灰度或彩色的。可以以RGB方案或另一合适的编码方案对彩色图像进行编码。

图像值可以以行i和列j表示，以在空间上表示二维结构。空间三维图像值可以被表示为行i和列j以及深度分量k。

在实施例中，图像可以以具有行i和列j的2D结构表示，但是图像实际上形成三维体积的区段或子空间，诸如CT 3D体积的切片图像。类似地，MRI体积还可以包括为3D方式的区段的2D切片图像。随时间采集的2D或3D图像可以分别表示为3D或4D图像数据，其中，第三或第四分量表示采集时间。

即使影像表示2D结构，有时仍然可以使用更高维度的表示，诸如在以RGB编码的彩色图像中。RGB图像可以被表示为三维结构，其中，两个空间维度i,j对应于患者中的结构或功能，而另一分量分别表示针对任何给定图像位置i,j的红色、绿色和蓝色图像值。换句话说，2D彩色图像可以表示为由三个不同的2D图像的叠加形成的3D体积，每个2D图像分别表示给定图像位置的红色、绿色和蓝色图像值。

因此，通过时间采集的空间3D彩色图像因此可以被表示为七维张量：三个空间维度、针对颜色值的三个维度、以及针对时间的一个维度。可以在没有附加深度分量的情况下表示灰度值图像。

关于图像数据，如本文所使用的“尺寸”是指矩阵或张量中的数据值(数字)条目的数量。“维度”是指空间布置的数量。例如，具有像素50×50的矩阵(例如，图像)具有比40×40或50×40的图像更大的尺寸。但两者具有相同的维度。三通道图像50×50×3具有比50×50的2D图像更大的维度(3D)。因为3D图像也具有更多的数据点，所以它的尺寸也更大。

现在更详细地转向计算机化成像处理器IP，在实施例中，这包括预训练的机器学习部件或模块MLC。预先训练的机器学习部件MLC包括预先训练的机器学习模型TM。机器学习模型TM(诸如人工神经网络或其他)先前已经由将在下面更全面地描述的计算机化训练系统TS进行了训练。训练基于训练数据TD的集合(“语料库”)。

训练数据TD特别包括历史图像。在实施例中，训练数据包括历史X射线、MRI、UV、PET/SEPCT或从先前患者收集的其他图像。训练数据的语料库TD包括两个类别的数据，在本文中称为高对比度图像和低对比度图像，作为高IQ影像和低IQ图像的一个示例。对于训练系统TS的操作，在本文中不需要低IQ与高IQ的配对，诸如低对比度/高对比度图像。虽然在本文中被主要设想，但是当那些图像已经被采集时，图像中的高对比度和低对比度不一定是由成像装置的视场(FOV)中存在的不同造影剂浓度引起的。对于低/高对比度图像，可以替代地使用光谱或双成像技术“合成地”生成。具体地，可以通过使用低keV图像来生成低/高对比度图像，其可以在谱扫描中获得，所述谱扫描还提供常规CT图像以定义两个类别的低/高对比度图像。

另外地或替代地，还可以在谱扫描中获得碘图，其与常规CT图像一起分别提供高对比度图像和低对比度图像的实例。在这种情况下，可以通过将碘图通过加法或乘法与低对比度图像进行组合来获得对应的高对比度图像。替代地，碘图可以通过首先将图与某个因子(控制参数)相乘并且然后将碘图(具有相乘的因子)添加到低对比度图像来与低对比度图像如此组合。替代地，还可以通过将任何模态的高对比度图像与任何或相同成像模态的低对比度图像配准来形成对比图像元素。

在其他实施例中，图像增强涉及伪影减少，并且因此训练集TD可以包括一个类别的充斥伪影的图像和另一个类别的无伪影图像(或具有更低严重性的伪影的图像)。分类可以由人类专家或辅助机器学习系统完成。类似地，对于在噪声降低方面的图像增强的实施例，两个类别的高IQ影像和低IQ图像包括高噪声图像和低噪声图像。

通常，来自训练集TD的图像在本文中将被称为高对比度和低对比度的两个类别中的“训练影像/图像”，本文将对其进行主要参考，但是下面被明确地设想用于其他类型的IQ。

机器学习模型TM通常可在训练模式和部署模式两种模式下操作。训练模式发生在部署模式之前。训练模式可以是一次性操作，但是可以重复进行。更具体地，机器学习模型TM包括架构和根据架构布置的多个参数。这些参数被初始化。训练系统TS在训练模式期间基于由待训练模型TM处理的输入训练影像来调整参数。一旦参数已经在一次或多次迭代中被充分调整，则如此预训练的模型TM然后可以在如上所述的图像处理器IP的机器学习部件MLC中的部署中使用。在部署模式中，预训练的机器学习模型TM可以处理所接收的输入图像以减少或去除如上所述的图像伪影/噪声，或增加对比度。至关重要的是，部署中的输入影像X可能不是训练影像的一部分，使得机器学习模型TM之前从未“看到”输入图像。在合适的训练之后，机器学习模型TM能够将输入影像X变换为(更低对比度)输入影像X的更高对比度版本，或对于其他IQ度量是类似的。

参考图2中的框图，现在将更详细地解释所提出的计算机化训练系统TS的操作。

训练系统TS可以位于一个或多个计算机可读存储器MEM中。计算机化训练系统TS可以由处理单元PU(诸如通用CPU电路或优选地专用电路(诸如一个或多个GPU(图形处理单元)等))执行。训练系统TS的部件可以在单个计算设备上或在连接在合适的通信网络中的分布式或“云”架构中的一组计算设备(诸如服务器等)上实施。

机器学习可以包括调整机器学习模型TM的参数。机器学习或训练由训练系统TS实施。该模型能够将输入处理为输出。由训练系统TS的训练控制器TC基于训练数据TD的集合来调整/更新模型参数。参数调整或更新操作可以公式化为优化问题。可以根据一个或多个目标函数E来公式化优化问题。更新参数以改善目标函数。目标函数由训练控制器TC实施。目标函数可以是代价函数，并且更新参数以降低由代价函数进行度量的代价。

现在将参考如图2所示的操作交换图更详细地解释所提出的训练系统TS的操作原理。该示意图示出了训练目标ML模型TM所涉及的处理路径。如图2所示，处理路径形成闭合反馈回路或循环，其一致性通过代价函数E＝CC()来检查。代价函数E＝CC()可以形成由训练系统使用代价函数E,E_j的组的一部分。代价函数CC在本文中将被称为循环一致性检查器函数CC(X)(或简称为“检查器函数”)。可由代价函数CC(x)处理的初始输入x是指从训练数据集TD抽取的图像样本。如所提到的，训练数据集TD包括至少两个类别或类别的图像，在实施例中为高对比度图像和低对比度图像，例如造影增强图像和非造影增强图像。“(一幅或多幅)造影增强图像”在本文中可以被称为(一幅或多幅)造影图像，并且非造影增强影像可以被称为(一幅或多幅)非造影图像。现在假设所抽取的样本来自造影类别的图像，这样的图像在本文中将被称为而非造影类别的图像的成员在本文中将由符号“x＝I”(没有“杠”符号“-”)表示。

训练系统TS首先通过第一变换(1)将输入图像变换为针对低对比度图像I的估计。接下来，在变换(2)处，将该低对比度估计变换为对比度提升或对比度改善的估计/>根据该图像/>并且在如此关闭周期时，应用第三变换(3)以再次估计低对比度图像/>理想地，在适用的误差范围内，该最后的估计/>应当基本上等于初始输入图像/>循环检查器函数CC(x)由训练控制器TC实现为代价函数以鼓励训练系统TS选择模型参数，使得输出图像/>与输入图像近似相似或相等。该循环由图2的中心处的舍入误差指示。已经发现基于所提出的一致循环的学习产生良好且鲁棒的结果。上述变换(1)-(3)部分地被实施为机器学习模型，其参数在代价函数的控制下被调整。所述机器学习模型包括目标模型TM。优选地，神经网络类型模型用于实现上述变换中的至少一些。特别地，变换(1)、(3)基于机器学习模型，而变换阶段(2)可以被分析地定义或者也可以被定义为机器学习模型。目标模型TM优选地实施第一和/或第二变换(1)(2)。

可以关于对比度图M来制定循环一致性检查器函数CC(x)，对比度图M测量在上面在图2中描述的变换路径(1)-(3)中生成的图像中的对比度的量。上述反馈回路或循环构成近似交换图。根据三个变换(1)-(3)的级联来近似恒等函数。尽管希望训练目标模型TM以用于对比度改善，但是降低对比度的稍微反直觉的第一变换已经被示出为使训练更具弹性和鲁棒性。此外，已经发现，使用图2的上述交换布置，优选地结合对比度图驱动的循环一致性检查器函数CC(x)，可以局部地考虑对比度变化。具体地，造影增强可以基本上聚焦到所记录的图像中表示造影剂的区域。更具体地，表示造影剂的区域通过训练模型TM比不表示造影剂的区域更强地进行造影增强。再更具体地，基本上仅这样的造影剂表示区域被造影增强，而其他区域不被造影增强，并且因此保持基本上不变。

进一步参考图2，代替使用来自两个类别(高对比度和低对比度)的影像，相同的原理可以应用于其他图像质量(“IQ”)度量，诸如高/低噪声、高/低伪影贡献等。在这种情况下，变换(1)用于降低IQ，也就是说，增加伪影或噪声。

因此，图2中的通信示意图表示当处理来自高IQ类的图像(诸如对比图像)时在IQ降低和增加的重复循环中的处理。如果输入影像X是从低对比度类别抽取的，则训练系统鼓励参数，使得这样的低对比度训练输入图像优选地不改变地通过变换(1)-(3)。因此，该示意图中的处理关于图像类别是不对称的。

要被训练用于造影增强的目标模型TM优选地被嵌入在具有附加的互连机器学习模型和可选的分析模型的训练系统TS中，如现在将在现在参考的图3的框图中更详细地解释的。具体地，图3示出了图2的上述原理的实施例。图3示出了包括机器学习模型和可选的分析转换阶段(不一定是ML实施的)的多个部件。这些部件使其一些输入和输出互连并嵌入由这些互连形成的训练系统中。如所提到的，模型中的一些是神经网络类型ML模型，但是在本文中也设想了不一定是神经网络类型的其他机器学习模型。

具体地，在实施例中，训练系统TS包括生成类型的两个ML模型，在本文中被称为生成器G1和G2。此外，存在鉴别器DS和分析转换器路径CB。训练控制器TC实施上述代价函数E＝CC或代价函数E_j的系统，包括上述一致性检查器CC()、以及可能的一个或多个正则化项R，将在下面更详细地探索。代价函数E,E_j处理由模型产生的输出，并且控制器TC的更新器UT调整模型的当前参数以改善目标函数，例如降低代价。调整可以迭代地进行。

在操作中，训练输入图像是从训练数据TD的集合中抽取的，如上面在图2处所提到的，训练数据TD包括造影C(高对比度)图像的类别和非造影NC(低对比度)图像的类别。值得注意的是，不需要对进入类别NC、C的图像进行配对。来自类别NC、C的训练影像被一个接一个地或分批地应用于训练系统TS，并且由多个所提到的部件处理以产生训练输出。训练输出通过(一个或多个)代价函数E,E_j并且基于由代价函数E(包括检查器CC())返回的代价来评估，调适训练系统的参数直到满足停止条件。在下文中，我们将简单地提及“代价函数E”，其中，理解这可以是对代价函数E_j的系统的引用，并且特别地包括检查器CC()函数和可能的其他项，诸如一个或多个正则化项R。

图3的方案中的目标模型TM包括第一生成器G1和解析转换路径CB，如下面将更详细描述的。在实施例中，目标模型TM包括两个模型G1、CB，这两个模型G1、CB与剩余的部件G2、DS一起被训练。一旦训练结束，目标模型TM然后可以稍后用作独立的机器学习模块来增强(增加)在部署期间处理的图像中的对比度。该部署期间的影像先前未被系统“看到”，因此特别地不是训练数据集的一部分。一旦训练结束，就可以丢弃训练系统的剩余机器部件，特别是鉴别器DS和另一生成器G2，因为这些不再被需要。训练可以是一次性的，或可以根据需要在新的训练数据出现时重复进行。在后一种情况下，其中，在多个阶段中设想训练，应当保留剩余的分量G1、G2以用于将来的训练运行。

生成类型的两个模型G1、G2与鉴别器型的模型DS区分开。生成类型模型从未知的分布生成样本，而鉴别器允许区分两个或更多个类别或类别。在如本文所设想的优选实施例中，鉴别器DS和第一生成器G一起形成(全局)训练系统TS的对抗耦合的子系统，将在下面更详细地描述。在实施例中，该ML训练子系统形成生成对抗网络(“GAN”)，由IanGoodfellow及其同事在其2014年的论文“Generative Adversarial Networks”中描述的ML网络的类型，该论文在arXiv:1406.2661v1下作为预印出版。

上述部件模型D、G1、G2中的一些或每一个可以具有与其相关联的它们自己的代价函数，并且这些代价函数与可选的正则化项一起形成代价函数E_j的系统。这些代价函数中的一些包括循环一致性检查器CC()。所有或一些代价函数可以组合，例如相加，以形成一个公共代价函数E。如图2所示的一般原理的情况，代价函数优选地是相互依赖的，因此一个部件代价函数中的代价变化可能影响由一些或所有其他部件代价函数返回的代价。由于一个部件的代价函数不仅涉及其自身模型的参数，而且涉及一些或所有其他模型的一些或更多个参数，因此产生相互依赖性。

更新器UT对参数的调整可以通过一次或多次迭代在训练中进行。可以立即处理调整以改善公共代价函数E，或轮流进行调整以交替地一次一个(或多个)地改善分量代价函数E_j中的每一个或一些。在任一种情况下，进行上述机器学习模型的初始或当前参数集的调整，以便改善(即降低)总代价。总代价是根据所涉及的各种分量代价函数或正则化项(如果有的话)的所有部分代价的相加，无论训练是轮流单独地进行还是一次进行。

现在更详细地转到训练系统TS的GAN类型子系统(G1，D)，第一生成器G1和鉴别器DS使它们各自的代价函数对抗地耦合。具体地，并且假设其他代价函数的参数保持恒定，则第一生成器G1和鉴别器DS的代价函数在博弈论意义上实施零和博弈。两个代价函数的总和可以被认为是恒定的。代价的降低之一是损害另一个，因此导致该模型的相关代价的增加。

更详细地，在GAN子系统中，第一生成器G1在本文中可以被称为IQ降低器，诸如对比度降低器CR。在实施例中，其操作如下。降低器CR将从训练数据集TD抽取的初始输入影像X作为输入。如上面在图2中所解释的，该输入图像可以是造影的C或非造影的NC。如果输入图像是造影的/高对比类型C，则其包括表示造影剂的(一个或多个)图像区域。降低器CR、G1作用于该图像以降低对比度，以便尝试从非造影类别NC复制样本。鉴别器DS分析降低器CR的输出，即对比度降低的版本I，并尝试将该图像I正确地分类为属于两个类别(对比C或非对比NC)中的任一个。因此，第一生成器GI/降低器CR和鉴别器DS的两个代价函数被配置并且相互依赖，使得鉴别器最大化其正确分类的概率，同时生成器试图“欺骗”鉴别器以产生导致鉴别器错误分类的输出。下面将在公式(1，6)中进一步解释GAN的代价函数在实施例中如何精确地公式化。

然后将GAN网络的对比度降低的输出I馈送到合成器部件或合成造影增强器或“提升器”CB，合成器部件或合成造影增强器或“提升器”CB优选地被布置为使用代数运算的分析处理路径，并且其参数在机器学习期间不被调整。替代地，该部件CB也可以被实现为其参数在学习期间被调整的机器学习部件。造影增强器CB使用对比度降低的估计I来计算对比度提升或造影增强图像的估计。该估计中的对比度至少局部地与初始输入图像/>一样高或更高。高对比度估计图像/>被馈送到第二生成器G2中以进行处理。在这方面，第二生成器G2可以用作恢复器。因此，该第二生成器G2在下文中将被称为“恢复器RS”。更具体地，造影增强估计/>由恢复器RS处理以尝试恢复原始输入图像/>也就是说，恢复器RS对造影增强图像进行操作为产生与由GAN处理的初始造影增强图像相似或相等的图像/>因此，恢复器被配置为反转由对比度提升器CB的操作引起的造影增强。训练系统的代价函数E特别基于以下两者来计算代价：i)由鉴别器DS产生的分类结果，以及ii)初始输入图像/>与由恢复器RS输出的图像/>的相似性。i)如果鉴别器正确地对降低器CR的输出进行分类，则代价函数E给予更低的部分代价，并且ii)恢复器RS的输出/>与初始输入影像/>之间的偏差越小，则部分代价更低。部分代价ii)由一致性检查器函数CC()进行度量。

同时，如果在训练期间抽取的初始输入影像X是低对比类型，则GAN网络应当理想地使该低对比度图像I基本上不受干扰。特别地，训练系统作为一个整体应当作用于来自非对比集合NC的样本，作为单位运算符，在输入图像传播通过训练系统TS时，理想地没有或仅有很小的改变。

又换句话说，训练系统TS通过基本上允许非造影的样本不受干扰地传播通过系统来近似统一运算符。然而，对于造影的输入图像，虽然训练系统仍然近似统一运算符，但这仅关于初始输入和输出。但是，对比输入图像当它在所描述的对比循环中传播通过系统TS时仍然经历变化，然后通过提升器CB进行对比度提升，随后通过恢复器RS进行另一对比度降低。关于对比图像和非对比图像的这两种不对称处理模式以及作为代价函数的上述一致性检查器函数CC允许鲁棒学习和局部聚焦的对比度增加。对比度仅在输入图像的对比图像部分处增加，而图像的剩余非对比部分基本上不受干扰(在预定义的误差边界内)。与倾向于产生人造外观图像的其他造影增强方案相比，局部聚焦或选择性造影增强允许产生具有更自然外观的造影增强图像，因为对比度在图像中的任何地方都被增强。这样的人造外观造影增强图像在临床实践中不被很好地接受。

将理解，训练系统TS实施关于代价函数的优化操作。然而，本文还设想了在代价函数方面的这种优化的双重公式，并且设想了代价函数的最大化和代价函数的最小化两者的实施例也是如此。在这种情况下，目的是增加整体代价而不是降低本文所述的代价。然而，在代价和统一性方面的目标函数的两种公式被设想为替代方案或组合，但是以下描述集中于代价函数的优化。

现在参考图4，其示出了图3的上述训练系统TS的基于GAN的实施方式的更多细节。

来自两个类别的对比C和非造影的NC的训练数据集的训练输入影像X可以通过来自集合TD的随机或确定性开关SW1来选择。

可选的第二开关SW2(确定性的或随机的)将对比度降低器CR的输出切换到鉴别器，以鉴别为真或假的标签l_g,l_f。

对比度提升器CB的分析转换路径可以如图所示的那样被实施为代数运算。更具体地，代数运算可以包括形成原始输入图像和由对比度降低器CR产生的对比度降低版本I的线性组合。再更具体地，主要源自造影剂的对比度是通过获取初始图像/>与对比度降低版本I之间的逐点差异来测量的。然后通过因子α线性地缩放该对比度测量，并且然后将缩放的对比度添加到初始对比图像/>以构建对比度提升的估计/>然后由恢复器RS处理对比度提升的估计/>以尝试恢复原始高对比度输入图像/>如输入到对比度降低器CR中的那样。如果原始输入图像是从非对比类型NC抽取的，则网络TS在图像通过各个网络级时使图像基本上不受干扰。在任一种情况下，配置代价函数(如将在下面更详细地示出的)以鼓励优化向模型参数收敛，该模型参数产生初始输入影像x的近似副本作为恢复器RS的最后阶段的输出，无论x是从造影的类别还是非造影的类别中抽取的。

为了清楚起见，以虚线和实线示出了图4左侧的不同处理路径。虚线表示GAN子系统中的过程流。图4的左侧部分中的实线表示GAN与提升器CB之间的过程流。

到目前为止所描述的主要集中在训练影像从训练数据集中抽取并被处理以适配构成训练系统的各种机器学习模型DS、G1、G2的参数时的训练阶段中的训练系统的训练方面和操作。

现在参考图5，其示出了目标模型TM的示意性框图，该目标模型TM包括第一生成器G1、CR(一旦完全训练)和分析对比度提升器级CB。一旦训练完成，就可以丢弃剩余的机器学习模型DS和第二生成器G2＝RS。具体地，在训练阶段结束时，对比度降低器CR的当前参数和对比度提升器CB的指令可以在给定的架构中被复制到存储器中。经训练的模型对比度降低器CR和对比度提升器一起形成造影增强器SIE的机器学习模块MLC的目标模型TM。机器学习模块MLC现在能够用于在部署或测试期间执行设想的图像造影增强操作。

在部署或测试期间的操作中，在现在训练的对比度降低器(现在用波浪号“～”标记)处接收输入影像X(不是来自在其上训练模型CR、DS、RS的训练数据集)，可选地具有背景数据CXB，如下面将详细解释的。然后通过经训练的对比度降低器/>的传播来联合处理输入影像X以及可能的背景数据CXB，以作为输出(未示出)出现。然后，该输出与初始输入图像一起由对比度提升器处理，以产生对比度或其他IQ增强的输出图像/>对比度提升器可以使用线性组合来构建IQ增强的输出图像/>线性组合可以包括提升器参数β，如上所述。

对比度提升器参数β(≥0)可以是固定的元参数，或可以由合适的用户界面UI(例如触摸屏、键盘或用于提供输入的任何其他用户界面)进行用户调整。IQ增强图像(诸如造影增强图像)可以根据需要由可视化器部件(未示出)进一步处理、存储或显示在显示设备DD上。

现在参考图6，其示出了可以用于生成器G1的人工神经网络类型(“NN”)架构。虽然以下描述将集中于第一生成器G1＝CR，但是相同的网络设置也可以用于第二生成器G2。通常，所设想的NN型架构是具有用于(通常是非图像)背景数据CXD的可选处理路径的多尺度卷积网络。背景数据处理设施在第二生成器G2中可能不需要，但是如果需要，仍然可以被实施。

现在更详细地转到所提出的目标模型CR和图6，这被配置为如果是造影类别的图像，则将训练输入影像X变换为降低的对比度的训练输出图像CR(x)。否则，CR(x)等于或近似等于x(模式)。因此，CR充当(准)恒等运算符。

优选地，训练输入图像的维度和大小被保留。也就是说，训练输入图像的维度并且优选地大小(数量或行和列等)对应于或等于在输出OUT处供应的训练输出图像I’的维度和大小。

然而，在训练输入影像X的处理期间，训练输入影像X首先由降低器G1CR的编码器部件ENC变换为更低维度表示χ。此外，大小也可以被减小。训练输入图像的该更低维度和/或更小大小的中心中间表示χ是输入影像X的缩减版本。该表示在其不形成模型CR的最终输出的意义上是“中间的”。它在它在处理期间在目标模型CR内形成的意义上是“中心的”。然后，中心表示χ由与编码器ENC串联布置的解码器DEC部件上采样，以便增加中心表示的维度/大小，使得最终训练输出图像CR(x)的维度和/或大小与训练输入影像X的维度和/或大小匹配。因此，该架构是自动编码器之一。

更低维度和/或更小大小的表示χ在本文中也可被称作“代码”。因此，编码器ENC对所接收的训练输入影像X进行“编码”，而解码器DEC能操作为从该代码χ恢复或“解码”具有与原始训练输入影像X相同的维度和/或大小的训练输出图像CR(x)。还存在编码器ENC生成比输入影像X的大小和/或温度更大的大小和/或更高的维度的代码以促进过完备表示的实施例。在该替代实施例中，编码器ENC可以以更大的维度和/或大小但以更高的稀疏度产生代码χ。特别地，正则化机制可以用于促进过完全和稀疏代码，诸如Freiman、Moti、RavindraManjeshwar和Liran Goshen在“Unsupervised abnormality detection through mixedstructure regularization(MSR)in deep sparse autoencoders”(发表于MedicalPhysics(vol.46(5),pp 2223-2231,(2019)))中所描述的。

如果如本文在优选实施例中确实设想的那样使用神经网络设置，则网络CR可以被实施为如上所述的自动编码器神经网络。

可选地，训练数据TD不仅可以包括图像数据，而且还可以包括与相应训练影像相关联的非图像背景数据CXD。背景数据CXD可以包括成像参数，即，采集和/或重建参数，视情况而定。如果背景数据在训练期间也被馈送到训练系统TS中，则这些与图像数据一起被优化。如下面将更全面地解释的，非图像背景数据CXD可能需要由整形器模块RSH整形为合适的“伪图像”，所述“伪图像”然后与它们相关联的相应训练影像一起处理。

如果设想神经网络设置，则对于对比度降低器CR，深度学习网络是优选的。在实施例中，这种深度学习网络包括在相应的输入层IN和输出层OL之间具有一个或多个(优选地至少两个)隐藏层的神经网络，如现在将继续参考图6更全面地解释的。

该框图提供了本文呈现为具有多尺度处理的卷积神经网络(CNN)设置中的自动编码器的目标模型CR的更多细节。

训练输入数据x在本文中被称为成像链SI的处理路径中被处理。可选地，如果训练还包括非图像背景训练数据CXD，则这在包括整形器RSH的单独的处理链SP中被处理。背景数据CXD可以由整形器RSH处理成与其相应的训练影像数据合并的伪图像。

然而，在更详细地解释图6中的目标模型CR的神经网络架构之前，首先引入一些人工神经网络概念以促进进一步的描述。

概括地说，目标模型CR的NN结构包括至少部分互连并布置在不同层L中的多个节点。层L以一个或多个序列布置。每个节点是能够假设值和/或可以基于其从更早层L的一个或多个节点接收的输入来产生输出的条目。

每个节点与特定函数相关联，该函数可以是简单的标量值(节点权重)，但也可以具有更复杂的线性或非线性函数。两个不同层中的节点之间的“连接”意味着较后层中的节点可以从更早层中的节点接收输入。如果在两个节点之间没有定义连接，则两个节点中的一个节点的输出不能被另一个节点接收作为输入。节点通过将其函数应用于输入来产生其输出。这可以被实施为所接收的输入与节点的(权重的)标量值的相乘。来自不同节点的多于一个输入可以由稍后层中的节点接收。不同的输入可以由合并函数g合并以产生合并值，并且接收节点将其自己的函数f应用于该合并值以产生节点的输出。例如，g可以将从先前节点接收的输入映射到乘积之和(例如，点积)中，并且然后可以将节点的函数f应用于所述乘积之和。

连接可以具有其自身的权重(“连接权重”)。该权重用于对沿着该连接行进的输出进行加权。合并函数可以将所有以及使用所述连接权重来生成针对给定节点的所接收的输入，以产生所述合并的点积输出。层之间的连接可以是固定的，或可以在处理期间变化。一些层可以是完全连接的，而其他层可以不是完全连接的。如果后一层中的每个节点与前一层的所有节点连接，则两层完全连接。在部分连接的层(诸如卷积层)中，并非稍后层中的所有节点都连接到更早层中的所有节点。

给定层的所有节点的输出在本文中可以被称为“层的输出”，并且从更早层接收的输入在本文中可以被称为“层的输入”。

每个层可以被表示为二维、三维或更高维的矩阵。如果维度为3或更高，则矩阵通常被称为张量。节点被实施为那些矩阵或张量中的条目。每个层具有尺寸(行i和列j)、深度k(其可以大于1)以及可能的其他维度。替代地，尺寸、深度和一个或多个另外的维度可以通过除了矩阵或张量之外的其他数据结构来实现。

神经网络结构中的目标模型CR包括一个或多个初始输入层IL和一个或多个最终输出层OL。初始输入层IL是分别通过用值填充节点或通过呈现最终结果以供进一步处理来接收初始训练影像I和可选地背景数据CXD的地方。

如图6所示，层L以深架构布置。该架构包括在(一个或多个)输出层OL和(一个或多个)输入层IL之间的一个或多个隐藏层。隐藏层的数量定义了网络M的深度。例如，在一些实施例中设想的单个隐藏层相当于“一”的深度。然而，优选地，使用至少两个隐藏层。优选地，存在偶数数量的隐藏层，诸如4、6或更多。从隐藏层处的更早层接收的输入将被称为中间输入，而由隐藏层产生的传递到后续隐藏层的输出将被称为中间输出。

通常，在模型CR的NN架构中，训练输入数据IM(诸如训练输入图像)在一个或多个输入层IL处被应用为初始输入。然后，当数据(图像IM或参数IP)顺序地通过层时，数据被顺序地变换。在每个层处，产生中间输出，该中间输出然后用作下一层等的中间输入，在每个时刻，相应的层通过向其应用操作来充当接收到的中间输入，直到最终结果出现在一个或多个输出层OL处。本文设想的NN架构优选地是前馈类型，其中，如上所述，数据从一层到另一层向前传播。替代地，本文还可以设想循环架构，其中，在处理期间重新访问一个或多个层。

不同类型的层L可以具有不同的功能，因此应用不同的操作。我们现在首先讨论不同类型的层，在本文中以不同的组合和子组合设想了一些或全部。

本文设想的NN层类型包括以下组合中的任何一个或多个或全部：如图3所示的全连接层FC、卷积层C、反卷积层D、上采样层(“↑”)、下采样层(“↓”)、激活层R。对于每个尺度层级s，层类型被分组为单元以形成各种操作单元。例如，去卷积或卷积层可以与上采样或下采样层和激活层组合。例如，图3中的表达式“C,↓,R”指示按顺序布置为卷积层C、紧接着下采样层↓并且然后紧接着激活层R、整流器单元R的一组层。尽管当表示为矩阵/张量和矩阵/张量乘法时将层分组成2、3或更多层的这种单元可以具有实施优点，但是分组不一定在所有实施例中都被设想。

现在更详细地转向激活层R，这可以使用任何非线性函数来实施，包括基于逻辑的sigmoid函数、arctan、softmax、整流器函数(x⁺＝max(x,0))等。实现整流器函数的层可以被称为整流线性单元(ReLU)。激活层R实施非线性函数，该非线性函数被应用于每个节点中的值以引入非线性，从而使得MLC能够捕获非线性模式。(中间)输入层的大小由整流层R保存。如果输入低于阈值，则层R还用作“重要性过滤器”以去除或减轻输入。来自节点的输入可以被完全取消，因此尽管存在连接，但是根本不转发到下一层。然后称该节点不“激发”，并且然后通过将“零”转发到下一层来记录该事件。给定配置中的非激发节点的比例可以表示为MLC的稀疏性。

另外，或代替RELU，在实施例中可以使用退出层。这些层还通过随机取消两层的节点之间的连接来引入非线性。

接下来转到完全连接的层FC，本文在MLC中设想的层不一定是完全连接的，但是在实施例中，网络MLC确实包括两个或更多个完全连接的层。全连接层在上面的图6中示出为FC。全连接层FC表示更传统的非卷积NN分量，其中，每个节点与其激活函数和权重相关联。每个节点的激活功能可以被组织成单独的操作层。FC的一层中的每个节点接收来自前一层中的所有节点的输入，每个节点根据连接的相应权重加权，如上面在一般介绍中所解释的。然后通过激活函数层R对该总输入求和并求值。将激活函数层应用于相应节点的权重以产生节点输出，该节点输出被传递到后续层中的节点上。使用FCS的优点是对更复杂的非线性模式进行建模。

卷积层C和去卷积层D(和/或上采样或下采样层)是非全连接层的示例。更具体地，这些层没有完全连接到更早层的所有节点。另外，当处理来自更早层的(中间)输入时，连接改变。

在卷积层C中，通过将卷积层与更早层的节点的子组进行卷积来获得中间输出的每个节点，因此仅涉及所有可能连接的子集。然后重新定义连接以挑选出用于下一个中间输出层的新节点组，以此类推，直到整个(中间)输入层已经被处理。

卷积层C可以被构造为具有优选地奇数编号的大小的矩阵，诸如具有中心位置的3×3或5×5。卷积/去卷积层还可以具有与其应当被应用到的中间输入的深度相对应的深度。

卷积/去卷积层的大小通常小于其作用于的中间输入的大小。就像在常规卷积中一样，卷积层可以在概念上被认为在其(中间)输入层上滑动，并且被选择性地应用于不同的节点组以产生经滤波的节点作为(中间)输出。卷积操作本身可以涉及形成卷积层的节点和/或其中，间输入层中的即时组内的所有节点之间的乘积和。经滤波的节点是卷积层的奇数大小矩阵的中心节点。

在卷积层的处理中移位到新的一组节点可以在概念上被理解为在(中间)输入上滑动具有步幅＝n(n是自然数)的卷积层C，以分别产生每个组节点的(中间)输出。步幅是CNN的设计参数，其指示每个移位的程度。例如，步幅n＝1意味着当重新定义其值将被卷积以获得下一(中间)输出节点的值的下一组节点的连接时，通过有效地将层C移位一个节点来获得新组。对于步幅n＝2，跳过一列或一行节点，因此对于n>2。应当理解，代替上述滑动窗口方法，要由卷积层处理的输入层可以替代地分解成部分(图块)，并且然后将这些中的每一个分别与卷积层进行卷积。

如果卷积层延伸超过其作用于其上的中间输入层的最外节点，则可以使用零填充。卷积/去卷积层可以如所描述的那样按顺序应用，或可以在整个中间输入层中并行应用。

去卷积层D实质上是由卷积层C引起的卷积的逆操作。虽然卷积层最初从像素映射到逐渐更高级的特征，但是去卷积操作将特征向下映射回到像素。在功能上，可以根据如在上面讨论的卷积层中使用的卷积运算来公式化去卷积，然后将其求和。参见例如M DZeiler等人的“Adaptive Deconvolutional Networks for Mid and High Level FeatureLearning”(2011International Conference on Computer Vision,Barcelona,Spain)中的第2节。去卷积层D也可以表示为具有适当深度的矩阵。

因此，卷积层和去卷积层通常保持其(中间)输入的大小。

下采样层与卷积/去卷积层C、D类似地结构化，但是它们不同地作用于其输入数据。下采样/上采样层(在本文中也简称为“下”或“上采样器”)可以是奇数或偶数大小的。下采样层将更早层中的一组节点聚集在一起以产生用于后续输出层的单个节点，从而减少(中间)输入层的空间(较少的行和/或列)。这可以通过形成平均值或通过从所覆盖的节点组中选取最大/最小值或任何其他指定值来完成。组的大小对应于下采样层的大小。

上采样器与下采样器准相反地起作用，并且优选地通过输入节点之间的插值在其输出处产生更大的节点集合。卷积/去卷积和上采样/下采样功能可以组合在同一层中。例如，卷积和下采样可以实现为步幅>1(诸如2或更大)的卷积。以类似的方式，去卷积可以与上采样功能组合。

另外的层类型可以包括批归一化层B。这些层实现前一层中的梯度的归一化。这种归一化防止或减少梯度饱和。在梯度饱和中，梯度幅度在迭代期间降低得太快。SergeyIoffe等人在“Batch Normalization:Accelerating Deep Network Training byReducing Internal Covariate Shift”(可在线获得，T arXiv:1502.03167v3[cs.LG]，2015年3月2日)中描述了类似的批量归一化层。

继续参考图6，我们现在将转向更详细地解释目标模型M的成像链SI中的图像数据的处理。通常，在图像链SI中，解码器级DEC中的上采样层的数量对应于编码器级ENC中的下采样层的数量。在一个实施例中，SI的编码器ENC包含三个下采样部件，并且解码器DEC包含三个上采样部件。这同样适用于卷积/反卷积层C、D。在图6中，层L被分组为单元。这种分组是概念性的而不是实施性的。图6中的分组的逻辑是每个单元引起下采样或上采样。

通常，在一些实施例中，编码器ENC中的最后一层L(不包括RELUS)是下采样器↓，以达到低维表示CR，并且然后在解码器部分DEC中接着是至少一个上采样器↑。编码器中的最后一层下游层ENC以具有条目的二维或更高维矩阵的形式提供中心表示CR。零或可忽略的条目越多，代码CR就越稀疏，并且这是优选的。更一般地，在编码器末端部分中存在至少一个下采样器，并且在解码器DEC部分中存在至少一个上采样器。这种“瓶颈结构”允许在模型CR的基于自动编码器的实施例中实施编码/解码原理。替代地，本文还设想了AE架构的过完全变体，其中，不一定存在空间下采样/上采样，而是其中，替代地使用基于稀疏性的正则化，其在下文中更进一步。在替代实施例中，没有这样的瓶颈，但是编码器ENC执行一个或多个上采样操作，并且然后解码器执行相应数量的下采样操作，以便实现过完备表示，其中，代码CR具有比训练输入图像I和训练输出图像I’更高的空间维度。具有过完备实施例的该自动编码器实施例优选地与通过正则化器函数的稀疏性实施一起使用，如下面将更详细地解释的。

另外，在编码器ENC区段中可以存在至少一个卷积层C，并且在解码器DEC区段中可以存在至少一个去卷积层D。编码器级ENC中的卷积和下采样的顺序优选地是首先卷积然后下采样，但是可能不一定在所有实施例中都如此。类似地，在解码器DEC区段中，首先进行去卷积，并且然后进行上采样，但是在实施例中该顺序也可以颠倒。

为了确保，处理区段ENC和DEC在概念上是相反的，但通常不会产生幺正(unitary)，因此ENC^-1≠DEC。

在实施例中，SI的编码器ENC包括三层单元。每个单元依次包括卷积算子，随后是另一个卷积、下采样和修正整流R。在替代实施例中，可以使用多于或少于三个这样的单元。

在实施例中，在解码器区段DEC中，卷积层C具有n x n x d(或更大)的大小，优选地，每个卷积层之后是整流线性单元(ReLU)。空间维度可以是任何合适的数字，诸如3、5等，而深度d是颜色通道(如果有的话)和经整形的背景参数CXD所需的通道数量的函数，如下面将关于整形器链SP更详细地解释的。可以使用两个或更多个卷积层C来改变比例。每个尺度的最后卷积可以用步幅2完成，以进行下采样/下缩放。在图3的实施例中，实现了三个特征尺度，因为在DEC和ENC中存在三对上/和下采样操作，但是在替代实施例中，还设想了更多的尺度或更少的尺度。

链SI的解码器DEC区段可以互补镜像编码器区段ENC的结构，并且对应地包括相同数量的单元，但是在每个单元中，每次出现的卷积由去卷积层代替，并且每次出现的下采样层由上采样层代替。解码器DEC中最后的下游层优选地确保最终输出也可以允许零节点。因为否则的话，由于前面的激活层R，所以一个被限制为大于零的值。该最后一层可以如图所示被实现为附加的卷积层C，以提供最终的解码结果，但是这可以是可选的。优选地，该最后的卷积具有1x1x1的大小。

在实施例中，在解码器DEC 3x3x3(或更大的滤波器)中，使用反卷积层D，优选地，每个反卷积层D之后是整流线性单元(ReLU)。可以使用两个或更多个去卷积层D来反转在编码器ENC中改变的尺度。每个尺度的最后一次去卷积是以用于上采样/上缩放的步幅2完成的。解码器区段DEC区段中的尺度数通常等于编码器ENC区段中的尺度数。

优选地但不一定在所有实施例中，尺度s中的每个层中的卷积滤波器的典型数量是(2³)^sc，其中，s＝1,2,3,…是尺度(输入尺度等于1)，并且c是网络控制参数，其中，我们发现通常在过完备设置中获得最佳性能，其中，c>1。

本文还设想了SI的两个区段DEC和ENC中的功能层的其他组合或其他布置，但是优选地，两个区段DEC、ENC中的上采样层和下采样层和/或卷积层和解卷积层的数量分别相同。

可选地，这些单元中的一些或每个可以包括布置在卷积层C或解卷积层D与激活层R之间的一个或多个批归一化器B。

现在我们更详细地转向可选的整形器RSH和背景数据处理链SP中的非图像背景CXD的处理，其中，例如可以处理成像参数、采集参数或患者描述数据(年龄、性别、患者历史等)。在实施例中，整形器链SP包括三个隐藏层。具体地，依次设想了全连接层FC，全连接层FC之后是整流层R，整流层R之后又是第二全连接层FC。可以替代地使用单个全连接层，或可以使用多于三个隐藏层，特别是多于2个FC。

在功能上，成像参数串SI被配置为充当成像参数的集合的整形器。换句话说，在链SP的输出OL处，基于在其输入层IL处接收到的背景日期CXD来形成“伪图像”。成像参数被重新格式化为具有等于输入图像IM的大小的矩阵/张量。然后，如箭头f_L(或“馈线”)所示的那样将该伪图像与在SI链的输入层IL处接收的初始图像数据IM合并。

卷积层具有特定深度并且可以作用于多维层。卷积深度可以对应于要处理的图像的通道的数量。例如，应用于彩色图像的卷积层可以具有深度3，以便服务于三个颜色通道RGB中的每一个。三个层中的每个层中的卷积运算对于每个信道可以是不同的。

在实施例中，本文提出了将整形图像参数(即，伪图像)作为附加通道包括到训练输入图像I中，并且将SI部分中的卷积/去卷积层配置为具有附加深度，该附加深度被配置为处理作为整形图像参数的伪图像。在这个意义上，成像参数和I中的实际图像数据被合并成多维复合图像，其中，成像参数作为附加维度或层被包括到实际图像数据中。这允许合成图像由多通道卷积/去卷积层处理，所述多通道卷积/去卷积层的深度对应于图像数据I的实际维度加上成像参数Ip的一个(或多个)维度。

在实施例中，整形器RSH将最后一个完全连接层FC的输出整形为一个或多个矩阵或体积或张量的表示，其在本文中可以被称为“成像参数体积”或“伪图像”。每个成像参数体积的尺寸等于输入图像I的尺寸。成像参数体积在(一个或多个)附加通道中被馈送到成像链IS。附加通道的数量对应于由整形器链SP产生的成像参数体积的数量。可以通过将最后完全连接的层FC的每个输出值填充到单独的成像参数体积来完成到图像串SI中的馈入，其中，在每种情况下，相应的整个体积由相同的输出值填充。还设想了将图像数据V与非图像数据CXD合并的其他实施例。在CNN的背景下使用上述多通道技术仅仅是一个实施例。然而，本文还设想了上述合并技术在更一般的NN或非NN背景下的类似应用。

应用于整形器链SP的输入层的成像参数可以在一个或多个维度上表示。成像参数优选地以合适的数字格式编码，或可以从类被如此映射到数值。成像参数被提供为网络CR的链SP中的输入层IL处的一个或多个向量或矩阵。矢量或矩阵或实际上张量的维度通常等于图像数据IM的维度。

如图6所示的类似架构也可以用于对比度提升器CB＝G2。

如前所述，NN不是本文的必要要求。例如，D可以被实施为支持向量机SVM、或k-最近邻方案，或被实施为任何其他分类器设置，诸如决策树或随机森林等。两个生成器可以被实施为不同的NN，或一个被实施为NN，而另一个被实施为非NN模型。本文设想的用于生成器G1、G2中的一个或两个的非NN型ML模型包括变分自动编码器、玻尔兹曼机、贝叶斯网络等。

现在参考图7，其示出了用于图像增强的计算机实施的方法的流程图。该方法基于如由上述训练系统TS中的任何一个基于至少两类图像训练数据集TD训练的机器学习模型G1＝CR。可以使用GAN设置，但这在本文中不是必需的。

在步骤S710处，将新图像(不是数据集TD的一部分)提供给预训练的机器学习模型。新图像X可以例如通过X射线成像装置采集。优选地，图像X已经在造影剂(先前施用于患者)存在于X射线成像装置的视场(FOV)中的同时被采集。

机器学习模型CR、CB处理所提供的图像X以在步骤S720处计算IQ增强的图像诸如造影增强图像/>输出造影增强图像/>造影增强图像/>可以被显示在显示设备上、被存储或以其他方式被处理。

特别地，增强图像中的对比度高于输入图像X中的对比度。在实施例中，预训练的机器学习模型包括两个部分，机器学习阶段和分析阶段。这些部件按顺序操作。机器学习阶段可以包括上述经训练的对比度降低器CR、G1，随后是分析级，诸如上述对比度提升器CB。对比度降低器CR、G1首先降低输入图像X的对比度以产生对比度降低的图像。基于初始图像和对比度降低的图像，估计输入图像中已经存在的水平处的对比度分布。这样估计的对比度然后由对比度提升器CB线性地或非线性地放大(“提升”)。在线性作用的实施例中，对比度提升器CB可以被配置为包括放大因子β，其被乘法地且逐点地应用于对比度估计。然后将如此放大的对比度添加到原始输入图像X以获得造影增强图像/>放大器或提升因子β可以是固定的，或可以是用户可调整的。

作为机器学习模型的操作的结果，造影增强图像中的增强对比度不是全局的，而是局部聚焦的。具体地，造影增强在已经表示造影剂的图像部分中更突出。因此，机器学习模型的步骤S720处的增强操作仅在表示造影的那些一个或多个区域中增加对比度。其他图像区域保持不变(在可应用的边缘内)，或如果对比度在这样的区域中仍然增强，则这样做的程度比在输入图像X的表示造影区域中更小。

上述局部聚焦造影增强至少部分地是由于已经训练机器学习部分CR的方式，其包括使用循环一致性检查器函数作为目标函数的一部分来控制训练。可以针对其他IQ度量(诸如伪影或噪声)获得类似的局部作用增强。

在X恰好是在FOV中不存在造影剂/介质时采集的输入图像的情况下，或如果量/浓度低于阈值，则输出图像基本上是输入图像X的副本。因此，处理步骤关于输入图像的IQ是不对称的。

现在参考图8，其示出了在如上所述的训练系统TS框架中训练目标机器学习模型CR、G1的计算机实施的方法的流程图。该框架包括多个ML模型。该方法的以下步骤涉及使用模型计算训练输出图像。基于训练输出图像，通过在一次或多次迭代中调整当前(或初始)参数集来在优化过程中改善目标函数。假设下面提到的ML模型具有初始或当前参数集。如果模型是神经网络型模型，则所述参数包括各个层中的网络节点的权重和/或在卷积型网络(CNN)的情况下的滤波器元件，例如如上面在图6处所讨论的。

在步骤S810处，从训练数据集中抽取初始训练图像。该集合包括至少两个类别的图像，如上所述的对比图像和非对比图像。

首先假设在步骤S810处接收/抽取造影图像这在步骤S820处由第一机器学习模型进行处理。第一机器学习模型产生第一训练输出图像I。通常，第一机器学习模型被配置为在训练期间作用于输入图像以产生与初始训练输入图像/>中的对比度相比具有降低的对比度的第一训练输出图像I。

在实施例中，第一机器学习(“ML”)模型是生成式类型的。它优选但可选地是GAN网络的一部分，GAN网络又形成如上所述的(全局)训练系统帧TS的一部分，包括多个ML模型。除了第一ML模型之外，GAN网络还包括另一机器学习模型，优选地是鉴别器类型的模型DS。

在可选步骤S830处，鉴别器模型DS处理第一训练输出图像I以计算表示将输出图像分类为高对比度或低对比度之一的分类尝试的分类结果。换句话说，S830处的分类步骤为使得以便鉴别训练输出图像是否是由第一ML模型(人工)生成的，或它是否是从低对比度类别的初始训练数据集抽取的。

在步骤S840处，再次增加对比度降低的训练输出图像I中的对比度，以产生第二训练输出图像在步骤S840处的该对比增加/对比度提升操作特别地基于对比度降低的图像I和在步骤S810处抽取的初始高对比度图像。可以在对比度增加/造影增强操作S840中使用缩放因子。特别地，使用一个或多个这样的缩放因子来线性地组合初始输入图像和第一输出图像。可以使用加权和。又更具体地，并且在实施例中，在步骤S840中通过从第一输出图像中减去初始输入图像来估计“基础对比度”。然后通过与缩放因子相乘来提升基础对比度，并且然后将缩放结果添加到初始输入图像。理想地，“基础对比度”表示在给定图像中存在/编码的原生对比度。基础对比度是当采集所述图像时由成像器IA的FOV中存在的造影剂的量/浓度引起直到噪声的图像信息(如在图像I中编码的)的部分。

然后在步骤S850使用第三ML模型再次对如此造影增强的图像进行对比度降低，以试图复制在步骤S810中抽取的初始对比图像。该第三ML模型优选地也是生成类型的，使得用于所提出的训练方法的训练系统的ML框架包括两个生成类型的ML模型。

在步骤S860处，调整上述两个或三个机器学习模型的参数，以便改善目标函数(或代价函数的系统)。目标函数的值取决于上面获得的训练输出图像，并且如果适用的话，取决于当前分类结果。再次，鉴别器模型DS是可选的。

对于在步骤S810中抽取的一个或多个初始训练影像，在一次或多次迭代中重复上述步骤S810-S860，以可选地获得新的分类结果和新的训练输出图像。代价函数取决于可选的新获得的分类结果和新的训练输出图像，并且还取决于可选的更早的分类结果和更早的训练输出图像。特别地，如果目标函数是代价函数，则针对所有先前或一个或多个训练输入图像考虑累积代价。训练输入图像可以一个接一个地被抽取和处理，或以来自初始训练数据集的子集被抽取和处理。子集有时被称为批次。

在特定次数的迭代之后并且在已经处理了多个这样的初始训练输入图像之后，训练结束。当满足停止条件时，训练结束。停止条件可以是用户发出的信号、预设次数的迭代、一旦已经处理了集合中的所有或特定部分的训练影像，或一旦已经检测到ML参数的足够的收敛程度。一旦训练结束，在后续步骤S870处使第一ML模型G1、CR作为用于造影增强系统的经训练的模型的一部分可用，然后可以在部署期间使用该经训练的模型造影增强系统。用于图像增强的经训练的ML模型还包括分析后处理阶段，包括固定的或用户可调节的对比度提升器参数，如用于在部署中实施步骤S840的。

为了使得用于分类操作S830和两个对比度降低S820、S850的上述ML部件可以按预期操作，在步骤S860处在一次或多次迭代中并且针对多个初始训练输入图像来调整其参数。可以使用基于梯度的方法，诸如用于NN类型ML模型的前向-后向传播技术，其中，训练控制器TC评估目标函数的梯度。如前所述，在本文中假设目标函数是代价函数，并且目标函数的改善是代价的降低。然而，这不以任何方式限制本文所描述的内容。操作原理也容易适用于代价函数，其中，改善是使统一性增加或最大化之一，而不是降低或最小化代价。

由代价函数返回的代价可选地基于i)在步骤S830处计算的分类结果，以及ii)在步骤S810处初始抽取的低/高对比度图像与在恢复步骤S850处产生的第二训练输出图像之间的偏差。如果所述偏差较小，则产生更低的代价。关于可选的鉴别器，如果可选的分类结果是正确的，则代价函数被配置为(如下面将更详细描述的那样)奖励更低的代价。同时，并且与关于正确分类结果的上述i)处的奖励代价对抗，如果第一ML模型设法产生对比度降低的第一输出图像以导致鉴别器的不正确分类结果，则代价函数(或代价函数的系统中的另一个代价函数)奖励更低的代价。这两个对抗目标已经显示在迭代期间朝向博弈理论平衡收敛。

一旦已经实现了所涉及的ML模型的参数的足够程度的收敛，系统TS就关于来自对比和非对比两个类别的训练影像不对称地表现。具体地，如果在步骤S810处抽取低对比度初始训练输入图像，则当图像通过上述处理步骤S810-S850时，这基本上保持不受干扰。特别地，在步骤S860输出的第二训练输出图像近似于初始输入图像的副本。对于经历对比度降低的两个循环(其间具有对比度提升)的高对比度图像，情况是不同的，并且仍然期望在步骤S860输出的第二训练输出图像是初始输入图像的近似副本。因此，训练系统保持低对比度输入图像，并且恢复(尽管循环中的所述对比度变化)高对比度输入图像。训练系统TS的这种不对称行为特别地通过上述循环恒常性检查器代价函数CC()来实施。

特别地，正是关于造影增强的输入图像的该上下循环允许系统TS更好地学习真实对比度差异，并且因此产生机器学习模型，所述机器学习模型适于仅造影增强图像的表示造影剂的存在的部分。

上述代价函数(或代价函数的系统)由训练控制器TC实施，如下面更详细地讨论的。训练控制器TC可以在软件或硬件中实施，或部分地在两者中实施。

如前所述，训练系统TS可以使用代价函数的系统。具体地，机器学习(即，ML参数的调整)由训练控制器TC基于代价函数来控制。代价函数是将待学习的参数映射到数字“代价”的标量函数。广义地，控制器TC调整ML模型中的一些或全部的参数，使得代价被降低。该操作在本文中被称为“改善代价函数”。如果根据作为目标函数的效用函数来公式化优化，则这通过增加作为ML参数调整的函数的效用来改善。

一些或每个代价函数本身可以包括子代价函数分量。子代价函数分量可以例如相加地组合，以产生相应的(超)代价函数。因此，子代价函数可以被理解为(超)代价函数的项。然而，每个子代价函数本身是代价函数，并且出于本目的，它等同于根据单个超代价函数来公式化单个优化(最小化)，或包括针对每个子代价函数的相应(部分)优化的优化系统。

在下文中，当我们提及“所述代价函数/代价函数”时，这可以是一起用于关于由训练系统中的ML模型的框架产生的输入和输出来实施训练系统的上述行为的代价函数的系统的一部分。因此，本文对“代价”函数的引用因此不排除在训练系统中另外使用的其他代价函数。通常，代价函数使用合适的距离/偏差度量L()，其对输入图像与输出图像之间的关系(例如，相似性)进行度量。如本文所使用的“输入”和“输出”不仅指代训练系统TS的初始输入(图像)和最终输出(图像)，而且指代在数据通过训练系统TS的各个阶段时产生的各种中间输入/输出图像，如上面在图2-8所描述的。代价函数的项在本文中可以被称为在本文中可选地设想的正则化项，以强制执行参数或从这样的参数可获得的结果的某些期望性质。

可以在(主要)关于对比度降低器(第一生成器G1)、可选的鉴别器DS和恢复器RS(第二生成器G2)操作的那些代价函数之间区分代价函数。然而，应当理解，如本文所使用的一些或所有代价函数是相互依赖的，并且通过如下所述的交替来同时或依次联合优化。代价函数不仅可以根据输出/输入图像来制定，而且可以根据(至少)三个ML模型的参数来制定。因此，一个ML模型的代价函数也可以指代其他(至少两个)ML模型的参数，从而引起所提到的相互依赖性。由训练控制器TC实施的用于训练系统TS的代价函数系统E在本文中可以表示为E＝(E_G1,E_DS E_G2)。在实施例中，所提出的优化包括最小化和最大化两者。

现在首先转到第一生成器G1的代价函数E_G1，这可选地包括表示第一生成器与鉴别器之间的对抗关系的GAN项。另外地或替代地，存在(另一)代价函数，一致性检查器函数CC()。将生成器的两个代价函数组合成一个(超)代价函数，该代价函数可以被正式地写为以下最小化任务：

其中，表示第一生成器/>的参数，并且(1)(以及以下公式)中的求和是对训练集TD的训练输入影像/>在公式(1)中并且在下面，λ_i’s是可以用于调整优化中每一项的贡献的可选控制参数。这些控制参数通常是元参数，并且在优化中不被调整，因此不被学习。一些或所有的λ_i’s可以是1。

现在更详细地首先转到循环一致性检查器代价函数CC()，这对对比图像和非对比图像进行操作来实施上述行为，以便训练系统全局地作用于来自两个类别的图像作为身份运算符。

循环一致性检查器代价函数可以被写为：

M是造影剂贡献度量，并且x是来自任一个类别C、NC的图像。“∝”是前面提到的对比度缩放/提升因子，正数，优选地>1。缩放因子可以如用户所提到的那样进行调整，但是在训练期间优选地保持固定。缩放因子可以在部署期间改变为除了用于训练的一个∝之外的值β，使得用户可以调整(例如，通过用户界面UI)对比度提升的强度。L(·)是上述相似性度量，例如L₁-范数或平方L₂-范数代价函数，或它们两者的总和，或加权和等。

通过最小化(2a)，对于恢复器的输出和初始输入x之间的小偏差，代价函数E导致更小的代价。以这种方式，训练系统在优化中调整其参数，以便近似来自两个类别的图像的身份运算符行为。

由于正则化器或代价函数项CC，代价函数E_G1因此针对来自任一图像类别(对比和非对比)的图像对恢复图像和初始输入影像X之间的偏差进行度量。小的偏差吸引小的代价。

(1)中的代价函数E_G1可以包括附加的、可选的代价(部分)函数或正则化项(被加数)。一些这样的附加项在下面的公式(3)-(5)中描述，并且表示对比度图M的先验知识和期望。正则化器(3)-(5)单独地或组合地还进一步改善了上述局部聚焦的IQ增强，诸如对比度增加。

例如，针对图M的正则化项可以被配置为促进具有低噪声和/或粗糙度的解，如由下式表示的：

其中，(·)⁺是整流函数(定义为其自变量的正部分)；N_map是基于针对一些或每个像素的片块中的标准偏差或方差图计算的的噪声图，其可以使用若干方法生成，例如，如申请人的US8938110或US1028282中所描述的；R(·)是粗糙度惩罚或正则化项(例如，总变差、Huber损失函数或任何其他合适的度量)。项(3)或任何其他这样的类似项促进造影剂图(诸如碘图)的分段平滑解，其表示图像中的造影剂/对比剂贡献或部分，如上面在公式(2b)处所解释的。

作为附加项包括在(1)中作为额外项的另一可选正则化项是：

该项促进了正(≥0)造影剂图，因为向图像添加对比度仅可以增加强度/HU(这对于图像伪影是真实的)。根据图的负贡献是不现实的，并且项(4)或类似项在优化期间正则化/鼓励计算正图。

作为附加项包括在(1)中作为额外项的另一可选正则化项是：

λ₅L(M(I_i)) (5)

该项促进了具有针对非对比输入图像I的低对比度图M的解决方案，因为这样的图像被假设为已经在FOV中不存在造影剂的情况下被采集。代价函数E可以包括所有项(3)-(5)，仅单个项，或公式(3)-(5)的任何(子)组合。

现在更详细地转向可选的GAN设置，这可能需要两个代价函数来将G1和D之间的对抗关系公式化为最小-最大优化。

项中的一个(针对第一生成器G1的一个项)在(1)中公式化为并且被配置为如果第一生成器G1没有成功产生导致鉴别器DS产生错误分类结果的输出，则导致更高的代价。具体地，第一生成器G1的代价函数的最小化任务是最小化由鉴别器针对假图像预测的反概率的对数。因此，生成器倾向于生成具有为假图像的低概率的样本。

另一个GAN代价函数E_DS(鉴别器DS的代价函数)可以被配置如下：

(6)是根据交叉熵公式化为二元分类。该代价函数被配置为在鉴别器没有正确地将图像I分类为由生成器输出的情况下产生更高的代价。因此，鉴别器目标函数(效用函数而不是代价函数)被配置为最大化真实图像的对数概率和虚假图像的反概率的对数的平均值。

还设想了除(1)、(6)之外的用于GAN设置的其他公式，例如最小二乘GAN代价函数或Wasserstein GAN代价函数，所有这些都在本文中在替代实施例中设想。虽然由于其鲁棒性而在本文中是优选的，但是GAN设置在本文中不是必需的。如果不使用GAN台阶，则既不需要代价函数公式(6)，也不需要代价函数公式(1)中的项。在这种情况下，第一生成器G1可以是任何生成器。在一些实施例中，可以适当地训练网络，以从(至少两个)图像类别C、NC中的训练数据集生成IQ降低的样本。

现在转向代价函数E_G2在恢复器RS网络(第二生成器G2)中，这可以根据循环一致性正则化器CC()被配置如下：

该代价函数(类似于(1))在作用于来自两个类别C、NC的图像时鼓励恢复器G2的恒等运算符行为。

关于目标函数(系统)E＝(E_G1,E_DS,E_G2)、公式(1)、(6)和(7)的这种优化可以使用替代的优化程序来完成。在该方案中，优化在依次执行两个或三个代价函数(即，网络和/>(以及可选地鉴别器DS，如果存在的话)的代价函数)中的每一个的优化步骤之间交替，同时将其他两个模型的参数视为常数。替代优化程序的一些或每个步骤可以是如前所述的基于梯度的。设想的方法包括随机梯度下降。参见例如H Robbins等人的“Astochastic approximation method”(publ.Ann Math Stat.22,pp 400-407(1951),或者DP Kingma等人的“ADAM”算法,“A method for stochastic optimization”,作为arXiv预印本发表在arXiv:1412.6980(2014))，在arXiv:1412.6980(2014)。在实施例中，本文还设想了其他优化算法，诸如共轭梯度、或Nelder-Mea、或甚至基于非梯度的。

虽然上述学习任务已经被公式化为由代价函数E控制的优化问题，但是如本文所使用的“优化”不一定意味着找到全局最优。对于大多数应用，局部最优可能是足够的。即使当所提出的算法收敛到局部(或全局)最优值时，在本文中也不一定要求这是实际实现的。在预定义误差界限内的近似对于大多数应用将是足够的。当ML参数没有明显变化时，可以更早地中止迭代。

此外，可以通过使用混合结构正则化或自动混合方法来进一步改善或提升训练，如例如MFreiman等人的“Unsupervised abnormality detection through mixedstructure regularization(MSR)in deep sparse autoencoders"(publ.MedicalPhysics vol 46(5),pp 2223-2231(2019))所描述的。特别地，可以如此混合非对比图像和对比图像。

除了产生造影增强图像之外，所提出的方法还可以提供额外的有用结果，包括虚拟非对比(VNC)图像。例如，网络的输出可以将造影剂图计算为

虽然已经针对图像造影增强描述了上述训练系统TS和造影增强器SIE(图5)，但是所描述的原理同样适用于其他类型的图像质量(IQ)增强，包括伪影和噪声降低。因此，以上内容可以容易地扩展到其他类型的IQ，训练集TD中的两个类别的图像现在是两个类别的高质量图像和低质量图像：例如，一方面对于高IQ样本具有低伪影贡献或低噪声的图像，并且另一方面对于低IQ样本具有高伪影贡献或高噪声的图像等。例如，对于与伪影相关的IQ，第一生成器G1在该实施例中操作为增加伪影贡献，而对于与噪声相关的IQ，第一生成器G1将增加噪声，等等。在除了对比度之外的这种IQ实施例中，循环一致性检查器CCQ的度量函数M被配置为例如通过每个像素邻域的标准偏差来对局部噪声进行度量。可以使用其他噪声滤波器。关于在伪影存在方面的IQ，度量函数M可以被配置为空间或频域中的滤波器，其具有被调谐到感兴趣的特定伪影图像图案(诸如杯状伪影、环、条纹等)的高响应。

如本文所使用的限定词“高”/“低”指示给定的IQ在给定的高IQ影像样本中比它在低IQ图像样本中更好。

本文公开的一个或多个特征可以被配置或实施为/有被编码在计算机可读介质内的电路、和/或其组合。电路可以包括分立和/或集成电路、专用集成电路(ASIC)、片上系统(SOC)、和其组合、机器、计算机系统、处理器和存储器、计算机程序。

在本发明的另一示例性实施例中，提供了计算机程序或计算机程序单元，其特征在于适合于在适当的系统上根据前述实施例中的一个执行所述方法的方法步骤。

因此，所述计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行或诱导上述方法的步骤的执行。此外，所述计算单元可以适于操作上述装置的部件。所述计算单元能够适于自动操作和/或运行用户的命令。所述计算机程序可以被加载到数据处理器的工作存储器中。因此，可以配备数据处理器来实施本发明的方法。

本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序，以及通过将现有程序更新转换为使用本发明的程序的计算机程序二者。

更进一步的，计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的过程。

根据本发明的又一示例性实施例，提出一种计算机可读介质，例如，CD-ROM，其中，所述计算机可读介质具有被存储在其上的计算机程序单元，前述章节描述了所述计算机程序单元。

计算机程序可以被存储和/或分布在合适的介质(特别地，但不一定，非瞬态介质)上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的通信系统。

然而，计算机程序也可以被呈现在网络上，如万维网，并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的其他示例性实施例，提供用于使计算机程序可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个的方法。

必须指出，已经参考不同的主题对本发明的实施例进行了描述。具体地，参考方法型权利要求对一些实施例进行了描述，而参考装置型的权利要求对其他实施例进行了描述。然而，除非另有说明，本领域技术人员将会从以上和以下的描述中推断出，除了属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本申请中公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解和实现对所公开的实施例的其他变型。

在权利要求书中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载的特定措施，但是这并不指示不能有效地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于训练用于医学影像的图像增强的目标机器学习模型的训练系统(TS)，包括：

输入接口(IN)，其用于接收从训练数据集抽取的训练输入图像所述训练数据集包括至少两种类型的训练影像：高图像质量IQ影像和低IQ影像，所述训练输入图像/>是所述高IQ类型的训练输入图像；

机器学习模型框架，其包括第一生成器网络(G1、CR)和第二生成器网络(G2、RS)，其中，所述目标机器学习模型(TM)包括所述第一生成器网络(G1、CR)；

所述第一生成式网络(G1)处理所述高IQ类型的所述训练输入图像以产生具有降低的IQ的训练输出图像(I)；

所述目标机器学习模型(TM)还基于所述训练输出图像(I)和所述高IQ类型的所述训练输入图像来产生第二训练输出图像/>其中，所述第二生成器网络(G2)能操作为根据所述第二训练输出图像/>估计对所述高IQ类型的所述训练输入图像的估计；以及

训练控制器(TC)，其能操作为至少基于对所述高IQ类型的所述训练输入图像的估计与所述高IQ类型的所述训练输入图像之间的偏差来调整所述机器学习模型框架的至少一个参数。

2.根据权利要求1所述的系统，其中，

所述机器学习模型框架包括生成式对抗型的子网络，所述子网络包括第一生成器网络(G1、CR)和鉴别器(DS)网络；

其中，所述鉴别器(D)尝试在从所述集合中抽取的所述低IQ类型的训练输入与所述训练输出图像之间进行鉴别，以产生鉴别结果(l_f,l_g)；

并且其中，所述训练控制器(TC)能操作为还基于所述鉴别结果(l_f,l_g)来调整所述机器学习模型框架的参数。

3.根据前述权利要求中的任一项所述的系统，被配置为处理所述训练输入影像以及背景数据，所述背景数据描述以下中的任何一项或多项：i)至少一个图像采集参数，ii)至少一个重建参数，iii)患者数据。

4.根据前述权利要求中的任一项所述的系统，其中，所述第一生成器网络(G1)和/或所述第二生成器网络(G2)的架构是卷积类型的。

5.根据前述权利要求中的任一项所述的系统，其中，所述第一生成器网络(G1)和/或所述第二生成器网络(G2)的架构是多尺度类型的。

6.根据前述权利要求中的任一项所述的系统，其中，所述IQ包括以下中的任何一个：i)对比度水平、ii)伪影水平和iii)噪声水平。

7.根据前述权利要求中的任一项所述的系统，其中，所述高IQ影像是当存在造影剂时由成像装置记录的影像，并且所述低IQ影像是当存在更少量的所述造影剂或更少量的一造影剂时由所述成像装置或一成像装置记录的影像。

8.根据前述权利要求中的任一项所述的系统，其中，所述集合中的所述高IQ/低IQ影像是X射线影像或MRI影像。

9.根据权利要求8所述的系统，其中，所述高IQ/低IQ影像是计算机断层摄影CT影像。

10.一种存储有通过前述权利要求中的任一项所述的训练系统(TS)训练的目标网络(G1、CR)的存储介质。

11.一种成像装置(AR)，包括：

根据权利要求10所述的目标网络(G1、CR)，其能操作为处理从图像存储设备接收或由成像装置(IA)供应的输入图像，以提供经处理的图像；以及

显示设备(DD)，其用于显示所述经处理的图像。

12.一种训练目标机器学习模型的方法，包括：

接收(S810)从训练数据集合抽取的训练输入图像所述训练数据集包括至少两种类型的训练影像：高图像质量IQ影像和低IQ影像，所述训练输入图像/>是所述高IQ类型的训练输入图像；

由生成式网络(G1)处理(S820)所述高IQ类型的所述训练输入图像以产生具有降低的IQ的训练输出图像(I)，其中，所述生成网络(G1)是机器学习模型框架的一部分，所述机器学习模型框架还包括第二生成器网络(G2、RS)，其中，所述目标机器学习模型(TM)包括所述第一生成器网络(G1、CR)；

由所述目标机器学习模型(TM)进一步处理(S840)所述训练输出图像(I)和所述高IQ类型的所述训练输入图像以产生第二输出图像/>

由所述第二生成器网络(G2)根据所述第二输出图像估计(S850)对所述高IQ类型的所述训练输入图像的估计；并且

由训练控制器(TC)至少基于对所述高IQ类型的所述训练输入图像的所述估计与所述高IQ类型的所述训练输入图像之间的偏差来调整(S860)所述机器学习模型框架的至少一个参数。

13.一种图像处理方法，包括：

由根据权利要求10所述的目标网络(G1、CR)处理(S720)从图像存储设备接收或由成像装置(IA)供应的输入图像，以提供经处理的图像。

14.一种计算机程序单元，所述计算机程序单元在由至少一个处理单元(PU)运行时适于使所述处理单元(PU)执行根据权利要求12-13中的任一项所述的方法。

15.一种存储有根据权利要求14所述的程序单元的计算机可读介质。