CN116917945A

CN116917945A - 用于对比度增强机器学习系统的训练数据合成器

Info

Publication number: CN116917945A
Application number: CN202280015126.9A
Authority: CN
Inventors: L·戈申
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2021-02-15
Filing date: 2022-02-08
Publication date: 2023-10-20
Also published as: EP4292050A1; WO2022171597A1; JP2024507767A; US20240312086A1; EP4044120A1

Abstract

一种系统(DSS)和相关方法，用于基于包括两种类型的训练影像(高图像质量IQ影像和低IQ影像)的集合(TD)来合成训练数据或机器学习。所述系统包括数据合成器(DSY)，所述数据合成器被配置为配准至少两种类型的影像，并且i)将来自高IQ影像的图像信息传递到经配准的低IQ影像以获得合成的高IQ影像，或ii)将来自低IQ影像的图像信息传递到经配准的高IQ影像以获得合成的低IQ影像。合成数据可以用于改进用于IQ增强的机器学习模型的训练。

Description

用于对比度增强机器学习系统的训练数据合成器

技术领域

本发明涉及一种用于合成用于机器学习的训练数据的系统、一种用于训练机器学习模型的训练系统、一种用于图像增强的系统、一种合成用于机器学习的训练数据的方法、一种用于训练机器学习模型的方法、一种用于图像增强的方法、一种成像布置装置、一种计算机程序单元以及一种计算机可读介质。

背景技术

造影剂用于越来越多的诊断和介入临床流程中。在诊断成像研究期间(例如在CT(计算机断层摄影)、血管造影术、荧光镜检查、MRI(磁共振成像)和许多其他成像模态中)或在某些治疗流程(诸如PTCA(经皮腔内冠状动脉成形术)等)期间，向患者血管内施用造影剂(“CM”或“对比剂”)以改进组织可视化。

此外，根据成像流程的指示，造影剂可以口服和/或经由其他自然孔口施用。每年进行数千万次使用(例如碘化)造影剂的放射学检查。例如，据估计，2010年期间美国总CT研究中有44％使用碘化CM，印度有35％使用碘化CM，日本有74％使用碘化CM，并且中国有10-15％使用碘化CM。

在对比度增强CT中，使用非离子碘作为造影剂可引起急性过敏样反应。这些反应的范围从诸如荨麻疹和瘙痒的轻度症状到更严重的反应，诸如心肺骤停。

基于碘的药剂的最严重副作用之一是造影剂诱导的肾病。Nash等人在“Hospital-acquired renal insufficiency”(Am.J.Kidney Dis(Official Journal of theNational Kidney Foundation)，第39卷，第930-936页(2002))中报道了造影剂诱导的肾病是住院患者急性肾衰竭的第三大常见原因，但是并非所有这些病例都可能必然与CM施用有关。在任何情况下，在CM施用之前监测血清肌酸酐通常在采集对比度增强CT数据之前进行。

因此，从患者健康的角度来看，就副作用而言，减少造影剂的量将是有益的。然而，虽然意识到这些健康风险，但是对比度增强成像(例如在CT中)是现代诊断成像中最有价值的日常流程之一。在图像数据采集之前，施用非离子碘造影剂或其他造影剂。这种施用之后是对比度增强CT数据采集的手动或团注追踪器触发的开始。

与未增强(天然)数据相比，所得到的增强断层摄影切片显著改进了诊断质量。因为在未增强CT数据中，实体器官在40-60HU的范围内具有相似的密度，所以异常的区分是困难的。对于对比度增强CT，不同组织的密度可以升高到100HU以上。例如，关于肿瘤和病变的检测，可以观察到图像对比度的这种改进。对于其他诊断指示，如CT血管造影或CT灌注研究，对比度增强也是必要的。

除了减少造影剂利用的上述临床益处之外，还存在在成本方面减少造影剂利用的显著经济益处。CM成本在某些地区可能很高(例如，日本$120/100ml对比北美$20)。此外，目前常用的是非离子和低渗造影剂，其在特殊效果方面患者耐受性更好，但是甚至更昂贵。

由于对患者施用的造影剂的量是令人关注的，因此开发了一组技术使能器来减少造影剂使用：动力注射器的使用、高速率追踪盐水、更快的旋转时间、更宽的覆盖区域、团注追踪软件、以及低kVp协议和能谱/常规增强算法的使用。然而，这些使能器中的一些是昂贵的、复杂的、容易出错的或难以使用的。

存在可以在计算上增强影像的图像质量(“IQ”)(诸如对比度)的机器学习(“ML”)系统。申请人的WO2020234051“DEEP VIRTUAL CONTRAST”是这样的ML系统的一个示例。ML基于训练数据。这样的ML系统的性能可以取决于已经用于训练这样的系统的训练数据的性质。

机器学习模型(特别是诸如具有大量参数的人工神经网络的足够复杂的机器学习模型)的训练可能导致过度拟合。当机器学习模型简单地“记忆”所提供的训练数据而不是很好地推广到新示例时，发生过度拟合。可以通过提供更多的训练数据来克服过度拟合。然而，组装足够大的一组标记的临床训练病例(尤其是在图像中表示的设备/仪器的情况下)根本不可行，或是费力且昂贵的。

某些机器学习模型(特别是具有所谓的深度架构的那些机器学习模型)的较差泛化的另一个原因是给定训练数据集合中可能存在的可能偏差。例如，包括一组X射线图像的训练数据可能相对于某些性质是偏置的。作为这种情况的非预期副作用，机器学习模型可能错误地学习来识别影像中的那些性质，而不是学习想要的内容，例如学习增强图像质量(“IQ”)。因此，训练数据中的偏差可能由于伪相关模型的构建而导致显著的性能下降。

发明内容

因此，可能需要改进机器学习系统(特别是ML系统)的性能以用于IQ增强(特别是图像对比度)。

本发明的目的通过独立权利要求的主题来解决，其中其他实施例被并入从属权利要求。应当注意，本发明的以下描述的方面同样适合于用于训练机器学习模型的训练系统、用于图像增强的系统、合成用于机器学习的训练数据的方法、训练机器学习模型的方法、图像增强的方法、成像布置装置、计算机程序单元以及计算机可读介质。

根据本发明的第一方面，提供了一种用于基于包括至少两种类型的优选地医学训练影像(包括高图像质量(IQ)影像和低IQ影像)的集合来合成用于机器学习的训练数据的系统，所述系统包括数据合成器，所述数据合成器被配置为：

-配准至少两种类型的影像；

-在传递操作中，i)将来自高IQ影像的图像信息传递到经配准的低IQ影像以获得合成的高IQ影像，或ii)将来自低IQ影像的图像信息传递到经配准的高IQ影像以获得合成的低IQ影像。该系统可以提供用于训练机器学习模型的合成的高和/或低IQ影像或使得用于训练机器学习模型的合成的高和/或低IQ影像可访问。提供或使得可访问可以包括通过有线或无线连接将合成影像转发到被配置为训练机器学习模型的训练系统。提供或使得可访问可以包括将合成影像存储在训练系统可访问的数据存储器中。

在实施例中，IQ包括以下各项中的任一项：i)图像对比度水平、ii)图像伪影水平和iii)图像噪声水平。因此，在实施例中，高IQ和低IQ的两个图像类别可以分别涉及具有高对比度和低对比度的图像类别，或具有低伪影贡献和高伪影贡献的图像，或具有低噪声贡献和高噪声贡献的图像。也可以为其他图像质量度量定义高IQ和低IQ的这两个类别。IQ可以通过对图像(像素/体素)值或其邻域进行操作的客观测量来建立，诸如像素/体素邻域中的信噪比、阈值化、方差/标准偏差计算，或其他统计量的计算或其他计算模型的使用。类别(高IQ和低IQ)可以替代地或另外地由人类专家定义(例如，在伪影相关IQ的情况下)。通常，IQ可以涉及图像采集或重建中涉及的信号处理的方面或特性。IQ可以涉及手头的医学任务。来自高IQ类别的图像样本具有比来自低IQ类别的样本更高的IQ。IQ可以是局部的或全局的。来自高IQ类别的图像样本的IQ度量的平均值可以高于来自低IQ类别的图像样本的IQ度量的平均值。就对比度而言，作为本文主要设想的IQ的一个示例，在高对比度图像(“对比图像(contrasted image)”)中，与当采集低对比度图像(“非对比图像”)时存在于FOV中的造影剂的量/浓度相比，当采集图像时存在于成像器的视场中的造影剂的量/浓度可能已经更高。

在实施例中，图像信息传递操作可以基于或可以包括图像值的阈值化(在像素或体素或其集合处)。可以仅对通过阈值化的图像像素/体素进行传递操作。传递操作可以包括诸如通过加法、线性组合或其他算术运算来组合图像值。传递操作可以包括图像值的替换。

在实施例中，所述IQ是对比度或图像伪影水平之一，并且其中，所述数据合成器(DSY)还被配置为：

-对所述经配准的影像进行去噪以去除噪声分量；并且

-将噪声分量添加到合成的低IQ影像或高IQ影像。

这些操作允许降低噪声贡献损害图像信息传递的风险。

所提出的训练数据合成系统和方法提供了数据驱动的正则化，以改进ML训练方案的性能，并且因此改进训练模型的性能。可以去除或减轻给定的两个IQ类别训练数据集合中的现有偏差。已经发现所提出的数据合成系统和方法特别有效地用于训练用于IQ增强任务(诸如对比度增强)的机器模型。仍然特别地，已经发现所提出的系统和方法对于生成类型的ML模型的良好有效性，特别是仍然当这样的模型在如本文在实施例中设想的对抗框架中使用时。特别地，所提出的数据合成系统和方法从原始训练数据集合生成自然对，即合成的高或低质量图像及其原生的低或高IQ对应物。

因此，所提出的数据合成自然地生成训练数据对，并且因此消除了收集一大组可靠的现有配对训练数据的需要，这是不可行的或非常具有挑战性的、乏味的、耗时的并且因此昂贵的任务。这对于对比度增强ML尤其是真实的，其中，不能用两种不同量的造影剂并且在没有任何患者运动的情况下扫描患者两次。

在实施例中，所述合成的高IQ影像或所述合成的低IQ影像被添加到所述训练数据集合以获得放大的训练数据集合。具体地，合成的低IQ影像放大了初始/原始训练数据集合中的低IQ图像的数量，并且合成的高IQ影像放大了初始/原始训练数据集合中的高IQ图像的数量。在本文中获得的合成的影像不是由成像装置采集的采集影像，而是基于训练影像的初始集合“人工”生成，因此合成。集合中的一些或所有影像可以是所采集的影像(在投影或图像域中)。

在实施例中，要合成的影像的比例是可通过用户界面调节的。

在本发明的另一方面中，提供了一种训练系统，用于基于由训练数据合成系统获得的所述合成的高IQ影像或低IQ影像来训练用于医学影像的图像增强的目标机器学习模型。

在实施例中，所述机器学习模型用于将合成的高IQ影像处理成训练输出影像，并且所述系统包括训练控制器，所述训练控制器可操作为至少基于所述训练输出影像与低IQ影像之间的偏差来调节所述机器学习模型的参数。

在实施例中，所述目标模型是人工神经网络类型的。

在实施例中，所述模型是生成类型的。

在实施例中，所述目标模型的架构是卷积类型的。

在实施例中，所述模型的架构是多尺度类型的。

在实施例中，所述集合中的所述高IQ/低IQ影像是X射线影像或MRI影像。

在实施例中，所述高IQ/低IQ影像是计算机断层摄影(CT)影像。

更具体地，在实施例中，提供了一种用于训练用于医学影像的图像增强的目标机器学习模型的多模型训练系统。所述系统包括：

输入接口，其用于接收从训练数据集合中绘制的训练输入图像，所述训练数据集合包括至少两种类型的训练影像(高图像质量(IQ)影像和低IQ影像)，所述训练输入图像是高IQ类型的图像；

机器学习模型框架，其包括第一生成器网络和第二生成器网络，其中，所述目标机器学习模型包括所述第一生成器网络；

所述生成网络处理高IQ类型的训练输入图像以产生具有降低的IQ的训练输出图像；

所述目标机器学习模型基于所述训练输出图像和高IQ类型的所述训练输入图像来产生第二输出图像，其中，所述第二生成器网络可操作为根据所述第二输出图像估计高IQ类型的所述训练输入图像的估计；以及

训练控制器，其可操作为至少基于高IQ类型的训练输入图像的估计与高IQ类型的所述训练输入图像之间的偏差来调节机器学习模型框架的参数。

在该训练系统的实施例中，机器学习模型框架包括生成对抗类型的子网络，该子网络包括第一生成器网络和鉴别器网络，

其中，鉴别器尝试在根据集合绘制的低IQ类型的训练输入与训练输出图像之间进行鉴别，以产生鉴别结果；

并且其中，所述训练控制器可操作为还基于所述辨别结果来调节所述机器学习模型框架的参数。

如上面所使用的机器学习框架通常是包括多个ML模型或子ML系统的计算系统，这些ML模型或子ML系统在其相应的(一个或多个)输入和(一个或多个)输出中的至少一个方面至少部分地互连。在实施例中，第一和/或第二生成器和/或鉴别器是人工神经网络类型的。

仍然更具体地，在实施例中，设想了一种用于训练用于医学影像的图像对比度增强的目标机器学习模型的训练系统，包括：

输入接口，其用于接收根据训练数据集合绘制的训练输入图像，所述训练数据集合包括至少两种类型的训练影像(高对比度影像和低对比度影像)，所述训练输入图像是高对比度类型的图像；

人工神经网络模型框架，其包括具有第一生成器网络和鉴别器网络的生成对抗类型的网络，并且所述框架还包括第二生成器网络，其中，所述目标机器学习模型包括所述第一生成器网络；

生成网络，其用于处理高对比度类型的训练输入图像以产生具有降低的对比度的训练输出图像；

并且所述鉴别器试图在根据所述集合绘制的低对比度类型的训练输入和训练输出图像之间进行鉴别，以产生鉴别结果；

所述目标机器学习模型基于所述训练输出图像和所述高对比度类型的所述训练输入图像来产生第二输出图像，其中，所述第二生成器网络可操作为根据所述第二输出图像估计所述高对比度类型的所述训练输入图像的估计；以及

训练控制器，其可操作为至少基于i)辨别结果和ii)高对比度类型的训练输入图像的估计与所述高对比度类型的所述训练输入图像之间的偏差来调节人工神经网络模型框架的参数。

在任何上述训练系统中，训练输入图像可以是由数据合成系统获得的合成图像，特别是合成的高IO图像，诸如对比图像。在这种情况下，所述训练控制器可操作为至少基于所述训练输出影像与所述低IQ影像之间的偏差来调节所述机器学习模型的参数。训练控制器可以基于用于调节参数的目标函数。在这样的实施例中，目标函数可以包括基于包括相应合成图像的这样的自然对的一个或多个(专用)项。该项可以对第一生成器输出与作为输入提供的对应合成图像之间的偏差进行测量。

由于所提出的训练方案，因此较少量的造影剂可能足以仍然获得足够的有用对比度的图像，从而节省患者的成本和不适。可以在与之前(当使用大量CM时)相同的临床/放射学效果的情况下实现CM使用的显著减少，而不改变常规CT扫描参数并且不损害CT研究的临床接受性，例如良好的血管增强和良好的器官增强。所提出的系统和方法通过增强研究图像来补偿对比度体积减小。

另外，所提出的方法和系统可以用作通用图像增强工具，其不限于降低的对比度协议。

特别地，所提出的方法和利用所提出的系统训练的目标模型被配置为仅提升对比度，或主要增强给定图像中的造影剂贡献，从而生成具有更“经典”外观(即没有人工的、不自然的外观)的图像。不表示造影剂的图像部分在很大程度上被复制而没有变化。当与用于训练的合成数据一起使用时，仍然可以改进该造影剂聚焦的增强性质。

此外，该方法和系统可以通过增强病变和异常的显著性来常规地改进和促进诊断。

此外，在错过的注射研究中，该方法和系统可以通过挽救这样的研究来实现剂量减少，并且消除重复扫描的需要。

除了上述临床益处之外，还存在造影剂利用减少的显著经济益处。注意，在某些地区，直接成本可能很高(例如，在日本120$/100ml)，并且间接成本(例如，延长的住院治疗、治疗和重复扫描)可能非常高。

该方法具有基于无监督学习方法的吸引人的优点。这种方法消除了准备大的可靠配对训练数据的需要，这是不可行的或非常具有挑战性的、乏味的、耗时的且因此昂贵的练习。特别地，所提出的训练系统不需要对比图像和非对比图像的配对。这对于基于CM的成像的当前目的是特别有益的，因为在这样的协议中，给定患者通常不能用两种不同量的造影剂并且在没有任何患者运动的情况下被扫描两次。在实施例中，第一和/或第二生成器是人工神经网络类型的。

这样的训练系统和方法不需要配对的训练数据。然而，当与根据数据合成器系统合成的训练数据一起使用时，并且如本文所提出的，如此获得的训练数据是自然配对的，并且该配对可以使训练更快且仍然更鲁棒。

具体地，在对比度增强的背景下，数据合成方法和系统将来自现有双对比度类别训练集的以下各项作为输入集：i)对比度增强图像，以及ii)非对比图像。数据合成的输出是合成的对比度增强图像，其对应于集合中的非对比图像。因此，在合成的对比图像与其来自原始集合的非对比度对应物之间存在自然的一对一配对。然后可以使用自然配对的图像来训练ML框架，特别是对比度降低第一生成器G1，或不一定是这种框架的部分的任何这种生成器网络。合成的对比图像用作要训练的网络G1的训练输入，并且来自所述对的原生非对比对应图像被用作自然目标。这可以被写为->I。即，网络G1被训练为从合成的对比图像生成具有低/无对比度的图像。是合成的对比图像，并且I是其低/非对比对应物。一旦被训练，ML网络G1可以与分析路径组合以在部署期间计算对比度增强图像。这可以被写为其中，α是对比度提升因子。X是在部署期间遇到的任何图像，并且可以是当FOV中根本不存在造影剂或浓度低时采集的图像。是对比提升图像。以上内容也适用于其他IQ增强，诸如图像伪影或图像噪声的减少/去除。网络G1不一定是上述多ML模型框架的部分，但是可以被训练为独立的ML模型，优选地但不一定是生成类型的。

在又一方面中，提供了一种图像增强系统，所述图像增强系统用于接收输入图像并且基于由所述训练系统训练的机器学习模型或基于如由所述数据合成系统获得的合成的低IQ影像或高IQ影像来将所述输入图像处理成增强图像。

增强图像可以用于使用差异操作来导出VNC图像或造影剂/对比剂图，诸如碘图。

在又一方面中，提供了一种成像装置，其包括成像装置和所述图像增强系统。所述成像装置用于提供输入图像。

在实施例中，图像增强系统或成像装置包括用于显示增强图像的显示设备。

在又一方面中，提供了一种用于基于包括至少两种类型的训练影像(高IQ影像和低IQ影像)的集合来合成用于机器学习的训练数据的方法，包括：

-配准所述至少两种类型的影像；

-i)将来自高IQ影像的图像信息传递到经配准的低IQ影像以获得合成的高IQ影像，或ii)将来自低IQ影像的图像信息传递到经配准的高IQ影像以获得合成的低IQ影像。

所述方法还可以包括提供合成的高IQ影像和/或低IQ影像以用于训练机器学习模型的步骤。

在实施例中，IQ是对比度或伪影水平之一，并且所述方法还包括：

-对经配准的影像进行去噪以去除噪声分量；并且

-将噪声分量添加到合成的低IQ影像或高IQ影像。

在仍然另一方面中，提供了一种基于所述合成的高IQ影像或低IQ影像来训练用于医学影像的图像增强的目标机器学习模型的方法。如本文所使用的“去噪”包括降噪。

在另一方面中，提供了一种图像增强方法，包括：接收输入图像，并且基于由所述训练方法训练的机器学习模型或基于由合成训练数据的方法获得的合成的高IQ影像或低IQ影像将所述输入图像处理成增强图像。

在另一方面中，提供了一种计算机程序单元，所述计算机程序单元在由至少一个处理单元运行时适于使所述处理单元执行上述方法中的任一种。

在另一方面中，提供了一种计算机可读介质，其上存储有所述程序单元或其中存储有所述合成的低IQ影像或高IQ影像。

通常，“机器学习部件或模块”是实施机器学习(“ML”)算法的计算机化布置装置。该算法被配置为执行任务。ML算法可以基于其参数由ML算法在训练阶段基于训练数据来调节的ML模型。在ML算法中，任务性能通常随时间可测量地改进，在训练中使用更多(新的和充分变化的)训练数据。当向训练模型馈送测试数据并评价输出时，可以通过客观测试来对性能进行测量。可以通过要求针对给定测试数据实现一定的错误率来定义性能。参见T.M.Mitchell的“Machine Learning”(第2页，第1.1部分,McGraw-Hill,1997)。本文主要感兴趣的任务是自动增加图像对比度，或去除/减少图像伪影/噪声，或改进其他IQ(图像质量)度量。

附图说明

现在将参考以下附图描述本发明的示例性实施例，以下附图未按比例绘制，其中：

图1示出了包括成像装置和图像处理系统的成像布置装置的框图；

图2示出了用于训练可以用于实施IQ增强器的机器学习部件的训练系统的操作原理的流程图；

图3示出了包括两个生成器网络和鉴别器网络的训练系统的框图；

图4示出了图3的训练系统的实施例；

图5示出了由图2-4中的任一个的训练系统提供的经训练的机器学习模型的示意性框图；

图6示出了卷积类型的人工神经网络模型；

图7示出了用于IQ增强的计算机实施的方法的流程图；

图8示出了训练机器学习模型的计算机实施的方法的流程图；并且

图9示出了用于改进的机器学习的训练数据合成的计算机实施的方法的流程图。

具体实施方式

参考图1，示出了计算机化成像布置装置AR。在实施例中，布置装置AR包括成像装置IA和包括图像增强处理器IP的用于图像增强的系统SIE。非常简要地，图像增强处理器IP可以用于增强由成像装置IA获得的影像中的图像质量。要增强的影像可以由成像装置IA直接提供，或可以从图像存储设备检索。图像增强可以包括图像对比度的增加或图像伪影和/或噪声的减少或去除。图像对比度可以通过例如对比度噪声比(CNR)来测量和量化。更高的CNR是优选的。特别地，可以增加由CM赋予的对比度。在一些实施例中，图像增强处理器IP由机器学习模型TM实施。提供可以训练多个这样的ML模型(包括基于训练数据的(目标)模型M)的训练系统TS。然后，图像增强处理器IP可以使用如此训练的模型TM来计算增强影像。可以通过数据合成器系统DSS的数据合成器模块DSY的操作改进原始训练数据集合TD的质量来改进训练系统TS。数据合成器模块DS操作为放大现有训练数据集合TD。然后，训练系统TS可以使用该放大集合来训练模型TM，以便改进训练模型的性能。在提供关于训练系统TS和数据合成器DSY的更多细节之前，首先解释成像布置装置的部件。

成像装置IA(在本文中有时简称为“成像器”)在本文中优选地被设想用于医学目的，并且可操作为采集患者PAT的一幅或多幅图像。概括地说，成像装置包括用于生成询问信号XB的信号源SS。询问信号XB与患者PAT中的组织相互作用，并且由此被修改。经修改的信号然后由检测单元DT来检测。检测到的信号(诸如强度值)形成检测器原始数据或投影影像。投影影像本身可能是感兴趣的，但是有时投影影像还由重建模块RECON处理以产生重建影像X。

本文设想的成像器IA可以被配置用于结构或功能成像。在本文中设想了一系列成像模态，诸如透射成像和发射成像或其他成像模态，诸如超声(US)成像。例如，在透射成像(诸如基于X射线的成像)中，信号源SS是X射线管，并且询问信号是由管SS生成的X射线束XB。在该实施例中，经修改的X射线束撞击在探测单元DT的X射线敏感像素上。X射线敏感探测器DT将撞击辐射记录为强度值的分布。记录的强度值形成投影影像π。尽管有时本身诸如在X射线摄影中是有用的，但是X射线投影图像π然后可以通过重建模块RECON在CT成像中被变换成横截面图像。具体地，重建模块RECON将重建算法(诸如滤波反投影或其他算法)应用于投影影像。横截面图像在3D空间中形成2D图像。在CT中，可以根据不同组投影图像重建多幅这样的横截面图像以获得3D图像体积。

在MRI成像中，检测单元由线圈形成，所述线圈能够拾取表示投影影像的射频信号，可以通过MRI重建算法根据所述投影影像重建MRI横截面图像。

CT或X射线摄影中的X射线影像表示患者解剖结构的结构细节。在诸如PET或SPECT的发射成像中，信号源SS可以以先前施用的放射性示踪物质的形式位于患者内。由示踪物质引起的核事件然后在被布置在患者周围的PET/SPECT探测器DT处被记录为投影图像。然后应用PET/SPECT重建算法以获得重建PET/SPECT影像，其表示患者内的过程(诸如代谢过程)的功能细节。

成像装置IA由操作者从操作者控制台CC控制。操作者可以设置多个成像参数Ip。成像参数包括采集参数和/或(如果适用的话)重建参数。采集参数是指控制成像操作的成像装置的设置，诸如X射线管设置(安培数或电压)等。另一方面，重建参数涉及与重建算法的操作有关的参数。重建参数不一定在操作者控制台处设置，而是可以在稍后阶段在工作站或其他计算机处设置。在X射线成像中，采集参数可以包括以下各项中的任何一项或多项：扫描类型、身体部位、XR源(管)XR设置(诸如mA、mAs、kVp)、旋转时间、准直设置、节距等。“扫描类型”可以是螺旋形的或轴向的，和/或可以指定要成像的感兴趣区域(ROI)，诸如胸部、肺部、肺栓塞、心脏等。“节距”是多层螺旋CT中的参数，并且被定义为工作台增量与探测器准直的比率。

如果诸如在CT或MR中或在发射成像(PET/SPECT)中调用由重建模块RECON进行的重建操作，则这可能需要指定重建参数以调节重建算法。在CT重建中设想的合适的重建参数可以包括以下各项中的任何一项或多项：重建滤波器、重建算法(例如，FBP、iDose或IMR)、切片厚度、切片增量、图像大小(以像素或体素为单位，m×n)和视场等。

采集参数指定成像装置如何操作为采集图像信号，然后将该图像信号转换为图像值。重建参数描述图像值如何从一个域(例如，投影域)转换成不同域(例如，图像域)中的其他图像值。因此，成像参数和/或重建参数这两个参数都影响影像中的图像值或其分布。

除非特别说明，否则在下文中，将不在重建图像或投影图像之间进行区分，并且我们将两者简单地称为要由图像增强处理器IP处理的“(一幅或多幅)输入图像”或“影像”X。换句话说，图像增强处理器IP可以在其中被配置为对来自投影域的影像进行操作或可以对在成像域中重建的影像进行作用。

由装置IA产生或从存储设备IRP检索的输入影像X由成像处理器IP在其接口IN’处通过例如有线或无线通信手段被接收。影像X可以直接从成像装置接收，或可以从影像在采集之后被存储在其中的成像存储库IRP检索。

关于本身不充分吸收辐射的器官或组织，一些成像协议需要向患者施用造影剂/对比剂以提升图像对比度，更高CNR。对比剂/造影剂可以用于CT或其他基于X射线的成像模态中，但也可以用于例如MRI中。在成像之前或期间，一定体积的液体造影剂(例如碘基)被施用于患者，被允许以足够的浓度在ROI处累积，并且然后成像开始或继续针对ROI采集“对比”高对比度影像或采集ROI的“对比”高对比度影像。

在大多数成像模态中，由于技术、物理或其他原因，所采集或处理的影像可能受到图像伪影的影响。图像伪影是不表示被成像对象中的实际结构或功能性质的图像结构，或影像中的表示以某种方式失真或以其他方式不令人满意。在X射线成像中，这样的图像伪影可以存在于投影影像或重建影像中。图像伪影包括以下各项中的任何一项或多项：射束硬化伪影，诸如条纹、杯状伪影、环形伪影、部分体积伪影、不完全投影、光子不足、患者运动、环形伪影、螺旋和锥形射束伪影等。诸如MRI的其他成像模态可能吸引其他伪影，诸如化学位移、环绕、吉布斯伪影、金属伪影或基于RF的伪影、场不均匀性等。

在噪声方面的IQ常常受到例如所使用的X辐射的能量的影响，或受到探测器硬件中的缺陷的影响。探测量子效率(DQE)可以用于定义由探测器硬件引入的噪声量。一些图像处理算法(诸如重建算法)本身也可能引入噪声。

图像处理器IP能够产生增强影像，诸如伪影或噪声降低或对比度增加。例如，如在图像处理器IP的输入端口IN’处接收的可能伪影隐藏的输入影像X被处理成输出影像X’并且在输出端口OUT’处被输出。图像处理器的操作引起伪影被减少或完全去除。另外地或替代地，在没有或很少造影剂存在的情况下采集的低对比度图像X可以由图像增强处理器IP处理成更高对比度图像X’。

输出影像X’可以被映射到合适的灰度值或调色板上，并且然后可以由显示设备DD上的可视化模块(未示出)可视化。

因此，图像增强处理器IP可以通过使用增强影像X’来帮助诊断医师正确地解读输入影像X。图像处理器IP可以在通用计算单元上运行。计算单元PU可以通信地耦合到成像装置或成像存储库IRP。在其他实施例中，图像处理器IP被集成到成像装置IA中。成像处理器IP可以以硬件或软件或其组合来布置。硬件实施方式可以包括适当编程的电路，诸如微处理器或微控制器、FGPA或其他通用电路。本文还设想了硬编码电路，诸如ASICS或片上系统等。也可以使用专用处理器，例如GPU(图形处理单元)。

现在更详细地参考要处理的影像的性质，这可以被概念化为包括多个数字的1D、2D或3D或甚至更高维度(例如，图像的时间序列)的数据结构。取决于作为成像基础的对比度赋予机制，数字表示要成像的物理量或现象的强度值。这些数字在本文中可以被称为图像值。上面提到的数据结构可以包括一个或更多个n维矩阵或“张量”(n≥3)。n的合适值为1、2、3、4或n>4。图像可以是灰度或彩色的。可以以RGB方案或另一合适的编码方案对彩色影像进行编码。

图像值可以以行和列i、j表示，以在空间上表示二维结构。空间三维图像值可以被表示为行和列i、j以及深度分量k。

在实施例中，图像可以以具有行和列i、j的2D结构表示，但是图像实际上形成三维体积的区段或子空间，诸如CT 3D体积的切片图像。类似地，MRI体积还可以包括为3D方式的区段的2D切片图像。通过时间采集的2D或3D影像可以分别表示为3D或4D图像数据，其中，第三或第四分量表示采集时间。

即使影像表示2D结构，有时仍然可以使用更高维度的表示，诸如在以RGB编码的彩色图像中。RGB图像可以被表示为三维结构，其中，两个空间维度i,j对应于患者中的结构或功能，而另一分量分别表示针对任何给定图像位置i,j的红色、绿色和蓝色图像值。换句话说，2D彩色图像可以表示为由三幅不同的2D图像的叠加形成的3D体积，每幅2D图像分别表示给定图像位置的红色、绿色和蓝色图像值。

因此，通过时间采集的空间3D彩色影像因此可以被表示为七维张量：三个空间维度、针对颜色值的三个维度、以及针对时间的一个维度。可以在没有额外深度分量的情况下表示灰度值图像。

关于图像数据，如本文所使用的“大小”是指矩阵或张量中的数据值(数字)条目的数量。“维度”是指空间布置的数量。例如，具有像素50×50的矩阵(例如，图像)具有比40×40或50×40的图像更大的大小。但两者具有相同的维度。三通道图像50×50×3具有比50×50的2D图像更大的维度(3D)。因为3D图像也具有更多的数据点，所以它的大小也更大。

现在更详细地转向计算机化成像处理器IP，在实施例中，这包括预训练的机器学习部件或模块MLC。预先训练的机器学习部件MLC包括预先训练的机器学习模型M。机器学习模型TM(诸如人工神经网络或其他)先前已经由将在下面更全面地描述的计算机化训练系统TS进行了训练。训练基于训练数据TD的集合(“语料库”)。

训练数据TD特别包括历史影像。在实施例中，训练数据包括历史X射线、MRI、UV、PET/SEPCT或从先前患者收集的其他图像。训练数据的语料库TD包括两个类别的数据，在本文中称为高对比度图像和低对比度图像，作为高IQ影像和低IQ影像的一个示例。这样一来，对于训练系统TS的操作，在本文中不需要低IQ与高IQ的配对，诸如低对比度/高对比度图像。虽然在本文中被主要设想，但是当那些图像已经被采集时，图像中的高对比度和低对比度不一定是由成像装置的视场(FOV)中存在的不同造影剂浓度引起的。对于低/高对比度图像，可以替代地使用能谱或双成像技术计算地生成。具体地，可以通过使用低keV图像来生成低/高对比度图像，其可以在能谱扫描中获得，所述能谱扫描还提供常规CT图像以定义两个类别的低/高对比度图像。

另外地或替代地，还可以在能谱扫描中获得碘图，其与常规CT图像一起分别提供高对比度图像和低对比度图像的实例。在这种情况下，可以通过将碘图通过加法或乘法与低对比度图像进行组合来获得对应的高对比度图像。备选地，碘图可以通过首先将图与某个因子(控制参数)相乘并且然后将碘图(具有相乘的因子)添加到低对比度图像来与低对比度图像如此组合。仍然备选地，还能够可能通过将任何模态的高对比度图像与任何或相同成像模态的低对比度图像配准来形成对比图像构件。

在其他实施例中，图像增强涉及伪影减少，并且因此训练集TD可以包括一个类别的伪影隐藏图像和另一个类别的无伪影图像(或具有更低严重性的伪影的图像)。分类可以由人类专家或辅助机器学习系统完成。类似地，对于在降噪方面的图像增强的实施例，两个类别的高IQ影像和低IQ影像包括高噪声影像和低噪声影像。

通常，来自训练集TD的图像在本文中将被称为高对比度和低对比度的两个类别中的“训练图像/影像”，本文将对其进行主要参考，但是本公开被明确地设想用于其他类型的IQ。

机器学习模型TM通常可在训练模式和部署模式两种模式下操作。训练模式发生在部署模式之前。训练模式可以是一次性操作，但是可以重复进行。更具体地，机器学习模型TM包括架构和根据架构布置的多个参数。这些参数被初始化。训练系统TS在训练模式期间基于由待训练模型TM处理的输入训练影像来调节参数。一旦参数已经在一次或多次迭代中被充分调节，则如此预训练的模型TM然后可以在如上所述的图像处理器IP的机器学习部件MLC中的部署中使用。在部署模式中，预训练的机器学习模型TM可以处理所接收的输入影像以减少或去除如上所述的图像伪影/噪声，或增加对比度。至关重要的是，部署中的输入影像X可能不是训练影像的部分，使得机器学习模型TM之前从未“看到”输入影像。在合适的训练之后，机器学习模型TM能够将输入影像X变换为(更低对比度)输入图像X的更高对比度版本X’，或对于其他IQ度量是类似的。

参考图2中的框图，现在将更详细地解释所提出的计算机化训练系统TS的操作。

训练系统TS可以位于一个或多个计算机可读存储器MEM中。计算机化训练系统TS可以由处理单元PU(诸如通用CPU电路或优选地专用电路(诸如一个或多个GPU(图形处理单元)等))执行。训练系统TS的部件可以在单个计算设备上或在连接在合适的通信网络中的分布式或“云”架构中的一组计算设备(诸如服务器等)上实施。

机器学习可以包括调节机器学习模型TM的参数。机器学习或训练由训练系统TS实施。该模型能够将输入处理为输出。由训练系统TS的训练控制器TC基于训练数据TD的集合来调节/更新模型参数。参数调节或更新操作可以公式化为优化问题。可以根据一个或多个目标函数E来公式化优化问题。更新参数以改进目标函数。目标函数由训练控制器TC实施。目标函数可以是成本函数，并且更新参数以降低由成本函数进行度量的成本。

现在将参考如图2所示的操作交换图更详细地解释所提出的训练系统TS的操作原理。该示图示出了训练目标ML模型M所涉及的处理路径。如图2中可以看到的，处理路径形成闭合反馈回路或循环，其一致性通过成本函数E＝CC()来检查。成本函数E＝CC()可以形成成本函数E,E_j的系统的部分，其由训练系统使用。成本函数CC在本文中将被称为循环一致性检查器函数CC(X)(或简称为“检查器函数”)。可由成本函数CC(x)处理的初始输入x是指根据训练数据集合TD绘制的图像样本。如所提到的，训练数据集合TD包括至少两个类别或种类的图像，在实施例中为高对比度影像和低对比度影像，例如对比度增强影像和非对比度增强影像。“(一幅或多幅)对比度增强图像”在本文中可以被称为(一幅或多幅)对比图像，并且非对比度增强影像可以被称为(一幅或多幅)非对比图像。现在假设所绘制的样本来自对比图像类别，这样的图像在本文中将被称为而非对比图像类别的成员在本文中将由符号“x＝I”(没有“条”符号“-”)表示。

训练系统TS首先通过第一变换(1)将输入图像变换为针对低对比度图像I的估计。接下来，在变换(2)处，将该低对比度估计变换为对比度提升或对比度改进的估计根据该图像并且在如此关闭周期时，应用第三变换(3)以再次估计低对比度图像理想地，在适用的误差范围内，该最后估计应当基本上等于初始输入图像循环检查器函数CC(x)由训练控制器TC实施为成本函数以鼓励训练系统TS选择模型参数，使得输出图像与输入图像近似相似或相等。该循环由图2的中心处的舍入误差指示。已经发现基于所提出的一致循环的学习产生良好且鲁棒的结果。上述变换(1)-(3)部分地被实施为机器学习模型，其参数在成本函数的控制下被调节。所述机器学习模型包括目标模型TM。优选地，神经网络类型模型用于实施上述变换中的至少一些。特别地，变换(1)、(3)基于机器学习模型，而变换阶段(2)可以被分析地定义或也可以被定义为机器学习模型。目标模型TM优选地实施第一和/或第二变换(1)(2)。

可以根据对比度图M来制定循环一致性检查器函数CC(x)，对比度图M测量在上面在图2中描述的变换路径(1)-(3)中生成的影像中的对比度的量。上述反馈回路或循环构成近似交换图。根据三个变换(1)-(3)的级联来近似恒等函数。尽管希望训练目标模型M以用于对比度改进，但是降低对比度的稍微反直觉的第一变换已经被示出为使训练更具弹性和鲁棒性。此外，已经发现，使用图2的上述交换布置，结合对比度图驱动的循环一致性检查器函数CC(x)，可以局部地考虑对比度变化。具体地，对比度增强可以基本上聚焦到所记录的影像中表示造影剂的区域。更具体地，表示造影剂的区域通过训练模型TM比不表示造影剂的区域更强地进行对比度增强。仍然再更具体地，基本上仅这样的造影剂表示区域被对比度增强，而其他区域不被对比度增强，并且因此保持基本上不变。

还参考图2，代替使用来自两个类别(高对比度和低对比度)的影像，相同的原理可以应用于其他图像质量(“IQ”)度量，诸如高/低噪声、高/低伪影贡献等。在这种情况下，变换(1)用于降低IQ，也就是说，增加伪影或噪声。

因此，图2中的通信示图表示当处理来自高IQ类别的影像(诸如对比图像)时在IQ降低和增加的重复循环中的处理。如果输入图像x是从低对比度类别绘制的，则训练系统鼓励参数，使得这样的低对比度训练输入图像优选地不改变地通过变换(1)-(3)。因此，该示图中的处理关于图像类别是不对称的。

要被训练用于对比度增强的目标模型TM优选地被嵌入在具有额外的互连机器学习模型和任选地分析模型的训练系统TS中，如现在将在现在参考的图3的框图中更详细地解释的。具体地，图3示出了图2的上述原理的实施例。图3示出了包括机器学习模型和任选地分析转换阶段(不一定是ML实施的)的多个部件。这些部件使其输入和输出中的一些互连并嵌入由这些互连形成的训练系统中。如所提到的，模型中的一些是神经网络类型ML模型，但是在本文中也设想了不一定是神经网络类型的其他机器学习模型。

具体地，在实施例中，训练系统TS包括生成类型的两个ML模型，在本文中被称为生成器G1和G2。此外，存在鉴别器DS和分析转换器路径CB。训练控制器TC实施上述成本函数E＝CC或成本函数E_j的系统，包括上述一致性检查器CC()、以及可能地一个或多个正则化项R，其将在下面更详细地探索。成本函数E,E_j处理由模型产生的输出，并且控制器TC的更新器UT调节模型的当前参数以改进目标函数，例如降低成本。调节可以迭代地进行。

在操作中，训练输入影像是根据训练数据TD的集合绘制的，如上面在图2处所提到的，训练数据TD包括对比C(高对比度)影像的类别和非对比NC(低对比度)影像的类别。值得注意的是，不需要配对进入类别NC、C的图像。来自类别NC、C的训练影像被一个接一个地或分批地应用于训练系统TS，并且由多个所提到的部件处理以产生训练输出。训练输出通过(一个或多个)成本函数E,E_j并且基于由成本函数E(包括检查器CC())返回的成本来评估，调整训练系统的参数直到满足停止条件。在下文中，我们将简单地提及“成本函数E”，其中，理解这可以是对成本函数E_j的系统的引用，并且特别地包括检查器CC()函数和可能的其他项，诸如一个或多个正则化项R。

图3的方案中的目标模型TM包括第一生成器G1和解析转换路径CB，如下面将更详细描述的。在实施例中，目标模型TM包括两个模型G1、CB，其与剩余的部件G2、DS一起被训练。一旦训练结束，目标模型TM然后可以稍后用作独立的机器学习模块来增强(增加)在部署期间处理的影像中的对比度。该部署期间影像先前未被系统“看到”，因此特别地不是训练数据集合的部分。一旦训练结束，就可以丢弃训练系统的剩余机器部件，特别是鉴别器DS和另一生成器G2，因为这些不再被需要。训练可以是一次性的，或可以根据需要在新的训练数据出现时重复进行。在后一种情况下，其中，在多个阶段中设想训练，应当保留剩余的部件G1、G2以用于将来的训练运行。

生成类型的两个模型G1、G2与鉴别器型的模型D区分开。生成类型模型从未知的分布生成样本，而鉴别器允许区分两个或更多个种类或类别。在如本文所设想的优选实施例中，鉴别器DS和第一生成器G一起形成(全局)训练系统TS的对抗耦合的子系统，其将在下面更详细地描述。在实施例中，该ML训练子系统形成生成对抗网络(“GAN”)，由IanGoodfellow及其同事在其2014年的论文“Generative Adversarial Networks”中描述的ML网络的类型，该论文在arXiv:1406.2661v1下作为预印出版。

上述部件模型D、G1、G2中的一些或每一个可以具有与其相关联的它们自己的成本函数，并且这些成本函数与任选的正则化项一起形成成本函数E_j的系统。这些成本函数中的一些包括循环一致性检查器CC()。所有或一些成本函数可以组合，例如相加，以形成一个公共成本函数E。如图2所示的一般原理的情况，成本函数优选地是相互依赖的，因此一个部件成本函数中的成本变化可能影响由一些或所有其他部件成本函数返回的成本。由于一个部件的成本函数不仅涉及其自身模型的参数，而且涉及一些或所有其他模型的一些或更多个参数，因此产生相互依赖性。

由更新器UT对参数的调节可以通过一次或多次迭代在训练中进行。可以立即处理调节以改进公共成本函数E，或轮流进行调节以交替地一次一个(或多个)地改进分量成本函数E_j中的每一个或一些。在任一种情况下，进行上述机器学习模型的初始或当前参数集的调节，以便改进(即降低)总成本。总成本是根据所涉及的各种分量成本函数或正则化项(如果有的话)的所有部分成本的相加，无论训练是轮流单独地进行还是一次进行。

现在更详细地转到训练系统TS的GAN类型子系统(G1，D)，第一生成器G1和鉴别器DS使它们各自的成本函数对抗地耦合。具体地，并且假设其他成本函数的参数保持恒定，则第一生成器G1和鉴别器DS的成本函数在博弈论意义上实施零和博弈。两个成本函数的总和可以被认为是恒定的。一个的成本的降低是损害另一个，因此导致该模型的相关联成本的增加。

更详细地，在GAN子系统中，第一生成器G1在本文中可以被称为IQ降低器，诸如对比度降低器CR。在实施例中，其操作如下。降低器R将根据训练数据集合TD绘制的初始输入图像x作为输入。如上面在图2中所解释的，该输入图像可以是对比C或非对比NC。如果输入图像是对比/高对比度类型C，则其包括表示造影剂的(一个或多个)图像区域。降低器R、G1作用于该图像以降低对比度，以便尝试从非对比类别NC复制样本。鉴别器DS分析降低器R的输出，即对比度缩减版本I，并尝试将该图像I正确地分类为属于两个类别(对比C或非对比NC)中的任一个。因此，第一生成器GI/降低器R和鉴别器DS的两个成本函数被配置并且相互依赖，使得鉴别器最大化其正确分类的概率，同时生成器试图“欺骗”鉴别器以产生导致鉴别器错误分类的输出。下面将在等式(1，6)中进一步解释GAN的成本函数在实施例中如何精确地公式化。

然后将GAN网络的对比度降低的输出I馈送到对比度增强器或“提升器”CB，对比度增强器或“提升器”CB优选地被布置为使用代数运算的分析处理路径，并且其参数在机器学习期间不被调节。备选地，该部件CB也可以被实现为其参数在学习期间被调节的机器学习部件。对比度增强器CB使用对比度降低的估计I来计算对比度提升或对比度增强图像的估计。该估计中的对比度至少局部地与初始输入图像一样高或更高。高对比度估计图像被馈送到第二生成器G2中以进行处理。在这方面，第二生成器G2可以用作恢复器。因此，该第二生成器G2在下文中将被称为“恢复器RS”。更具体地，对比度增强估计由恢复器RS处理以尝试恢复原始输入图像也就是说，恢复器RS对对比度提升图像进行操作为产生与由GAN处理的初始对比度增强图像相似或相等的图像因此，恢复器被配置为反转由对比度提升器CB的操作引起的对比度提升。

训练系统的成本函数E特别地基于以下两者来计算成本：i)由鉴别器DS产生的分类结果，以及ii)初始输入图像与如由恢复器RS输出的图像的相似性。如果鉴别器正确地对降低器CR的输出进行分类，则成本函数E给予更低的部分成本，并且ii)恢复器RS的输出与初始输入图像之间的偏差越小，则更低的部分成本。部分成本ii)由一致性检查器函数CC()进行度量。

同时，如果在训练期间绘制的初始输入图像x是低对比度类型，则GAN网络应当理想地使该低对比度图像I基本上不受干扰。特别地，训练系统作为一个整体应当作用于来自非对比集合NC的样本，作为单位运算符，其中，在输入图像传播通过训练系统TS时，输入图像理想地没有或仅有很小的改变。

又换句话说，训练系统TS通过基本上允许非对比样本不受干扰地传播通过系统来近似统一运算符。然而，对于对比输入影像，虽然训练系统仍然近似统一运算符，但这仅关于初始输入和输出。但是，对比输入影像当它在所描述的对比循环中传播通过系统TS时仍然经历变化，然后通过提升器CB进行对比度提升，随后通过恢复器RS进行另一对比度降低。关于对比影像和非对比影像的这两种不对称处理模式以及作为成本函数的上述一致性检查器函数CC允许鲁棒学习和局部聚焦的对比度增加。对比度仅在输入影像的对比图像部分处增加，而图像的剩余非对比部分基本上不受干扰(在预定义的误差边界内)。与倾向于产生人造外观图像的其他对比度增强方案相比，局部聚焦或选择性对比度增强允许产生具有更自然外观的对比增强影像，因为对比度在图像中的任何地方都被增强。这样的人造外观对比度增强图像在临床实践中不被很好地接受。

将理解，训练系统TS实施关于成本函数的优化操作。然而，本文还设想了在效用函数方面的这种优化的双重公式，并且设想了效用函数的最大化和成本函数的最小化两者的实施例也是如此。在这种情况下，目的是增加整体效用而不是降低本文所描述的成本。然而，在成本和效用方面的目标函数的两种公式被设想为备选方案或组合，尽管以下描述集中于成本函数的优化。

现在参考图4，其示出了图3的上述训练系统的基于GAN的实施方式的更多细节。

来自两个类别的对比C和非对比NC的训练数据集合的训练输入影像x可以通过来自集合TD的随机或确定性开关Sw1来选择。

任选的第二开关Sw2(确定性的或随机的)将对比度降低器CR的输出切换到鉴别器，以正确鉴别为真或假的标签l_g,l_f。

对比度提升器CB的分析转换路径可以如图所示的那样被实施为代数运算。更具体地，代数运算可以包括形成原始输入图像和由对比度降低器CR产生的对比度降低版本I的线性组合。仍然更具体地，主要源自造影剂的对比度是通过获取初始图像和对比度降低版本I之间的逐点差异来测量的。然后通过因子α线性地缩放该对比度测量，并且然后将缩放的对比度添加到初始对比图像以如此构建对比度提升估计然后由恢复器RS处理对比度提升估计以尝试恢复原始高对比度输入图像如输入到对比度降低器CR中的那样。如果原始输入图像是从非对比类型NC绘制的，则网络TS在图像通过各个网络级时使图像基本上不受干扰。在任一种情况下，配置成本函数(如将在下面更详细地示出的)以鼓励优化向模型参数收敛，该模型参数产生初始输入图像x的近似副本作为恢复器RS的最后阶段的输出，无论x是从对比类别还是非对比类别中提取的。

为了清楚起见，以虚线和实线示出了图4左侧的不同处理路径。虚线表示GAN子系统中的过程流。图4的左侧部分中的实线表示GAN与提升器CB之间的过程流。

到目前为止所描述的主要集中在训练影像根据训练数据集合绘制并被处理以调整构成训练系统的各种机器学习模型DS、G1、G2的参数时的训练阶段中的训练系统的训练方面和操作。

现在参考图5，其示出了目标模型TM的示意性框图，该目标模型TM包括第一生成器G1、CR(一旦完全训练)和分析对比度提升器级CB。一旦训练完成，就可以丢弃剩余的机器学习模型DS和第二生成器G2＝RS。具体地，在训练阶段结束时，对比度降低器CR的当前参数和对比度提升器CB的指令可以在给定的架构中被复制到存储器中。经训练的模型对比度降低器CR和对比度提升器一起形成对比度增强器SIE的机器学习模块MLC的目标模型TM。机器学习模块MLC现在能够用于在部署或测试期间执行设想的图像对比度增强操作。

在部署或测试期间的操作中，在现在训练的对比度降低器(现在用波浪号“～”标记)处接收输入图像X(不是来自在其上训练模型CR、D、RS的训练数据集合)，任选地具有背景数据CXB，如下面将详细解释的。然后通过经训练的对比度降低器的传播来联合处理输入影像X以及可能地背景数据CXB，以作为输出(未示出)出现。然后，该输出与初始输入图像一起由对比度提升器处理，以产生对比度或其他IQ增强的输出图像对比度提升器可以使用线性组合来构建IQ增强的输出图像线性组合可以包括提升器参数β，如上所述。

对比度提升器参数β(≥0)可以是固定的元参数，或可以由合适的用户接口UI(例如触摸屏、键盘或用于提供输入的任何其他用户接口)进行用户调节。IQ增强图像(诸如对比度增强图像)可以根据需要由可视化器部件(未示出)进一步处理、存储或显示在显示设备DD上。

现在参考图6，其示出了可以用于生成器G1的人工神经网络类型(“NN”)架构。虽然以下描述将集中于第一生成器G1＝CR，但是相同的网络设置也可以用于第二生成器G2。通常，所设想的NN型架构是具有用于(通常是非图像)背景数据CXD的任选处理路径的多尺度卷积网络。背景数据处理设施在第二生成器G2中可能不需要，但是如果需要，仍然可以被实施。

现在更详细地转到所提出的目标模型CR和图6，这被配置为如果是对比类别的图像，则将训练输入影像x变换为降低的对比度的训练输出图像CR(x)。否则，CR(x)等于或近似等于x(模式)。因此，CR充当(准)恒等运算符。

优选地，训练输入影像的维度和大小被保留。也就是说，训练输入影像的维度并且优选地大小(数量或行和列等)对应于或等于如在输出部OUT处供应的训练输出图像I’的维度和大小。

然而，在训练输入影像x的处理期间，训练输入影像x首先由降低器G1CR的编码器部件ENC变换为更低维度表示χ。此外，大小也可以被减小。训练输入影像的该更低维度和/或更小大小的中心中间表示χ是输入图像x的缩减版本。该表示在其不形成模型χ的最终输出的意义上是“中间的”。它在它在处理期间在目标模型CR内形成的意义上是“中心的”。然后，中心表示CR由与编码器ENC串联布置的解码器DEC部件上采样，以便增加中心表示的维度/大小，使得最终训练输出图像CR(x)的维度和/或大小与训练输入图像x的维度和/或大小匹配。因此，该架构是自动编码器之一。

更低维度和/或更小大小的表示χ在本文中也可被称作“代码”。因此，编码器ENC对所接收的训练输入影像x进行“编码”，而解码器DEC可操作为从该代码χ恢复或“解码”具有与原始训练输入图像x相同的维度和/或大小的训练输出图像CR(x)。还存在编码器ENC生成比输入图像x的大小和/或温度更大的大小和/或更高的维度的代码以促进过完备表示的实施例。在该替代实施例中，编码器ENC可以以更大的维度和/或大小但以更高的稀疏度产生代码CR。特别地，正则化机制可以用于促进过完备和稀疏代码，诸如Freiman、Moti、Ravindra Manjeshwar和Liran Goshen在“Unsupervised abnormality detectionthrough mixed structure regularization(MSR)in deep sparse autoencoders”(发表在Medical Physics(第46卷(5)，第2223-2231页(2019)))中所描述的。

如果如本文在优选实施例中确实设想的那样使用神经网络设置，则网络CR可以被实施为如上所述的自动编码器神经网络

任选地，训练数据TD不仅可以包括图像数据，而且还可以包括与相应训练图像相关联的非图像背景数据CXD。背景数据CXD可以包括成像参数，即，采集和/或重建参数，视情况而定。如果背景数据在训练期间也被馈送到训练系统TS中，则这些与图像数据一起被优化。如下面将更全面地解释的，非图像背景数据CXD可能需要由整形器模块RSH整形为合适的“伪图像”，所述“伪图像”然后与它们相关联的相应训练影像一起处理。

如果设想神经网络设置，则对于对比度降低器CR，深度学习网络是优选的。在实施例中，这种深度学习网络包括在相应的输入层IN和输出层OL之间具有一个或多个(优选地至少两个)隐藏层的神经网络，如现在将继续参考图6更全面地解释的。

该框图提供了本文呈现为具有多尺度处理的卷积神经网络(CNN)设置中的自动编码器的目标模型CR的更多细节。

训练输入数据x在本文中被称为成像链SI的处理路径中被处理。任选地，如果训练还包括非图像背景训练数据CXD，则这在包括整形器RSH的单独的处理链SP中被处理。背景数据CXD可以由整形器RSH处理成与其相应的训练图像数据合并的伪图像。

然而，在更详细地解释图6中的目标模型CR的神经网络架构之前，首先引入一些人工神经网络概念以促进进一步的描述。

概括地说，目标模型CR的NN结构包括至少部分互连并布置在不同层L中的多个节点。层L以一个或多个序列布置。每个节点是能够假设值和/或可以基于其从更早层L的一个或多个节点接收的输入来产生输出的条目。

每个节点与某个函数相关联，该函数可以是简单的标量值(节点权重)，但也可以具有更复杂的线性或非线性函数。两个不同层中的节点之间的“连接”意味着较后层中的节点可以从更早层中的节点接收输入。如果在两个节点之间没有定义连接，则两个节点中的一个节点的输出不能被另一个节点接收作为输入。节点通过将其函数应用于输入来产生其输出。这可以被实施为所接收的输入与节点的(权重的)标量值的相乘。来自不同节点的多于一个输入可以由稍后层中的节点接收。不同的输入可以由合并函数g合并以产生合并值，并且其是该合并值，接收节点将其自己的函数f应用于该合并值以产生节点的输出。例如，g可以将从先前节点接收的输入映射到乘积之和(例如，点积)中，并且然后可以将节点的函数f应用于所述乘积之和。

连接可以具有其自身的权重(“连接权重”)。该权重用于对沿着该连接行进的输出进行加权。合并函数可以使用连接权重来组合针对给定节点的所接收的输入，以产生合并的点积输出。层之间的连接可以是固定的，或可以在处理期间变化。一些层可以是完全连接的，而其他层可以不是。如果后一层中的每个节点与前一层的所有节点连接，则两层完全连接。在部分连接的层(诸如卷积层)中，并非稍后层中的所有节点都连接到更早层中的所有节点。

给定层的所有节点的输出在本文中可以被称为“层的输出”，并且从更早层接收的输入在本文中可以被称为“层的输入”。

每个层可以被表示为二维、三维或更高维的矩阵。如果维度为3或更高，则矩阵通常被称为张量。节点被实施为那些矩阵或张量中的条目。每个层具有大小(行i和列j)、深度k(其可以大于1)以及可能的另外的维度。备选地，大小、深度和一个或多个另外的维度可以通过除了矩阵或张量之外的其他数据结构来实现。

神经网络结构中的目标模型CR包括一个或多个初始输入层IL和一个或多个最终输出层OL。初始输入层IL是分别通过用值填充节点或通过呈现最终结果以供进一步处理来接收初始训练图像I和任选地背景数据CXD之处。

如图6所示，层L以深架构布置。该架构包括在(一个或多个)输出层OL和(一个或多个)输入层IL之间的一个或多个隐藏层。隐藏层的数量定义了网络M的深度。例如，在一些实施例中设想的单个隐藏层相当于“一”的深度。然而，优选地，使用至少两个隐藏层。优选地，存在偶数数量的隐藏层，诸如4、6或更多。从隐藏层处的更早层接收的输入将被称为中间输入，而由隐藏层产生的传递到后续隐藏层的输出将被称为中间输出。

通常，在模型CR的NN架构中，训练输入数据IM(诸如训练输入图像)在一个或多个输入层IL处被应用为初始输入。然后，当数据(图像IM或参数IP)顺序地穿过层时，数据被顺序地变换。在每个层处，产生中间输出，该中间输出然后用作下一层等的中间输入，在每个时刻，相应的层通过向其应用操作来充当接收到的中间输入，直到最终结果出现在一个或多个输出层OL处。本文设想的NN架构优选地是前馈类型，其中，如上所述，数据从层到层向前传播。备选地，本文还可以设想循环架构，其中，在处理期间重新访问一个或多个层。

不同类型的层L可以具有不同的功能，并且因此应用不同的操作。我们现在首先转到讨论不同类型的层，在本文中以不同的组合和子组合设想了一些或全部。

本文设想的NN层类型包括以下的组合中的任何一个或多个或全部：如图3所示的全连接层FC、卷积层C、反卷积层D、上采样层(“↑”)、下采样层(“↓”)、激活层R。对于每个尺度水平s，层类型被分组为单元以形成各种操作单元。例如，去卷积或卷积层可以与上采样或下采样层和激活层组合。例如，图3中的表达式“C,↓,R”指示按顺序布置为卷积层C、紧接着下采样层↓并且然后紧接着激活层R、整流器单元R的一组层。尽管当表达为矩阵/张量和矩阵/张量乘法时将层分组成2、3或更多层的这种单元可以具有实施优点，但是分组不一定在所有实施例中都被设想。

现在更详细地转向激活层R，这可以使用任何非线性函数来实施，包括基于逻辑的S形函数、arctan、softmax、整流器函数(x⁺＝max(x,0))等。实施整流器函数的层可以被称为整流线性单元(ReLU)。激活层R实施非线性函数，该非线性函数被应用于每个节点中的值以引入非线性，从而使得MLC能够捕获非线性模式。(中间)输入层的大小由整流层R保存。如果输入低于阈值，则层R还用作“重要性过滤器”以去除或减轻输入。来自节点的输入可以被完全取消，并且因此尽管存在连接，但是根本不转发到下一层。然后称该节点不“激发”，并且然后通过将“零”转发到下一层来记录该事件。给定配置中的非激发节点的比例可以表达为MLC的稀疏性。

另外或代替于RELU，在实施例中可以使用退出层。这些层还通过随机取消两层的节点之间的连接来引入非线性。

接下来转到全连接层FC，本文在MLC中设想的层不一定是全连接的，但是在实施例中网络MLC确实包括两个或更多个全连接层。全连接层在上面的图6中示出为FC。全连接层FC表示更传统的非卷积NN分量，其中，每个节点与其激活函数和权重相关联。每个节点的激活功能可以被组织成单独的操作层。FC的一层中的每个节点接收来自前一层中的所有节点的输入，每个节点根据连接的相应权重加权，如上面在一般介绍中所解释的。然后通过激活函数层R对该总输入求和并评价。将激活函数层应用于相应节点的权重以产生节点输出，该节点输出被传递到后续层中的节点上。使用FC的优点是对更复杂的非线性模式进行建模。

卷积层C和去卷积层D(和/或上采样或下采样层)是非全连接层的示例。更具体地，这些层没有完全连接到更早层的所有节点。另外，当处理来自更早层的(中间)输入时，连接改变。

在卷积层C中，通过将卷积层与更早层的节点的子组进行卷积来获得中间输出的每个节点，因此仅涉及所有可能连接的子集。然后重新定义连接以挑选出用于下一个中间输出层的新节点组，以此类推，直到整个(中间)输入层已经被处理。

卷积层C可以被构造为具有优选地奇数编号的大小的矩阵，诸如具有中心位置的3×3或5×5。卷积/去卷积层还可以具有与其应当被应用到的中间输入的深度相对应的深度。

卷积/去卷积层的大小通常小于其作用于的中间输入的大小。就像在常规卷积中一样，卷积层可以在概念上被认为在其(中间)输入层上滑动，并且被选择性地应用于不同的节点组以产生经滤波的节点作为(中间)输出。卷积操作本身可以涉及形成卷积层的节点和/或其中间输入层中的即时组内的所有节点之间的乘积和。经滤波的节点是卷积层的奇数大小矩阵的中心节点。

在卷积层的处理中移位到新的一组节点可以在概念上被理解为在(中间)输入上以步幅＝n(n是自然数)滑动卷积层C，以分别产生每个组节点的(中间)输出。步幅是CNN的设计参数，其指示每个移位的程度。例如，步幅n＝1意味着当重新定义其值要被卷积以获得下一(中间)输出节点的值的下一组节点的连接时，通过有效地将层C移位一个节点来获得新组。对于步幅n＝2，跳过一列或一行节点，因此对于n>2。将理解，代替于上述滑动窗口方法，要由卷积层处理的输入层可以替代地分解成部分(图块)，并且然后将这些中的每一个分别与卷积层进行卷积。

如果卷积层延伸超过其作用于其上的其中间输入层的最外节点，则可以使用零填充。卷积/去卷积层可以如所描述的那样按顺序应用，或可以在整个中间输入层中并行应用。

去卷积层D实质上是由卷积层C引起的卷积的逆操作。虽然卷积层最初从像素映射到逐渐更高级的特征，但是去卷积操作将特征向下映射回到像素。在功能上，可以根据如在上面讨论的卷积层中使用的卷积操作来公式化去卷积，然后将其求和。参见例如M DZeiler等人的“Adaptive Deconvolutional Networks for Mid and High Level FeatureLearning”(2011International Conference on Computer Vision,Barcelona,Spain)中的第2节。去卷积层D也可以表示为具有适当深度的矩阵。

这样一来，卷积层和去卷积层通常保留其(中间)输入的大小。

下采样层与卷积/去卷积层C、D类似地结构化，但是它们不同地作用于其输入数据。下采样/上采样层(在本文中也简称为“下”或“上采样器”)可以是奇数或偶数大小的。下采样层将更早层中的一组节点聚集在一起以产生用于后续输出层的单个节点，从而减少(中间)输入层的空间(较少的行和/或列)。这可以通过形成平均值或通过从所覆盖的节点组中选取最大/最小值或任何其他指定值来完成。组的大小对应于下采样层的大小。

上采样器与下采样器准相反地起作用，并且优选地通过输入节点之间的插值在其输出部处产生更大的节点集合。卷积/去卷积和上采样/下采样功能可以组合在同一层中。例如，卷积和下采样可以实现为步幅>1(诸如2或更大)的卷积。以类似的方式，去卷积可以与上采样功能组合。

另外的层类型可以包括批归一化层B。这些层实施前一层中的梯度的归一化。这种归一化防止或减少梯度饱和。在梯度饱和中，梯度幅度在迭代期间降低得太快。SergeyIoffe等人在“Batch Normalization:Accelerating Deep Network Training byReducing Internal Covariate Shift”(可在线获得T arXiv:1502.03167v3[cs.LG]2March 2015)中描述了类似的批归一化层。

继续参考图6，我们现在将转向更详细地解释目标模型M的成像链SI中的图像数据的处理。通常，在图像链SI中，解码器级DEC中的上采样层的数量对应于编码器级ENC中的下采样层的数量。在一个实施例中，SI的编码器ENC包括三个下采样部件，并且解码器DEC包括三个上采样部件。这对卷积/反卷积层C、D能够适用。在图6中，层L被分组为单元。这种分组是概念性的而不是实施性的。图6中的分组的逻辑是每个单元引起下采样或上采样。

通常，在一些实施例中，编码器ENC中的最后一层L(不包括RELUS)是下采样器↓，以达到低维表示CR，并且然后在解码器区段DEC中接着是至少一个上采样器↑。编码器中的最后一层下游层ENC以具有条目的二维或更高维矩阵的形式提供中心表示CR。零或可忽略的条目越多，代码CR越稀疏，并且这是优选的。更一般地，在编码器末端区段中存在至少一个下采样器，并且在解码器DEC区段中存在至少一个上采样器。这种“瓶颈结构”允许在模型CR的基于自动编码器的实施例中实施编码/解码原理。备选地，本文还设想了AE架构的过完备变体，其中，不一定存在空间下采样/上采样，而是其中，替代地使用基于稀疏性的正则化，其在下文中更进一步。在备选实施例中，没有这样的瓶颈，但是编码器ENC执行一个或多个上采样操作，并且然后解码器执行对应数量的下采样操作，以便实现过完备表示，其中，代码CR具有比训练输入图像I和训练输出图像I’更高的空间维度。具有过完备实施例的该自动编码器实施例优选地与通过正则化器函数的稀疏性实施一起使用，如下面将更详细解释的。

另外，在编码器ENC区段中可以存在至少一个卷积层C，并且在解码器DEC区段中可以存在至少一个去卷积层D。编码器级ENC中的卷积和下采样器的顺序优选地是首先卷积且然后下采样，但是在所有实施例中可能不一定如此。类似地，在解码器DEC区段中，首先进行去卷积并且然后进行上采样，但是在实施例中该顺序也可以反转。

为了确保，处理区段ENC和DEC在概念上相反，但通常不会产生统一，因此ENC^-1≠DEC。

在实施例中，SI的编码器ENC包括三层单元。每个单元依次包括卷积算子，随后是另一个卷积、下采样和整流R。在备选实施例中，可以使用多于或少于三个这样的单元。

在实施例中，在解码器区段DEC中，卷积层C具有n x n x d(或更大)的大小，优选地，每个之后是整流线性单元(ReLU)。空间维度可以是任何合适的数字，诸如3、5等，而深度d是颜色通道(如果有的话)和经整形的背景参数CXD所需的通道数量的函数，如下面将关于整形器链SP更详细地解释的。可以使用两个或更多个卷积层C来改变尺度。每个尺度的最后卷积可以用步幅2完成，以进行下采样/下缩放。在图3的实施例中，实现了三个特征尺度，因为在DEC和ENC中存在三对上/和下采样操作，但是在备选实施例中，还设想了更多尺度或更少尺度。

链SI的解码器DEC区段可以互补镜像编码器区段ENC的结构，并且对应地包括相同数量的单元，但是在每个单元中，每次出现的卷积由去卷积层代替，并且每次出现的下采样层由上采样层代替。解码器DEC中最后的下游层优选地确保最终输出也可以允许零节点。否则，由于前面的激活层R，将一个限制为大于零值。该最后一层可以如图所示被实施为额外的卷积层C，以提供最终的解码结果，但是这可以是任选的。优选地，该最后的卷积具有1x1x1的大小。

在实施例中，在解码器DEC 3x3x3(或更大的滤波器)中，使用反卷积层D，优选地，每个之后是整流线性单元(ReLU)。可以使用两个或更多个去卷积层D来反转在编码器ENC中改变的尺度。每个尺度的最后去卷积是以用于上采样/上缩放的步幅2完成的。解码器区段DEC区段中的尺度数通常等于编码器ENC区段中的尺度数。

优选地但不一定在所有实施例中，尺度s中的每个层中的卷积滤波器的典型数量是(2³)^sc，其中，s＝1,2,3,…是尺度(输入尺度等于1)，并且c是网络控制参数，其中，我们发现通常在过完备设置中获得最佳性能，其中，c>1。

本文还设想了SI的两个区段DEC和ENC中的功能层的其他组合或其他布置，但是优选地，两个区段DEC、ENC中的上采样层和下采样层和/或卷积层和去卷积层的数量分别相同。

任选地，单元中的一些或每个可以包括布置在卷积层C或去卷积层D与激活层R之间的一个或多个批归一化器B。

现在我们更详细地转向任选的整形器RSH和背景数据处理链SP中的非图像背景CXD的处理，其中，例如可以处理成像参数、采集参数或患者描述数据(年龄、性别、患者历史等)。在实施例中，整形器链SP包括三个隐藏层。具体地，依次设想了全连接层FC，全连接层FC之后是整流层R，整流层R之后又是第二全连接层FC。可以替代地使用单个全连接层，或可以使用多于三个隐藏层，特别是多于2个FC。

在功能上，成像参数链SI被配置为充当成像参数的集合的整形器。换句话说，在链SP的输出OL处，基于在其输入层IL处接收到的背景日期CXD来形成“伪图像”。成像参数被重新格式化为具有等于输入图像IM的大小的矩阵/张量。然后，如箭头f_L(或“馈线”)指示的那样将该伪图像与在SI链的输入层IL处接收的初始图像数据IM合并。

卷积层具有一定深度并且可以作用于多维层。卷积深度可以对应于要处理的影像的通道的数量。例如，应用于彩色图像的卷积层可以具有深度3，以便服务于三个颜色通道RGB中的每个。三个层中的每个层中的卷积操作对于每个通道可以是不同的。

在实施例中，本文提出了将整形图像参数(即，伪图像)作为额外通道包括到训练输入影像I中，并且将SI区段中的卷积/去卷积层配置为具有额外深度，该额外深度被配置为处理作为整形图像参数的伪图像。在这个意义上，成像参数和I中的实际图像数据被合并成多维复合图像，其中，成像参数作为额外维度或层被包括到实际图像数据中。这允许合成图像由多通道卷积/去卷积层处理，所述层的深度对应于图像数据I的实际维度加上成像参数Ip的一个(或多个)维度。

在实施例中，整形器RSH将最后一个全连接层FC的输出整形为一个或多个矩阵或体积或张量的表示，其在本文中可以被称为“成像参数体积”或“伪图像”。每个成像参数体积的大小等于输入图像I的大小。成像参数体积在(一个或多个)额外通道中被馈送到成像链IS。额外通道的数量对应于由整形器链SP产生的成像参数体积的数量。可以通过将最后全连接层FC的每个输出值填充到单独的成像参数体积来完成到图像串SI中的馈入，其中，在每种情况下，相应整个体积由相同的输出值填充。还设想了将图像数据V与非图像数据CXD合并的其他实施例。在CNN的背景下使用上述多通道技术仅仅是一个实施例。然而，本文还设想了上述合并技术在更一般的NN或非NN背景下的类似应用。

如应用于整形器链SP的输入层的成像参数可以在一个或多个维度上表示。成像参数优选地以合适的数字格式编码，或可以从类被如此映射到数值。成像参数被提供为网络CR的链SP中的输入层IL处的一个或多个向量或矩阵。矢量或矩阵或实际上张量的维度通常等于图像数据IM的维度。

如图6所示的类似架构也可以用于对比度提升器CB＝G2。

如前所述，NN不是本文的必要要求。例如，D可以被实施为支持向量机SVM、或k最近邻方案，或被实施为任何其他分类器设置，诸如决策树或随机森林等。两个生成器可以被实施为不同的NN，或一个被实施为NN，而另一个被实施为非NN模型。本文设想的用于生成器G1、G2中的任一个或两个的非NN型ML模型包括变分自动编码器、玻尔兹曼机、贝叶斯网络等。

现在参考图7，其示出了用于图像增强的计算机实施的方法的流程图。该方法基于如由上述训练系统T、S中的任一个基于至少两类图像训练数据集合TD训练的机器学习模型G1＝CR。可以使用GAN设置，但这在本文中不是必需的。

在步骤S710处，将新图像(不是数据集合TD的部分)提供给预训练的机器学习模型。新图像X可以已经例如通过X射线成像装置采集。优选地，图像X已经在造影剂(先前施用于患者)存在于X射线成像装置的视场(FOV)中时被采集。

机器学习模型CR、CB处理所提供的图像X以在步骤S720处计算IQ增强图像诸如对比度增强图像输出对比度增强图像

特别地，增强图像中的对比度高于输入图像X中的对比度。在实施例中，预训练的机器学习模型包括两个部分，机器学习阶段和分析阶段。部分按顺序操作。机器学习阶段可以包括上述经训练的对比度降低器CR、G1，随后是分析阶段，诸如上述对比度提升器CB。对比度降低器CR、G1最初降低输入图像X的对比度以产生对比度降低的图像。基于初始图像和对比度降低的图像，估计输入图像中已经存在的水平处的对比度分布。这样估计的对比度然后由对比度提升器CB线性地或非线性地放大(“提升”)。在线性作用的实施例中，对比度提升器CB可以被配置为包括放大器因子β，其被乘法地且逐点地应用于对比度估计。然后将如此放大的对比度添加到原始输入图像X以获得对比度增强图像放大器或提升因子β可以是固定的，或可以是用户可调节的。

作为机器学习模型的操作的结果，对比度增强图像中的增强对比度不是全局的，而是局部聚焦的。具体地，对比度增强在已经表示造影剂的图像部分中更突出。因此，机器学习模型的步骤S720处的增强操作仅在表示对比度的那些一个或多个区域中增加对比度。其他图像区域保持不变(在可应用的边缘内)，或如果对比度在这样的区域中仍然增强，则这样做的程度比在输入图像X的对比度表示区域中更小。

上述局部聚焦对比度增强至少部分地是由于已经训练机器学习部分CR的方式，其包括使用循环一致性检查器函数作为目标函数的部分来控制训练。可以针对其他IQ度量(诸如伪影或噪声)获得类似局部作用增强。

在X恰好是在FOV中不存在造影剂/对比剂时采集的输入图像的情况下，或如果量/浓度低于阈值，则输出图像基本上是输入图像X的副本。因此，处理步骤关于输入图像的IQ是不对称的。

现在参考图8，其示出了在如上所述的训练系统TS框架中训练目标机器学习模型CR、G1的计算机实施的方法的流程图。该框架包括多个ML模型。该方法的以下步骤涉及使用模型计算训练输出图像。基于训练输出图像，通过在一次或多次迭代中调节当前(或初始)参数集来在优化流程中改进目标函数。假设下面提到的ML模型具有初始或当前参数集。如果模型是神经网络型模型，则所述参数包括各个层中的网络节点的权重和/或在卷积型网络(CNN)的情况下的滤波器元件，例如如上面在图6处讨论的。

在步骤S810处，根据训练数据绘制初始训练图像。该集合包括至少两个类别的图像，如上所述的对比图像和非对比图像。训练影像可以包括合成训练数据。下面将在图9处更详细地描述相关方法。

首先假设在步骤S810处接收/绘制对比图像这在步骤S820处由第一机器学习模型进行处理。第一机器学习模型产生第一训练输出图像I。通常，第一机器学习模型被配置为在训练期间作用于输入图像以产生与初始输入训练图像中的对比度相比具有降低的对比度的第一训练输出图像I。

在实施例中，第一机器学习(“ML”)模型是生成类型的。它优选但任选地是GAN网络的部分，GAN网络又形成如上所述的(全局)训练系统帧TS的部分，包括多个ML模型。除了第一ML模型之外，GAN网络还包括另一机器学习模型，优选地是鉴别器类型的模型DS。

在任选步骤S830处，鉴别器模型DS处理第一训练输出图像I以计算表示将输出图像分类为高对比度或低对比度之一的分类尝试的分类结果。换句话说，S830处的分类步骤为使得以便辨别训练输出图像是否是由第一ML模型(人工)生成的，或它是否是从低对比度类别的初始训练数据集合绘制的。

在步骤S840处，再次增加对比度降低的训练输出图像I中的对比度，以产生第二训练输出图像在步骤S840处的该对比增加/对比度提升操作特别地基于对比度降低的图像I和在如步骤S810处绘制的初始高对比度图像。可以在对比度增加/对比度提升操作S840中使用缩放因子。特别地，使用一个或多个这样的缩放因子来线性地组合初始输入图像和第一输出图像。可以使用加权和。又更具体地并且在实施例中，在步骤S840中通过从第一输出图像中减去初始输入图像来估计“基础对比度”。然后通过与缩放因子相乘来提升基础对比度，并且然后将缩放结果添加到初始输入图像。理想地，“基础对比度”表示在给定图像中存在/编码的原生对比度。基础对比度是当采集所述图像时由成像器IA的FOV中存在的造影剂的量/浓度引起直到噪声的图像信息(如在图像1中编码的)的部分。

然后在步骤S850处使用第三ML模型再次对如此对比度增强的图像进行对比度降低，以试图复制在步骤S810处绘制的初始对比图像。该第三ML模型优选地也是生成类型的，使得用于所提出的训练方法的训练系统TS的ML框架包括两个生成类型的ML模型。

在步骤S860处，调节上述两个或三个机器学习模型的参数，以便改进目标函数(或成本函数的系统)。目标函数的值取决于上面获得的训练输出图像，并且如果适用的话，取决于当前分类结果。再次，鉴别器模型DS是任选的。

对于在步骤S810中绘制的一幅或多幅初始训练图像，在一次或多次迭代中重复上述步骤S810-S860，以任选地获得新的分类结果和新的训练输出图像。成本函数取决于任选的新获得的分类结果和新的训练输出图像，并且还取决于任选的更早的分类结果和更早的训练输出图像。特别地，如果目标函数是成本函数，则针对所有先前或先前的一幅或多幅训练输入图像考虑累积成本。训练输入图像可以一个接一个地被绘制和处理，或以来自初始训练数据集合的子集被绘制和处理。子集有时被称为批次。

在一定次数的迭代之后并且在已经处理了多幅这样的初始训练输入图像之后，训练结束。当满足停止条件时，训练结束。停止条件可以是用户发出的信号、预设迭代次数、一旦已经处理了集合中的所有或特定部分的训练图像，或一旦已经检测到ML参数的足够的收敛程度。一旦训练结束，在后续步骤S870处使第一ML模型G1、CR可用为经训练的模型对比度增强系统的部分，然后可以在部署期间使用该经训练的模型对比度增强系统。用于图像增强的经训练的ML模型还包括分析后处理阶段，包括固定的或用户可调节的对比度提升器参数，如用于在部署中实施步骤S840的。

为了使得用于分类操作S830和两个对比度降低S820、S850的上述ML部件可以按预期操作，在步骤S860处在一次或多次迭代中并且针对多幅初始训练输入图像来调节其参数。可以使用基于梯度的方法，诸如用于NN类型ML模型的前向-后向传播技术，其中，训练控制器TC评价目标函数的梯度。如前所述，在本文中假设目标函数是成本函数，并且目标函数的改进是成本的降低。然而，这不以任何方式限制本文所描述的内容。操作原理也容易适用于效用函数，其中，改进是效用的增加或最大化之一，而不是降低或最小化成本。

由成本函数返回的成本任选地基于i)在步骤S830处计算的分类结果，以及ii)在步骤S810处初始绘制的低/高对比度图像与在恢复步骤S850处产生的第二训练输出图像之间的偏差。如果所述偏差小，则产生更低的成本。关于任选的鉴别器，如果任选的分类结果是正确的，则成本函数被配置为(如下面将更详细描述的那样)奖励更低的成本。同时，并且与关于正确分类结果的上述i)处的奖励成本对抗，如果第一ML模型设法产生对比度降低的第一输出图像以导致鉴别器的不正确分类结果，则成本函数(或成本函数的系统中的另一成本函数)奖励更低的成本。这两个对抗目标已经示出在迭代期间朝向博弈理论平衡收敛。

一旦已经实现了所涉及的ML模型的参数的足够程度的收敛，系统TS就关于来自对比和非对比两个类别的训练图像不对称地表现。具体地，如果在步骤S810处绘制低对比度初始训练输入图像，则当图像通过上述处理步骤S810-S850时，这基本上保持不受干扰。特别地，在步骤S860处输出的第二训练输出图像近似于初始输入图像的副本。对于经历对比度降低的两个循环(其间具有对比度提升)的高对比度图像，情况是不同的，并且仍然于其在步骤S860处输出的第二训练输出图像是初始输入图像的近似副本。因此，训练系统保持低对比度输入影像，并且恢复(尽管循环中的所述对比度变化)高对比度输入影像。训练系统TS的这种不对称行为特别地通过上述循环恒常性检查器成本函数CC()来实施。

特别地，正是关于对比度增强输入影像的该上下循环允许系统TS更好地学习真实对比度差异，并且因此产生机器学习模型，所述机器学习模型适于仅对比度增强图像的表示造影剂的存在的部分。

上述成本函数(或成本函数的系统)如由训练控制器TC实施，如下面更详细讨论的。训练控制器TC可以在软件或硬件中实施，或部分地在两者中实施。

如前所述，训练系统TS可以使用成本函数的系统。具体地，机器学习(即，ML参数的调节)由训练控制器TC基于成本函数来控制。成本函数是将要学习的参数映射到数字“成本”的标量函数。广义地，控制器TC调节ML模型中的一些或全部的参数，使得成本被降低。该操作在本文中被称为“改进成本函数”。如果根据作为目标函数的效用函数来公式化优化，则这通过增加作为ML参数调节的函数的效用来改进。

一些或每个成本函数本身可以包括子成本函数分量。子成本函数分量可以例如相加地组合，以产生相应的(超)成本函数。因此，子成本函数可以被理解为(超)成本函数的项。然而，每个子成本函数本身是成本函数，并且出于本目的，它等同于根据单个超成本函数来公式化单个优化(最小化)，或包括针对每个子成本函数的相应(部分)优化的优化的系统。

在下文中，当我们提及“该成本函数/成本函数”时，这可以是一起用于关于由训练系统中的ML模型的框架产生的输入和输出来实施训练系统的上述行为的成本函数的系统的部分。因此，本文对“成本”函数的引用因此不排除在训练系统中另外使用的其他成本函数。通常，成本函数使用合适的距离/偏差度量L()，其对输入影像与输出影像之间的关系(例如，相似性)进行测量。如本文所使用的“输入”和“输出”不仅指代训练系统TS的初始输入(图像)和最终输出(图像)，而且指代在数据通过训练系统TS的各个阶段时产生的各种中间输入/输出影像，如上面在图2-8处所描述的。成本函数的项在本文中可以被称为在本文中任选地设想的正则化项，以实施参数或从这样的参数可获得的结果的某些期望性质。

可以在(主要)关于对比度降低器(第一生成器G1)、任选的鉴别器DS和恢复器RS(第二生成器G2)操作的那些成本函数之间区分成本函数。然而，应当理解，如本文所使用的成本函数中的一些或所有是相互依赖的，并且通过如下所述的交替来同时或依次联合优化。成本函数不仅可以根据输出/输入影像来制定，而且可以根据(至少)三个ML模型的参数来制定。因此，一个ML模型的成本函数也可以指代其他(至少两个)ML模型的参数，从而引起所提到的相互依赖性。如由训练控制器TC实施的用于训练系统TS的成本函数系统E在本文中可以指代为E＝(E_G1,E_DS E_G2)。在实施例中，所提出的优化包括最小化和最大化两者。

现在首先转到第一生成器G1的成本函数E_G1，这任选地包括表示第一生成器与鉴别器之间的对抗关系的GAN项。另外地或替代地，存在另一成本函数，一致性检查器函数CC()。将生成器的两个成本函数组合成一个(超)成本函数，该成本函数可以被正式地写为以下最小化任务：

其中，表示第一生成器的参数，并且(1)(以及以下等式)中的求和是对训练集TD的训练输入影像在等式(1)中并且在下面，λ_i’s是可以用于调节优化中每一项的贡献的任选控制参数。这些控制参数通常是元参数，并且在优化中不被调节，因此不被学习。一些或所有的λ_i’s可以是1。

现在首先转到循环一致性检查器成本或正则化器函数CC()，这对对比图像和非对比图像进行操作来实施上述行为，以便训练系统全局地作用于来自两个类别的图像作为恒等运算符。

循环一致性检查器正则化函数可以被写为：

M是造影剂贡献度量，并且x是来自任一个类别C、NC的图像。“∝”是前面提到的对比度缩放/提升因子，正数，优选地>1。缩放因子可以如用户所提到的那样进行调节，但是在训练期间优选地保持固定。缩放因子可以在部署期间改变为除了用于训练的一个∝之外的值β，使得用户可以调节(例如，通过用户接口UI)对比度提升的强度。L(·)是上述相似性度量，例如L₁-范数或平方L₂-范数成本函数，或它们两者的总和，或加权和等。

通过最小化(2a)，对于恢复器的输出和初始输入x之间的小偏差，成本函数E招致更小的成本。以这种方式，训练系统在优化中调节其参数，以便近似来自两个类别的影像的恒等运算符行为。

由于正则化器/成本函数CC，成本函数E_G1因此针对来自任一图像类别(对比和非对比)的图像对恢复图像和初始输入图像x之间的偏行测量。小偏差吸引小成本。

(1)中的成本函数E_G1可以包括额外的、任选的成本(部分)函数或正则化项(被加数)。一些这样的额外项在下面的等式(3)-(5)中描述，并且表示对比度图M的先验知识和期望。正则化器(3)-(5)单独地或组合地还进一步改进了上述局部聚焦的IQ增强，诸如对比度增加。

例如，针对图M的正则化项可以被配置为促进具有低噪声和/或粗糙度的解，如由下式表达的：

其中，(·)⁺是整流器函数(定义为其自变量的正部分)；N_map是基于针对一些或每个像素的片块中的标准偏差或方差图计算的的噪声图，其可以使用若干方法生成，例如，如申请人的US8,938,110或US1,028,282中所描述的；R(·)是粗糙度惩罚或正则化项(例如，总变差、Huber损失函数或任何其他合适的度量)。项(3)或任何其他这样的类似项促进造影剂图(诸如碘图)的逐段平滑解，其表示图像中的造影剂/对比剂贡献或部分，如上面在等式(2b)处所解释的。

包括在(1)中作为额外项的另一任选的正则化项是：

该项促进了正(≥0)造影剂图，因为向图像添加对比度仅可以增加强度/HU(这对于图像伪影是真实的)。根据图的负贡献是不现实的，并且项(4)或类似项在优化期间正则化/鼓励计算正图。

包括在(1)中作为额外项的另一任选正则化项是：

λ₅L(M(I_i))(5)

该项促进了具有针对非对比输入图像I的低对比度图M的解决方案，因为这样的图像被假设为已经在FOV中不存在造影剂的情况下被采集。成本函数E可以包括所有项(3)-(5)，仅单个项，或等式(3)-(5)的任何(子)组合。

现在更详细地转向任选的GAN设置，这可能需要两个成本函数来将G1和D之间的对抗关系公式化为最小-最大优化。

项中的一个(针对第一生成器G1的一个项)在(1)中公式化为并且被配置为如果第一生成器G1没有成功产生导致鉴别器DS产生错误分类结果的输出，则招致更高的成本。具体地，第一生成器G1的成本函数的最小化任务是最小化由鉴别器针对假图像预测的反概率的对数。因此，生成器倾向于生成具有为假图像的低概率的样本。

另一个GAN成本函数E_DS(鉴别器DS的成本函数)可以被配置如下：

(6)根据交叉熵公式化为二元分类。该成本函数被配置为在鉴别器没有正确地将影像I分类为由生成器输出的情况下产生更高的成本。因此，鉴别器目标函数(效用函数而不是成本函数)被配置为最大化真实图像的对数概率和虚假图像的反概率的对数的平均值。

还设想了除(1)、(6)之外的用于GAN设置的其他公式，例如最小二乘GAN成本函数或Wasserstein GAN成本函数，所有这些都在本文中在备选实施例中设想。虽然由于其鲁棒性而在本文中是优选的，但是GAN设置在本文中不是必需的。如果不使用GAN步，则既不需要成本函数等式(6)，也不需要成本函数等式(1)中的项。在这种情况下，第一生成器G1可以是任何生成网络，其可以适当地训练，以根据(至少两个)图像类别C、NC中的训练数据集合生成IQ降低的样本。

现在转向恢复器RS(第二生成器G2)的成本函数E_G2，这可以根据循环一致性正则化器/成本函数CC()被配置如下：

该成本函数(类似于(1))在作用于来自两个类别C、NC的图像时鼓励恢复器G2的恒等运算符行为。

关于目标函数(系统)E＝(E_G1,E_DS,E_G2)、等式(1)、(6)和(7)的这种优化可以使用替代的优化流程来完成。在该方案中，优化在依次执行两个或三个成本函数(即，网络和(以及任选地鉴别器DS，如果存在的话)的成本函数)中的每个的优化步骤之间交替，同时将其他两个模型的参数视为常数。交替优化流程的一些或每个步骤可以是如前所述的基于梯度的。设想的方法包括随机梯度下降。参见例如H Robbins等人的“Astochastic approximation method”(publ.Ann Math Stat.22,pp 400-407(1951))或者DP Kingma,等人的ADAM算法“A method for stochastic optimization”(作为arXiv预印本发表在arXiv:1412.6980(2014))。在实施例中，本文还设想了其他优化算法，诸如共轭梯度、或Nelder-Mea、或甚至基于非梯度的。

虽然上述学习任务已经被公式化为由成本函数E控制的优化问题，但是如本文所使用的“优化”不一定意味着找到全局最优。对于大多数应用，局部最优可能是足够的。即使当所提出的算法收敛到局部(或全局)最优值时，在本文中也不一定要求这是实际实现的。在预定义误差界限内的近似对于大多数应用将是足够的。当ML参数没有明显变化时，可以更早地中止迭代。

此外，可以通过使用混合结构正则化或自动混合方法来进一步改进或提升训练，如例如MFreiman等人的“Unsupervised abnormality detection through mixedstructure regularization(MSR)in deep sparse autoencoders”(publ.MedicalPhysics，第46卷(5)，第2223-2231页(2019))所描述的。特别地，可以如此混合非对比图像和对比图像。

除了产生对比度提升图像之外，所提出的方法还可以提供额外的有用结果，包括虚拟非对比(VNC)图像。例如，网络的输出可以用于将造影剂图计算为

例如，如果原始训练数据集合TD包括足够数量的对比图像样本，则上面解释的训练系统TS可以专门对原始训练数据集合TD进行操作。然而，如果训练基于扩大的训练数据集合TD’，则可以改进性能。换句话说，代替原始训练数据或除了原始训练数据之外，还处理合成图像。系统TS的操作与上面在图2-8处描述的合成影像非常类似，但是成本函数E可以包括另一项(参见下面的等式(8))以引入关于合成数据的额外依赖性。因此，下面将更详细地解释上述训练系统TS中的训练数据合成和合成数据的使用。合成数据可以与生成类型的任何ML模型一起使用，而不一定在上述框架中。数据合成方法可以与基于训练数据的任何ML算法一起使用，并且该训练数据包括高IQ和低IQ图像样本。

现在参考图9的流程图，以便更详细地解释数据合成方法的操作。使用如此获得的合成数据还可以进一步提升训练系统TS的性能，如上所述。通常，所提出的训练数据合成方法允许通过引入训练数据的更大可变性来扩大可用的训练数据集合TD，其中添加了更多有用的样本。可以减少或去除针对一种类别的数据的原始训练数据集合中的初始统计偏差。

已经发现，训练数据集合的质量对训练系统的性能具有显著影响，并且最终对经训练的对比度增强网络CR、CB的性能具有显著影响。这是因为，如前所述，在对比度增强ML实施例中，假设训练数据集合TD包括至少两个类别(对比和非对比)的图像。然而，两个类别中的那些图像之间的差异不一定仅限于造影剂的施用。例如，可能存在噪声贡献和/或可能模糊对比影像与非对比影像之间的差异的其他贡献，从而导致集合TD中的偏差和/或训练期间的过度拟合效应。训练系统可以尝试基于与对比影像和非对比影像之间的真实差异本质上不相关的图像特征来学习虚假或假相关性。而且，某些投影方向可能导致高密度解剖结构(诸如骨骼)的重叠。这可能导致类似于造影剂签名的图像结构，但是实际上不会，因此再次潜在地误导训练系统TS。

为了补偿与造影剂的存在无关的图像结构差异的这些干扰效应，在本文中提出了上述数据合成器系统DSS和相关方法。数据合成方法允许基于现有数据集合TD来计算合成图像以注入更大的可变性，使得放大集合形成主要由造影剂的存在引起的图像内差异的分布的更好样本。

所提出的合成器系统DSS实施数据合成方法。合成器系统DSS包括如图3所示的数据合成器DSY部件。所提出的合成器系统DSS可以在训练数据集合上的准备阶段中预先操作。然而，不一定在所有实施例中都设想这样的预先操作。作为备选，训练系统TS的操作可以与数据合成器DSY的操作交错，以“即时”产生合成的数据影像。合成图像按需生成，并以一定比例与原始影像一起单独或分批地馈送到训练系统TS的输入管线中。随机化开关或选择器Sw3然后从影像的放大语料库TD’中选择图像，使得合成生成的图像和/或原始图像被提供给训练系统TS以进行处理。然后，训练系统TS针对当前单幅训练图像或一批训练图像运行上述优化的迭代，直到绘制下一个单幅或一批训练图像，此时数据合成器DSY计算新的合成图像，等等。因此，在该交错操作模式中，放大集合TD’可以不必作为整体存储在非易失性存储器中。然而，当数据合成器DA前面产生合成影像时，可以如此存储放大集合TD’。在前期处理中，首先产生放大数据集合TD，并且然后开始系统TS的训练。

数据合成器DSY的操作可以被理解为针对某些图像的图像修改之一。在实施例中，非对比图像由数据合成器DSY操作为产生合成影像，该合成影像类似于其他类别中的其对比对应物。以这种方式，非对比组可以由合成数据(即合成高对比度图像)代替或优选地补充，并且然后将这些数据与固有的高对比度图像C一起处理，以增加对比图像的比例，从而提升训练。因此，在一些实施例中，放大的训练数据集合包括三个部分：原始对比和非对比类别、以及另外的合成图像再次，这些从来自低对比度类别NC的图像导出，但是已经被人工修改以捕获和模仿其对比对应物的特征。因此，可以降低非对比影像的相对比例。在一些实施例中，诸如在图2-4的多ML模型框架中，这是有利的，其中，当遇到非对比图像时，第一生成器G1或模型系统作为整体被要求基本上充当恒等运算符。

虽然这种训练方法在具有充分变化的训练数据的情况下很好地工作，但是在训练数据样本的数量少、具有相对较少的对比样本的情况下，它在更小程度上工作。在这种情况下，优选的是处理更多的对比图像，使得第一生成器可以被训练为在足够比例的情况下充当对比度降低器，如果大多数原始训练数据仅仅来自非对比图像类别NC，则不是这种情况。利用所提出的数据合成方法，训练数据可以被放大到现在包括更多对比样本，即合成样本。

广义地，并且在实施例中，该方法的输入包括非对比图像和对比度增强图像，在本文中分别如之前那样被表示为I和数据合成方法的最终输出是其是与非对比图像I相对应的合成生成的对比图像集合，如现在将更详细地解释的那样从非对比图像I导出对比图像集合。

数据合成方法包括将给定的非对比图像I与另一个集合C的一幅或多幅图像进行空间配准的步骤S910。优选地，将给定图像I与多幅(N>1)对比图像中的每幅进行配准。在实施例中，配准是与所有可用的对比图像但这不是在所有实施例中都需要的。可以使用弹性配准算法。可以使用任何其他合适的配准算法。因此，该操作产生N个配准结果，每个配准结果具有配准质量。可以通过多个不同的配准质量度量(例如互相关、平方差的和、互信息、LI成本或任何其他)中的任一个来对相应的配准质量进行度量。在一些简单的情况下，刚性配准可能就足够了，但是在大多数情况下，如所述的那样可能需要非刚性的弹性配准算法。

在步骤S920处，对于给定图像I，从多幅配准图像中选择超过给定配准质量阈值的对比图像如果存在多于一个这样的则可以进行随机选择。在实施例中，选择根据适用度量产生最佳配准质量的(单个)

在随后的任选步骤S930处，使用任何给定的去噪器/降噪算法对给定图像I和所选择的图像进行去噪/降噪，诸如基于(卷积)滤波器的算法，特别是基于高斯噪声的滤波器、非线性滤波器、基于小波或傅里叶的方法、块匹配方法、统计方法或实际上基于机器学习的方法。例如，可以使用基于GAN的方法来生成降噪图像。在申请人先前引用的US8,938,110中描述了另一种降噪算法。

在步骤S940处，将图像信息从一个类别的经配准的影像传递或“移植”到另一个类别。具体地，将任选地降噪的所选择的对比图像中的对比度贡献添加到降噪的给定图像I。步骤S940可以是基于阈值的。可以制定一个或多个阈值测试。在满足一个或多个阈值测试的(任选地降噪的)所选择的对比图像中的像素处的强度值在对应的像素位置处被添加到给定图像I。由于更早的配准，这种像素对应性是可用的。对于去噪图像I和所选择的去噪对比图像对应的像素位置在本文中将分别指代为j和阈值处理可以被实施为给定像素位置处的跨图像像素比较。例如，这样的跨图像比较可以被公式化如下：在像素j的强度小于像素的强度的情况下，然后像素j的强度值被更新为像素的强度值。可以使用额外的监护人阈值化来取消不相关的图像信息进入这种比较测试的资格。

例如，具有两个这样的监护人阈值的测试可以被公式化如下：如果像素j处的强度超过第一阈值，并且像素j的强度小于像素的强度，并且像素的强度小于第二阈值，则像素j的强度值被更新为像素的强度值。然而，第一阈值和/或第二阈值的使用是任选的。

阈值的目的是排除在感兴趣值的范围的任一端或两端具有极值的区域。例如，在X射线中，存在高度吸收/辐射不透明的对象和根本不吸收或仅可忽略不计的对象。这样的对象可以被称为极端对象。如果要包括表示这样的极端对象的像素值，则步骤S940中的跨图像比较结果可能是偏斜的。第一阈值是排除表示低吸收对象的非相关区域，诸如脂肪/空气等。第二阈值是排除表示高吸收对象的非相关区域，诸如金属植入物、皮质骨、其他骨骼等。监护人阈值可能需要重被新定义以用于其他成像模态，诸如MRI。然而，这种监护人阈值的使用是任选的。可以使用单个这样的阈值而不是两个或更多个。

在任选步骤S950处，通过加回在步骤S930中从图像I中去除的噪声贡献来获得最终合成图像只有在存在噪声去除步骤S930的情况下才需要步骤S950。否则，不存在这样的步骤S950。在步骤S930、S950中考虑噪声是为了防止噪声贡献损害步骤S940中的常常基于阈值的移植或修改操作。

在任选步骤S960中，可以使合成影像(高和/或低IQ)可用于训练系统(诸如上述图8中的训练系统TS或训练方法)，以训练机器学习模型(诸如特别是目标模型TM)。合成训练影像可以经由有线或无线连接或通过另一其他手段被转发到训练系统TS以进行处理。合成训练影像可以存储在数据存储器中。当(重新)训练开始时，训练系统TS可以在稍后阶段访问存储器。合成影像可以“在运行中”生成以用于正在进行的训练操作，或可以预先生成，然后存储在数据存储器中，并且可以在训练系统TS需要时访问。

对于类NC中的非对比图像中的一些或每幅重复上述步骤。在一些实施例中，仅针对非对比影像的某个必要比例/分数p％而不是针对所有这样的图像重复上述方法可能是足够的。所述必要比例P％可以是用户通过(或另一个)用户接口UI’可调节的。新获得的合成图像的集合以更大比例的对比图像(包括原生对比图像和合成图像)放大训练数据的原始集合TD。因此，新的训练数据集合优选地包括原始非对比图像I、原生对比图像和合成图像

通过包括新创建的修改图像原始训练集被放大为TD’。因此，可以去除或移位原始集合中的偏置，从而改进训练系统TS的整体性能。在上述实施例中，偏置是低对比度图像的优势之一。由于合成创建的高对比度图像新的训练数据集合TD’中的高对比度图像的总比例增加，因此去除或减轻朝向低对比度影像的现有偏置。在备选实施例中，特别是对于生成类型或其他类型的其他训练系统TS，可能期望替代地增加低对比度类别中的样本的数量。在这种情况下，步骤S940中的操作被反转，并且来自低对比度图像的图像信息被移植到配准的高对比度图像的相应位置处。在上面，数据合成已经用于合成来自高IQ类别的样本，诸如从非对比影像合成对比影像。然而，在备选学习设置中，可能期望相反地合成，即，合成来自低IQ类别的样本以增加其比例。例如，这种逆向合成对于训练网络G1以生成VNC(“虚拟非对比”)影像可能是有用的。因此，如此训练的网络接收对比影像形式的输入，并且输出没有对比度或对比度降低的图像。这样的VNC影像可以在部署中用于通过以下差异操作生成造影剂CM图(诸如碘图)：“碘图”＝“对比图像”-“VNC”。这样的造影剂图也可以由图5的对比度增强器生成。具有因子β＝2的对比度增强图像可以用于获得对比度提升图像，从该对比度提升图像中减去原始对比图像。

如果要使用图9中的上述数据合成器方法，则生成器网络G1的成本函数E_G1可以包括等式(1)中的另一个被加数项，例如：

等式(8)等是确保降噪的合成图像与非对比初始输入图像之间的偏差被最小化的任选正则化项。等式(8)的初始输入图像优选地是用于导出所述合成对比图像的图像。使用诸如成本函数/正则化器等式(8)，改进了系统的一致性和性能。等式(8)等确保噪声降低器能够仅去除合成添加的对比度贡献。因此，可以进一步促进上述聚焦对比度增强性质。然而，成本函数中的这种额外项不一定在使用数据合成的所有实施例中都需要，而是优选用于改进的训练。因此，在等式(1)的等式(8)部分作为被加数的情况下，引入了另外的依赖性，因此优化现在可以被写为如果不存在合成影像则可能不需要项(8)。如果将训练数据混合以包括所采集的影像和合成图像则可以根据需要打开/关闭项，例如通过将λ₈设置为零。每当经处理的影像包括合成图像时，项(8)的这种激活就可以由例如训练控制器TC来完成。

将理解，上述训练数据合成方法导致合成图像样本与其原始对应物之间的自然配对。如上面简要提到的，在对比度增强的示例中，自然配对是合成对比图像与其非对比原始输入图像I_i之间的配对。在第一生成器G1的成本(1)中，然后优选地是在等式(8)中使用的如此配对的图像。换句话说，参数调节取决于由给定图像对引起的偏差。更具体地，在上述步骤S860中，基于减速器的输出与其来自原始集合的成对的原始非对比对应物之间的偏差(如通过L进行度量)来调节参数。虽然除了合成影像之外，还可以使用如上面在图1-8处描述的基于原始原生对比影像的训练，但是在实施例中，训练可以仅限于合成影像与非对比原始对应物的结合。这可以使训练更快地收敛。

还将理解，数据合成方法和系统DSS可以与基于非模型的训练方案一起使用，诸如k最近邻方案或其他方案。需要改变/扩大原始训练数据集合的聚类算法。但是即使设想了基于模型的ML，所提出的数据合成系统和方法也不与上面在图2-4中描述的多ML模型G1、G2、DS设置相关联。数据合成可以有益地用于其他训练设置，其中，仅单个模型GI(优选地生成类型的模型)要被训练用于图像增强，以生成具有期望IQ的影像的示例。

数据合成器DSY可以用硬件或软件来实施，或部分地用两者来实施。如上面针对该方法所提到的，数据合成器DSY可以与训练系统TS的操作一起在运行中以交织模式操作以调节ML参数，或可以在先前阶段中操作以预先计算所需数量的合成图像，并且一旦合成器DSY已经计算出所需数量的合成图像，训练系统就开始。

虽然已经针对图像对比度增强描述了上述训练系统TS、对比度增强器SIE(图5)和数据合成器DSY，但是所描述的原理同样适用于其他类型的图像质量(IQ)增强，包括伪影和降噪。因此，以上内容可以容易地扩展到其他类型的IQ，训练集TD中的两个类别的影像现在是两个类别的高质量影像和低质量影像：例如，一方面对于高IQ样本具有低伪影贡献或低噪声的影像，以及另一方面对于低IQ样本具有高伪影贡献或高噪声的影像等。

例如，对于与伪影相关的IQ，第一生成器G1在该实施例中操作为增加伪影贡献，而对于与噪声相关的IQ，第一生成器G1将增加噪声，等等。在除了对比度之外的这样的IQ实施例中，循环一致性检查器CC()的度量函数M被配置为例如通过每个像素邻域的标准偏差来对局部噪声进行测量。可以使用其他噪声滤波器。关于在伪影存在方面的IQ，度量函数M可以被配置为空间或频域中的滤波器，其具有被调谐到感兴趣的特定伪影图像图案(诸如杯状伪影、环、条纹等)的高响应。

关于图9的用于其他IQ类型的数据合成方法，在步骤S940中，可以根据配准的高IQ对应图像来去除伪影/噪声贡献。如果感兴趣的IQ是噪声，则步骤S930、S950是任选的并且可以省略。因此，通常，在本文提出的数据合成方法中，在给定具有两类影像(高IQ和低IQ)的初始训练数据集合的情况下，来自一个类别的影像的图像信息可以被传递或移植到另一个类别的对应影像。可以通过配准来定义对应物，并且可以通过对对应物像素位置处的强度值进行阈值化和相加/相减来实施图像信息的传递。可以使用乘法/除法代替加法/减法或与加法/减法组合来定义图像传递操作。虽然参考与对比度相关的IQ解释了图9中的方法，但是它可以应用于其他IQ，诸如噪声水平或伪影严重性。在与分辨率有关的IQ的情况下，图像传递操作S940包括上/下采样操作等。在IQ与噪声水平有关的情况下，除了所描述的相加/相减图像信息传递之外，还可以替代地使用去噪器算法。

如本文所使用的限定词“高”/“低”指示给定的IQ在给定的高IQ图像样本中比它在低IQ图像样本中更好。

本文公开的一个或多个特征可以被配置或实施为/有被编码在计算机可读介质内的电路、和/或其组合。电路可以包括分立和/或集成电路、专用集成电路(ASIC)、片上系统(SOC)、和其组合、机器、计算机系统、处理器和存储器、计算机程序。

在本发明的另一示例性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。

因此，该计算机程序单元可以被存储在计算机单元上，该计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。该计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。该数据处理器由此可以被装备为执行本发明的方法。

本发明的该示例性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

更进一步地，该计算机程序单元能够提供实现如以上所描述的方法的示例性实施例的流程的所有必需步骤。

根据本发明的另一示例性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，该计算机可读介质具有存储在该计算机可读介质上的计算机程序单元，该计算机程序单元由前面部分描述。

计算机程序可以被存储和/或分布在合适的介质(具体地但非必要地，非瞬态介质)上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。

然而，该计算机程序也可以存在于诸如万维网的模型上并能够从这样的模型中下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，该计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。

必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims

1.一种用于基于包括至少两种类型的医学训练影像的集合(TD)来合成用于机器学习的训练数据的系统(DSS)，所述两种类型的医学训练影像为高图像质量IQ影像和低IQ影像，所述系统包括数据合成器(DSY)，所述数据合成器被配置为：

配准所述至少两种类型的影像；

i)将来自高IQ影像的图像信息传递到经配准的低IQ影像以获得合成的高IQ影像，或者ii)将来自低IQ影像的图像信息传递到经配准的高IQ影像以获得合成的低IQ影像，并且

提供所述合成的高IQ影像和/或所述合成的低IQ影像以用于训练机器学习模型。

2.根据权利要求1所述的系统，其中，IQ包括以下各项中的任一项：i)图像对比度水平、ii)图像伪影水平和iii)图像噪声水平。

3.根据权利要求2所述的系统，其中，所述高IQ影像是当造影剂存在于成像装置的视场中时由所述成像装置记录的影像，并且所述低IQ影像是当存在较少量的所述造影剂或存在较少量的一造影剂时由所述成像装置或由一成像装置记录的影像。

4.根据权利要求2或3所述的系统，其中，所述IQ是对比度水平或图像伪影水平中的一项，并且其中，所述数据合成器(DSY)还被配置为：

对所述经配准的影像进行去噪以去除噪声分量；并且

将所述噪声分量添加到所述合成的低IQ影像或所述合成的高IQ影像。

5.根据前述权利要求中的任一项所述的系统，其中，所述合成的高IQ影像或所述合成的低IQ影像被添加到所述训练数据集合(TD)以获得放大的训练数据集合(TD’)。

6.根据前述权利要求中的任一项所述的系统，其中，要合成的影像的比例是能通过用户界面(UI)调节的。

7.一种训练系统(TS)，其用于基于权利要求1-6中的任一项中的所述合成的高IQ影像或所述合成的低IQ影像来训练用于对医学影像的图像增强的目标机器学习模型(TM、G1)。

8.根据权利要求7所述的训练系统(TS)，所述机器学习模型(TM、G1)用于将合成的高IQ影像处理成训练输出影像，并且所述系统(TS)包括训练控制器(TC)，所述训练控制器(TC)能操作用于至少基于所述训练输出影像与所述低IQ影像之间的偏差来调节所述机器学习模型的参数。

9.根据权利要求7或8所述的训练系统(TS)，其中，所述目标模型(TM、G1)是人工神经网络类型的。

10.根据前述权利要求中的任一项所述的训练系统，其中，所述集合中的所述高IQ影像/所述低IQ影像是X射线影像或MRI影像。

11.一种图像增强系统(SIE)，其被布置为接收输入图像(X’)，并且基于通过根据权利要求7-10中的任一项所述的训练系统(TS)训练的机器学习模型或基于通过根据权利要求1-6中的任一项所述的系统获得的所述合成的低IQ影像或所述合成的高IQ影像来将所述输入图像处理成增强图像(X’)。

12.一种基于包括至少两种类型的医学训练影像的集合(TD)来合成用于机器学习的训练数据的方法，所述两种类型的医学训练影像为高IQ影像和低IQ影像，所述方法包括：

配准(S910)所述至少两种类型的影像；

i)将来自高IQ影像的图像信息传递(S940)到经配准的低IQ影像以获得合成的高IQ影像，或者ii)将来自低IQ影像的图像信息传递(S940)到经配准的高IQ影像以获得合成的低IQ影像

13.一种基于权利要求12中的所述合成的高IQ影像或所述合成的低IQ影像来训练用于对医学影像的图像增强的目标机器学习模型(TM、G1)的方法。

14.一种图像增强方法，包括：接收输入图像(X’)，并且基于通过根据权利要求13所述的训练方法训练的机器学习模型或基于通过根据权利要求12所述的方法获得的所述合成的高IQ影像或所述合成的低IQ影像来将所述输入图像处理成增强图像(X’)。

15.一种计算机程序单元，所述计算机程序单元当由至少一个处理单元(PU)运行时适于使所述处理单元(PU)执行根据权利要求12-14中的任一项所述的方法。

16.一种计算机可读介质，其上存储有根据权利要求15所述的程序单元，或者在其中存储有合成的低IQ影像或合成的高IQ影像。