CN109583576B

CN109583576B - 一种医学图像处理装置及方法

Info

Publication number: CN109583576B
Application number: CN201811544139.7A
Authority: CN
Inventors: 韩妙飞; 张宇; 高耀宗
Original assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Current assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2020-11-06
Anticipated expiration: 2038-12-17
Also published as: CN109583576A

Abstract

本发明提供一种医学图像处理方法，所述处理方法包括：获取待处理的医学图像；根据经训练的神经网络模型对医学图像进行处理；其中，所述神经网络模型包括多个神经网络结构单元，所述神经网络结构单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核为单位卷积核；所述第一卷积层的输出通道数相对于所述第一卷积层的输入通道数被降维，所述第二卷积层在经过所述第一卷积层降维的特征图像上进行空间卷积，所述第三卷积层的输出通道数被升维至所述第一卷积层的输入通道数。

Description

一种医学图像处理装置及方法

技术领域

本发明主要涉及医学图像领域，特别涉及一种医学图像处理装置及方法。

背景技术

近年来，基于深度学习的图像处理方法在医学图像高级应用中已经得到大规模使用。在诸如医学图像检测、医学图像分割、医学图像重建，医学图像配准等领域，深度学习方法在正确率、鲁棒性和计算速度等方面都远胜于传统的图像处理方法。

深度学习中图像领域运用最为成功的是卷积神经网络(Convolutional NeuralNetworks,CNN)。卷积神经网络中，可用于端到端分割的网络模型有全卷积网络(FullyConvolutional Network，FCN)，deeplab等。

在三维医学图像处理中，以图像分割为例，相比较于二维图像，现有神经网络训练产生的模型文件通常比较大，单个模型文件通常在250MB左右。如果软件产品中采用了多个神经网络模型，会大幅度增加最终软件产品的磁盘占用空间，从而给产品的部署带来很多不良的影响。此外，现有部署神经网络的方法及开源软件库，对每一个卷积层的输入和输出都需要分配新的内存，会耗费较多的显存，对产品部署的硬件配置带来了非常高的要求和成本。

发明内容

本发明要解决的技术问题是提供一种医学图像处理装置及方法，通过降低网络模型文件的大小以及对神经网络运行时内存的优化，从而节省存储空间，降低内存消耗，提高神经网络计算效率。

为了解决上述技术问题，本发明的一方面提供一种医学图像处理方法，所述处理方法包括：获取待处理的医学图像；根据经训练的神经网络模型对医学图像进行处理；其中，所述神经网络模型包括多个神经网络结构单元，所述神经网络结构单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核为单位卷积核；所述第一卷积层的输出通道数相对于所述第一卷积层的输入通道数被降维，所述第二卷积层在经过所述第一卷积层降维的特征图像上进行空间卷积，所述第三卷积层的输出通道数被升维至所述第一卷积层的输入通道数。

在本发明的一实施例中，所述神经网络结构单元还包括批量归一化层和激活层。

在本发明的一实施例中，所述神经网络模型为卷积神经网络模型。

在本发明的一实施例中，所述卷积神经网络模型为U字型或V字型神经网络模型。

在本发明的一实施例中，确定所有卷积层中输入和输出所需的最大内存，并根据所述最大内存分配相应的输入内存和输出内存，在处理过程中，所述输入内存和所述输出内存相互调换。

在本发明的一实施例中，还包括跨层连接的卷积层，所述跨层连接的卷积层的输入和输出嵌入到所述输入内存和所述输出内存中。

在本发明的一实施例中，所述第二卷积层的卷积核大小为3-5。

本发明的另一方面提供一种医学图像处理装置，所述处理装置包括：医学图像获取模块，获取待处理的医学图像；医学图像处理模块，根据经训练的神经网络模型对医学图像进行处理；其中，所述神经网络模型包括多个神经网络结构单元，所述神经网络结构单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核为单位卷积核；所述第一卷积层的输出通道数相对于所述第一卷积层的输入通道数被降维，所述第二卷积层在经过所述第一卷积层降维的特征图像上进行空间卷积，所述第三卷积层的输出通道数被升维至所述第一卷积层的输入通道数。

本发明的又一方面提供一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如上所述的方法。

与现有技术相比，本发明具有以下优点：本发明的神经网络模型包括多个神经网络结构单元，神经网络结构单元为瓶颈结构，第一卷积层的输出通道数相对于第一卷积层的输入通道数被降维，第二卷积层在经过第一卷积层降维的特征图像上进行空间卷积，第三卷积层的输出通道数被升维至第一卷积层的输入通道数，第一卷积层和第三卷积层的卷积核为单位卷积核，分别用于通道数的降维和升维，由于空间卷积是在被降维的特征图像上进行，使得模型文件的参数量显著降低，运行效率显著增快，同时由于整体的输入通道数和输出通道数保持不变，可以保证神经网络图像处理的效果。对U字型或V字型的神经网络模型，本发明计算出所有卷积层输入层和输出层中最大所需内存，并分配两块的最大内存分别作为输入和输出，对于U字型或V字型神经网络其中的跨层连接不单独分配内存，而是将其嵌入到两块内存中，合理复用内存。因此实现了在较低的内存消耗下保证图像处理效果的同时显著降低了模型文件的参数量。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明一些实施例的计算机设备的结构示意图。

图2是根据本发明一些实施例描述的示例性的处理引擎的方框图。

图3是根据本发明一些实施例描述的示例性的神经网络确定模块的方框图。

图4是本发明一实施例的医学图像处理方法的流程图。

图5A-5H是本发明一实施例的医学图像处理方法的示例性过程的示意图。

图6是现有技术中卷积—批量归一-激活结构单元的结构示意图。

图7是本发明一实施例的神经网络结构单元的示意图。

图8A是本发明一实施例的内存分配的示意图。

图8B是本发明另一实施例的内存分配的示意图。

图9是根据本发明一实施例描述的示例性的神经网络模型的示意图。

具体实施方式

为了更清楚地说明本发明的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。

本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本发明的一些描述是结合计算机断层扫描(CT)图像而提供。应当理解，这是为了说明的目的，而不是旨在限制本发明的范围。在此发明的装置和方法可以用于处理来自其他成像模态的图像或图像数据。成像系统可为单模成像系统，例如发射计算机断层摄影(ECT)、超声成像系统、X射线光学成像系统、正电子发射断层摄影(PET)系统等。成像系统也可为多模成像系统，例如计算机断层摄影-磁共振成像(CT-MRI)系统、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射断层摄影-计算机断层摄影(SPECT-CT)系统、数字减影血管造影-计算机断层摄影(DSA-CT)系统等。

图1是本发明一些实施例的计算机设备的结构示意图。计算机100可以被用于实现实施本发明一些实施例中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中，计算机100可以通过其硬件设备、软件程序、固件以及它们的组合来实现本发明一些实施例的具体实施。在一些实施例中，计算机100可以是一个通用目的的计算机，或一个有特定目的的计算机。

参考图1所示，计算机100可以包括内部通信总线101、处理器(processor)102、只读存储器(ROM)103、随机存取存储器(RAM)104、通信端口105、输入/输出组件106、硬盘107以及用户界面108。内部通信总线101可以实现计算机100组件间的数据通信。处理器102可以进行判断和发出提示。在一些实施例中，处理器102可以由一个或多个处理器组成。通信端口105可以实现计算机100与其他部件(图中未示出)例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中，计算机100可以通过通信端口105从网络发送和接受信息及数据。输入/输出组件106支持计算机100与其他部件之间的输入/输出数据流。用户界面108可以实现计算机100和用户之间的交互和信息交换。计算机100还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘107，只读存储器(ROM)103和随机存取存储器(RAM)104，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器102所执行的可能的程序指令。

作为举例，输入/输出组件106可以包括以下的组件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。

本发明中的处理器102可设置为处理引擎。图2是根据本发明一些实施例的处理引擎的方框图。参考图2所示，处理引擎200可包括获取模块210、控制模块220、神经网络确定模块230、图像数据处理模块240和存储模块250。处理引擎200可被实施于各种部件上(例如图1所示的计算机100的处理器102)。

获取模块210可接收图像数据。获取模块210可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取图像数据。图像数据可包括扫描数据、重建图像等。在一些实施例中，获取模块210可将获取的图像数据发送到处理引擎200的其它模块或单元以用于进一步处理。例如，获取的图像数据可发送到存储模块250存储。作为另一个示例，获取模块210可发送图像数据(例如扫描数据)到图像数据处理模块240以分割图像。

控制模块220可通过例如产生一个或多个控制参数，来控制获取模块210、神经网络确定模块230、图像数据处理模块240和/或存储模块250的操作。例如，控制模块220可控制获取模块210获取图像数据。作为另一个示例，控制模块220可控制图像数据处理模块240处理由获取模块210获取的图像数据。作为又一个示例，控制模块220可控制神经网络确定模块230来训练神经网络模型。在一些实施例中，控制模块220可接收实时命令或取回由例如用户(例如医生)或计算机100提供的预定命令，以控制获取模块210、神经网络确定模块230和/或图像数据处理模块240的一个或多个操作。例如，控制模块220能根据实时指令和/或预定指令调节图像数据处理模块240以生成对象图像。在一些实施例中，控制模块220可与处理引擎200的一个或多个其它模块通信以交换信息和/或数据。

神经网络确定模块230可确定一个或多个神经网络模型。例如，神经网络确定模块230可确定神经网络模型，神经网络模型被配置为对图像进行分割。在一些实施例中，神经网络确定模块230可将确定的神经网络模型发送到一个或多个其他模块用于进一步的处理或应用。例如，神经网络确定模块230可向存储模块250发送神经网络模型用于存储。作为另一个示例，神经网络确定模块230可将神经网络模型发送到图像数据处理模块240用于图像处理。

图像数据处理模块240可处理由处理引擎200的各个模块提供的信息。图像数据处理模块240可处理由获取模块210获取的图像数据，从存储模块250取回的图像数据等。在一些实施例中，图像数据处理模块240可对图像进行分割，生成包括一个或多个图像和/或其他相关信息的报告，和/或执行根据本发明的各种实施例的任何其它用于图像分割的功能。

存储模块250可存储图像数据、模型、控制参数、经处理的图像数据或其组合。在一些实施例中，存储模块250可存储可由处理引擎200的处理器执行的一个或多个程序和/或指令，以执行在本发明中描述的示例性方法。例如，存储模块250可存储由处理引擎200的处理器执行的程序和/或指令以获取图像数据、基于图像数据分割图像、训练神经网络模型和/或显示任何中间结果或结果图像。

在一些实施例中，神经网络确定模块230可独立于处理引擎200设置。由另一设备确定的一个或多个神经网络模型可存储在计算机100中(例如，硬盘107、ROM 103或者RAM104等)或者在外部设备上，该外部设备可通过处理引擎200经由例如网络存取。在一些实施例中，这种设备可包括与神经网络确定模块230相同或相似的部分。在一些实施例中，神经网络确定模块230可存储一个或多个神经网络模型，该神经网络模型由另外的设备确定，并且可被计算机100的一个或多个部件(例如处理器102等)访问。在一些实施例中，本发明中可应用的神经网络模型可由计算机100(或包括例如处理引擎200的一部分)或可由计算机100访问的外部设备(或包括例如处理引擎200的一部分)确定。

图3是根据本发明的一些实施例描述的示例性的神经网络确定模块230的框图。参考图3所示，神经网络确定模块230可包括图像重建单元320，神经网络训练单元340和存储单元360。神经网络确定模块230可在各种组件(例如，如图1所示的计算机的处理器102)上实施。

图像重建单元320可基于一个或多个重建技术来重建一个或多个图像。在一些实施例中，图像重建单元320可将重建的图像发送到神经网络确定模块230的其他单元或块，用于进一步处理。例如，图像重建单元320可以将重建的图像发送到神经网络训练单元340，以训练神经网络模型。作为另一示例，图像重建单元320可以将重建的图像发送到存储单元360以进行存储。

神经网络训练单元340可训练神经网络模型。在一些实施例中，神经网络训练单元340可训练神经网络模型，神经网络模型被配置为根据欠采样图像生成预测图像。可以使用一些图像和针对这些图像的感兴趣区域选框来获得这样的神经网络模型。

在一些实施例中，神经网络训练单元340还可包括用于初始化的参数确定块342、提取块344、计算块346和判断块348。参数确定块342可初始化神经网络模型。例如，参数确定块342可构建初始神经网络模型。作为另一示例，参数确定块342可初始化初始神经网络模型的一个或多个参数值。提取块344可以从一个或多个训练图像中提取信息。例如，提取块344可以从这些训练图像中提取关于一个或多个区域的特征。计算块346可以在例如训练神经网络模型的过程中执行计算功能。例如，计算块346可以计算在迭代训练过程中更新的神经网络模型的一个或多个参数值。判断块348可以在例如训练神经网络模型的过程中执行判断功能。例如，判断块348可以确定在神经网络模型的训练过程中条件是否满足。

存储单元360可以存储关于例如训练神经网络模型的信息。在一些实施例中，与训练神经网络模型有关的信息可以包括用于训练神经网络模型的图像，用于训练神经网络模型的算法，神经网络模型的参数等。例如，存储单元360可以根据一定的标准来存储训练图像。可以基于训练图像的维度将训练图像存储或上传到存储单元360中。为了说明的目的，二维(2D)图像或三维(3D)图像可以被存储为包括多个元素(例如，像素或体素)的2D或3D矩阵。2D矩阵的元素以每行元素被顺序地存储在存储单元360中的方式被布置在存储单元360中，每行元素与2D图像的长度相对应，因此相同行中的元素在存储单元360中彼此相邻。3D矩阵的元素以构成3D矩阵的多个2D矩阵顺序地存储在存储单元360中的方式布置在存储单元360中，然后每个2D矩阵的行和/或列顺序地存储在存储单元360中。存储单元360可以是存储要由诸如CPU、GPU等处理设备处理的数据的存储器。在一些实施例中，存储单元360可以是由一个或多个GPU访问的存储器，或者是只由特定GPU访问的存储器。

应当注意的是，对神经网络确定模块230的以上描述仅仅是为了说明的目的而提供的，而并非旨在限定本发明的范围。对于本领域普通技术人员而言，可在本发明的教导下做出多种变形或修改。这些变形和修改并不背离本发明的范围。

图4是本发明一实施例的医学图像处理方法的流程图。本发明的实施例中的医学图像处理方法可用于图像分割、图像检测、图像配准等。为了便于说明，图4以图像分割为例示出了本发明的实施例中的医学图像处理方法。参考图4所示，该医学图像处理方法包括以下步骤：

步骤401：获取待处理的医学图像。

步骤401还可以包括两个具体步骤：(1)采集医学图像数据；(2)对采集到的医学图像数据进行预处理。

所要采集的医学图像数据可以是CT图像、X射线图像、MRI图像、PET图像或CT-PET图像、CT-MRI图像等。该图像的对象可包括物质、组织、器官、样本、身体，或类似物，或者其任意组合。具体的来自于身体的医学图像的对象可包括头、胸、肺、心、肝、脾、胸膜、纵膈、腹、大肠、小肠、膀胱、胆囊、盆腔、骨干、末端、骨架、血管，或类似物，或者其任意组合。

对采集到的医学图像数据进行预处理的步骤中包括降采样，即将医学图像降采样为经训练的神经网络模型的指定分辨率。在预处理的步骤中还可以包括归一化，即按照神经网络模型训练阶段采用的归一化方式对降采样之后的医学图像数据进行归一化。

步骤402：根据经训练的神经网络模型对所述医学图像进行分割。具体的，神经网络结构模型可以通过一个粗分割神经网络一个细分割神经网络级联的方式实现。粗分割神经网络用于器官快速定位，细分割网络用于器官的细分割。根据经训练的神经网络模型对所述医学图像进行分割可以包括步骤4021对医学图像进行粗分割以及步骤4022对医学图像进行细分割。

步骤4021：根据经训练的粗分割神经网络模型对所述医学图像进行粗分割。

对人体医学图像数据来说，在此步骤，将经过预处理的医学图像输入粗分割神经网络进行前向传播计算之后，可以得到人体中器官的概率分布图。

在一实施例中，步骤4021对医学图像进行粗分割之后还包括对该医学图像的概率分布图进行后处理。所谓的后处理主要包括二值化以及确定最大连通区域。经过后处理之后，可以得到粗分辨率下器官的分割结果。

步骤4022：根据经训练的细分割神经网络模型对粗分割之后的医学图像进行细分割。

对步骤4021所获得的粗分割结果取感兴趣区域定位框(bounding box of regionof interest)，截取该定位框内的图像作为细分割神经网络模块的初始输入图像。

在此步骤中，对该初始输入图像可进行以下处理：(1)预处理，包括将该初始图像降采样为经训练的细分割神经网络模型的指定分辨率，以及归一化处理；(2)将该预处理后的图像输入细分割神经网络进行前向传播计算，得到器官的概率分布图；(3)对该概率分布图进行类似步骤4021中的后处理，即得到器官的细分割结果。

需要说明的是，本实施例要处理的医学图像是以三维图像为例，本发明也适用于二维医学图像数据。相应地，用于二维图像分割的神经网络是二维的神经网络。

此外，步骤4021中的粗分割神经网络模型和步骤4022中的细分割神经网络模型都是预先经过训练的。以三维医学图像为例，对神经网络模型的训练是将大量的三维医学图像，和其器官的标注图像，用卷积神经网络进行训练，得到分割模型文件。训练的主要过程为：

(1)图像预处理，包含首先将图像重采样为指定分辨率图像，其次随机地从完整的图像中取出图像块(crop)，再对图像块进行归一化。将图像重采样为同一个分辨率是因为不同医学图像的空间分辨率不同，在训练阶段统一为同一个分辨率有利于模型训练的收敛。同理将图像进行归一化也是为了将图像的灰度分布控制在一个指定范围内，如-1-1之间，从而加快模型的收敛。对图像进行分块操作，采用图像块训练而不是整个原图，主要是考虑到内存(显存)的限制，并且以部分图像训练可视作一种正则化手段，使得模型性能更优。

(2)模型训练：将图像块以批尺寸(batch size)为6输入卷积神经网络进行训练，经过多次迭代，待训练的损失函数值(Loss)较低时，保存训练模型文件。

粗分割神经网络模型和细分割神经网络模型的训练过程是一样的，区别在于将图像重采样后的分辨率不同。粗分割神经网络模型的分辨率较粗，如分辨率为6mm。细分割神经网络模型的分辨率较细，如分辨率为1mm。经过训练之后分别得到粗分割模型文件和细分割模型文件。粗分割模型文件用于上述步骤4021中对医学图像中的器官进行粗分割。细分割模型文件则用于上述步骤4022中对医学图像中的器官进行细分割。

该模型训练的过程以及后续基于该训练好的神经网络模型对医学图像进行器官分割一起，就构成了一个完整的器官分割解决方案。

图5A-5H是本发明一实施例的医学图像处理方法的示例性过程的示意图。该过程以人体的CT图像为例，对该图像进行肝脏分割。

图5A为图4中步骤401所获取的待处理的医学图像，在该示例中，该图像大小为[512,512,594]，图像分辨率为[1.172mm,1.172mm,1.5mm]。

图5B为对图5A的医学图像进行预处理之后的图像。该预处理包括降采样和归一化处理。经过预处理之后的图像大小为[112,112,160]，图像分辨率为[6mm,6mm,6mm]。可见相比于预处理之前的图像来说，经过预处理之后的图像尺寸变小，分辨率降低。

图5C为对图5B得到的图像经过训练好的粗分割神经网络之后得到的概率分布图。该概率分布图已经经过了二值化以及确定最大连通区域的后处理。得到的图像大小为[112,112,160]，图像分辨率为[6mm,6mm,6mm]，肝脏区域概率接近1(在图中显示为白色)，其他区域概率很小，基本小于10^-6(在图中显示为黑色)。

图5D是对经过粗分割的图像计算得到感兴趣区域的定位框，将该定位框中的图像作为进行细分割处理的初始图像，并对该初始图像进行预处理中的重采样处理，即将该初始图像重采样为经训练的细分割神经网络模型的指定分辨率。得到的图像大小为[256,256,192]，图像分辨率为[1mm,1mm,1mm]。

图5E是继续对图5D中的图像进行归一化处理，将该图像的像素值归一化到[-1,1]。得到的图像大小为[256,256,192]，图像分辨率为[1mm,1mm,1mm]。

图5F是对图5E中的图像进行二值化以及确定最大连通区域的后处理之后得到的图像。该图像大小仍为[256,256,192]，图像分辨率仍为[1mm,1mm,1mm]。

图5G是将经过前述步骤得到的肝脏图像分割结果返回到原始的图像分辨率之后的肝脏三维示意图。

图5H是将经过前述步骤得到的肝脏图像分割结果还原到人体CT图像中。参考图5H可以从人体CT图像中识别出肝脏。

图6是现有技术中基本结构单元的结构示意图。参考图6所示，输入张量(InputTensor)的大小为x*y*z*c，当输入为图像时，x、y、z代表该图像的空间尺寸，c是输入图像的通道数。输入张量在一卷积层601与一大小为5*5*5*c*c的卷积核进行卷积(Convolution)运算，其中，5*5*5表示卷积核的大小，第一个c为输入通道数，第二个c为输出通道数。卷积结果再经过批量归一化(Batch Normalization)处理和激活(ReLU,Rectified LinearUnit)处理。卷积层601、批量归一化层602和激活层603一起形成一卷积-批量归一-激活(Conv-BN-ReLU)结构。输入张量经过Conv-BN-ReLU结构处理之后，得到最终的输出张量(Output Tensor)。该输出张量与输入张量的尺寸和通道数都一样，也是x*y*z*c。

U-Net是专门用于图像分割的深度神经网络。本实施例是基于U-Net的神经网络结构进行图像处理。然而，在实际应用中，网络模型中保存的网络模型文件通常较大，单个模型文件通常在250MB左右，如果软件产品中采用了多个神经网络模型，那么最终的产品将非常庞大，带来参数冗余、存储空间浪费、降低计算效率等不良影响，极其不利于产品的使用和推广。

图7是本发明一实施例的神经网络结构单元的示意图。参考图7所示，本实施例的神经网络结构单元是将图6中所示的一Conv-BN-ReLU结构替换为一瓶颈(Bottleneck)结构。在该Bottleneck结构中，将Conv-BN-ReLU结构中的包含卷积核大小为5*5*5*c*c的卷积层拆分为三个卷积层，分别是第一卷积层701、第二卷积层702和第三卷积层703。其中，第一卷积层701包含卷积核大小为1*1*1的单元卷积核，其输入通道数为c，输出通道数为c/n；第二卷积层702所包含的卷积核大小为3*3*3，输入通道数和输出通道数都为c/n；第三卷积层703与第一卷积层701类似，也包含卷积核大小为1*1*1的单元卷积核，但是，其输入通道数为c/n，输出通道数为c。

如图7所示，在每一层卷积层之后都具有相应的批量归一化层602和激活层603。

使用本实施例的神经网络结构单元，可以使输入张量依次通过第一卷积层701、第二卷积层702和第三卷积层703，分别与三个卷积核进行卷积。可以理解的是，经过第一卷积层701之后，网络的通道数被降维，从c降为c/n，此时n被称为降维系数。经过第三卷积层703之后，网络的输出通道数被升维，从c/n升为c，得到与原始输入相同通道数的输出，此时n被称为升维系数。该降维系数和升维系数n一般为大于等于1的正整数，n越大，压缩比例将越大。优选地，n为2的倍数。Bottleneck结构的命名就是来源于其两头的卷积层通道数多，中间卷积层通道数少的结构特征。

举例说明：假设在一个Bottleneck结构中，输入张量的输入通道数为256，取n＝4。则第一卷积层701的卷积核可表示为1*1*1*256*64，第二卷积层702的卷积核可表示为3*3*3*64*64，第三卷积层703的卷积核可表示为1*1*1*64*256。由此可见，最终的输出通道数与输入通道数一样，都是256。

在其他的实施例中，该神经网络结构中所应用的卷积核的大小及输入通道数、输出通道数等不局限于上述示例所采用的数值，并且卷积核的三个维度不一定是完全相等的。例如，一个卷积核的大小为x*y*z，这里的x、y、z可以相等，也可以不相等。

本实施例是基于U-Net网络结构实施的，可以理解的是，本实施例中所采用的Bottleneck神经网络结构可适用于除U-Net之外的其他U字型神经网络模型或V字型神经网络模型。

采用本实施例的Bottleneck神经网络结构代替了U-Net中的卷积-批处理-激活模块结构，在不降低U-Net性能的基础上，可大幅压缩U-Net的模型大小。

举例说明：在没有使用Bottleneck结构时，原神经网络模型的参数量为：k*k*k*c*c，其中k是卷积核的大小，c为输入通道数和输出通道数。

在使用了Bottleneck结构之后，该神经网络模型的参数量变为：

从以上公式可以看出，由于采用了Bottleneck结构使原神经网络模型的参数量缩小了，并且该模型参数的缩小量与输入和输出通道数没有关系。

在当前神经网络结构中，k一般取3，此时，若n＝2，则模型参数量缩小3.48倍；若n＝4，则模型参数量缩小12.34倍；若n＝8，则模型参数量缩小40.19倍。

在上述n＝4的示例当中，经过该实施例的神经网络模型结构之后，最终的效果可将250MB原始模型大小的文件压缩至8.8MB，对比未压缩时的250MB压缩了三十多倍。

图8A是本发明一实施例的内存分配的示意图。目前在开源软件(如PyTorch)中运行U-Net的内存消耗较大，无法达到产品化的需求。本发明专门针对U-Net开发了的神经网络算法前向传播框架，可以合理复用显存，大幅降低内存的使用量。在本发明的实施例中，内存空间可以是显存空间。内存分配的方法包括：确定所有卷积层中输入和输出所需的最大内存，并根据最大内存分配相应的输入内存和输出内存，在处理过程中，输入内存和所述输出内存相互调换。例如，所有卷积层中输入和输出所需的最大内存为800MB，分配一个800MB的输入内存和800MB的输出内存，在处理过程中，800MB的输入内存和800MB的输出内存相互调换。参考图8A所示，对于每一次前向操作，如四次连续卷积，只分配两块内存，分别存放输入(Input)和输出(Output)，在中间计算过程中调换输入和输出，将输入内存作为输出内存，输出内存作为输入内存。这样可以避免为每一次前向操作分配内存，最大程度复用当前可用显存。

图8B是本发明又一实施例的内存分配的示意图。在该又一实施例中，在某些特殊情况下需要额外的内存来暂放中间结果，如图8B所示。需要额外开辟内存空间来存放输入，这部分额外内存空间称之为工作空间(workspace)。在执行卷积等前向传播操作时，会需要一定的算法内存，也将一并加入工作空间申请需求中。针对大型网络，如U-Net，算法会事先计算出所有卷积层中输入张量(input tensor)和输出张量(output tensor)的最大内存量，并分配两块的最大内存作为输入和输出。由于整个网络中其它层的计算所用到的所有张量都小于最大显存，那么就可以复用这两块显存。对U字型或V字型的神经网络模型，如U-Net、V-Net，其中的跨层连接(skip-connection)不单独分配显存，而是将其嵌入到已经分配好的最大显存中。

图9是根据本发明一些实施例描述的示例性的神经网络模型的示意图。

CNN模型可以包括输入层920、多个隐藏层940和输出层960。多个隐藏层940可以包括一个或多个卷积层、一个或多个修正线性单元层(ReLU层)、一个或多个池化层、一个或多个完全连接层、或类似物，或其组合。

为了说明的目的，示出了CNN模型的多个示例性隐藏层940，其包括卷积层940-1、池化层940-2和完全连接层940-N。如结合图4的步骤所述，神经网络训练单元340可以获取图像信息作为CNN模型的输入。图像信息可以表示为包括多个元素(例如像素或体素)的二维(2D)或三维(3D)矩阵。矩阵中的多个元素中的每一个可以具有表示元素的特征的值。

卷积层940-1可以包括多个内核(例如A，B，C和D)。可以使用该多个内核来提取图像信息的特征。在一些实施例中，多个内核中的每一个可以对图像信息的一部分(例如区域)进行滤波，以产生对应于图像信息的该部分的特定特征。该特征可以包括基于内核计算的低级别特征(例如边缘特征、纹理特征)，高级别特征或复杂特征。

池化层940-2可以将卷积层940-1的输出作为输入。池化层940-2可以包括多个池化节点(例如E，F，G和H)。可以使用该多个池化节点对卷积层940-1的输出进行采样，并且因此可以减少计算机100的数据处理的计算负担并且增加数据处理速度。在一些实施例中，神经网络训练单元340可以减小对应于池化层940-2中的图像信息的矩阵的规模。

完全连接层940-N可以包括多个神经元(例如O，P，M和N)。该多个神经元可以连接到来自诸如池化层的先前层的多个节点。在完全连接的层940-N中，神经网络训练单元340可以基于图像信息的特征来确定与多个神经元相对应的多个向量，并且用多个加权系数进一步加权该多个向量。

在输出层960中，神经网络训练单元340可以基于完全连接层940获得的多个向量和权重系数确定输出，例如第二图像信息。

在一些实施例中，神经网络训练单元340可以访问计算机100中的多个处理单元，例如GPU。多个处理单元可以执行CNN模型的某些层中的并行处理。可以以这样的方式执行并行处理，即可以将CNN模型的层中的不同节点的计算分配给两个或更多个处理单元。例如，一个GPU可以运行与内核A和B相对应的计算，另一个(或多个)GPU可以运行卷积层940-1中与内核C和D相对应的计算。类似地，对应于CNN模型中其他类型层中的不同节点的计算可以由多个GPU并行执行。

本发明还提供一种医学图像处理装置。该医学图像处理装置包括医学图像获取模块和医学图像处理模块。医学图像获取模块用于获取待处理的医学图像。医学图像处理模块用于根据经训练的神经网络模型对医学图像进行处理。其中，神经网络模型包括多个神经网络结构单元。神经网络结构单元包括依次连接的第一卷积层、第二卷积层和第三卷积层。第一卷积层和第三卷积层的卷积核为单位卷积核。第一卷积层的输出通道数相对于第一卷积层的输入通道数被降维。第二卷积层在经过第一卷积层降维的特征图像上进行空间卷积。第三卷积层的输出通道数被升维至第一卷积层的输入通道数。该医学图像处理装置以医学图像的处理过程参见上文描述，此次不再赘述。

在本发明的其它一些实施例中，还可以确定所有卷积层中输入和输出所需的最大内存，并根据最大内存分配相应的输入内存和输出内存，在处理过程中，输入内存和输出内存相互调换。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本发明的限定。虽然此处并没有明确说明，本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议，所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。

同时，本发明使用了特定词语来描述本发明的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本发明的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本发明的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

本发明各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本发明所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本发明流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本发明实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本发明一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书的范围内。

Claims

1.一种医学图像处理方法，其特征在于，所述处理方法包括：

获取待处理的医学图像，其中，所述医学图像为三维图像；

根据经训练的神经网络模型对医学图像进行处理；

确定所有卷积层中输入和输出所需的最大内存，并根据所述最大内存分配相应的输入内存和输出内存，在处理过程中，所述输入内存和所述输出内存相互调换，若所述神经网络模型中包括跨层连接的卷积层，所述跨层连接的卷积层的输入和输出嵌入到所述输入内存和所述输出内存中；

其中，所述神经网络模型包括多个神经网络结构单元，所述神经网络结构单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层和所述第三卷积层的卷积核为单位卷积核；所述第一卷积层的输出通道数相对于所述第一卷积层的输入通道数被降维，所述第二卷积层在经过所述第一卷积层降维的特征图像上进行空间卷积，所述第三卷积层的输出通道数被升维至所述第一卷积层的输入通道数。

2.根据权利要求1所述的医学图像处理方法，其特征在于，所述神经网络结构单元还包括批量归一化层和激活层。

3.根据权利要求1所述的医学图像处理方法，其特征在于，所述神经网络模型为卷积神经网络模型。

4.根据权利要求3所述的医学图像处理方法，其特征在于，所述卷积神经网络模型为U字型或V字型神经网络模型。

5.根据权利要求1所述的医学图像处理方法，其特征在于，所述第二卷积层的卷积核大小为3-5。

6.一种医学图像处理装置，其特征在于，所述处理装置包括：

医学图像获取模块，获取待处理的医学图像，其中，所述医学图像为三维图像；

医学图像处理模块，根据经训练的神经网络模型对医学图像进行处理，确定所有卷积层中输入和输出所需的最大内存，并根据所述最大内存分配相应的输入内存和输出内存，在处理过程中，所述输入内存和所述输出内存相互调换，若所述神经网络模型中包括跨层连接的卷积层，所述跨层连接的卷积层的输入和输出嵌入到所述输入内存和所述输出内存中；

7.一种计算机可读存储介质，其上存储有计算机指令，其中当计算机指令被处理器执行时，执行如权利要求1-5任一项所述的方法。