[go: up one dir, main page]

CN113257394B - 医学图像数据 - Google Patents

医学图像数据 Download PDF

Info

Publication number
CN113257394B
CN113257394B CN202110158121.9A CN202110158121A CN113257394B CN 113257394 B CN113257394 B CN 113257394B CN 202110158121 A CN202110158121 A CN 202110158121A CN 113257394 B CN113257394 B CN 113257394B
Authority
CN
China
Prior art keywords
data
volume
interest
anatomical
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110158121.9A
Other languages
English (en)
Other versions
CN113257394A (zh
Inventor
赵瑜
P·S·巴蒂亚
曾轲
G·埃莫西约瓦拉德兹
李晨
彭志刚
赵翌远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN113257394A publication Critical patent/CN113257394A/zh
Application granted granted Critical
Publication of CN113257394B publication Critical patent/CN113257394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种用于处理医学图像数据的方法、计算机可读存储介质和装置。在数据处理系统处接收输入医学图像数据，所述数据处理系统是基于人工智能的系统。在数据处理系统处对输入医学图像数据执行标识过程，以标识预定解剖结构的实例位于其中的感兴趣的体积。在数据处理系统处执行第一确定过程和第二确定过程，以分别确定解剖结构的实例的第一解剖方向和第二解剖方向，所述第一解剖方向和第二解剖方向是相对于输入医学图像数据的坐标系定义的。从数据处理系统输出与第一解剖方向和第二解剖方向相关的输出数据。

Description

医学图像数据
技术领域
本发明涉及处理医学图像数据。处理涉及是基于人工智能的系统的数据处理系统。
背景技术
医学成像技术可以用于获得关于人体或动物体的信息。例如，X射线图像可以用于对患者的骨骼进行成像（例如，以检测和分类骨折），并且还可以用于对软组织和循环系统进行成像，例如通过使用造影剂。在另一个示例中，磁共振成像（MRI）可以用于对身体的各种组织进行成像，例如以标识肿瘤，或者调查可能的软组织损伤（例如肌腱或肌肉撕裂）。
当对人体或动物体内的具体解剖结构，诸如特定关节，进行成像时，通常从一个成像会话到另一个成像会话在解剖结构的定向中将存在一些变化。例如，对于对相同患者执行的两个会话，患者可能处于不同的位置。此外，对于对不同患者执行的两个会话，甚至存在针对其相应的成像会话两个患者处于不同位置的更大的可能性。这些因素和其他因素导致解剖结构的定向中存在不确定性，当其被表示在扫描会话中产生的数据集中时。
然而，出于各种原因，知道来自具体成像会话的数据集内的解剖结构的定向可能是有用的。例如，它可以帮助数据集的后续分析，无论这种分析是由医学专业人员执行还是由数据处理系统执行。尽管可能，但是确定多个数据集中的解剖结构的定向，尤其是以一致的方式对于医学专业人员来说是复杂且耗时的。此外，尽管已经做出一些努力来开发能够确定解剖结构的定向的数据处理系统，但是在鲁棒性、准确性和速度方面还存在问题。
本发明的目的是解决用于分析医学图像数据的过程的至少一些困难。
发明内容
根据本发明的第一方面，提供了一种用于处理医学图像数据的方法。该方法包括：在数据处理系统处接收输入医学图像数据，数据处理系统是基于人工智能的系统，数据是参考数据坐标系来定义的；在数据处理系统处对输入医学图像数据执行标识过程以标识预定解剖结构的实例位于其中的感兴趣的体积；在数据处理系统处执行第一确定过程，第一确定过程包括处理第一感兴趣的体积数据以确定解剖结构的实例的第一解剖方向，第一感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据；在数据处理系统处执行第二确定过程，第二确定过程包括处理第二感兴趣的体积数据以确定解剖结构的实例的第二解剖方向，第二感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据，第一解剖方向和第二解剖方向是参考数据坐标系定义的；以及从数据处理系统输出与第一解剖方向和第二解剖方向相关的输出数据。
通过处理与感兴趣的解剖结构位于其中的感兴趣的体积相关联的数据，第一和第二确定过程可以明确地或隐含地作用于表示与解剖结构相关联的界标（landmark）的数据。因此，或者以其他方式，根据第一方面的方法可以有助于对解剖结构的解剖方向的鲁棒且高效的确定。此外，考虑利用相应的确定过程来确定解剖结构的第一解剖方向和第二解剖方向，以适当地平衡方法的鲁棒性和效率。
在一些示例中，数据坐标系可以是直线（rectilinear）坐标系，诸如笛卡尔坐标系。因此或者以其他方式，数据坐标系可以具有三个正交的轴向方向。
在一些示例中，第一解剖方向和第二解剖方向可以彼此正交，并且可选地，与第三解剖方向正交。
可选地，输出数据包括与感兴趣的体积相关并且在具体示例中定义感兴趣的体积的数据。例如，这种数据可以定义感兴趣的体积的中心和/或可以定义感兴趣的体积的边界或边缘（margin）。这种数据可以使得能够例如以更高的分辨率水平对感兴趣的体积执行进一步的扫描。
可选地，第一确定过程包括确定第一平面掩模（mask）的第一分割（segmentation）过程，并且包括确定垂直于（normal to）第一平面掩模的方向以及将第一平面掩模的法线方向（normal direction）指定为第一解剖方向，并且，第二确定过程包括确定第二平面掩模的第二分割过程，并且包括确定垂直于第二平面掩模的方向以及将第二平面掩模的法线方向指定为第二解剖方向。
认为使用这种平面掩模可以帮助实现对解剖方向的鲁棒、快速和准确的确定。特别地，这样的分割过程被认为有助于解剖结构的解剖方向的准确确定，即使在解剖方向处于与数据坐标系的方向的显著的角度偏移的情况下。
在使用平面掩模的示例中，该方法可选地包括使用主分量（principalcomponent）分析来确定第一和第二平面掩模的法线方向。作为另外的选项，第一感兴趣的体积数据与第二感兴趣的体积数据是相同的。
特别地（但不排他地），在使用平面掩模的示例中，方法可选地包括将旋转操作应用于第一感兴趣的体积数据和第二感兴趣的体积数据中的至少一个，产生经处理的感兴趣的体积数据，其中，数据坐标系具有三个轴向方向，其中，旋转操作导致第一解剖方向和第二解剖方向与数据坐标系的轴向方向成预定角度关系，并且其中，输出数据包括经处理的感兴趣的体积数据。这种经处理的感兴趣的体积数据可以提供感兴趣的解剖结构的一致表示，如上所述，这可以有助于随后对结构的分析。
在使用平面掩模的示例中，数据处理系统可选地是神经网络系统，包括：标识网络，已经使用包括地面实况（ground truth）图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示包围解剖结构的实例的体积并且包括与解剖结构的该实例位于其中的感兴趣的体积有关的信息；一个或多个确定网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示解剖结构的实例并且包括与预定解剖结构的实例的第一解剖方向和第二解剖方向有关的信息；并且该方法包括：至少部分地使用标识网络来执行标识过程，以及利用一个或多个确定网络来执行第一确定过程和第二确定过程。在具体示例中，第一确定网络和第二确定网络中的每个是完全卷积神经网络；例如，第一和第二确定网络中的每个是U-net，或者第一和第二确定网络中的每个是V-net。
采用使用训练数据的适当集合训练的神经网络提供了处理医学图像数据的鲁棒方式。神经网络可以应付复杂的医学图像数据和/或可以提供比用于图像处理的其他现有技术计算技术更准确的结果。
在一些示例中，第一确定过程和第二确定过程可以并行运行。
然而，在其他示例中，第一确定过程和第二确定过程可以至少部分地串行操作，使得来自第一确定过程的输出（例如，感兴趣的体积数据，或指示数据坐标系中的解剖结构的第一解剖方向的数据）可以例如由第二确定过程使用。
因此，或以其他方式，该方法可以可选地包括将旋转操作应用于第一感兴趣的体积数据，产生第二感兴趣的体积数据，其由第二确定过程使用。第一旋转操作导致第一解剖方向与数据坐标系的轴向方向成预定的角度关系。例如，预定的角度关系可能对应于第一解剖方向与数据坐标系的轴向方向之一对准。
这种旋转可以辅助第二确定过程的操作，因为第二感兴趣的体积数据可以更“可识别”，因为它更接近标准化定向。
作为另外的选项，该方法附加地包括对第二感兴趣的体积数据应用旋转操作，产生经处理的感兴趣的体积数据。第二旋转操作导致解剖方向中的每个与数据坐标系的轴向方向成预定的角度关系。例如，预定的角度关系可能对应于每个解剖方向与数据坐标系的轴向方向中的相应一个对准。
由于这样的经处理的感兴趣的体积数据是参考解剖方向来定义的，所以其可以提供解剖结构的一致表示。这可以例如帮助数据的后续分析，无论是由医学专业人员（其可以发现具体解剖的一致表示更可理解）执行还是由诸如基于人工智能的系统之类的数据处理系统（其可能给出不太准确的结果，其中如在图像数据内表示的解剖结构不处于标准化定向）执行。
在使用这种旋转操作提供第二感兴趣的体积数据的示例中，数据处理系统可选地是神经网络系统，包括：标识网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示包括解剖结构的实例的身体（bodily）区域并且包括与解剖结构的该实例位于其中的感兴趣的体积有关的信息；第一确定网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示解剖结构的实例并且包括与预定解剖结构的该实例的第一解剖方向有关的信息；以及第二确定网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示解剖结构的实例并且包括与预定解剖结构的该实例的第二解剖方向有关的信息；并且该方法包括：至少部分地使用标识网络来执行标识过程，以及分别利用第一确定网络和第二确定网络来执行第一确定过程和第二确定过程。在特定示例中，标识网络以及第一和第二确定网络是胶囊（capsule）神经网络。
采用使用训练数据的适当集合训练的神经网络提供了处理医学图像数据的鲁棒方式。神经网络可以应付复杂的医学图像数据并且提供比用于图像处理的其他现有技术计算技术更准确的结果。
以上定义的方法可以可选地包括对输入医学图像数据进行下采样以产生下采样医学图像数据。在这样的示例中，标识过程可以包括：低分辨率标识过程，其作用于下采样医学图像数据以标识估计的感兴趣的体积；以及高分辨率标识过程，其作用于表示所估计的感兴趣的体积的医学图像数据的子集，以便标识感兴趣的体积。这种标识过程被认为有助于准确和鲁棒地标识感兴趣的体积，而在时间和/或存储要求方面是高效的。
在采用这种标识过程的示例中，数据处理系统可选地是神经网络系统，包括：低分辨率标识网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示包括解剖结构的实例的身体区域并且包括与解剖结构的该实例位于其中的感兴趣的体积有关的信息，以及高分辨率标识网络，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，地面实况图像数据集中的每个表示包括解剖结构的实例的身体区域并且包括与解剖结构的该实例位于其中的感兴趣的体积有关的信息；并且该方法包括：使用低分辨率标识网络执行低分辨率标识过程，以及使用高分辨率标识网络执行高分辨率标识过程。
在特定示例中，低分辨率和高分辨率基本上不同仅在于低分辨率网络的特征大小不同于高分辨率网络的特征大小。
认为上述方法可以特别适合于预定解剖结构包括一个或多个关节的应用。特别地，解剖结构可以是膝关节、肩关节、髋关节或脊柱。
另外或作为替代，在上述方法中，第一解剖方向和第二解剖方向可选地选自由如下内容组成的组：
垂直于矢状（sagittal）平面的方向；
垂直于冠状（coronal）平面的方向；以及
垂直于横断（transverse）平面的方向。
作为另外的选项，医学图像数据可以包括磁共振成像数据。
根据本发明的第二方面，提供了一种计算机可读存储介质，其存储：一个或多个神经网络，其被训练以标识预定解剖结构位于其中的感兴趣的体积，并且确定预定解剖结构的第一解剖方向和第二解剖方向，如在医学图像数据内所表示的；以及指令，当由一个或多个处理器执行时，使一个或多个处理器：接收输入医学图像数据，数据是参考数据坐标系定义的；对输入医学图像数据执行标识过程以标识预定解剖结构的实例位于其中的感兴趣的体积；执行第一确定过程，第一确定过程包括处理第一感兴趣的体积数据以确定解剖结构的实例的第一解剖方向，第一感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据；执行第二确定过程，第二确定过程包括处理第二感兴趣的体积数据以确定解剖结构的实例的第二解剖方向，第二感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据，第一解剖方向和第二解剖方向是参考数据坐标系定义的；以及，输出与第一解剖方向和第二解剖方向有关的输出数据。
提供计算机可读存储介质允许例如由医学专业人员使用根据第一方面的有利方法。计算机可读存储介质允许访问具有上述优势的根据第一方面的方法。
根据本发明的第三方面，提供了一种用于处理医学图像数据的装置。装置包括一个或多个处理器；以及存储器，其存储：一个或多个神经网络，其被训练以标识预定解剖结构位于其中的感兴趣的体积，并且确定预定解剖结构的第一解剖方向和第二解剖方向，如在医学图像数据内所表示的；以及指令，当由一个或多个处理器执行时，使一个或多个处理器：接收输入医学图像数据，数据是参考数据坐标系定义的；对输入医学图像数据执行标识过程以标识预定解剖结构的实例位于其中的感兴趣的体积；执行第一确定过程，第一确定过程包括处理第一感兴趣的体积数据以确定解剖结构的实例的第一解剖方向，第一感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据；执行第二确定过程，第二确定过程包括处理第二感兴趣的体积数据以确定解剖结构的实例的第二解剖方向，第二感兴趣的体积数据是表示感兴趣的体积并且从输入医学图像数据导出的医学图像数据，第一解剖方向和第二解剖方向是参考数据坐标系定义的；以及，输出与第一解剖方向和第二解剖方向有关的输出数据。
第三方面有利地提供了用于实现具有上述优势的根据第一方面的方法的硬件。
可选地，根据第三方面的装置包括被配置为获取医学图像数据的成像装置。
合并成像装置有利地提供了一种可以执行获取相关医学图像数据的附加任务的装置。该装置可以作为单个系统提供，该系统可以根据所描述的有利方法获取相关医学图像并且还可以处理它们。
可选地，根据第三方面的装置包括输入接口，用于允许装置的用户超控（override）和/或手动校正装置的输出。
输入接口有利地允许用户根据需要对输出进行改变。因此，例如，如果判断结果不准确，则用户可以修改输出。
附图说明
现在将参考附图仅通过示例的方式描述本发明，在附图中：
图1是图示了根据示例的用于处理医学图像数据的方法的流程图；
图2是表示可以作为图1中所示方法的部分执行的用于标识感兴趣的体积的过程的示意图；
图3A-3B示出了将旋转操作应用于表示感兴趣的体积的数据的效果；
图4示出了可以作为图1中所示方法的部分执行的用于确定解剖结构的解剖方向的过程；
图5是示出了数据处理系统的示意图，在该数据处理系统处可以执行参考图1-4描述的过程；以及
图6A-6D示出了图1的方法的进一步示例；
图7是示出了数据处理系统的示意图，在该数据处理系统处可以执行参考图6A-6D描述的过程；以及
图8是示出了根据另外的示例的用于处理医学图像数据的方法的流程图；
图9是示出了数据处理系统的示意图，在该数据处理系统处可以执行参考图8描述的过程；以及
图10是示出了根据示例的计算装置的示意图。
具体实施方式
图1是示出了用于处理医学图像数据的方法100的框图。方法100在下文中被称为医学图像处理方法100。
在医学图像处理方法100的框110处，在数据处理系统处接收输入医学图像数据。数据处理系统可以是基于人工智能的系统，诸如基于机器学习的系统。下面进一步提供关于数据处理系统的示例和进一步细节。医学图像数据可以是MRI图像数据、X射线图像数据、计算机断层扫描数据、超声数据或任何其他种类的医学图像数据。
输入医学图像数据200可以表示人或动物体内的图像体积。因此，输入医学输入数据可以被称为三维数据，其是参考数据坐标系定义的。在一些示例中，数据坐标系可以具有三个轴向方向，其可以是相互正交的轴向方向；例如，它们可以是x、y和z轴方向。然而，在其他示例中，轴向方向可能更一般地彼此成已知的角度关系。仍旧更一般地，数据坐标系可以使用球面或柱面坐标，或一些其他3D坐标系。
可能已经使用三维（3D）获取过程获取了医学图像数据，使得其固有地为3D格式。因此，图像数据可以例如由多个体素（voxel）组成。作为替代，输入医学输入数据可能已经从一个或多个成像平面中的二维（2D）图像的集合导出的，其中，每个2D图像由多个像素组成。
在框120处，在数据处理系统处对输入医学图像数据200执行标识过程，以标识预定解剖结构位于其内的感兴趣的体积。在图2中示出了感兴趣的体积210的标识的示例。图2还示出了由输入医学图像数据200表示的较大体积。在所示的示例中，解剖结构是膝关节；然而，本文公开的原理可以应用于各种解剖结构。例如，解剖结构可以替代地是肩关节、髋关节或脊柱。
在以下示例中，感兴趣的体积210是预定解剖结构位于其中的输入图像数据200表示的图像体积的区域。
在医学图像处理方法100的框130处，在数据处理系统处执行第一确定过程。第一确定过程包括处理第一感兴趣的体积数据以确定解剖结构的第一解剖方向。
解剖方向是由解剖特征定义的方向，例如根据已建立的医学惯例。因此，解剖方向可能也被称为典范（canonical）方向。
作为示例，解剖方向可以是垂直于患者的矢状平面、冠状平面或横断平面的方向。因此，应当理解，解剖方向可以例如由感兴趣的解剖结构内或与感兴趣的解剖结构相邻的界标来定义。
在许多情况下，解剖方向将以它们处于预定角度关系的这样的方式来定义。例如，它们可以是相互正交的。
通常，在对解剖结构成像的情况下，在数据坐标系中的其精确解剖方向将不是已知的。甚至在付出努力以例如使用约束或支撑将被成像的身体部分相对于成像装置保持在期望的位置和定向的情况下，这可能也是这种情况。因此，在解剖结构的解剖方向与数据坐标系的轴向之间通常将存在一些未知的角度偏移。如上所述，对准的此类缺乏可能使医学图像数据的后续分析复杂化，无论是由医学专业人员还是由数据处理系统进行。
返回图1，在框130中，确定如在数据坐标系内定义的第一解剖方向。因此，可以隐含地或明确地确定第一解剖方向与数据坐标系的正交轴向方向之间的角度偏移。
如上所述，第一确定作用于第一感兴趣的体积数据。通常，第一感兴趣的体积数据表示在框120中标识的感兴趣的体积210，并且从在框110中接收的输入医学图像数据200导出。实际上，在一些示例中，第一感兴趣的体积数据可以简单地是对应于感兴趣的体积的输入医学图像数据的子集。在这种情况下，医学图像处理方法100可以另外包括将输入医学图像数据200裁剪到与感兴趣的体积210对应的图像数据的子集的步骤，以便产生第一感兴趣的体积数据。
在其他示例中，可能通过对与感兴趣的体积对应的输入医学图像数据的子集执行诸如增强过程之类的进一步的过程来导出第一感兴趣的体积数据。根据此类示例的方法可以包括在执行此类附加过程之前或之后的裁剪步骤。
在医学图像处理方法100的框140处，在数据处理系统处执行第二确定过程。第二确定过程包括处理第二感兴趣的体积数据，以确定解剖结构的第二解剖方向。类似于框130，在框140中，在数据坐标系中确定第二解剖方向，并且因此，可以隐含地或明确地确定第二解剖方向与数据坐标系的轴向方向之间的角度偏移。
通常，第二感兴趣的体积数据表示在框120中标识的感兴趣的体积，并且从在框110中接收的输入医学图像数据导出。
在一些示例中，第二感兴趣的体积数据可以简单地是对应于感兴趣的体积的输入医学图像数据的子集。在这种情况下，医学图像处理方法100可以包括将输入医学图像数据200裁剪到与感兴趣的体积210对应的图像数据的子集的步骤，以便产生第二感兴趣的体积数据。还应当理解，第一感兴趣的体积数据可以与第二感兴趣的体积数据相同（或基本相同）。
在其他示例中，可能通过对与感兴趣的体积对应的输入医学图像数据的子集执行诸如增强过程之类的进一步的过程来导出第二感兴趣的体积数据。根据此类示例的方法可以包括在执行此类附加过程之前或之后的裁剪步骤。
仍在其他示例中，诸如下面参考图6A-6D描述的示例，第二感兴趣的体积数据可以从第一感兴趣的体积数据导出。例如，如参考图6A-6D描述的，可以对第一感兴趣的体积数据应用旋转过程，以便产生第二感兴趣的体积数据。这可以被认为是使用第一确定过程的结果至少隐含地导出第二感兴趣的体积数据的示例。
返回图1，在医学图像处理方法100的框150处，由数据处理系统输出与第一解剖方向和第二解剖方向（如在框130和140中确定的）相关的输出数据。
在一些示例中，输出数据可以包括已处理的感兴趣的体积数据310'，其已经通过将旋转操作应用于第一感兴趣的体积数据和/或第二感兴趣的体积数据而产生。
图3A-3B中示出了这样的示例，其中图3A描绘了旋转操作之前的感兴趣的体积数据310（如所述，其可以是第一感兴趣的体积数据和/或第二感兴趣的体积数据），并且图3B描绘了经处理的感兴趣的体积数据310'。
作为旋转操作（由箭头305指示）的结果，第一和第二解剖方向v1、v2针对处理的感兴趣的体积数据310'与数据坐标系的轴向方向成预定角度关系。在所示的特定示例中，预定角度关系对应于每个解剖方向v1、v2与数据坐标系的轴中的相应一个轴对准。因此，如图所示，第一解剖方向v1与数据坐标系的z轴对准，第二解剖方向v2与x轴对准，并且第三解剖方向v3与y轴对准。
由于这种处理的感兴趣的体积数据310'的解剖方向与数据坐标系的轴向方向成预定的角度关系，所以处理的感兴趣的体积数据310'可以提供解剖结构的一致表示。这可以例如帮助数据的后续分析，无论是由医学专业人员（其可以发现具体解剖的一致表示更可理解）还是由诸如基于人工智能的系统之类的数据处理系统（其可以给出不太准确的结果，其中如在图像数据内表示的解剖结构不处于标准化定向）执行。
虽然在图3A-3B中示出的示例中，输出数据包括处理的感兴趣的体积数据310'，但是在其他示例中，输出数据可能简单地包括表示或定义数据坐标系中的第一和第二解剖方向v1和v2的数据。
这样的输出数据可以例如使得不同的数据处理系统能够生成输入医学图像数据200的表示，其中，解剖结构已经被旋转以与解剖方向对准。
替代地，这样的输出数据可能用于向用户（其可以是医学专业人员）指示被成像的结构的解剖方向。例如，可能提供用户接口，其使用箭头或其他图形指示符来向用户指示被成像的结构的解剖方向。例如，接口可能向用户示出被成像的解剖的图像，其中，图形指示符被显示在解剖的旁边或之上。
向用户指示被成像的结构的解剖方向可以例如使得用户能够重新定向被成像的身体部分，使得其处于期望的定向，诸如辅助身体部分的成像的定向。例如，考虑成像系统具有不同的平面内（in-plane）成像分辨率的情况（例如，其是具有MR成像的情况）；在这种情况下，用户可以重新定向被成像的身体部分，使得结构的重要细节可以受益于较高的分辨率。实际上，在一些实施例中，可以在扫描期间实时地向用户指示解剖方向，使得他/她可以实时地调整患者相对于成像装置的位置。
作为另外的选项，输出数据可以包括定义感兴趣的体积210的数据。例如，输出数据可以定义感兴趣的体积的中心和/或可以定义感兴趣的体积的边界。这样的数据可以帮助医学专业人员对感兴趣的体积执行进一步的扫描，以便例如通过以更高的分辨率水平执行这样的进一步扫描来捕捉解剖结构的重要细节。
如上所述，在许多情况下，解剖方向可以以它们彼此成预定角度关系的这样的方式来定义。例如，解剖方向可以是相互正交的。结果，在第一解剖方向和第二解剖方向v1、v2已知的情况下，第三解剖方向v3也可以隐含地已知。因此，与第一解剖方向和第二解剖方向相关的输出数据可以提供足够的信息，使得可以通过使用第一解剖方向和第二解剖方向的简单计算来确定第三解剖方向。
以下参考图4描述上述与医学图像处理方法100有关的过程的进一步示例。图4示出了上述与框130和140有关的第一和第二确定过程的示例。在该示例中，接收表示患者的腿的输入医学图像数据200。标识膝关节位于其内的感兴趣的体积210。
在所示的示例中，医学图像处理方法100包括第一和第二分割过程，其分别确定第一和第二平面掩模401、402，如图4中所描绘的。如可以从图4清楚的，第一和第二平面掩模401、402彼此正交。在图4中所示的方法中，这些平面掩模401、402用于确定解剖结构的解剖方向v1、v2。具体而言，平面掩模401、402的法线方向被指定为第一解剖方向v1和第二解剖方向v2。
在具体示例中，可以使用主分量分析来从平面掩模401、402确定第一平面掩模401和第二平面掩模402的法线方向。这种方法尤其可以在如下情况中采用，平面掩模不是精确的二维的、具有一定厚度，因此它们在严格的几何意义上不是平面，而是基本上平坦（flat）的掩模，每个掩模具有厚度尺寸，该厚度尺寸是厚度和高度尺寸的小部分（smallfraction）。
可以使用被配置为执行图像的分割的基于AI的系统来执行感兴趣的体积数据的分割。在一些示例中，可以使用基于机器学习的系统。例如，可以使用基于深度学习（基于DL）的分割过程，其使用诸如卷积神经网络（CNN）之类的神经网络，该卷积神经网络（CNN）采用具有编码阶段和解码阶段的编码和解码机制。在这样的示例中，在编码阶段中，给定的输入图像被投影到非线性子空间中。在编码阶段中的较早层处，以该方式投影输入图像可以导致简单特征（例如，边缘、拐角等）的标识。在编码阶段中的稍后层中，可以标识更复杂的特征（例如，特定形状等）。
图5示出了在其处可以执行参考图1-4描述的过程的数据处理系统500的示例。如上所述，数据处理系统500是基于AI的系统。数据处理系统500可以包括用于执行上述过程的一个或多个基于AI的子系统。
如图所示，图5的示例的基于AI的系统500包括第一神经网络502形式的第一基于AI的子系统以及第二神经网络504形式的第二基于AI的子系统。
在所示的示例中，第一神经网络502已经被训练，使得它可以执行以上参考图1-4描述的标识过程。
更特别地，可以使用包括地面实况图像数据集的集合的训练数据的集合来训练第一神经网络502，地面实况图像数据集中的每个表示包括感兴趣的解剖结构的实例的身体区域。例如，在感兴趣的解剖结构是膝关节的情况下，每个数据集可能表示腿或身体的下半部。除了包括表示这种身体区域的数据之外，每个数据集还包括与解剖结构的实例位于其内的感兴趣的体积有关的信息。例如，该信息可能指示用于这样的感兴趣的体积的边界框（bounding box），和/或它可能指示用于感兴趣的体积的中心。
在训练期间，第一神经网络502可以例如处理给定的图像数据集并且将所生成的感兴趣的体积信息与和给定的地面实况图像数据集相关联的感兴趣的体积信息进行比较。指示所生成的信息和与地面实况图像数据集的集合相关联的信息之间的误差（error）的损失函数（loss function）可以通过调整控制第一神经网络502的权重来减少。训练过程可以被迭代以根据需要减少或最小化损失函数。
例如，可以基于医学专业人员对所讨论的图像的检查来准备上述地面实况感兴趣的体积信息。例如，医学专业人员可能检查图像并提供适当的标签或指示。在一个示例中，医学专业人员可能例如通过指示感兴趣的体积的边界框和/或通过指示感兴趣的体积的中心来明确地指示感兴趣的体积。替代地，医学专业人员可能例如通过指示各种界标的位置隐含地指示感兴趣的体积，其中，根据算法基于这些界标的位置来计算感兴趣的体积。
图5中所示的示例第二神经网络504被训练，使得其可以执行以上参考图4描述的第一和第二确定过程两者。
因此，可以使用包括地面实况图像数据集的集合的训练数据的集合来训练第二神经网络504，地面实况图像数据集中的每个表示解剖结构的实例。另外，每个数据集包括与预定解剖结构的实例的第一解剖方向和第二解剖方向有关的信息。
在训练期间，第二神经网络504可以例如处理给定的图像数据集以生成第一和第二平面掩模；第一和第二解剖方向可以继而从这些掩模来生成。然后，可以将这些生成的第一解剖方向和第二解剖方向与同给定的地面实况图像数据集相关联的信息中指示的解剖方向进行比较。指示所生成的输出和与地面实况图像数据集的集合相关联的方向之间的误差的损失函数可以通过调整控制第一神经网络502的权重来减少。训练过程可以被迭代以根据需要减少或最小化损失函数。
例如，可以基于医学专业人员对相关联的图像数据集的检查来准备地面实况方向信息。例如，医学专业人员可能检查图像并提供适当的标签或指示。在一个示例中，医学专业人员可能例如通过指示各种界标的位置来隐含地指示第一解剖方向，其中，根据算法基于这些界标的位置来计算所述方向。替代地，医学专业人员可能例如使用用户接口来明确地指示第一解剖方向，所述用户接口将所述方向投影到示出解剖结构的图像上，并且允许医学专业人员根据需要修改所述方向。
特别地（但不排他地），在基于医学专业人员对相关联的图像数据集的检查来准备地面实况掩模的情况下，由经训练的神经网络确定的平面掩模可以不仅表示解剖结构的人类可识别的特征，而且表示医学专业人员可能无法辨别的抽象情境（context）。
各种结构可以适用于第一和第二神经网络502、504。在多个示例中，第一和第二神经网络502、504可以是三维网络。然而，在某些示例中，它们可以是二维网络。
关于第一神经网络502，这可以例如是基于区域的卷积神经网络（例如，3D版本的rCNN、快速rCNN或更快的rCNN）。这样的神经网络被认为特别适合于使用典型的医学图像数据集来确定感兴趣的体积。
关于第二神经网络504，这可以例如是全（fully）卷积网络（FCN），并且在特定示例中，是U-net或V-net。这样的神经网络被认为特别适合于使用典型的医学图像数据集来确定平面掩模。
另外，应当注意，虽然在图5中所示的具体示例中，单个神经网络（第二神经网络504）执行第一和第二确定过程两者，但是想到，在其他示例中，相应的神经网络（例如，并行操作）可以执行这些过程。
图6A-6D示出了图1的医学图像处理方法100的进一步的示例。在所示的示例中，框130和140的第一和第二确定过程串行执行，第一解剖方向v1隐含地在第二确定过程中使用。
首先注意图6A，其示出了第一感兴趣的体积数据601。如图所示，通过执行框130的第一确定过程，已经确定了解剖结构的第一解剖方向v1。
图6A-6D中所示的示例医学图像处理方法100除了图1中所示的过程之外还包括对所述第一感兴趣的体积数据应用第一旋转操作，如箭头610所指示的。如图6B中所示，第一旋转操作610产生第二感兴趣的体积数据602，其用在框140的第二确定过程中。从图6A和6B的比较中清楚的是，该旋转导致第一解剖方向v1变为与数据坐标系的轴对准。（在所示的示例中，z轴）。该旋转可以帮助第二确定过程的操作，因为第二感兴趣的体积数据可以更“可识别”，因为它更接近标准化定向。
接下来注意图6C，其示出了第二感兴趣的体积数据602。如图所示，通过执行框140的第二确定过程，已经确定了解剖结构的第二解剖方向v2（其与第一解剖方向v1正交）。
如上所述，第一解剖方向v1可用在框140的第二确定过程中。特别地，在一些示例中，第二确定过程可以被约束，使得其确定与如已经由第一确定过程确定的第一解剖方向v1正交的第二解剖方向v2。在这样的示例中，第二确定过程可能被描述为确定旋转角度（在图6C中被指示为γ），其将第二方向v2与数据坐标系的轴之一（在图6C中示出的示例中，x轴）对准。然而，在其他示例中，这样的约束不被施加在第二确定处理上。
返回图6C，如箭头620所指示的，图6A-6D的方法包括对第二感兴趣的体积数据602应用第二旋转操作，产生处理的感兴趣的体积数据605。该旋转操作将其他两个解剖方向v2和v3与数据坐标系的其他两个轴向方向对准。然后，处理的感兴趣的体积数据605可以被包括在在框150中从数据处理系统输出的输出数据内。因为这样的经处理的感兴趣的体积数据605是参考解剖方向定义的，所以它可以提供解剖结构的一致表示。这可以例如帮助数据的后续分析，无论是由医学专业人员（其可以发现具体解剖的一致表示更可理解）还是由诸如基于人工智能的系统之类的数据处理系统（其可以给出不太准确的结果，其中如在图像数据内表示的解剖结构不处于标准化定向）执行。
图7示出了其处可以执行参考图6A-6D描述的过程的数据处理系统700的示例。如上所述，数据处理系统是基于AI的系统。数据处理系统可以包括一个或多个基于AI的子系统，用于执行上述过程。
图7示出了示例的基于AI的系统700，其包括第一神经网络702形式的第一基于AI的子系统，以及第二和第三神经网络704、706形式的第二和第三基于AI的子系统。
在所示的示例中，第一神经网络702已经被训练，使得它可以执行以上参考图1-2描述的标识过程。
更特别地，可以使用包括地面实况图像数据集的集合的训练数据的集合来训练第一神经网络702，地面实况图像数据集中的每个表示包括感兴趣的解剖结构的实例的身体区域。例如，在感兴趣的解剖结构是膝关节的情况下，每个数据集可能表示腿或身体的下半部。除了包括表示这种身体区域的数据之外，每个数据集还包括与解剖结构的实例位于其内的感兴趣的体积有关的信息。例如，该信息可能指示用于这样的感兴趣的体积的边界框，和/或它可能指示感兴趣的体积的中心。
如可以理解的那样，第一神经网络可以根据以上参考图5的第一神经网络502描述的方法之一来训练。
图7中所示的第二神经网络704被训练，使得它可以执行以上参考图1和6A-6D描述的第一确定过程。
因此，可以使用包括地面实况图像数据集的集合的训练数据的集合来训练第二神经网络704，地面实况图像数据集中的每个表示解剖结构的实例。另外，每个数据集包括与数据集内表示的解剖结构的实例的第一解剖方向有关的信息。
在训练期间，第二神经网络704可以例如处理给定的图像数据集，并且将所生成的第一解剖方向与和给定的地面实况图像数据集相关联的信息中指示的第一解剖方向进行比较。指示所生成的方向和与地面实况图像数据集的集合相关联的方向之间的误差的损失函数可以通过调整控制第二神经网络704的权重来减少。训练过程可以被迭代以根据需要减少或最小化损失函数。
例如，可以基于医学专业人员对相关联的图像数据集的检查来准备地面实况掩模。例如，医学专业人员可能检查图像并提供适当的标签或指示。在一个示例中，医学专业人员可能例如通过指示各种界标的位置来隐含地指示第一解剖方向，其中，根据算法基于这些界标的位置来计算所述方向。替代地，医学专业人员可能例如使用用户接口来明确地指示第一解剖方向，所述用户接口将所述方向投影到示出解剖结构的图像上，并且允许医学专业人员根据需要修改所述方向。
图7中所示的第三神经网络706被训练，使得它可以执行以上参考图1和6A-6D所描述的第二确定过程。
因此，可以使用包括地面实况图像数据集的集合的训练数据的集合来训练第三神经网络706，地面实况图像数据集中的每个表示解剖结构的实例。另外，每个数据集包括与数据集内表示的解剖结构的实例的第二解剖方向有关的信息。
在训练期间，第三神经网络706可以例如处理给定的图像数据集并且将所生成的第二解剖方向与和给定的地面实况图像数据集相关联的信息中指示的第二解剖方向进行比较。指示所生成的方向和与地面实况图像数据集的集合相关联的方向之间的误差的损失函数可以通过调整控制第三神经网络706的权重来减少。训练过程可以被迭代以根据需要减少或最小化损失函数。
例如，可以基于医学专业人员对相关联的图像数据集的检查来准备地面实况掩模。例如，医学专业人员可能检查图像并提供适当的标签或指示。在一个示例中，医学专业人员可能例如通过指示各种界标的位置来隐含地指示第二解剖方向，其中，根据算法基于这些界标的位置来计算所述方向。替代地，医学专业人员可能例如使用用户接口来明确地指示第二解剖方向，所述用户接口将所述方向投影到示出解剖结构的图像上，并且允许医学专业人员根据需要修改所述方向。
各种结构可以适用于第一、第二和第三神经网络702、704、706。在具体示例中，第二和第三神经网络704、706可以是胶囊网络。这样的神经网络被认为特别适合于使用典型的医学图像数据集来确定解剖方向。第一神经网络702可能也是胶囊网络，或者可能是基于区域的卷积神经网络（例如，rCNN、快速rCNN或更快的rCNN），与图5中所示的第一神经网络502一样。
现在注意图8，其示出了图1中所示的医学图像处理方法100的修改版本100'。图8的方法100'与图1中所示的医学图像处理方法100大致相同，除了图8的方法中的标识过程120'包括两个（子）过程：低分辨率标识过程122和高分辨率标识过程124，并且方法100'包括对输入医学图像数据进行下采样的附加的关联步骤，框115中所示。
如图8中所示，在框115中所示的对输入医学图像数据进行下采样的步骤产生了下采样医学图像数据。低分辨率标识过程122作用于该下采样数据以标识估计的感兴趣的体积。高分辨率标识过程124然后可以作用于表示估计的感兴趣的体积的输入医学图像数据的子集，以便标识在框130和140中分析的感兴趣的体积。这种标识过程120'被认为有助于准确和鲁棒地标识感兴趣的体积，而在时间和/或存储要求方面是高效的。
如可以理解的，图8中所示的方法100'可以合并以上参考图1-7描述的第一和第二确定过程以及附加过程中的任何过程。
图9示出了其处可以执行参考图8描述的过程的数据处理系统900的示例。如上所述，数据处理系统900是基于AI的系统。数据处理系统900可以包括用于执行上述过程的一个或多个基于AI的子系统。
如图所示，图9的示例的基于AI的系统900包括第一神经网络901形式的第一基于AI的子系统、第二神经网络902形式的第二基于AI的子系统、第三神经网络904形式的第三基于AI的子系统、以及可选地第四神经网络906形式的第四基于AI的子系统。
在所示的示例中，第一和第二神经网络901、902已经被训练，使得它们可以分别执行以上参考图8描述的低分辨率标识过程122和高分辨率标识过程124。如可以理解的，第一和第二神经网络901、902中的每个可以根据以上参考图5的第一神经网络502描述的方法之一来训练。
第一神经网络901的训练可能不同于第二神经网络902的训练，不同在于用于第一神经网络901的地面实况图像数据集可以具有比用于第二神经网络902的那些地面实况图像数据集低的分辨率；例如，用于第二神经网络902的训练数据可被下采样并且然后用于第一神经网络901。
如可以理解的，各种结构可以适用于第一和第二神经网络901、902。例如，这些神经网络中的一个或两者可以是基于区域的卷积神经网络（例如，rCNN、快速rCNN或更快的rCNN）。
还应当注意，第一和第二神经网络可以具有彼此大致相同的结构。实际上，在一些示例中，第一和第二神经网络可能基本上的不同之处仅在于第一（低分辨率）网络901的特征大小不同于（例如，大于）第二（高分辨率）网络902的特征大小。
在一些示例中，可以以与图5的第二神经网络504大体相同的方式来配置和训练第三神经网络904。在其他示例中，特别是在示例的基于AI的系统900包括第四神经网络906的情况下，可以以分别与图7的第二和第三神经网络704、706大体相同的方式来配置和训练第三和第四神经网络904、906。
现在注意图10，其示意性地示出了用于处理医学图像数据的装置1000。装置1000包括计算机1002形式的计算设备。计算机1002包括一个或多个处理器1004和存储器1006。存储器1006可以是计算机可读存储介质的形式。存储器1006具有在其上存储一个或多个神经网络，所述一个或多个神经网络被训练以确定与和医学图像数据中的一个或多个目标肌腱相关的一个或多个异常相关的一个或多个特性。例如，存储器1006可以具有存储在其上的上述神经网络。存储器1006还可以存储指令，所述指令在由一个或多个处理器1004执行时使一个或多个处理器执行上述医学图像处理方法。一个或多个处理器可包括例如一个或多个图形处理单元（GPU）或其他类型的处理器。GPU的使用可以优化装置1000以利用所描述的神经网络。这是因为，如将理解的，GPU可同时处置大量线程。
当装置1000被提供给用户时，一个或多个神经网络和指令可以被存储在存储器1006上。替代地，此后可以借助于计算机可读存储介质来提供一个或多个神经网络和指令（例如，以计算机程序产品的形式），计算机可读存储介质诸如是光盘（CD）、数字多功能盘（DVD）、硬盘驱动器、固态驱动器、闪存设备以及诸如此类。替代地，一个或多个神经网络和指令可以经由数据通信网络（例如，万维网）下载到存储介质1006上。
在一些示例中，装置1000还可以包括被配置为获取医学图像数据的成像装置1008。例如，装置1000可以包括MRI图像获取机以及计算机1002。
在一些示例中，装置1000可以包括输入接口，诸如鼠标、键盘（或用于连接它们的相应连接接口）、触摸屏接口以及诸如此类。装置1000的用户可以使用输入接口来将信息输入到装置1000中。例如，用户可以手动校正和/或超控装置1000的输出。例如，如果装置1000基于输入医学图像数据提供解剖结构的第一解剖方向和第二解剖方向，并且用户（医学专业人员）判断这些方向是不正确或不准确的，则他/她可以指示第一和/或第二解剖方向。类似地，如果用户判断如由装置1000确定的感兴趣的体积是不正确或不准确的，则他/她可以指示针对解剖结构的校正的感兴趣的体积。
虽然已经在具体示例的上下文中详细示出和描述了本发明，但是本发明并不限于所公开的示例。本领域技术人员可以在不脱离所要求保护的本发明的保护范围的情况下推导出其他变型。
总之，公开了一种用于处理医学图像数据的方法、计算机可读存储介质和装置。在数据处理系统处接收输入医学图像数据，所述数据处理系统是基于人工智能的系统。在数据处理系统处对输入医学图像数据执行标识过程，以标识预定解剖结构的实例位于其中的感兴趣的体积。在数据处理系统处执行第一确定过程和第二确定过程，以分别确定解剖结构的实例的第一解剖方向和第二解剖方向，所述第一解剖方向和第二解剖方向是相对于输入医学图像数据的坐标系定义的。从数据处理系统输出与第一解剖方向和第二解剖方向相关的输出数据。

Claims (17)

1.一种用于处理医学图像数据的方法，所述方法包括：
在数据处理系统(500、700、900)处接收(110)输入医学图像数据，所述数据处理系统是基于人工智能的系统，所述输入医学图像数据是参考数据坐标系定义的；
在所述数据处理系统(500、700、900)处对所述输入医学图像数据执行(120、120')标识过程，以标识预定解剖结构的实例位于其中的感兴趣的体积(210)；
在所述数据处理系统(500、700、900)处执行(130)第一确定过程，所述第一确定过程包括处理第一感兴趣的体积数据以确定所述预定解剖结构的所述实例的第一解剖方向(v1)，所述第一感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据；
在所述数据处理系统(500、700、900)处执行(140)第二确定过程，所述第二确定过程包括处理第二感兴趣的体积数据以确定所述预定解剖结构的所述实例的第二解剖方向(v2)，所述第二感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据，所述第一解剖方向(v1)和所述第二解剖方向(v2)是参考所述数据坐标系定义的；以及
从所述数据处理系统(500、700、900)输出(150)与所述第一解剖方向(v1)和所述第二解剖方向(v2)相关的输出数据；
其中，所述第一确定过程包括确定第一平面掩模(401)的第一分割过程，并且包括确定垂直于所述第一平面掩模的方向，并且将所述第一平面掩模的法线方向指定为所述第一解剖方向(v1)；以及
其中，所述第二确定过程包括确定第二平面掩模(402)的第二分割过程，并且还包括确定垂直于所述第二平面掩模的方向，并且将所述第二平面掩模的法线方向指定为所述第二解剖方向(v2)；
其中，所述第一感兴趣的体积数据与所述第二感兴趣的体积数据相同。
2.根据权利要求1所述的方法，其中，所述输出数据包括定义所述感兴趣的体积(210)的数据。
3.根据权利要求1所述的方法，包括使用主分量分析来确定所述第一平面掩模和所述第二平面掩模的所述法线方向。
4.根据权利要求1所述的方法，还包括将旋转操作(305)应用于所述第一感兴趣的体积数据和所述第二感兴趣的体积数据中的至少一个，产生处理的感兴趣的体积数据，
其中，所述数据坐标系具有三个轴向方向(x，y，z)，
其中，所述旋转操作导致所述第一解剖方向(v1)和所述第二解剖方向(v2)与所述数据坐标系的所述轴向方向(x，y，z)成预定角度关系，以及
其中，所述输出数据包括所述处理的感兴趣的体积数据。
5.根据权利要求1所述的方法，其中：
所述数据处理系统(500)是神经网络系统，包括：
标识网络(502)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示包围所述预定解剖结构的实例的体积并且包括与所述预定解剖结构的该实例位于其中的感兴趣的体积有关的信息；
一个或多个确定网络(502)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示所述预定解剖结构的实例并且包括与所述预定解剖结构的所述实例的第一解剖方向和第二解剖方向有关的信息；
并且所述方法包括：
至少部分地使用所述标识网络(502)执行所述标识过程，以及
利用所述一个或多个确定网络(504)来执行所述第一确定过程和所述第二确定过程。
6.根据权利要求1所述的方法，包括将第一旋转操作(610)应用于所述第一感兴趣的体积数据(601)，产生所述第二感兴趣的体积数据(602)，
其中，所述数据坐标系具有三个轴向方向(x，y，z)，以及
其中，所述第一旋转操作(610)导致所述第一解剖方向(v1)与所述数据坐标系的所述轴向方向(x，y，z)成预定角度关系。
7.根据权利要求6所述的方法，包括将第二旋转操作(620)应用于所述第二感兴趣的体积数据(602)，产生处理的感兴趣的体积数据(605)，
其中，所述第二旋转操作(620)导致所述第一解剖方向(v1)和所述第二解剖方向(v2)中的每个与所述数据坐标系的所述轴向方向(x，y，z)成预定角度关系，以及其中，所述输出数据包括所述处理的感兴趣的体积数据(605)。
8.根据权利要求1、6和7中的任一项所述的方法，其中，所述第二确定过程：
接收如由所述第一确定过程确定的所述第一解剖方向(v1)作为输入；以及
基于所述第二解剖方向正交于所述第一解剖方向的约束来确定所述第二解剖方向(v2)。
9.根据权利要求6至7中的任一项所述的方法，其中：
所述数据处理系统(700)是神经网络系统，包括：
标识网络(702)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示包括所述预定解剖结构的实例的身体区域并且包括与所述预定解剖结构的该实例位于其中的感兴趣的体积有关的信息；
第一确定网络(704)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示所述预定解剖结构的实例并且包括与所述预定解剖结构的该实例的第一解剖方向有关的信息；以及
第二确定网络(706)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示所述预定解剖结构的实例并且包括与所述预定解剖结构的该实例的第二解剖方向有关的信息；
并且所述方法包括：
至少部分地使用所述标识网络来执行所述标识过程，以及
分别利用所述第一确定网络(704)和所述第二确定网络(706)来执行所述第一确定过程和所述第二确定过程。
10.根据权利要求1或权利要求2所述的方法，包括对所述输入医学图像数据进行下采样(115)以产生下采样医学图像数据，以及
其中，所述标识过程(120')包括：
低分辨率标识过程(122)，其作用于所述下采样医学图像数据以标识估计的感兴趣的体积；以及
高分辨率标识过程(124)，其作用于表示所述估计的感兴趣的体积的所述输入医学图像数据的子集，以便标识所述感兴趣的体积(210)。
11.根据权利要求10所述的方法，其中：
所述数据处理系统(900)是神经网络系统，包括：
低分辨率标识网络(901)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示包括所述预定解剖结构的实例的身体区域并且包括与所述预定解剖结构的该实例位于其中的感兴趣的体积有关的信息，以及高分辨率标识网络(902)，已经使用包括地面实况图像数据集的集合的训练数据对其进行了训练，所述地面实况图像数据集中的每个表示包括所述预定解剖结构的实例的身体区域并且包括与所述预定解剖结构的该实例位于其中的感兴趣的体积有关的信息；
并且所述方法还包括：
使用所述低分辨率标识网络(901)执行所述低分辨率标识过程(122)，以及使用所述高分辨率标识网络(902)执行所述高分辨率标识过程(124)。
12.根据权利要求1或权利要求2所述的方法，其中：
所述预定解剖结构是膝关节、肩关节、髋关节或脊柱。
13.根据权利要求1或权利要求2所述的方法，其中，所述第一解剖方向(v1)和所述第二解剖方向(v1)选自于由以下内容组成的组：
垂直于矢状平面的方向；
垂直于冠状平面的方向；以及
垂直于横断平面的方向。
14.一种计算机可读存储介质，存储：
被训练的一个或多个神经网络(502、504、702、704、706、901、902、904、906)以标识预定解剖结构的实例位于其中的感兴趣的体积(210)，并且确定所述预定解剖结构的所述实例的第一解剖方向(v1)和第二解剖方向(v2)；以及
指令，当由处理器执行时，使所述处理器：
接收(110)输入医学图像数据，所述输入医学图像数据是参考数据坐标系定义的；
对所述输入医学图像数据执行(120、120')标识过程以标识预定解剖结构的实例位于其中的感兴趣的体积(210)；
执行(130)第一确定过程，所述第一确定过程包括处理第一感兴趣的体积数据以确定所述预定解剖结构的所述实例的第一解剖方向，所述第一感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据；
执行(140)第二确定过程，所述第二确定过程包括处理第二感兴趣的体积数据以确定所述预定解剖结构的所述实例的第二解剖方向，所述第二感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据，所述第一解剖方向和所述第二解剖方向是参考所述数据坐标系定义的；以及
输出与所述第一解剖方向和所述第二解剖方向有关的输出数据；
其中，所述第一确定过程包括确定第一平面掩模(401)的第一分割过程，并且包括确定垂直于所述第一平面掩模的方向，并且将所述第一平面掩模的法线方向指定为所述第一解剖方向(v1)；以及
其中，所述第二确定过程包括确定第二平面掩模(402)的第二分割过程，并且还包括确定垂直于所述第二平面掩模的方向，并且将所述第二平面掩模的法线方向指定为所述第二解剖方向(v2)；
其中，所述第一感兴趣的体积数据与所述第二感兴趣的体积数据相同。
15.一种用于处理医学图像数据的装置，包括：
一个或多个处理器(1004)；以及
存储如下内容的存储器(1006)：
一个或多个神经网络(502、504、702、704、706、901、902、904、906)，被训练以标识预定解剖结构位于其中的感兴趣的体积，并且确定如在医学图像数据内表示的所述预定解剖结构的第一解剖方向(v1)和第二解剖方向(v2)；以及
指令，当由所述一个或多个处理器(1004)执行时，使所述一个或多个处理器：
接收(110)输入医学图像数据，所述输入医学图像数据是参考数据坐标系定义的；
对所述输入医学图像数据执行(120、120')标识过程以标识预定解剖结构的实例位于其中的感兴趣的体积(210)；
执行(130)第一确定过程，所述第一确定过程包括处理第一感兴趣的体积数据以确定所述预定解剖结构的所述实例的第一解剖方向(v1)，所述第一感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据；
执行(140)第二确定过程，所述第二确定过程包括处理第二感兴趣的体积数据以确定所述预定解剖结构的所述实例的第二解剖方向(v2)，所述第二感兴趣的体积数据是表示所述感兴趣的体积并且从所述输入医学图像数据导出的医学图像数据，所述第一解剖方向(v1)和所述第二解剖方向(v2)是参考所述数据坐标系定义的；以及
输出(150)与所述第一解剖方向和所述第二解剖方向有关的输出数据；
其中，所述第一确定过程包括确定第一平面掩模(401)的第一分割过程，并且包括确定垂直于所述第一平面掩模的方向，并且将所述第一平面掩模的法线方向指定为所述第一解剖方向(v1)；以及
其中，所述第二确定过程包括确定第二平面掩模(402)的第二分割过程，并且还包括确定垂直于所述第二平面掩模的方向，并且将所述第二平面掩模的法线方向指定为所述第二解剖方向(v2)；
其中，所述第一感兴趣的体积数据与所述第二感兴趣的体积数据相同。
16.根据权利要求15所述的装置，包括成像装置(1008)，被配置为提供所述输入医学图像数据。
17.根据权利要求15或权利要求16所述的装置，包括：
输入接口，用于允许所述装置的用户超控和/或手动校正所述装置的所述输出。
CN202110158121.9A 2020-02-07 2021-02-05 医学图像数据 Active CN113257394B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20156247.7A EP3862969A1 (en) 2020-02-07 2020-02-07 Orientation detection in medical image data
EP20156247.7 2020-02-07

Publications (2)

Publication Number Publication Date
CN113257394A CN113257394A (zh) 2021-08-13
CN113257394B true CN113257394B (zh) 2024-04-26

Family

ID=69528654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158121.9A Active CN113257394B (zh) 2020-02-07 2021-02-05 医学图像数据

Country Status (3)

Country Link
US (1) US11664116B2 (zh)
EP (1) EP3862969A1 (zh)
CN (1) CN113257394B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2989159A1 (en) * 2016-12-02 2018-03-05 Michael R. AVENDI System and method for navigation to a target anatomical object in medical imaging-based procedures
WO2019141543A1 (en) * 2018-01-16 2019-07-25 Koninklijke Philips N.V. Tissue classification using image intensities and anatomical positions

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331635B2 (en) * 2006-07-06 2012-12-11 University Of South Florida Cartesian human morpho-informatic system
US7599539B2 (en) * 2006-07-28 2009-10-06 Varian Medical Systems International Ag Anatomic orientation in medical images
CN104507410B (zh) * 2012-02-29 2018-03-06 史密夫和内修有限公司 确定解剖取向
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
US9704300B2 (en) * 2015-03-06 2017-07-11 Siemens Medical Solutions Usa, Inc. Detection of anatomy orientation using learning-based regression
US10580159B2 (en) * 2017-01-31 2020-03-03 Siemens Healthcare Gmbh Coarse orientation detection in image data
US11259874B1 (en) * 2018-04-17 2022-03-01 Smith & Nephew, Inc. Three-dimensional selective bone matching

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2989159A1 (en) * 2016-12-02 2018-03-05 Michael R. AVENDI System and method for navigation to a target anatomical object in medical imaging-based procedures
WO2019141543A1 (en) * 2018-01-16 2019-07-25 Koninklijke Philips N.V. Tissue classification using image intensities and anatomical positions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Segmentation of Organs at Risk in Chest Cavity Using 3D Deep Neural Network;Maksym Manko;《2019 SIGNAL PROCESSING SYMPOSIUM(SPSYMPO)》;第287-290页 *

Also Published As

Publication number Publication date
CN113257394A (zh) 2021-08-13
US11664116B2 (en) 2023-05-30
US20210249119A1 (en) 2021-08-12
EP3862969A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
Mattes et al. Nonrigid multimodality image registration
WO2022037696A1 (zh) 基于深度学习的骨骼分割方法和系统
EP3726467A1 (en) Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
Mattes et al. PET-CT image registration in the chest using free-form deformations
US8953856B2 (en) Method and system for registering a medical image
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
US8199986B2 (en) Vertebra center detection apparatus using spinal-cord region detection, method and recording medium storing a program
CN112885453A (zh) 用于标识后续医学图像中的病理变化的方法和系统
US20240185509A1 (en) 3d reconstruction of anatomical images
US20200167911A1 (en) Medical image data
Zhang et al. 3-D reconstruction of the spine from biplanar radiographs based on contour matching using the hough transform
EP4156096A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
CN112001889A (zh) 医学影像处理方法、装置及医学影像显示方法
CN114859279A (zh) 用于肌腱套撕裂诊断的直观显示
US9514384B2 (en) Image display apparatus, image display method and storage medium storing image display program
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN113614781A (zh) 用于标识图像中物体的系统和方法
CN112308764B (zh) 图像配准方法及装置
EP2742483B1 (en) Image processing method
Ying et al. Two fully automated data-driven 3D whole-breast segmentation strategies in MRI for MR-based breast density using image registration and U-Net with a focus on reproducibility
CN113257394B (zh) 医学图像数据
Pluim et al. Multiscale approach to mutual information matching
CN116485847A (zh) 一种基于轮廓特征编码的3d/2d术中配准方法
EP3910597A1 (en) Body representations
Shim et al. 2D-3D registration for 3D analysis of lower limb alignment in a weight-bearing condition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240902

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany

TR01 Transfer of patent right