CN119053992A - 用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品 - Google Patents
用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品 Download PDFInfo
- Publication number
- CN119053992A CN119053992A CN202380035125.5A CN202380035125A CN119053992A CN 119053992 A CN119053992 A CN 119053992A CN 202380035125 A CN202380035125 A CN 202380035125A CN 119053992 A CN119053992 A CN 119053992A
- Authority
- CN
- China
- Prior art keywords
- tool
- body part
- patient
- imaging data
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 177
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000001356 surgical procedure Methods 0.000 claims description 17
- 238000002591 computed tomography Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims description 2
- 210000003484 anatomy Anatomy 0.000 description 7
- 238000007408 cone-beam computed tomography Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000005865 ionizing radiation Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30052—Implant; Prosthesis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种用于辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的计算机实施的方法、计算设备、系统和计算机程序产品，包括：接收术中成像数据(ID)，其包括从多个视角捕获所述特定身体部位(202)的2D图像以及从至少一个视角捕获所述工具(5)的至少一部分的2D图像；基于术中成像数据(ID)和指示2D图像的视角的数据，使用与特定身体部位(202)对应的基于人工智能的算法来重建特定身体部位(202)的解剖3D形状(AS)；基于术中成像数据(ID)估计工具(5)相对于解剖3D形状(AS)的当前定位(5c)；以及生成定位引导数据(GD)，该定位引导数据包括工具(5)相对于特定身体部位(202)的解剖3D形状(AS)的估计的当前定位(5c)。
Description
技术领域
本发明涉及一种计算机实施的辅助将工具(诸如外科手术(surgical)工具)相对于患者的特定身体部位进行定位的方法。本发明还涉及一种计算设备，该计算设备被配置为辅助将工具(诸如外科手术工具)相对于患者的特定身体部位进行定位。本发明甚至还涉及一种用于辅助将工具相对于患者的特定身体部位进行定位的系统。本发明甚至还涉及一种计算机程序产品，包括指令，该指令在由计算设备的处理单元执行时使计算设备辅助将工具(诸如外科手术工具)相对于患者的特定身体部位进行定位。
背景技术
常规的、现有技术的计算机辅助手术(surgery)和外科手术导航技术已使得外科医生能够应对“玻璃般”的患者，其中来自术前成像和术前规划的重要信息可以直接用于供外科医生的感知。常规的计算机辅助外科手术引导系统依赖于三个主要方面：1)基于从术前图像(诸如CT或MRI扫描)得到的解剖3D模型进行术前规划；2)将术前数据与术中解剖结构(anatomy)进行配准(registration)；以及3)对外科手术器械进行实时跟踪。
最先进的外科手术引导系统中使用的术前规划在生成的3D解剖模型上以逐步方式描绘了外科手术过程。然而，这些术前规划通常是对术中现实的理想化描述(sketch)，其可能受到影响患者的相应身体部位的术前事件和/或术中状况(诸如：出血、并发症和外科手术不准确)的影响。因此，外科医生常常被迫退回到常规的(非导航的)技术。
将术前规划与术中解剖结构进行配准常常被视为常规的计算机辅助外科手术引导系统的另一缺点。在本申请的上下文中，术语配准指将术前规划与手术时患者的实际、真实解剖结构和身体位置、取向进行校准/对准的过程。常规的计算机辅助外科手术引导系统通过使用诸如以下的技术来解决这一点：使用光学跟踪指针或通过使用基于图像的配准方法将术前规划中的共同标志(landmark)和/或特征与3D解剖模型进行匹配，，所述方法自动地将术前图像(诸如CT或MRI扫描)与术中所获取的图像进行匹配(即2D-3D配准)。然而，计算机辅助手术和外科手术引导系统中的这样的常见技术容易受到不同的错误源或技术复杂性的影响，该错误源或技术复杂性包括从标记移动和小捕获范围到缓慢计算。
文献US2022/044440A1和WO2020/108806A1描述了用于使用统计形状建模进行人工智能辅助手术的方法，其中在X射线投影图像中对从术中成像数据(使用人工智能算法)识别出的对象进行分类，并且通过使所分类的对象的统计形状模型变形以适合X射线图像中所分类的对象的成像，确定所分类的对象的3D表示以及定位。然而，统计形状建模具有以下缺点，在使统计形状模型变形以适合术中图像的过程中，对术中图像捕获的单独的(individual)特征——其未曾被统计形状模型捕获——丢失。因此，统计形状建模最多可以提供基于术中成像的3D维度形状的一般统计近似，但不适合于解剖形状的3D重建。
在常规的计算机辅助外科手术导航的第三方面，应在患者的特定身体部位的解剖结构的同一参考系内估计跟踪工具(尤其是所期望的外科手术硬件)的三维姿态。为此，已知的计算机辅助手术和外科手术引导系统依赖于附接到外科手术工具上的参考标记。然而，视线问题被认为是对于这样的系统的临床使用的显著负担。存在用于基于2D X射线的外科手术工具姿态估计的方法，其使用传统的(通常基于强度的)配准技术。然而，这样的技术容易受到与基于图像的配准方法相同的限制。
最近，随着能够进行术中锥形束计算机断层摄影(Cone-Beam ComputedTomography，CBCT)的荧光透视机的引入，可以在手术(operation)期间获取患者的3D体积图像，并且将此数据与光学跟踪系统结合使用以提供免配准的外科手术导航。在这样的方法中，通过对患者安装的光学跟踪参考标记进行监测来将患者配准到术前规划，该标记在术中锥形束计算机断层摄影中和通过光学跟踪系统都是可见的。由于获取了全范围锥形束计算机断层摄影图像，这样的方法导致增加电离辐射，并且还可能遭受金属伪影问题。此外，基于锥形束计算机断层摄影的术中导航的主要技术限制是对附接到患者解剖结构的固定的参考标记的假设，这在手术室状况下被证明是不足够的。
尽管这些方法已经被证明与标准的徒手外科手术方法相比导致更高的植入精度，但是它们尚未在世界各地最先进的手术室中被广泛地采用。据在世界范围的调查中报道的，仅11％的脊柱外科手术使用计算机辅助导航系统进行，并且大多数手术使用常规的徒手开放技术进行，其中外科医生依赖于其视觉和触觉反馈来将脊柱植入物放置到椎弓根区域中。这是由于上述计算机辅助外科手术导航方法需要大量的配准过程以将术前规划转移到解剖结构上和/或通常需要在手术室中安装外部导航硬件的事实。这可能干扰现有的外科手术工作流程，并且可能导致增加的手术时间、辐射暴露和成本。例如，需要在手术期间获取锥形束计算机断层摄影的导航系统可能导致外科手术时间增加高达8.2分钟，并且导致2.09至4.81mSV的电离辐射。
总之，已知的计算机辅助手术和外科手术引导系统容易出现视线和/或标记移动问题；需要对术前规划进行大量配准；需要在手术室中安装外部导航硬件和/或显著地干扰外科手术工作流程。
发明内容
本发明的目的是提供一种用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品，其克服了现有技术的缺点中的一个或多个。
具体地，本发明的目的是提供一种用于辅助将工具相对于患者的特定身体部位进行定位的免配准的方法，该方法可以仅使用术中成像数据(即无需在手术室中安装导航硬件)来重建解剖3D形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。
根据本公开内容，此目的由独立权利要求1的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。
具体地，此目的是通过一种计算机实施的方法来实现的，该方法辅助将工具——诸如外科手术工具(例如，外科手术钻、刀或外科手术激光装备)或医疗诊断工具相对于患者的特定身体部位进行定位，该方法包括：
-接收术中成像数据；
-使用术中成像数据并且使用与特定身体部位对应的基于人工智能的算法来重建解剖3D形状；
-基于术中成像数据估计工具的当前定位；以及
-生成定位引导数据，该定位引导数据包括工具相对于特定身体部位的解剖3D形状的所估计的当前定位的视觉表示。
在具体的实施方案中，在准备所述患者的外科手术治疗时/在所述患者的外科手术治疗之前，在一时间段内重复地或连续地实施以下步骤：接收术中成像数据；估计所述工具的当前定位；以及生成引导数据。
接收术中成像数据
计算设备从布置在患者的附近的成像设备接收术中成像数据。在此，成像设备被布置在患者的附近指允许成像设备捕获患者的术中成像数据的定位。成像数据包括多个2D图像。2D图像中的两个或更多个从相对于患者的特定身体部位的两个或更多个不同的视角捕获患者的特定身体部位。捕获特定身体部位的同一多个2D图像中的一个或多个也从至少一个视角捕获工具的至少一部分。在本发明的上下文中，术语视角(相对于成像数据的视角)指成像设备相对于特定身体部位(或相对于工具)的(例如在x、y和z笛卡尔坐标系中的)位置和/或取向(例如滚动、俯仰、偏航)。
根据本发明的实施方案，术中成像数据包括以下中的一个或多个：a)基于辐射的图像，尤其是X射线图像；b)超声图像；c)关节镜图像；d)光学图像；和/或e)任何其他横截面图像。
使用通信地连接到计算设备的成像设备来捕获患者的特定身体部位的图像或工具的一部分的图像。在基于辐射的图像的情况下，成像设备可以包括基于X射线技术的C臂成像设备。C臂成像设备包括生成器(X射线源)和图像增强器或平板探测器。C形状的连接元件允许水平地、垂直地和/或围绕旋转轴移动，使得可以从患者周围的各个视角产生患者的2D X射线图像。生成器发射穿透患者的身体的X射线。图像增强器或探测器将X射线转换为被传输到计算设备的可见的图像。
术中成像数据包括指示与多个2D图像对应的视角的数据，识别捕获多个2D图像的成像设备的位置和/或取向(诸如成像设备相对于特定身体部位的在x、y和z笛卡尔坐标系中的位置和/或如滚动、俯仰、偏航的取向)的数据。根据本文所公开的实施方案，指示与多个2D图像对应的视角的数据被存储在由计算设备包括的或通信地连接到计算设备的数据存储装置中。替代地或附加地，由计算设备基于术中成像数据估计与术中成像数据对应的视角。
在具体的实施方案中，使用指示工具的几何形状的工具几何模型来进行估计与术中成像数据对应的视角。首先，根据多个候选视角计算工具几何模型的多个投影。候选视角被选择为成像设备的可能视角的预定义空间内的离散视角。换句话说，不考虑成像设备相对于患者的不现实的位置和取向以节省计算能力。此后，通过将如由术中成像数据的相应的2D图像捕获的工具的至少一部分与根据多个候选视角计算的多个投影进行比较，识别与术中成像数据的2D图像对应的视角。具体地，比较包括应用匹配函数来识别根据多个候选视角计算的“虚拟”工具(基于工具几何模型)的投影中的一个和如由成像设备捕获的“物理”工具的部分之间的最佳匹配。产生最佳匹配的候选视角被选择为估计的视角。
根据本文所公开的实施方案，使用基于人工智能的算法来进行估计与术中成像数据对应的视角，该算法使用具有已知视角的大量的成像数据集进行训练。为了克服具有已知视角的成像数据集的可用性和/或准确性的限制，根据3D成像数据(尤其是计算机断层摄影CT扫描)生成包括来自已知视角的2D图像的大量的成像数据集。使用此在外科手术前训练的基于人工智能的算法，可以仅基于术中图像来估计成像设备的术中定位，而无需外部跟踪设备或校准体模(phantom)。
生成解剖3D形状
由计算设备基于术中成像数据和指示与多个2D图像对应的视角的数据、使用与特定身体部位对应的基于人工智能的算法来重建特定身体部位的解剖3D形状。
根据本文所公开的实施方案，解剖3D形状被重建为体素化体积和/或网格。重要的是强调，基于人工智能的算法必须是与特定身体部位对应的模型，从而能够根据特定身体部位的多个2D图像重建3D解剖形状。
根据本文所公开的具体实施方案，使用大量的标注的成像数据集来训练基于人工智能的算法，所述标注的成像数据集捕获与患者的特定身体部位对应的(患者以外的人的)身体部位。成像数据集的标注包括识别和/或描述身体部位的属性的数据，诸如识别2D图像内的像素、矢量、轮廓、表面和/或在捕获特定身体部位的3D图像内的捕获特定身体部位的体素的数据。
为了克服标注的成像数据集——该标注的成像数据集捕获与患者的特定身体部位对应的身体部位——的可用性和/或准确性的限制——根据本文所公开的实施方案——根据标注的3D成像数据(尤其是计算机断层摄影CT扫描)生成大量的标注的成像数据集，该标注的3D成像数据捕获与患者的特定身体部位对应的身体部位。具体地，在给定输入术前CT扫描的情况下，根据患者周围的不同的视点生成合成的2D图像，诸如荧光透视照片(shot)(即，DRR)。例如，使用此方法，可以根据单个标注的CT扫描生成高达数百个标注的“合成的”2D图像(捕获特定身体部位)，该标注的“合成的”2D图像可以被基于人工智能的算法使用，以提高其根据尽可能少的2D术中图像重建准确解剖3D形状的能力。
根据实施方案，在两个阶段中进行重建解剖3D形状：对术中成像数据进行分割以便识别患者的特定身体部位；以及进一步使用分割的术中成像数据来重建解剖3D形状。
为了对术中成像数据进行分割，使用基于人工智能的检测和分割模型(诸如基于卷积神经网络的检测和分割模型)，首先在术中成像数据内识别感兴趣的区域，感兴趣的区域包含患者的特定身体部位。然后使用基于人工智能的检测和分割模型对感兴趣的区域进行语义分割，从而生成分割的术中成像数据。
估计工具的当前定位
已经重建了解剖3D形状，基于术中成像数据(尤其是捕获工具的成像数据的2D图像)估计工具相对于特定身体部位的解剖3D形状的当前定位。根据本文所公开的实施方案，使用指示工具的几何形状的工具几何模型来进行估计工具的当前定位。首先，将工具几何模型的投影与如由术中成像数据的相应的2D图像捕获的工具的至少一部分进行比较。将工具几何模型投影到捕获工具的至少一部分的术中成像数据的2D图像中的一个或多个2D图像的平面上。术中成像数据的2D图像的平面基于每个2D图像的视角被确定。此后，确定产生到术中成像数据的2D图像的平面上的投影的工具几何模型的定位，该定位与如由术中成像数据的相应的2D图像捕获的工具的至少一部分(最佳)匹配。换句话说，与术中成像数据的视角的(最初)确定相比，应用了逆向过程。然而，此逆向过程不一定适用于(术中成像数据的)与以下2D图像相同的2D图像：该2D图像用于确定用于重建解剖3D形状的图像的视角。
根据本文所公开的实施方案，在辅助对工具进行定位的方法的初始阶段中，虽然解剖3D形状被重建一次，但是对工具的当前定位的估计以设定的间隔被重复地执行和/或由某些事件触发和/或被手动地触发。
为了提高对工具的定位进行估计的准确性和/或提高估计与术中成像数据对应的视角的准确性，根据另一些实施方案，本发明的方法还包括根据工具几何模型提供工具。其中工具几何模型被专门设计以基于尽可能少的术中图像来优化对其定位的估计。具体地，工具被设计使得其至少一部分不是完全围绕笛卡尔坐标系的任何轴旋转对称的，以便允许基于2D图像估计工具的取向。替代地或附加地，该工具被设计为包括特殊标记以便于其基于2D术中图像的识别。
生成定位引导数据
已经重建了特定身体部位的解剖3D形状并且已经估计了工具的当前定位，由计算设备重建定位引导数据，包括工具相对于特定身体部位的解剖3D形状的估计的当前定位的视觉表示。根据本文所公开的实施方案，引导数据被重建为2D图像以被显示在计算机显示器上。替代地或附加地，将引导数据重建为增强现实叠加层，包括叠加元数据，其允许增强现实设备——诸如耳机——将叠加层投影到用户的视场上，使得叠加层与用户对患者的特定身体部位的观看对准和/或与用户对工具的观看对准。根据本文所公开的实施方案，工具的估计的当前定位的视觉表示被叠加到重建的解剖3D形状的视觉表示上。
根据本文所公开的实施方案，计算设备控制显示设备显示引导数据的至少一部分，该显示设备是计算机屏幕、增强现实耳机或被配置为显示引导数据的任何设备。
为了引导外科医生正确地定位工具，根据本文所公开的另一些实施方案，由计算设备识别工具相对于特定身体部位的解剖3D形状的规定定位，并且工具的规定定位的视觉表示被叠加到工具的估计的当前定位的视觉表示上。由计算设备从数据存储装置检索或接收工具的规定定位，该数据存储装置被计算设备包括或通信地连接到计算设备。替代地或附加地，工具的规定定位由计算设备计算，工具的规定定位由优化函数基于身体部位的解剖3D形状以及指示外科手术过程的数据确定。
本文所公开的实施方案是有利的，因为它们能够基于重建的解剖3D形状自动地进行外科手术前的规划并且引导外科医生对外科手术工具进行放置。考虑到术中成像数据被用来重建身体部位(例如脊柱)的解剖3D形状，既不需要进行术前规划阶段来限定安全的植入轨迹，也不需要将术前数据配准到术中患者的定位，基于解剖3D形状可以识别工具的规定定位/轨迹。
本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的计算设备，该设备可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3D形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。
根据本公开内容，此目的由独立权利要求15的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。
具体地，上述目的还通过一种计算设备来实现，该计算设备包括：数据输入接口；数据输出接口；处理单元；以及存储单元。数据输入接口——诸如有线的(例如以太网、DVI、HDMI、VGA)和/或无线的数据通信接口(例如4G、5G、Wifi、蓝牙、UWB)——可与成像设备通信连接并且被配置为从其接收术中成像数据。数据输出接口——诸如有线的(例如以太网、DVI、HDMI、VGA)和/或无线的数据通信接口(例如4G、5G、Wifi、蓝牙、UWB)——被配置为将引导数据的至少一部分传输到可通信地连接到数据输出接口的显示设备。存储单元包括指令，该指令在由处理单元执行时使计算设备执行根据本文所公开的实施方案中的任一个所述的辅助对工具进行定位的方法。
根据实施方案，计算设备是通信地连接到成像设备的独立计算机。替代地或附加地，计算设备是使用通信网络(尤其是至少部分地使用移动通信网络)通信地连接到成像设备的远程计算机(例如基于云的计算机)。替代地或附加地，计算设备被集成到成像设备或显示设备中。
本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的系统，该系统可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3D形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。
根据本公开内容，此目的由独立权利要求16的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。
具体地，上述目的还通过一种系统来实现，该系统包括：根据本文所公开的实施方案中的任一个的计算设备；成像设备；以及显示设备，该系统被配置为执行根据本文所公开的实施方案中的任一个所述的方法。成像设备通信地连接到计算设备并且被布置在患者的附近，从而允许成像设备捕获患者的术中成像数据，使得2D图像中的两个或更多个从相对于患者的特定身体部位的两个或更多个不同的视角捕获患者的特定身体部位。捕获特定身体部位的同一多个2D图像中的一个或多个还从至少一个视角捕获工具的至少一部分。在基于辐射的图像作为术中图像的情况下，成像设备包括基于X射线技术的C臂成像设备。C臂成像设备包括生成器(X射线源)和图像增强器或平板探测器。C形状的连接元件允许水平地、垂直地和/或围绕旋转轴移动，使得可以从患者周围的各个视角产生患者的2D X射线图像。生成器发射穿透患者的身体的X射线。图像增强器或探测器将X射线转换为被传输到计算设备的可见的图像。显示设备是计算机屏幕、增强现实耳机或被配置为显示引导数据的任何设备。
本发明的另一目的是提供一种用于将工具相对于患者的特定身体部位进行定位的计算机程序产品，该计算机程序产品可以仅使用术中成像数据(即无需在手术室中安装导航硬件并且无需进行术前规划的配准过程)来重建解剖3D形状并且生成工具相对于患者的特定身体部位的定位的视觉表示。
根据本公开内容，此目的由独立权利要求18的特征解决。另外，从从属权利要求和说明书中得到另一些有利的实施方案。
具体地，上述目的通过一种计算机程序产品来解决，该产品包括指令，该指令在由计算设备的处理单元执行时使计算设备执行根据本文所公开的实施方案中的任一个所述的方法。
根据实施方案，指令(被计算机程序产品包括)包括与患者的特定身体部位对应的基于人工智能的算法，该基于人工智能的算法已经使用大量的标注的成像数据集来进行训练，该标注的成像数据集捕获与患者的特定身体部位对应的身体部位，其中所述标注包括识别和/或描述身体部位的属性的数据。
根据实施方案，指令(被计算机程序产品包括)包括控制成像设备捕获包括2D图像的术中成像数据的指令，多个2D图像从相对于患者的特定身体部位的多个不同的视角捕获患者的特定身体部位，并且多个2D图像中的一个或多个从至少一个视角捕获工具的至少一部分。
根据实施方案，指令(被计算机程序产品包括)包括控制显示设备诸如显示引导数据的至少一部分——包括工具的估计的当前定位的视觉表示、重建的解剖3D形状的视觉表示和/或工具的规定定位的视觉表示——的指令。
应理解，前述一般描述和以下详细的描述二者呈现实施方案，并且意在提供用于理解本公开内容的本质和特征的概述或框架。所附附图被包括以提供进一步的理解，并且被并入到本说明书中并且构成本说明书的一部分。附图例示了各种实施方案，并与说明书一起用于解释所公开的构思的原理和操作。
如在本说明书中所使用的，术语“具体(particular，尤其)”指本发明的实施方案，而不是对偏好的任何指示，也不指示作为特定被引入的特征将对于本发明的所有实施方案是必需的。
附图说明
根据本文下面给出的详细的描述和所附附图，将更全面地理解本文所描述的发明，该详细的描述和所附附图不应被视为对所附权利要求书中描述的发明的限制。附图示出了：
图1是根据本发明的实施方案的用于辅助对如安装在手术室中的工具进行定位的系统的高度示意性透视图；
图2是例示了根据本发明的实施方案的辅助对工具进行定位的方法的步骤的流程图；
图3是例示了根据本发明的实施方案的基于术中成像数据和指示与多个2D图像对应的视角的数据而重建解剖3D形状的步骤的流程图；
图4是对术中成像数据进行分割以便识别患者的特定身体部位的示意性例示；
图5是对术中成像数据进行分割的另一实施方案的示意性例示，包括识别感兴趣的区域，然后对感兴趣的区域进行语义分割，以便在感兴趣的区域内识别患者的特定身体部位；
图6是使用与特定身体部位对应的基于人工智能的算法、基于所分割的术中成像数据重建解剖3D形状的示意性例示；
图7是例示了在多个阶段中重建解剖3D形状的另一实施方案的步骤的流程图；
图8是确定工具的规定定位的示意性例示；
图9A是被叠加到重建的解剖3D形状的视觉表示上的关于工具的估计的当前定位的视觉表示和关于工具的规定定位的视觉表示的例示性实施例；
图9B是被叠加到术中成像数据ID的2D图像上的关于工具的估计的当前定位的视觉表示的例示性实施例；以及
图9C是在重建的解剖3D形状的视觉表示上的关于工具的估计的当前定位的视觉表示、关于工具的规定定位的视觉表示以及关于外科手术植入物的理想螺钉轨迹的视觉表示的例示性实施例。
具体实施方式
现在将详细参考某些实施方案，该实施方案的实施例被例示在所附附图中，其中示出了一些但不是全部的特征。事实上，本文所公开的实施方案可以许多不同的形式被体现，并且不应被解释为限于本文所阐述的实施方案；相反，这些实施方案被提供使得此公开内容将满足可适用的法律要求。只要有可能，相同的参考数字将被用来指代相同的部件或零件。
图1示出了用于辅助对安装在手术室中的工具5进行定位的系统1的高度示意性透视图，患者200躺在手术台2上。如所例示的，系统1包括计算设备10；成像设备20；和显示设备30。系统1是基于利用基于辐射的图像作为术中图像的实施方案进行例示的。因此，成像设备20包括使用X射线技术捕获术中图像的C臂成像设备20。C臂成像设备20包括生成器(X射线源)22。C形连接元件(C臂)24允许水平地、垂直地和/或围绕旋转轴移动，使得可以从患者周围的各个视角产生患者200的2D X射线图像。生成器22发射穿透患者身体200的X射线。探测器26将X射线转换成被传输到计算设备10的成像数据ID。
成像设备20通信地连接到计算设备10，并且被布置在患者200的附近，从而允许成像设备20捕获患者200的术中成像数据ID，使得2D图像中的两个或更多个从相对于患者200的特定身体部位202的两个或更多个不同的视角捕获患者200的特定身体部位202。捕获特定身体部位202的同一多个2D图像中的一个或多个还从至少一个视角捕获工具5的至少一部分。
在所例示的实施方案中，显示设备30包括一系列计算机屏幕32，其通信地连接到计算设备10并且被配置为显示引导数据GD。
现在转到图2的流程图，将描述计算机实施的辅助将工具5相对于患者200的特定身体部位202进行定位的方法的步骤。
如在图2中所示出的，该方法包括以下主要步骤：
步骤S10：捕获术中成像数据；
步骤S20：接收术中成像数据；
步骤S30：使用术中成像数据并且使用与特定身体部位202对应的基于人工智能的算法来重建解剖3D形状；
步骤S40：基于术中成像数据ID估计工具的当前定位5c；
步骤S50：识别工具的规定定位5p；
步骤S60：生成定位引导数据GD，该定位引导数据包括工具5相对于特定身体部位202的解剖3D形状AS的估计的当前定位5c的视觉表示；以及
步骤S70：使用显示设备30输出定位引导数据GD。
特定于具体实施方案的步骤在图中使用虚线被例示。
在步骤S10中，通过布置在患者200的附近的成像设备20捕获术中成像数据ID。术中成像数据ID包括指示与多个2D图像对应的视角的数据，识别捕获多个2D图像的成像设备20的位置和/或取向(诸如成像设备20相对于患者200的特定身体部位202的在x、y和z笛卡尔坐标系中的位置和/或如滚动、俯仰、偏航的取向)的数据。
根据第一实施方案，指示与多个2D图像对应的视角的数据被存储在由计算设备10包括的或通信地连接到计算设备10的数据存储装置中。通过以下步骤确定存储在数据存储装置中的视角：跟踪C臂24来估计曝光时的成像参数，通过该成像参数，可以将术中获取的2D图像分配给其相应的内在和外在成像参数，该内在和外在成像参数有效地定义了2D图像已经根据其被生成的视角。可选地，在跟踪C臂24之前是校准过程，即术前校准过程(即，预校准)，其中以特定方式操纵C臂24以覆盖参差不齐的运动范围。在此预校准阶段期间，在特定的姿势间隔处建立跟踪观察和成像参数之间的数学关系，该数学关系稍后将被用来推导可以基于跟踪数据产生术中成像参数的插值函数。
替代地或附加地，计算设备10基于术中成像数据ID估计与术中成像数据ID对应的视角。在一个实施方案中，校准算法通过以下方式来提取2D图像的视角：将精确制造的校准对象(即，体模)(该校准对象包括具有已知几何形状的不同的特征(例如，不透辐射的特征))放置在成像场中，并且基于那些特征的投影估计成像参数。
替代地或附加地，使用基于人工智能的算法来进行估计与术中成像数据ID对应的视角，该算法使用具有已知视角的大量的成像数据集进行训练。为了克服具有已知视角的成像数据集的可用性和/或准确性的限制，根据3D成像数据(尤其是计算机断层摄影CT扫描)生成包括来自已知视角的2D图像的大量的成像数据集。例如，基于术前CT扫描生成的模拟术中荧光透视照片(即数字重建的射线照片(DRR)以及其对应的姿势参数被用来训练卷积神经网络(CNN)用于回归任务。使用此在手术前训练的基于人工智能的算法，可以仅基于术中图像来估计成像设备20的术中定位，而无需外部跟踪设备或校准体模。
在随后的步骤S20中，计算设备10经由其数据输入接口14从成像设备20接收术中成像数据ID。
在随后的步骤S30中，计算设备10基于术中成像数据ID和指示与多个2D图像对应的视角的数据，使用与特定身体部位202对应的基于人工智能的算法来重建特定身体部位202的解剖3D形状AS。参考图3、图4、图5、图6和图7提供了重建解剖3D形状AS的步骤S30的详细描述。
在步骤S40中，基于对工具5进行捕获的成像数据ID的2D图像来估计工具5相对于特定身体部位202的解剖3D形状AS的当前定位5c。工具5的当前定位5c是基于工具几何模型所描述的工具5的几何形状的先验知识被执行的。首先，将工具几何模型的投影与如术中成像数据ID的相应的2D图像所捕获的工具5的至少一部分进行比较。工具几何模型被投影到捕获工具5的至少一部分的术中成像数据ID的2D图像中的一个或多个2D图像的平面上。术中成像数据ID的2D图像的平面是基于每个2D图像的视角被确定的。此后，确定产生到术中成像数据ID的2D图像的平面上的投影的工具几何模型的定位，该定位与如由术中成像数据ID的相应的2D图像捕获的工具5的至少一部分(最佳)匹配。
根据本文所公开的实施方案，在辅助对工具进行定位的方法的初始阶段中，虽然解剖3D形状被重建一次，但是对工具5的当前定位5c的估计以设定的间隔被重复地执行和/或由某些事件触发和/或被手动地触发。
为了提高对工具5的定位进行估计的准确性，根据工具几何模型证明工具5。其中工具几何模型被专门设计以基于尽可能少的术中2D图像来优化对其定位的估计。具体地，工具被设计使得其至少一部分不是完全围绕笛卡尔坐标系的任何轴旋转对称的，以便允许基于2D图像对工具的取向进行估计。替代地或附加地，该工具被设计为包括特殊标记以便于其基于2D术中图像的识别。
在步骤S50中，计算设备10识别工具5相对于特定身体部位202的解剖3D形状AS的规定定位5p，并且工具5的规定定位5p的视觉表示被叠加到工具5的估计的当前定位5c的视觉表示上，以便辅助外科医生正确定位工具5。
参考图8描述了确定工具5的规定定位5p的实施方案。
图3示出了例示基于术中成像数据ID和指示与多个2D图像对应的视角的数据而重建解剖3D形状AS的步骤的流程图。如所例示的，在两个阶段中进行重建解剖3D形状AS：步骤S32-对术中成像数据ID进行分割，以便识别患者200的特定身体部位202；以及步骤S34-进一步使用分割的术中成像数据ID重建解剖3D形状AS。步骤S32-使用基于人工智能的检测和分割模型对术中成像数据ID进行分割以便识别患者200的特定身体部位202被例示在图4中，如用于分割脊柱的术中2D图像以识别单独的椎骨。为了训练基于人工智能的检测和分割模型，在给定输入视角CT扫描的情况下，根据患者200周围的不同的视点生成合成X射线(即，DRR)。用于此目的的CT扫描可以通过包括CT扫描以及对应的椎骨水平标注的公共数据集来收集。例如，使用此方法，可以仅根据200个术前CT扫描创建具有超过40,000个标注的2D图像的训练数据库。
图5示出了根据两阶段方法对术中成像数据ID进行分割的步骤S32的又一实施方案的示意性例示，包括识别感兴趣的区域，然后对感兴趣的区域进行语义分割，以便在感兴趣的区域内识别患者200的特定身体部位202。为了对术中成像数据ID进行分割，使用基于人工智能的检测和分割模型(诸如基于卷积神经网络的检测和分割模型)，首先在术中成像数据ID内识别感兴趣的区域，该感兴趣的区域包含患者200的特定身体部位202。然后使用基于人工智能的检测和分割模型对感兴趣的区域进行语义分割，从而生成分割的术中成像数据ID。使用监督学习来训练用于步骤S32的分割的基于人工智能的检测和分割模型。首先，训练基于卷积神经网络(CNN)的检测模型，以通过检测每个包括单个身体部位(单个椎骨)的边界框的坐标来识别2D图像上的单独的身体部位(所例示的实施例中的椎骨水平)。然后使用识别的边界框作为感兴趣的区域来裁剪术中2D图像。此外，训练端到端分割模型以对感兴趣的区域内的椎骨的投影进行语义分割。在推理阶段期间，术中X射线图像被馈送到分割模型中，该模型为每个椎骨水平产生语义分割(以被用于3D重建目的)。
图6示出了基于分割的术中成像数据ID和指示与多个2D图像对应的视角P1-n的数据，使用与特定身体部位202对应的基于人工智能的算法来重建特定身体部位202的解剖3D形状AS的示意性例示。如所例示的，分割的术中成像数据ID被反投影到3D坐标系，以为每个身体部位202(椎骨)创建解剖3D形状。反投影是在2D图像的视角P1-n的基础上进行的，每个2D图像从其视角提供关于身体部位202的信息。因此，解剖3D形状AS被逐步地构建，术中数据ID包括的2D图像越多，重建的解剖3D形状AS就变得越精确——如在图6的下部的部分解剖3D形状的序列中所例示的。
除了如参考图3所描述的步骤S32和S34之外，根据如在图7的流程图上所例示的又一实施方案，在另一步骤S36中，使用非分割的成像数据进一步增强解剖3D形状ASinit的初始重建。考虑到校准和分割中的潜在误差，采用3D形状增强模型以便增强重建的初始解剖3D形状ASinit的质量。3D形状增强模型(尤其是卷积神经网络CNN架构)被提供有两个输入流。第一输入流包括解剖3D形状ASinit的初始重建。第二输入流包括术中成像数据ID的2D图像上特定身体部位202的2D分割。这样，通过注入保留在原始术中2D图像中的患者特定形状信息，训练3D形状增强模型以完成初始重建的缺失部分(考虑到由于缺失投影视图而导致初始重建过程中数据丢失的可能性)，从而重建增强的解剖3D形状ASenh。
现在转到图8，参考将椎弓根螺钉植入到患者200的椎骨中的外科手术过程的使用案例来描述确定工具5的规定定位5p的实施方案。工具5的规定定位5p由基于人工智能的优化函数基于特定身体部位202的解剖3D形状AS以及指示外科手术过程的数据确定。
基于解剖3D形状AS确定工具5的规定定位5p是有利的，因为它具有通过无需进行术前扫描和对应的手动过程——这可能是昂贵的并且耗时的——而改善外科手术工作流程的潜能。监督学习和强化学习RL被用来基于由专家识别的理想的螺钉轨迹组成的临床数据集来训练基于人工智能的优化函数。然后，基于理想的螺钉轨迹IST——进一步基于工具5的几何形状的先验知识——来确定工具5的规定定位5p。
图9A、图9B和图9C示出了定位引导数据GD的实施方案。图9A示出了定位引导数据GD，其包括被叠加到重建的解剖3D形状AS的视觉表示上的关于工具5的估计的当前定位5c的视觉表示和关于工具5的规定定位5p的视觉表示。
图9B示出了定位引导数据GD，其包括被叠加到术中成像数据ID的2D图像上的关于工具5的估计的当前定位5c的视觉表示。
图9C示出了定位引导数据GD，其包括在重建的解剖3D形状AS的视觉表示上的关于工具5的估计的当前定位5c的视觉表示、关于工具5的规定定位5p的视觉表示以及关于外科手术植入物的理想螺钉轨迹的视觉表示。
名称列表
1 系统
2 手术台
5 工具
5c 工具的当前定位
5p 工具的规定定位
10 计算设备
12(计算设备的)数据输出接口
14(计算设备的)数据输入接口
16(计算设备的)处理单元
18(计算设备的)存储单元
20成像设备
22生成器(X射线源)
24C形状的连接元件(C臂)
26 探测器
30 显示设备
32 计算机屏幕的布置
200 患者
202(患者的)特定身体部位
ID 术中成像数据
GD 定位引导数据
AS解剖3D形状
1ST理想的椎弓根螺钉轨迹
P1-n(2D术中图像的)视角
Claims (19)
1.一种计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，所述方法包括：
a)由计算设备(10)接收来自布置在所述患者(200)的附近的成像设备(20)的术中成像数据(ID)，所述术中成像数据(ID)包括2D图像，多个所述2D图像从相对于所述患者(200)的所述特定身体部位(202)的多个不同的视角捕获所述患者(200)的所述特定身体部位(202)，并且多个所述2D图像中的一个或多个从至少一个视角捕获所述工具(5)的至少一部分；
b)由所述计算设备(10)基于所述术中成像数据(ID)和指示与多个所述2D图像对应的视角的数据，使用与所述特定身体部位(202)对应的基于人工智能的算法来重建所述特定身体部位(202)的解剖3D形状(AS)；
c)由所述计算设备(10)基于所述术中成像数据(ID)估计所述工具(5)相对于所述特定身体部位(202)的所述解剖3D形状(AS)的当前定位(5c)；以及
d)由所述计算设备(10)生成定位引导数据(GD)，所述定位引导数据包括所述工具(5)相对于所述特定身体部位(202)的所述解剖3D形状(AS)的估计的当前定位(5c)的视觉表示。
2.根据权利要求1所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中由所述计算设备(10)重建所述特定身体部位(202)的解剖3D形状(AS)的步骤包括：使用大量的标注的成像数据集来训练所述基于人工智能的算法，所述标注的成像数据集捕获与所述患者(200)的所述特定身体部位(202)对应的身体部位，其中所述标注包括识别和/或描述所述身体部位的属性的数据。
3.根据权利要求2所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，包括根据标注的3D成像数据——尤其是根据计算机断层摄影CT扫描——生成大量的标注的成像数据集，所述标注的成像数据集包括从多个不同的视角捕获与所述患者(200)的所述特定身体部位(202)对应的身体部位的2D图像，所述标注的3D成像数据捕获与所述患者(200)的所述特定身体部位(202)对应的身体部位。
4.根据权利要求1至3之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中重建所述解剖3D形状(AS)的步骤包括：
a)对所述术中成像数据(ID)进行分割，以便识别所述患者(200)的所述特定身体部位(202)；以及
b)进一步使用分割的术中成像数据(ID)来重建所述解剖3D形状(AS)。
5.根据权利要求4所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中对所述术中成像数据(ID)进行分割的步骤包括：
a)使用基于人工智能的检测和分割模型，诸如基于卷积神经网络的检测和分割模型，在所述术中成像数据(ID)内识别包含所述患者(200)的所述特定身体部位(202)的感兴趣的区域；以及
b)使用所述基于人工智能的检测和分割模型对所述感兴趣的区域进行语义分割，从而生成所述分割的术中成像数据(ID)。
6.根据权利要求1至5之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，还包括由所述计算设备(10)估计与所述术中成像数据(ID)对应的视角。
7.根据权利要求6所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中估计与所述术中成像数据(ID)对应的视角是使用指示所述工具(5)的几何形状的工具几何模型进行的并且包括：
a)根据多个候选视角计算所述工具几何模型的多个投影；以及
b)通过将由所述术中成像数据(ID)的相应的2D图像捕获的所述工具(5)的至少一部分与来自所述多个候选视角的所述多个投影进行比较来识别与所述术中成像数据(ID)对应的视角。
8.根据权利要求1至7之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中使用指示所述工具(5)的几何形状的工具几何模型来进行估计所述工具(5)的所述当前定位(5c)，估计所述工具(5)的所述当前定位(5c)的步骤包括：
a)将所述工具几何模型——到所述术中成像数据(ID)的所述2D图像中的一个或多个的平面上——的投影与由所述术中成像数据(ID)的相应的2D图像捕获的所述工具(5)的至少一部分进行比较，和/或
b)确定所述工具几何模型的定位，所述定位产生到所述术中成像数据(ID)的所述2D图像的平面上的投影，所述投影与由所述术中成像数据(ID)的相应的2D图像捕获的所述工具(5)的至少一部分匹配。
9.根据权利要求1至8之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中生成定位引导数据(GD)包括将所述工具(5)的估计的当前定位(5c)的视觉表示叠加到重建的解剖3D形状(AS)的视觉表示上。
10.根据权利要求1至9之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，还包括：
a)由所述计算设备(10)识别所述工具(5)相对于所述特定身体部位(202)的所述解剖3D形状(AS)的规定定位(5p)；以及
b)将所述工具(5)的所述规定定位(5p)的视觉表示叠加到所述工具(5)的估计的当前定位(5c)的视觉表示上。
11.根据权利要求10或11之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中识别所述工具(5)的所述规定定位(5p)的步骤包括：
a)由所述计算设备(10)从所述计算设备(10)包括的或通信地连接到所述计算设备(10)的数据存储装置检索所述工具(5)的所述规定定位(5p)；和/或
b)由所述计算设备(10)计算所述工具(5)的所述规定定位(5p)，所述工具(5)的所述规定定位(5p)通过优化函数基于所述身体部位的所述解剖3D形状(AS)以及指示外科手术过程的数据被确定。
12.根据权利要求1至11之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，还包括：
a)根据工具几何模型提供工具(5)；和/或
b)使用成像设备(20)捕获术中成像数据(ID)，所述术中成像数据捕获所述患者(200)的至少一个身体部位和所述工具(5)的至少一部分；和/或
c)由所述计算设备(10)控制显示设备(30)以显示所述引导数据(GD)的至少一部分。
13.根据权利要求1至12之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中所述术中成像数据(ID)包括以下中的一个或多个：
a)基于辐射的图像，尤其是所述患者(200)的所述特定身体部位(202)或所述工具(5)的一部分的X射线图像；
b)所述患者(200)的所述特定身体部位(202)或所述工具(5)的一部分的超声图像；
c)所述患者(200)的所述特定身体部位(202)或所述工具(5)的一部分的关节镜图像；
d)所述患者(200)的所述特定身体部位(202)或所述工具(5)的一部分的光学图像；
e)所述患者(200)或所述工具(5)的一部分的横截面成像。
14.根据权利要求1至13之一所述的计算机实施的辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的方法，其中在准备/进行所述患者(200)的外科手术治疗时，在一时间段内重复地或连续地执行以下步骤：接收术中成像数据(ID)；估计所述工具(5)的当前定位(5c)；以及生成引导数据(GD)。
15.一种计算设备(10)，包括：
a)数据输入接口(14)，其与成像设备(20)能够通信地连接并且被配置为接收术中成像数据(ID)；
b)数据输出接口(12)，其被配置为将引导数据(GD)的至少一部分传输到能够通信地连接到所述数据输出接口(12)的显示设备(30)；
b)处理单元(16)；以及
c)存储单元(18)，其包括指令，所述指令在由所述处理单元(16)执行时使所述计算设备(10)执行根据权利要求1至14中任一项所述的方法。
16.一种用于辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的系统(1)，所述系统(1)包括：
a)根据权利要求15所述的计算设备(10)；
b)成像设备(20)，其被布置并且被配置为捕获包括2D图像的术中成像数据(ID)，所述术中成像数据(ID)包括2D图像，多个所述2D图像从相对于所述患者(200)的所述特定身体部位(202)的多个不同的视角捕获所述患者(200)的所述特定身体部位(202)，并且多个所述2D图像中的一个或多个从至少一个视角捕获所述工具(5)的至少一部分；以及
c)显示设备(30)，其被配置为显示所述引导数据(GD)的至少一部分的人类可解释的表示，所述显示设备(30)通信地连接到所述计算设备(10)的所述数据输出接口(12)，
所述系统(1)被配置为实施根据权利要求1至14中任一项所述的方法。
17.根据权利要求16所述的用于辅助将工具(5)相对于患者(200)的特定身体部位(202)进行定位的系统(1)，所述系统(1)还包括具有与工具几何模型对应的几何形状的工具(5)。
18.一种计算机程序产品，包括指令，所述指令在由计算设备(10)的处理单元(16)执行时使所述计算设备(10)执行根据权利要求1至14中任一项所述的方法。
19.根据权利要求18所述的计算机程序产品，其中所述指令包括与患者(200)的特定身体部位(202)对应的基于人工智能的算法，所述基于人工智能的算法已经使用大量的标注的成像数据集进行训练，所述标注的成像数据集捕获与所述患者(200)的所述特定身体部位(202)对应的身体部位，其中所述标注包括识别和/或描述所述身体部位的属性的数据。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CHCH000171/2022 | 2022-02-21 | ||
| CH1712022 | 2022-02-21 | ||
| PCT/EP2023/054056 WO2023156608A1 (en) | 2022-02-21 | 2023-02-17 | Method, computing device, system, and computer program product for assisting positioning of a tool with respect to a specific body part of a patient |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN119053992A true CN119053992A (zh) | 2024-11-29 |
Family
ID=81984783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380035125.5A Pending CN119053992A (zh) | 2022-02-21 | 2023-02-17 | 用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4483330A1 (zh) |
| CN (1) | CN119053992A (zh) |
| AU (1) | AU2023222179A1 (zh) |
| WO (1) | WO2023156608A1 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3445048A1 (en) * | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
| LU101009B1 (en) | 2018-11-26 | 2020-05-26 | Metamorphosis Gmbh | Artificial-intelligence-based determination of relative positions of objects in medical images |
| GB201819164D0 (en) | 2018-11-26 | 2019-01-09 | Metamorphosis Gmbh | Artificial-intelligence-assisted surgery |
-
2023
- 2023-02-17 AU AU2023222179A patent/AU2023222179A1/en active Pending
- 2023-02-17 WO PCT/EP2023/054056 patent/WO2023156608A1/en active Application Filing
- 2023-02-17 EP EP23706010.8A patent/EP4483330A1/en active Pending
- 2023-02-17 CN CN202380035125.5A patent/CN119053992A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| AU2023222179A1 (en) | 2024-08-22 |
| EP4483330A1 (en) | 2025-01-01 |
| WO2023156608A1 (en) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12268454B2 (en) | Method and apparatus for image-based navigation | |
| EP2823463B1 (en) | Method and system to assist 2d-3d image registration | |
| EP3486873B1 (en) | Automatic implant detection from image artifacts | |
| CN113507898B (zh) | 用于坐标系之间的配准和选定构件的导航的系统 | |
| US7787932B2 (en) | Planning and navigation assistance using two-dimensionally adapted generic and detected patient data | |
| US8897514B2 (en) | Imaging method for motion analysis | |
| CN113382692B (zh) | 用于坐标系之间的配准和选定构件的导航的系统和方法 | |
| DE102008044529A1 (de) | System und Verfahren zur Verwendung von Fluoroskop- und Computertomographie-Registrierung für Sinuplastie-Navigation | |
| TW202333629A (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
| CN112041890A (zh) | 用于减少图像中的伪像的系统和方法 | |
| WO2024165508A1 (en) | A computer-implemented method, device, system and computer program product for processing anatomic imaging data | |
| CN115475005A (zh) | 根据手术中和手术前获取的图像数据生成手术信息的技术 | |
| US20080119724A1 (en) | Systems and methods for intraoperative implant placement analysis | |
| US20240315741A1 (en) | A method and system for verifying a correction of a spinal curvature by imaging and tracking | |
| CN119053992A (zh) | 用于辅助将工具相对于患者的特定身体部位进行定位的方法、计算设备、系统和计算机程序产品 | |
| Schwerter et al. | A novel approach for a 2D/3D image registration routine for medical tool navigation in minimally invasive vascular interventions | |
| JP2025508764A (ja) | 患者の特定の身体部位に対する器具の位置決めを支援するための方法、コンピューティングデバイス、システム、およびコンピュータプログラム製品 | |
| Zheng et al. | Reality-augmented virtual fluoroscopy for computer-assisted diaphyseal long bone fracture osteosynthesis: a novel technique and feasibility study results | |
| US12257092B2 (en) | Method to superimpose rendering over spine hardware implants on images produced by Cbct scanner system | |
| US20240206973A1 (en) | Systems and methods for a spinal anatomy registration framework | |
| US20210378749A1 (en) | Method and device for monitoring images by means of an x-ray device during a surgical procedure | |
| Vijayan | ADVANCED INTRAOPERATIVE IMAGE REGISTRATION FOR PLANNING AND GUIDANCE OF ROBOT-ASSISTED SURGERY | |
| Gong et al. | An augmented reality approach for initializing 2D/3D registration | |
| Castro et al. | Computer-assisted aided endovascular navigation: study of geometrical transformations | |
| Yaniv | Fluoroscopic X-ray image guidance for manual and robotic orthopedic surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |