CN110946654B - 一种基于多模影像融合的骨科手术导航系统 - Google Patents
一种基于多模影像融合的骨科手术导航系统 Download PDFInfo
- Publication number
- CN110946654B CN110946654B CN201911336544.4A CN201911336544A CN110946654B CN 110946654 B CN110946654 B CN 110946654B CN 201911336544 A CN201911336544 A CN 201911336544A CN 110946654 B CN110946654 B CN 110946654B
- Authority
- CN
- China
- Prior art keywords
- image
- surgical instrument
- registration
- subject
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 210000000988 bone and bone Anatomy 0.000 title description 3
- 239000003550 marker Substances 0.000 claims abstract description 55
- 230000000399 orthopedic effect Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000004164 analytical calibration Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000013519 translation Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 8
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012829 orthopaedic surgery Methods 0.000 claims 1
- 238000011524 similarity measure Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提出一种基于多模影像融合的骨科手术导航系统，包括：一个双目视觉定位相机，用于实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标；图像分割模块，用于将初始图像中的脊椎部分精确的分割出来；空间坐标配准模块，用于将空间坐标和图像坐标进行配准；手术器械标定模块，建立手术器械尖端坐标和放置在其末端被动红外反射标记球坐标的转换关系；多模图像配准模块，用于将术中的锥形束CT图像配准到术前CT图像上；可视化界面模块，建立三维图像，用于在术中实时显示手术器械在受试者图像中的位置。本发明能够精确定位术中手术器械在受试者体内的实时位置，为骨科手术提供精确可靠的导航，有效降低手术风险，减少手术时间，并且系统操作简便，适用性高。
Description
技术领域
本发明涉及一种基于多模影像融合的骨科手术导航系统，属于医学图像、计算机视觉、图像处理等领域。
背景技术
在传统的外科手术中，医生无法直接观测到进入人体手术器械的具体位置，外科医生通常凭借经验，判断人体的解剖结构，再结合术前CT影像或术中X光影像来进行手术器械的定位、引导。因此，市场迫切需要新的手术导航系统，以便在复杂外科手术中，引导手术器械快速、精确到达特定位置，协助手术完成。随着计算机、医学影像、高精度测量等技术的发展，基于多模影像引导的手术导航系统正逐步发展起来，并逐渐成为高端医疗器械研发领域一个新的研究热点。手术导航技术是利用医学影像、立体定位和计算机可视化等相关技术，实时跟踪、显示手术器械以及人体部位的三维空间位置和运动信息，从而达到实时监测进入人体的手术器械，帮助外科医生精确实施手术的一种技术。
目前常见的手术导航系统主要分为基于基准点配准和基于C型臂引导两种。基于基准点配准的系统常采用手动选取基准点的方式来完成病人术前影像与实际手术空间的配准；这种方法通常需要医生先利用手术探针选取30-50个基准点，然后依据基准点完成坐标空间配准，并对配准精度进行评估；如果精度达不到手术要求，则需要医生重复进行基准点选择和配准。由于人体解剖结构的复杂和个体差异的存在，基准点的选取精度往往难以保证。基于C型臂引导的系统利用术中的X光影像进行手术引导，影像信息可以实时地获取更新。但是，术中X光影像只有二维图像信息，不能提供手术部位的完整三维结构。
因此，研究者及医生都希望借助术中三维影像完成手术引导，可以提供病人术中完整的三维解剖结构信息，并通过高精度的配准算法实现术前-术中影像的快速配准。这也是目前国际上手术导航领域的发展方向和研究热点。相关技术公开的一种骨科手术导航系统(中国专利申请号：200710066724.6)，该系统需要依赖髓内钉，通过确定手术器械与髓内钉相对位置，从而跟踪手术器械的位置，然而该系统主要用于封闭式髓内钉的骨折复原手术，存在一定的局限性。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于多模影像融合的骨科手术导航系统，能够精确定位术中手术器械在病人体内的实时位置，为骨科手术提供精确可靠的导航，并且系统操作简便，适用性高。
本发明技术解决方案：一种基于多模影像融合的骨科手术导航系统，包括医学影像的三维可视、脊椎骨的精确分割、空间坐标配准、术前三维CT和术中CBCT的精确配准等功能，构建一套多模影像双目视觉跟踪的手术器械定位系统，在受试者图像上实时显示手术器械的位置和运动轨迹。
本发明的一种基于多模影像融合的骨科手术导航系统，包括：
双目视觉定位相机，用于实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标；所述手术器械及受试者身上分别设置多个被动红外反射标记球；双目视觉定位相机基于双目视觉原理通过发出红外线，接受被动红外反射标记球反射回来的红外距离信息，计算被动红外反射标记球的三维空间坐标；根据得到所述被动红外反射标记球的三维空间坐标，从而得到所述手术器械和受试者的空间位置，分别送至空间坐标配准模块和手术器械标定模块；
图像分割模块，用于将初始图像中的脊椎部分精确的分割出来；根据人体脊柱的先验信息，利用基于多尺度局部区域性水平集的分割算法将三维重建的脊椎骨进行精确分割和标注，从而快速获取受试者手术部位的三维结构信息，将术前术中的分割图像送至多模图像配准模块；
空间坐标配准模块，用于将受试者皮肤表面的多个被动红外反射标记球的三维空间坐标与受试者的CT图像坐标进行配准；获取到CT扫描的受试者图像，通过将多个被动红外反射标记球固定在受试者的皮肤表面，根据固定在受试者皮肤表面上的被动红外反射标记球，基于双目视觉定位相机，得到被动红外反射标记球在CT上的三维图像坐标，建立受试者CT图像坐标系与空间坐标系之间的关系；根据所述空间坐标系与受试者CT图像坐标系之间的关系，得到受试者皮肤表面被动红外反射标记球的三维空间坐标与受试者CT图像坐标对应的转换关系，建立空间到图像的转换矩阵，送至可视化界面模块；
手术器械标定模块，根据空间变换不变性和球面约束的手术器械尖端标定方法，基于双目视觉定位相机，得到放置在手术器械末端的多个被动红外反射标记球三维空间坐标；通过三维空间坐标之间的旋转平移变换关系，确定所述手术器械尖端在手术器械坐标系中的三维空间坐标；根据手术器械尖端在手术器械坐标系中的三维空间坐标以及放置在手术器械末端的多个被动红外反射标记球三维空间坐标，从而建立所述手术器械坐标系与受试者CT图像坐标系之间的空间关系，送至可视化界面模块；
多模图像配准模块，基于图像分割模块得到的术中锥形束CT和术前CT的脊椎分割图像，以获取术中受试者手术部位的三维结构信息，并将术中受试者手术部位的三维结构信息与含有受试者详细解剖结构信息的术前三维CT分割影像进行配准，以融合术前与术中受试者影像；根据一种基于ICP(Iterative Closest Point)和B样条混合的配准算法，通过全局的点配准ICP算法得出粗略的配准图像；将粗略的配准图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，即术中锥形束CT和术前CT之间的配准图像，送至可视化界面模块；
可视化界面模块，基于手术器械末端的多个被动红外反射标记球的三维空间坐标以及手术器械坐标系与受试者CT图像坐标系之间的空间关系，得到手术器械尖端的实时三维空间坐标；基于空间坐标配准模块，将手术器械尖端的实时三维空间坐标转换为三维图像坐标，从而将手术尖端的三维图像坐标融合到配准图像中，实时显示手术器械在受试者图像中的位置及运动轨迹，并从多个角度输出。
所述双目视觉定位相机中，所述多个为四个，手术器械及受试者身上分别设置四个被动红外反射标记球。
所述对手术器械的标定模块中，根据基于空间变换不变性和球面约束的手术器械尖端标定方法具体实现如下：
(1)把四个已知三维空间坐标的红外被动反射标记球固定在需要标定的手术器械上；
(2)将手术器械尖端放置在标定靶的中心，基于双目视觉定位相机获取红外被动反射标记球的运动轨迹的三维空间位置信息，双目视觉定位相机将获取的运动轨迹传输到计算机终端；
(3)多次重复步骤(2)(至少三次)，每次的运动轨迹都不一致，获取三组红外被动反射标记球的三维空间位置信息，计算多次运动轨迹之间手术器械的旋转平移矩阵，以及每个旋转平移矩阵对应的旋转空间不变点的坐标向量，求取平均值；
(4)将其中一组手术器械上所有的红外被动反射标记球的三维坐标向量和手术尖端的三维坐标向量组成变换矩阵，描述手术器械尖端与红外被动反射标记球的位置关系；
(5)根据手术器械尖端与红外被动反射标记球的位置关系的变换矩阵，变换到手术器械的三维空间坐标下，从而建立所述手术器械坐标系与受试者CT图像坐标系之间的空间关系。
所述多模图像配准模块中，一种基于ICP(Iterative Closest Point)和B样条混合的配准算法，所述配准算法分为两个部分，基于全局的点配准ICP算法，得到一个全局粗略的配准图像；将全局粗略的配准图像和参考图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，具体实现如下：
(1)获取待配准CT图像和参考锥形束CT图像；
(2)对所述待配准图像和参考图像进行图像分割，将所述待配准图像和参考图像中的目标物分割出来并提取坐标点，配准图像和参考图像的坐标点个数相同；
(3)基于全局的点配准ICP算法，对所述待配准图像和参考图像的点集数据进行基于点集的配准，得到一个全局粗略的配准图像；
(5)将全局粗略的配准图像和参考图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，即术中锥形束CT和术前CT之间的配准图像。
所述(3)具体实现如下：
(1)找出配准图像点集在参考图像点集中的最近点，利用最近点之间的关系求出旋转平移矩阵，利用得到的旋转平移矩阵对配准图像进行变换，得到新的浮动点集；
(2)基于步骤(1)得到的新的浮动点集作为初始点集进行下一轮的计算，重复以上步骤直到得到最优变换阵；
(3)基于步骤(2)得到的最优变换阵作用到参考图像，进行图像插值等操作，搜索最近点可能得到错误点对，计算误差；
(4)重复步骤(1)至(3)，多次迭代直到误差满足要求为止。
所述(4)具体实现如下：
(1)对全局粗略的配准图像和参考图像进行相似度测量，设置初始控制点；
(2)基于步骤(1)得到的相似度，如果没达到收敛阈值，通过使用控制点计算变换场，使用变换场对配准图像进行变换和插值，得到新的配准图像；
(3)重复步骤(1)和步骤(2)，得到相似度测量，直到达到最优解时或阈值时结束迭代。
本发明与现有技术相比的优点在于：
(1)本发明能够精确定位术中手术器械在病人体内的实时位置，为骨科手术提供精确可靠的导航，并且系统操作简便，适用性高。
(2)本发明中在受试者表面固定被动红外反射标记球，定位方面，跟踪准确，对受试者没有伤害；
(3)本发明中的一种基于空间变换不变性和球面约束的手术器械尖端标定方法，标定速度更快，精度更高；
(4)本发明中的多模图像配准方法，基于点集ICP的配准和基于体素的B样条配准，将基于点集的配准结果作为基于体素配准的初值可以快速进行配准，同时基于体素的配准也使本发明的方法具有很高的精度，因此可以快速准确的配准图像，满足其在实时骨科手术导航中的应用。
(5)本发明的多模图像配准模块，融合不同形式的图像并配准，受试者手术部位更多的三维结构信息，精度更高。
附图说明
图1多模影像骨科手术导航系统模块组成图；
图2多模影像骨科手术导航系统实例的详细结构示意图；
图3手术路径规划示意图；
图4双目视觉相机识别被动红外反射标记球示意图；
图5图像配准方法流程图；
图6手术导航系统的可视化界面。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个方法细节。
图1是根据本发明开发的多模影像骨科手术导航系统模块组成图，包括双目视觉定位相机，图像分割模块，空间坐标配准模块，手术器械标定模块，多模图像配准模块，可视化界面模块。
双目视觉定位相机，用于实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标，其中，所述手术器械及受试者身上分别设置了四个被动红外反射标记球。
借助标定靶对双目视觉定位相机的精度误差进行校正，误差在亚毫米级别。
图像分割模块，用于将初始图像中的脊椎部分精确的分割出来，利用基于多尺度局部区域性水平集的分割算法将三维重建的脊椎骨进行精确分割和标注，从而快速获取受试者手术部位的三维结构信息，制定合理的手术规划。
空间坐标配准模块，在扫描得到的受试者图像中得到四个被动红外反射标记球的图像坐标，通过双目视觉系统得到其空间坐标，建立图像坐标和空间坐标之间的关系，从而将所述手术器械的空间坐标系与病人的CT图像坐标系进行配准。
手术器械标定模块，根据所述方式开发了一种基于空间变换不变性和球面约束的手术器械尖端标定方法，该方法仅需要静态采集少量(至少3个)手术器械固定尖端下的标志点轨迹，通过各个坐标系之间的旋转平移变换关系，确定所述手术器械尖端在手术器械坐标系中的坐标。
多模图像配准模块，利用锥形束CT获取术中受试者手术部位的三维结构信息，并将其与含有受试者详细解剖结构信息的术前三维CT影像进行配准，以多模态融合术前与术中受试者影像。
可视化界面模块，用于实时显示手术器械在受试者图像中的位置及其运动轨迹，指导手术的进行。
图2是根据本发明开发的骨科手术器械导航系统的实例，已完成了系统的实例搭建，包括双目视觉定位相机，用于实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标；图像分割模块，用于将初始图像中的脊椎部分精确的分割出来；空间坐标配准模块，用于将空间坐标和图像坐标进行配准；手术器械标定模块，建立手术器械尖端坐标和放置在其末端被动红外反射标记球坐标的转换关系；多模图像配准模块，用于将术中的锥形束CT图像配准到术前CT图像上；可视化界面模块，建立三维图像，用于在术中实时显示手术器械在病人图像中的位置。
使用双目视觉定位相机，实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标，其中，所述手术器械及受试者身上分别设置了四个被动红外反射标记球,坐标分别为P＝{p1,p2,p3,p4}，Q＝{q1,q2,q3,q4}。
需要对双目视觉相机的精度进行验证，利用手持探针测量了7个点的坐标，并统计了他们的平均值和标准差(见表1)，此系统的测量精度完全可以满足亚毫米手术精度的要求。
表1
图像分割模块，为了得到三维结构解剖结构信息，需要对CT影像进行三维重构和分割。对CT影像的每一张断层切片进行滤波、增强、均衡化等预处理，以减轻图像噪声；进行图像分割，从断层切片中提取关注的区域，用于将初始图像中的脊椎部分精确的分割出来，利用基于多尺度局部区域性水平集的分割算法将三维重建的脊椎骨进行精确分割和标注；对分割后图像进行切片内插值和切片间插值操作，提高图像的空间分辨率；利用MarchingCubes算法重建出手术部位的三维解剖结构影像，从而快速获取受试者手术部位的三维结构信息，制定合理的手术规划。
根据术前获取的CT影像和重建分割的三维结构数据，可以更直观的模拟手术器械的路径，图3所示为分割的脊椎骨图像以及规划的手术治疗方案，为术中手术导航的正确实施提供保障。
空间坐标配准模块，在扫描得到的受试者图像中得到四个被动红外反射标记球的图像坐标，图4显示通过双目视觉系统建立其空间坐标，通过CT扫描得到的受试者图像中得到四个被动红外反射标记球的图像坐标，计算出图像坐标和空间坐标之间的转换矩阵，从而建立图像坐标和空间坐标之间的关系，从而将所述手术器械的空间坐标系与受试者的CT图像坐标系进行配准。
手术器械标定模块，手术器械尤其是其尖端的精确定位是手术导航系统的关键核心，是手术导航系统能否成功的关键。手术器械尖端的精确定位，往往需要通过对手术器械尖端的坐标，进行精确的标定来完成。
常见的标定方法主要有两种，第一种标定方法需要借助精密的靶标来完成，这种方法过于依赖精密靶标上的标志点，导致标定的结果在精确度和稳定性上都有所欠缺；第二种标定方法是利用手术器械的刚性特质来完成的，这种方法拟合球面方程需要采集大量且分布分散的轨迹点，要求手术器械在绕尖端运动的过程中运动幅度较大，这会导致手术器械尖端有微小的移动，影响标定的精度因此，这种标定方法对操作要求比较高，略显繁琐，且精度容易受影响。
因此，开发了一种基于空间变换不变性和球面约束的手术器械尖端标定方法，所述方法仅需要静态采集少量(至少3个)手术器械固定尖端下的标志点轨迹，就可以精确标定手术器械的尖端，并且对刚性较差的手术器械依然有较好的标定精度，标定的步骤包括：
步骤1：把四个已知三维空间坐标的红外被动反射标记球固定在需要标定的手术器械上；
步骤2：将手术器械尖端放置在标定靶的中心，基于双目视觉定位相机获取红外被动反射标记球的运动轨迹的三维空间位置信息，双目视觉定位相机将获取的运动轨迹传输到计算机终端；
步骤3：重复步骤2三次，每次的运动轨迹都不一致，获取三组红外被动反射标记球的三维空间位置信息，计算三次运动轨迹之间手术器械的旋转平移矩阵，以及每个旋转平移矩阵对应的旋转空间不变点的坐标向量，求取平均值；
步骤4：将其中一组手术器械上所有的红外被动反射标记球的三维坐标向量和手术尖端的三维坐标向量组成变换矩阵，描述手术器械尖端与红外被动反射标记球的位置关系；
步骤5：描述手术器械尖端与红外被动反射标记球的位置关系的变换矩阵，变换到手术器械的三维空间坐标下，得到变换矩阵
通过50次实验验证手术器械的标定误差，和传统方法相比，所述方法可以将标定误差从0.62mm降低到0.27mm。
多模图像配准模块，精确的三维空间配准是保证手术导航系统能够顺利完成导航任务的重要条件之一。针对临床的需求，本发明开发了一种新的基于ICP(IterativeClosest Point)和B样条混合的配准算法，可以在保证配准精度的同时，显著提高配准效率。
所述配准算法主要分为两个部分，基于全局的点配准ICP算法，对所述待配准图像和参考图像的点集数据进行基于点集的配准，得到一个全局粗略的配准图像；将全局粗略的配准图像和参考图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，即术中锥形束CT和术前CT之间的配准图像，
所述配准步骤如图5所示，包括：
步骤1：对获取的浮动图像和参考图像即CT数据和锥形束CT数据进行归一化和点集提取、采样；
步骤2：用采样后的数据进行ICP点集配准，获取变换阵；
步骤3：使用ICP点集配准获取的变换阵对浮动图像进行变换和插值得到ICP全局配准图像，并作为B样条配准的初值；
步骤4：使用ICP配准后的图像和初始参考图像作为两幅配准图像进行B样条配准，直到获得最优形变参数后输出配准结果。
由于使用了基于点集的配准作为B样条配准的初值，所以配准算法的速度得到很大提升，同时也保持了基于体素配准精度高的优点。所述算法利用锥形束CT获取术中受试者手术部位的三维结构信息，并将其与含有受试者详细解剖结构信息的术前三维CT影像进行配准，以多模态融合术前与术中受试者影像。
可视化界面模块，基于手术器械末端的多个被动红外反射标记球的三维空间坐标以及手术器械坐标系与受试者CT图像坐标系之间的空间关系，得到手术器械尖端的实时三维空间坐标；基于空间坐标配准模块，将手术器械尖端的实时三维空间坐标转换为三维图像坐标，从而将手术尖端的三维图像坐标融合到配准图像中。
图6为可视化界面模块的实例，可以实时显示出受试者骨架的三维图像以及各个方向的二维图像，其绿色的点为术前设置的手术器械需要达到的目标点，可以实时显示手术器械在受试者图像中的位置及其运动轨迹，并从多个角度反馈给外科医生，指导手术的进行。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于多模影像融合的骨科手术导航系统，其特征在于，包括：
双目视觉定位相机，用于实时获取放置在手术器械以及受试者皮肤表面的被动红外反射标记球的空间坐标；所述手术器械及受试者身上分别设置多个被动红外反射标记球；双目视觉定位相机基于双目视觉原理通过发出红外线，接受被动红外反射标记球反射回来的红外距离信息，计算被动红外反射标记球的三维空间坐标；根据得到所述被动红外反射标记球的三维空间坐标，从而得到所述手术器械和受试者的空间位置，分别送至空间坐标配准模块和手术器械标定模块；
图像分割模块，用于将初始图像中的脊椎部分精确的分割出来；根据人体脊柱的先验信息，利用基于多尺度局部区域性水平集的分割算法将三维重建的脊椎骨进行精确分割和标注，从而快速获取受试者手术部位的三维结构信息，将术前术中的分割图像送至多模图像配准模块；
空间坐标配准模块，用于将受试者皮肤表面的多个被动红外反射标记球的三维空间坐标与受试者的CT图像坐标进行配准；获取到CT扫描的受试者图像，通过将多个被动红外反射标记球固定在受试者的皮肤表面，根据固定在受试者皮肤表面上的被动红外反射标记球，基于双目视觉定位相机，得到被动红外反射标记球在CT上的三维图像坐标，建立受试者CT图像坐标系与空间坐标系之间的关系；根据所述空间坐标系与受试者CT图像坐标系之间的关系，得到受试者皮肤表面被动红外反射标记球的三维空间坐标与受试者CT图像坐标对应的转换关系，建立空间到图像的转换矩阵，送至可视化界面模块；
手术器械标定模块，采用空间变换不变性和球面约束的手术器械尖端标定方法，基于双目视觉定位相机，得到放置在手术器械末端的多个被动红外反射标记球三维空间坐标；通过三维空间坐标之间的旋转平移变换关系，确定所述手术器械尖端在手术器械坐标系中的三维空间坐标；根据手术器械尖端在手术器械坐标系中的三维空间坐标以及放置在手术器械末端的多个被动红外反射标记球三维空间坐标，从而建立所述手术器械坐标系与受试者CT图像坐标系之间的空间关系，送至可视化界面模块；
多模图像配准模块，基于图像分割模块得到的术中锥形束CT和术前CT的脊椎分割图像，以获取术中受试者手术部位的三维结构信息，并将术中受试者手术部位的三维结构信息与含有受试者详细解剖结构信息的术前三维CT分割影像进行配准，以融合术前与术中受试者影像；采用基于ICP(Iterative Closest Point)和B样条混合的配准算法，通过全局的点配准ICP算法得出粗略的配准图像；将粗略的配准图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，即术中锥形束CT和术前CT之间的配准图像，送至可视化界面模块；
可视化界面模块，基于手术器械末端的多个被动红外反射标记球的三维空间坐标以及手术器械坐标系与受试者CT图像坐标系之间的空间关系，得到手术器械尖端的实时三维空间坐标；基于空间坐标配准模块，将手术器械尖端的实时三维空间坐标转换为三维图像坐标，从而将手术尖端的三维图像坐标融合到配准图像中，实时显示手术器械在受试者图像中的位置及运动轨迹，并从多个角度输出；
所述手术器械标定模块中的基于空间变换不变性和球面约束的手术器械尖端标定方法具体实现如下：
步骤S1.1：把四个已知三维空间坐标的红外被动反射标记球固定在需要标定的手术器械上；
步骤S1.2：将手术器械尖端放置在标定靶的中心，基于双目视觉定位相机获取红外被动反射标记球的运动轨迹的三维空间位置信息，双目视觉定位相机将获取的运动轨迹传输到计算机终端；
步骤S1.3：多次重复步骤S1.2，每次的运动轨迹都不一致，获取三组红外被动反射标记球的三维空间位置信息，计算多次运动轨迹之间手术器械的旋转平移矩阵，以及每个旋转平移矩阵对应的旋转空间不变点的坐标向量，求取平均值；
步骤S1.4：将其中一组手术器械上所有的红外被动反射标记球的三维坐标向量和手术尖端的三维坐标向量组成变换矩阵，描述手术器械尖端与红外被动反射标记球的位置关系；
步骤S1.5：根据手术器械尖端与红外被动反射标记球的位置关系的变换矩阵，变换到手术器械的三维空间坐标下，从而建立所述手术器械坐标系与受试者CT图像坐标系之间的空间关系；
所述多模图像配准模块中的采用基于ICP(Iterative Closest Point)和B样条混合的配准算法分为两个部分，基于全局的点配准ICP算法，得到一个全局粗略的配准图像；及将全局粗略的配准图像和参考图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，具体实现如下：
步骤S2.1：获取待配准CT图像作为待配准图像，获取参考锥形束CT图像作为参考图像；
步骤S2.2：对所述待配准图像和参考图像进行图像分割，将所述待配准图像和参考图像中的目标物分割出来并提取坐标点，待配准图像和参考图像的坐标点个数相同；
步骤S2.3：基于全局的点配准ICP算法，对所述待配准图像和参考图像的点集数据进行基于点集的配准，得到一个全局粗略的配准图像；
步骤S2.4：将全局粗略的配准图像和参考图像作为输入图像，进行B样条混合配准，得到精细的局部配准图像，即术中锥形束CT和术前CT之间的配准图像；
所述步骤S2.3具体实现如下：
步骤S2.3.1：找出配准图像点集在参考图像点集中的最近点，利用最近点之间的关系求出旋转平移矩阵，利用得到的旋转平移矩阵对配准图像进行变换，得到新的浮动点集；
步骤S2.3.2：基于步骤S2.3.1得到的新的浮动点集作为初始点集进行下一轮的计算，重复直到得到最优变换阵；
步骤S2.3.3：基于步骤S2.3.2得到的最优变换阵作用到参考图像，进行图像插值操作，搜索最近点得到错误点对，计算误差；
步骤S2.3.4：重复步骤S2.3.1至S2.3.3，多次迭代直到误差满足要求为止；
所述步骤S2.4具体实现如下：
步骤S2.4.1：对全局粗略的配准图像和参考图像进行相似度测量，设置初始控制点；
步骤S2.4.2：基于步骤S2.4.1得到的相似度，如果没达到收敛阈值，通过使用控制点计算变换场，使用变换场对配准图像进行变换和插值，得到新的配准图像；
步骤S2.4.3：重复步骤S2.4.1和步骤S2.4.2，得到相似度测量，直到达到最优解时或阈值时结束迭代。
2.根据权利要求1所述的基于多模影像融合的骨科手术导航系统，其特征在于：所述双目视觉定位相机中，所述多个为四个，手术器械及受试者身上分别设置四个被动红外反射标记球。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911336544.4A CN110946654B (zh) | 2019-12-23 | 2019-12-23 | 一种基于多模影像融合的骨科手术导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911336544.4A CN110946654B (zh) | 2019-12-23 | 2019-12-23 | 一种基于多模影像融合的骨科手术导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110946654A CN110946654A (zh) | 2020-04-03 |
| CN110946654B true CN110946654B (zh) | 2022-02-08 |
Family
ID=69983424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911336544.4A Active CN110946654B (zh) | 2019-12-23 | 2019-12-23 | 一种基于多模影像融合的骨科手术导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110946654B (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554710B (zh) * | 2020-04-24 | 2024-11-22 | 西门子(深圳)磁共振有限公司 | 医学影像系统中3d相机的标定方法、系统和存储介质 |
| CN111388087A (zh) | 2020-04-26 | 2020-07-10 | 深圳市鑫君特智能医疗器械有限公司 | 手术导航系统及执行手术导航方法的计算机与存储介质 |
| CN111658065A (zh) * | 2020-05-12 | 2020-09-15 | 北京航空航天大学 | 一种下颌骨切削手术的数字化引导系统 |
| CN111588476B (zh) * | 2020-05-18 | 2021-07-30 | 北京水木东方医用机器人技术创新中心有限公司 | 一种能够实现多区位手术操作控制方法、系统及可读存储介质 |
| CN111588469B (zh) * | 2020-05-18 | 2021-02-02 | 四川大学华西医院 | 眼科机器人末端执行器引导和定位系统 |
| CN111768497B (zh) * | 2020-06-29 | 2021-09-21 | 深圳大学 | 一种头部动态虚拟模型的三维重建方法、装置及系统 |
| CN111887988B (zh) * | 2020-07-06 | 2022-06-10 | 罗雄彪 | 一种微创介入手术导航机器人的定位方法及其装置 |
| CN114066947B (zh) * | 2020-07-30 | 2022-10-14 | 杭州三坛医疗科技有限公司 | 图像配准方法和图像配准装置 |
| CN111743618A (zh) * | 2020-08-05 | 2020-10-09 | 哈尔滨梓滨科技有限公司 | 一种基于双目光学的双极电凝镊定位装置以及方法 |
| CN113313754A (zh) * | 2020-12-23 | 2021-08-27 | 南京凌华微电子科技有限公司 | 一种手术导航中骨锯标定方法及系统 |
| CN113040908B (zh) * | 2021-02-02 | 2022-03-25 | 武汉联影智融医疗科技有限公司 | 手术导航的配准方法、装置、计算机设备和存储介质 |
| CN112908455B (zh) * | 2021-03-04 | 2024-09-03 | 苏州迪凯尔医疗科技有限公司 | 手术器械精度验证方法 |
| CN113057734A (zh) * | 2021-03-12 | 2021-07-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种手术系统 |
| CN113143463B (zh) * | 2021-03-16 | 2022-08-26 | 上海交通大学 | 一种手术导航装置、系统、标定方法、介质及电子设备 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113262048B (zh) * | 2021-04-25 | 2022-06-24 | 深影医疗科技(深圳)有限公司 | 空间配准方法、装置、终端设备及术中导航系统 |
| CN115670649B (zh) * | 2021-07-26 | 2025-07-18 | 杭州素问九州医疗科技有限公司 | 骨骼注册方法及系统、手术机器人系统以及存储介质 |
| CN113662662B (zh) * | 2021-07-30 | 2023-10-27 | 北京天智航医疗科技股份有限公司 | 数据精度检测方法、装置、存储介质及电子设备 |
| CN113610826B (zh) * | 2021-08-13 | 2024-12-24 | 武汉推想医疗科技有限公司 | 穿刺定位方法及装置，电子设备及存储介质 |
| CN113855236B (zh) * | 2021-09-03 | 2022-05-31 | 北京长木谷医疗科技有限公司 | 手术机器人追踪和移动的方法及系统 |
| CN114224485B (zh) * | 2021-11-01 | 2024-03-26 | 中国医学科学院北京协和医院 | 用于开放式脊柱椎板减压手术导航系统及控制方法 |
| CN113855288B (zh) * | 2021-11-01 | 2023-05-05 | 杭州柳叶刀机器人有限公司 | 图像生成方法、装置、电子设备及存储介质 |
| CN114224482A (zh) * | 2021-11-04 | 2022-03-25 | 上海由格医疗技术有限公司 | 基于关键点跟踪的定位方法、系统、设备、终端及应用 |
| CN114098963A (zh) * | 2021-11-16 | 2022-03-01 | 山东百多安医疗器械股份有限公司 | 一种基于毫米波导航的手术机器人定位系统 |
| CN114052907A (zh) * | 2021-11-22 | 2022-02-18 | 南京普爱医疗设备股份有限公司 | 一种手术导航定位系统及其配准方法 |
| CN114145846B (zh) * | 2021-12-06 | 2024-01-09 | 北京理工大学 | 基于增强现实辅助的手术导航方法及系统 |
| CN114587584B (zh) * | 2022-03-04 | 2023-10-03 | 杭州湖西云百生科技有限公司 | 提高骨科置钉操作安全性的导航系统可视化方法及系统 |
| CN115252074A (zh) * | 2022-07-01 | 2022-11-01 | 上海术航机器人有限公司 | 穿刺手术系统和定位导航方法 |
| CN115089293B (zh) * | 2022-07-04 | 2025-03-28 | 山东大学 | 一种脊柱内镜手术机器人标定方法 |
| CN115429429B (zh) * | 2022-08-16 | 2024-12-13 | 天津大学 | 一种面向光学导航手术的手术器械标定与可视化跟踪方法 |
| CN115619836A (zh) * | 2022-09-16 | 2023-01-17 | 杭州三坛医疗科技有限公司 | 一种焦屏距校准方法及装置 |
| CN116725662B (zh) * | 2023-08-11 | 2023-11-03 | 北京维卓致远医疗科技发展有限责任公司 | 一种基于二维影像的骨折手术规划方法、设备及可存储介质 |
| CN117017487B (zh) * | 2023-10-09 | 2024-01-05 | 杭州键嘉医疗科技股份有限公司 | 一种脊柱配准方法、装置、设备及存储介质 |
| CN117462259B (zh) * | 2023-12-28 | 2024-04-19 | 广州信筑医疗技术有限公司 | 一种导航定位激光手术系统 |
| CN119606537A (zh) * | 2024-12-27 | 2025-03-14 | 北京莱仕博医疗科技有限公司 | 一种基于视觉导航的激光手术机器人系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101160104A (zh) * | 2005-02-22 | 2008-04-09 | 马科外科公司 | 触觉引导系统及方法 |
| CN106580473A (zh) * | 2016-12-29 | 2017-04-26 | 中国科学院合肥物质科学研究院 | 一种应用于手术导航系统的手术器械标定方法 |
| CN106934821A (zh) * | 2017-03-13 | 2017-07-07 | 中国科学院合肥物质科学研究院 | 一种基于icp算法和b样条的锥形束ct和ct图像配准方法 |
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| WO2018175737A1 (en) * | 2017-03-22 | 2018-09-27 | Intuitive Surgical Operations, Inc. | Systems and methods for intelligently seeding registration |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100559398C (zh) * | 2007-06-19 | 2009-11-11 | 北京航空航天大学 | 自动的深度图像配准方法 |
| CN101388115B (zh) * | 2008-10-24 | 2011-07-27 | 北京航空航天大学 | 一种结合纹理信息的深度图像自动配准方法 |
| CN101660904A (zh) * | 2009-09-22 | 2010-03-03 | 大连海事大学 | 一种用于测量机器人的运动学标定的方法 |
| CN102654387B (zh) * | 2012-05-25 | 2014-07-02 | 南京理工大学 | 一种基于空间曲面约束的工业机器人在线标定装置及其实现方法 |
| EP2910187B1 (en) * | 2014-02-24 | 2018-04-11 | Université de Strasbourg (Etablissement Public National à Caractère Scientifique, Culturel et Professionnel) | Automatic multimodal real-time tracking of a moving marker for image plane alignment inside a MRI scanner |
-
2019
- 2019-12-23 CN CN201911336544.4A patent/CN110946654B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101160104A (zh) * | 2005-02-22 | 2008-04-09 | 马科外科公司 | 触觉引导系统及方法 |
| CN106580473A (zh) * | 2016-12-29 | 2017-04-26 | 中国科学院合肥物质科学研究院 | 一种应用于手术导航系统的手术器械标定方法 |
| CN106934821A (zh) * | 2017-03-13 | 2017-07-07 | 中国科学院合肥物质科学研究院 | 一种基于icp算法和b样条的锥形束ct和ct图像配准方法 |
| WO2018175737A1 (en) * | 2017-03-22 | 2018-09-27 | Intuitive Surgical Operations, Inc. | Systems and methods for intelligently seeding registration |
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110946654A (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110946654B (zh) | 一种基于多模影像融合的骨科手术导航系统 | |
| US12059215B2 (en) | Navigation system and method for joint replacement surgery | |
| CN112971982B (zh) | 基于肝内血管配准的手术导航系统 | |
| EP3254621B1 (en) | 3d image special calibrator, surgical localizing system and method | |
| EP2953569B1 (en) | Tracking apparatus for tracking an object with respect to a body | |
| CN111388087A (zh) | 手术导航系统及执行手术导航方法的计算机与存储介质 | |
| CN107106241B (zh) | 用于对外科器械进行导航的系统 | |
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| CN112220557B (zh) | 用于颅脑穿刺的手术导航及机器臂装置及定位方法 | |
| CN101474075B (zh) | 微创手术导航系统 | |
| CN100591282C (zh) | 用于在患者体内引导医疗器械的系统 | |
| KR102105974B1 (ko) | 의료 영상 시스템 | |
| US20080242978A1 (en) | Method and apparatus for registering a physical space to image space | |
| CN107456278A (zh) | 一种内窥镜手术导航方法和系统 | |
| CN111093505B (zh) | 放射线拍摄装置以及图像处理方法 | |
| CN115358995A (zh) | 基于多模态信息融合的全自动空间注册系统 | |
| US20230030343A1 (en) | Methods and systems for using multi view pose estimation | |
| CN114983567A (zh) | 一种股骨颈骨折微创手术导航系统 | |
| US12080003B2 (en) | Systems and methods for three-dimensional navigation of objects | |
| JP2000163558A (ja) | 位置合わせ装置 | |
| Naik et al. | Feature-based registration framework for pedicle screw trajectory registration between multimodal images | |
| US20250045938A1 (en) | Systems and methods for three-dimensional navigation of objects | |
| CN112754658B (zh) | 一种手术导航系统 | |
| CN119679511A (zh) | 一种经椎弓根安全穿刺ar导航方法及系统 | |
| CN119055363A (zh) | 一种神经外科手术中导航加速处理方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |