[go: up one dir, main page]

CN114886558A - 一种基于增强现实的内窥镜投影方法及系统 - Google Patents

一种基于增强现实的内窥镜投影方法及系统 Download PDF

Info

Publication number
CN114886558A
CN114886558A CN202210526481.4A CN202210526481A CN114886558A CN 114886558 A CN114886558 A CN 114886558A CN 202210526481 A CN202210526481 A CN 202210526481A CN 114886558 A CN114886558 A CN 114886558A
Authority
CN
China
Prior art keywords
endoscope
augmented reality
dimensional
dimensional model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210526481.4A
Other languages
English (en)
Inventor
陈欣荣
戴晓坤
张新康
钱艳
张子群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210526481.4A priority Critical patent/CN114886558A/zh
Publication of CN114886558A publication Critical patent/CN114886558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种基于增强现实的内窥镜投影方法及系统，包括如下步骤：对病人进行术前CT或MR扫描，获取目标部位的医学扫描数据；对扫描数据进行三维体重建，并输入图卷积网络分割目标手术部位；建立手术场景坐标系，使用光学跟踪系统将三维模型与病人，以及内窥镜末端位置姿态进行配准；通过光学跟踪系统和内窥镜内置三轴加速度计实时跟踪内窥镜的位置和姿态并与三维模型进行实时配准；基于实时配准的坐标变换和相机投影模型，将内窥镜影像在三维模型上叠加显示，获得内窥镜所示部位的增强现实图像，在显示设备中显示。本发明使医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息，从而提高手术的准确性和安全性。

Description

一种基于增强现实的内窥镜投影方法及系统
技术领域
本发明属于图像处理和医疗技术领域，尤其涉及一种基于增强现实的内窥镜投影方法及系统。
背景技术
在图像引导手术(Image Guided Surgery，IGS)中，医生通过手术导航技术，将手术中仪器的位置、影像和患者的解剖结构图像进行融合，融合的内窥镜图像和MR/CT等术前的三维扫描信息能够帮助医生提高手术的准确性和安全性，增强医生对患者信息的感知。
增强现实技术(Augmented Reality，AR)是一种能够将虚拟信息和真实世界巧妙融合的技术，基于增强现实的内窥镜投影方法，通过三维重建和空间坐标变换，在虚拟的术前三维模型中生成内窥镜投影视图，在三维模型的准确结构信息上补充内窥镜影像的真实细节信息，为医生提供更加直观、真实的手术信息。
发明内容
为解决上述技术问题，本发明提出一种基于增强现实的内窥镜投影方法及系统，使得医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息，从而提高手术的准确性和安全性。
一方面为实现上述目的，本发明提供了一种基于增强现实的内窥镜投影方法，包括如下步骤：
获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；
对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；
建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；
实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；
获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。
可选地，对所述三维医学影像数据进行预处理的方法为：
基于图像强度，对所述三维医学影像数据进行阈值分割。
可选地，获得体重建的三维模型的方法为：
利用预处理后的所述三维医学影像数据中各个体素的图像信息，对病人体数据进行三维体重建，获得体重建的三维模型。
可选地，利用图卷积网络，对所述三维模型进行分割的方法为：
建立映射权重矩阵，将所述三维模型的数据特征进行合并，获得节点连接图；
利用图卷积网络，提取所述节点连接图中节点之间的交互特征，获得所述三维模型的分割结果。
可选地，实时获取内窥镜位置、姿态的方法为：
利用所述光学跟踪系统和内窥镜内置三轴加速度计，实时获取内窥镜位置和姿态。
可选地，获得内窥镜的增强现实图像的方法为：
将分割后的所述三维模型上的点和内窥镜相机参数，通过配准关系，映射到内窥镜图像像素坐标系中，获得分割后的所述三维模型与像素坐标一一对应的关系；
将所述内窥镜影像叠加至对应的三维模型点上，获得基于增强现实的内窥镜投影。
另一方面为实现上述目的，本发明提供了一种基于增强现实的内窥镜投影系统，包括，获取模块、体重建模块、第一配准模块、第二配准模块和增强实现模块；
所述获取模块用于获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；
所述体重建模块用于对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；
所述第一配准模块用于建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；
所述第二配准模块用于实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；
所述增强实现模块用于获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。
可选地，所述光学跟踪系统包括：光学跟踪器、刚性支架、光学定位仪、导航仪主机和导航图像显示器；
所述光学跟踪器用于反射所述光学定位仪发出的红外光线；
所述刚性支架用于安装所述光学跟踪器；
所述光学定位仪用于接收所述光学跟踪器反射的红外光线，并对所述光学跟踪器进行三维空间定位；
所述导航仪主机用于提供实时空间定位、导航影像配准和内窥镜影像投影的计算资源；
所述导航图像显示器用于显示增强现实的内窥镜投影结果。
与现有技术相比，本发明具有如下优点和技术效果：
本发明提出了一种基于增强现实的内窥镜投影方法及系统，对术前的CT/MR等术前三维影像进行重建，并使用图卷积网络对手术目标部位进行分割，建立手术场景坐标系，通过光学跟踪系统和内窥镜三轴加速度计实时跟踪内窥镜位姿，并与病人CT模型进行配准，将内窥镜影像投影到其对应的三维模型部位上，在显示设备上实现增强现实的内窥镜投影，使得医生能够同时获知三维影像精确的结构信息和内窥镜影像丰富的真实细节信息，从而提高手术的准确性和安全性。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一的一种基于增强现实的内窥镜投影方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本发明提供了一种基于增强现实的内窥镜投影方法，其特征在于，包括如下步骤：
术前对病人的手术目标部位进行CT或MR扫描，获取目标区域的三维医学影像数据；
对三维影像数据依据图像强度进行阈值分割预处理，并利用图像各个体素的图像信息对病人体数据进行三维体重建；将体重建的三维模型输入训练后的图卷积网络中进行深度学习，细化分割三维模型中的各个部位，精确定位手术目标；
建立手术场景坐标系，使用光学跟踪系统将三维模型与病人，以及内窥镜末端位置姿态进行配准；
通过光学跟踪系统和内窥镜内置三轴加速度计实时跟踪内窥镜的位置和姿态并与三维模型进行实时配准；
基于实时配准的坐标变换和相机投影模型，通过空间投影法将内窥镜影像在三维模型上叠加显示，获得内窥镜所示部位的增强现实图像，在显示设备中显示。
进一步地，体绘制是对三维医学图像等体数据进行直接可视化方法的一种，利用三维图像的各个体素的不透明度及颜色等信息对体数据进行三维可视化。从视点开始沿视线方向进行追踪，根据视线上各个样本点的不透明度和灰度值进行累计而计算输出图像。
进一步地，图卷积网络包含以下建立过程：
获取相关医学医学影像数据和专家标注，作为训练集；
建立可训练的映射权重矩阵，把数据中相似的特征进行合并，形成节点连接图；
使用图卷积网络提取节点之间的交互特征，得到预测分割结果；
计算预测分割结果与专家标注结果的损失，调整网络参数，重复以上步骤以优化网络性能。
本实施例中所使用的图卷积网络具体实施方案如下：
对于输入到网络的断层扫描图像I∈R2，使用卷积神经网络进行特征提取，获得图像不同位置的特征
Figure BDA0003644691940000061
其中L＝W×H表示该点在图像中所处的位置，C表示特征维度。为了进一步建立特征之间的联系，使用可学习的权重矩阵B＝[b1,…,bN]，根据如下公式：
Figure BDA0003644691940000062
将所获得的特征映射到交互空间
Figure BDA0003644691940000063
中，构建连接图并进行图卷积特征提取，对于每一个节点的特征vi，通过可学习的权重矩阵B，自动把具有相似特征的特征聚合到一个节点上；
根据如下公式提取所构建连接图的交互特征：
Z＝GVWg＝((I-Ag)V)Wg
对特征进行拉普拉斯平滑后，使用可学习的邻接矩阵Wg学习节点之间的交互关系后，根据如下公式将输出特征映射回原空间中，并进行网络分割预测：
Figure BDA0003644691940000071
其中，为了减少网络参数，
Figure BDA0003644691940000072
进一步地，光学跟踪系统包含光学跟踪器、刚性支架、光学定位仪、导航仪主机和导航图像显示器；
光学跟踪器为能够反射红外光线的反光球，用于反射光学定位仪发出的红外光线，光学定位仪接收光学跟踪器反射的红外光线，对光学跟踪器进行三维空间定位，所述光学跟踪器安装在刚性支架上，所述刚性支架以固定方式装配在内窥镜和患者身体上，以实现手术场景坐标系中的配准。导航仪主机提供实时空间定位，导航影像配准，内窥镜影像投影等操作的计算资源。导航图像显示器用于显示增强现实的内窥镜投影结果。
进一步地，内窥镜带有三轴加速度计，用于获取内窥镜末端相对于重力场的旋转角，并用于配准算法中。
本实施例中所使用的配准具体实施方案如下：
在患者身体某处和内窥镜上固定刚性支架，光学定位仪追踪支架上的光学跟踪器位置，能够获得手术场景坐标系中患者身体支架和内窥镜支架的位置Tp1和Te1；
获得了患者身体支架和内窥镜支架的位置之后，再利用三维模型和患者身体支架，以及内窥镜末端和内窥镜支架固有的坐标变换关系Tp2和Te2，就可以获得手术场景坐标系下的三维模型坐标Tp＝Tp1·Tp2和内窥镜末端坐标Te＝Te1·Te2，因此，能够获得三维模型坐标和内窥镜末端坐标之间的变换关系Tpe＝Tp·Tpe。
在手术过程中，内窥镜需要根据手术的需求进行移动和旋转，在旋转过程中，可能导致光学定位仪无法定位光学跟踪球，为了防止此类情况发生，本发明所述的内窥镜末端带有三轴加速度计，能够计算内窥镜末端的旋转角Tω，使用该旋转角实时更新内窥镜末端坐标Te＝Te1·Te2·Tω，以确保能够获取任意位置和姿态的内窥镜坐标。
进一步地，所使用的内窥镜中，其摄像头模块附带高精度的三轴加速度计，能够测量内窥镜相对于重力场各个方向的滚动角，手术过程中不可避免地需要对内窥镜进行旋转，因此光学跟踪系统的反光球在某些角度会被遮挡，因此采用三轴加速度计对内窥镜姿态进行估计，能够提高配准的精度，并减少对医生使用范围的限制。
进一步地，将三维模型上的点通过配准关系和内窥镜相机内参映射到图像像素坐标系中，得到三维模型与像素坐标一一对应的关系后，将内窥镜影像叠加至图像对应的模型点上，以实现基于增强现实的内窥镜投影。
本方案中所使用的投影方法具体实施方案如下：
对于三维模型上的任意点V＝(x,y,z)，利用三维模型和内窥镜末端的坐标变换关系Tpe，以及相机模型和其投影矩阵的关系，将V映射到图像坐标系下：
Figure BDA0003644691940000091
其中wv表示基于摄像头焦距的缩放比例；
利用摄像头的内参矩阵P，能够得到图像坐标系和像素坐标系变换关系，因此能够得到V′在成像像素坐标系中的位置：
Figure BDA0003644691940000092
综上，可以判断三维模型上的点V在内窥镜图像中是否可见，并通过其对应关系将内窥镜图像实施叠加至三维模型的可见点上，实现增强现实的内窥镜投影。
实施例二
本发明公开了一种基于增强现实的内窥镜投影系统，包括，获取模块、体重建模块、第一配准模块、第二配准模块和增强实现模块；
所述获取模块用于获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；
所述体重建模块用于对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；
所述第一配准模块用于建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；
所述第二配准模块用于实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；
所述增强实现模块用于获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。
所述光学跟踪系统包括：光学跟踪器、刚性支架、光学定位仪、导航仪主机和导航图像显示器；
所述光学跟踪器用于反射所述光学定位仪发出的红外光线；
所述刚性支架用于安装所述光学跟踪器；
所述光学定位仪用于接收所述光学跟踪器反射的红外光线，并对所述光学跟踪器进行三维空间定位；
所述导航仪主机用于提供实时空间定位、导航影像配准和内窥镜影像投影的计算资源；
所述导航图像显示器用于显示增强现实的内窥镜投影结果。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于增强现实的内窥镜投影方法，其特征在于，包括以下步骤，
获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；
对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；
建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；
实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；
获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。
2.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，对所述三维医学影像数据进行预处理的方法为：
基于图像强度，对所述三维医学影像数据进行阈值分割。
3.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，获得体重建的三维模型的方法为：
利用预处理后的所述三维医学影像数据中各个体素的图像信息，对病人体数据进行三维体重建，获得体重建的三维模型。
4.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，利用图卷积网络，对所述三维模型进行分割的方法为：
建立映射权重矩阵，将所述三维模型的数据特征进行合并，获得节点连接图；
利用图卷积网络，提取所述节点连接图中节点之间的交互特征，获得所述三维模型的分割结果。
5.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，实时获取内窥镜位置、姿态的方法为：
利用所述光学跟踪系统和内窥镜内置三轴加速度计，实时获取内窥镜位置和姿态。
6.根据权利要求1所述的基于增强现实的内窥镜投影方法，其特征在于，获得内窥镜的增强现实图像的方法为：
将分割后的所述三维模型上的点和内窥镜相机参数，通过配准关系，映射到内窥镜图像像素坐标系中，获得分割后的所述三维模型与像素坐标一一对应的关系；
将所述内窥镜影像叠加至对应的三维模型点上，获得基于增强现实的内窥镜投影。
7.一种基于增强现实的内窥镜投影系统，其特征在于，包括，获取模块、体重建模块、第一配准模块、第二配准模块和增强实现模块；
所述获取模块用于获取目标手术部位的三维医学影像数据，并对所述三维医学影像数据进行预处理；
所述体重建模块用于对预处理后的所述三维医学影像数据进行三维体重建，获得体重建的三维模型，并利用图卷积网络，对所述三维模型进行分割；
所述第一配准模块用于建立手术场景坐标系，利用光学跟踪系统，将分割后的所述三维模型和术中图像进行配准；
所述第二配准模块用于实时获取内窥镜位置、姿态，将所述内窥镜位置、姿态和分割后的所述三维模型进行实时配准；
所述增强实现模块用于获得内窥镜影像，基于实时配准的坐标变换和相机投影模型，利用空间投影法，将所述内窥镜影像在分割后的所述三维模型上叠加显示，获得内窥镜的增强现实图像。
8.根据权利要求7所述的基于增强现实的内窥镜投影系统，其特征在于，
所述光学跟踪系统包括：光学跟踪器、刚性支架、光学定位仪、导航仪主机和导航图像显示器；
所述光学跟踪器用于反射所述光学定位仪发出的红外光线；
所述刚性支架用于安装所述光学跟踪器；
所述光学定位仪用于接收所述光学跟踪器反射的红外光线，并对所述光学跟踪器进行三维空间定位；
所述导航仪主机用于提供实时空间定位、导航影像配准和内窥镜影像投影的计算资源；
所述导航图像显示器用于显示增强现实的内窥镜投影结果。
CN202210526481.4A 2022-05-16 2022-05-16 一种基于增强现实的内窥镜投影方法及系统 Pending CN114886558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210526481.4A CN114886558A (zh) 2022-05-16 2022-05-16 一种基于增强现实的内窥镜投影方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210526481.4A CN114886558A (zh) 2022-05-16 2022-05-16 一种基于增强现实的内窥镜投影方法及系统

Publications (1)

Publication Number Publication Date
CN114886558A true CN114886558A (zh) 2022-08-12

Family

ID=82723853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210526481.4A Pending CN114886558A (zh) 2022-05-16 2022-05-16 一种基于增强现实的内窥镜投影方法及系统

Country Status (1)

Country Link
CN (1) CN114886558A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543889A (zh) * 2023-07-05 2023-08-04 深圳市依诺普医疗设备有限公司 基于医疗物联网的内窥镜远程操控系统及方法
WO2025055745A1 (zh) * 2023-09-15 2025-03-20 先临三维科技股份有限公司 图像处理方法、装置、设备及存储设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265496A1 (en) * 2005-12-28 2007-11-15 Olympus Medical Systems Corp. Body-insertable device system and body-insertable device guiding method
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位系统及定位方法
CN103006164A (zh) * 2012-12-13 2013-04-03 天津大学 基于多传感器的内窥镜跟踪定位与数字人动态同步显示装置
CN103027657A (zh) * 2012-12-13 2013-04-10 天津大学 基于多传感器的内窥镜跟踪定位与数字人动态同步显示方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
CN114191078A (zh) * 2021-12-29 2022-03-18 上海复旦数字医疗科技股份有限公司 一种基于混合现实的内窥镜手术导航机器人系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070265496A1 (en) * 2005-12-28 2007-11-15 Olympus Medical Systems Corp. Body-insertable device system and body-insertable device guiding method
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位系统及定位方法
CN103006164A (zh) * 2012-12-13 2013-04-03 天津大学 基于多传感器的内窥镜跟踪定位与数字人动态同步显示装置
CN103027657A (zh) * 2012-12-13 2013-04-10 天津大学 基于多传感器的内窥镜跟踪定位与数字人动态同步显示方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN111772792A (zh) * 2020-08-05 2020-10-16 山东省肿瘤防治研究院（山东省肿瘤医院） 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
CN114191078A (zh) * 2021-12-29 2022-03-18 上海复旦数字医疗科技股份有限公司 一种基于混合现实的内窥镜手术导航机器人系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543889A (zh) * 2023-07-05 2023-08-04 深圳市依诺普医疗设备有限公司 基于医疗物联网的内窥镜远程操控系统及方法
CN116543889B (zh) * 2023-07-05 2023-12-08 深圳市依诺普医疗设备有限公司 基于医疗物联网的内窥镜远程操控系统及方法
WO2025055745A1 (zh) * 2023-09-15 2025-03-20 先临三维科技股份有限公司 图像处理方法、装置、设备及存储设备

Similar Documents

Publication Publication Date Title
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
US5912720A (en) Technique for creating an ophthalmic augmented reality environment
US9665936B2 (en) Systems and methods for see-through views of patients
EP2452649A1 (en) Visualization of anatomical data by augmented reality
CN101904770B (zh) 一种基于光学增强现实技术的手术导航系统及方法
JP2011212301A (ja) 投影画像生成装置および方法、並びにプログラム
CN103356155A (zh) 虚拟内窥镜辅助的腔体病灶检查系统
CN110288653B (zh) 一种多角度超声图像融合方法、系统及电子设备
CN114886558A (zh) 一种基于增强现实的内窥镜投影方法及系统
CN113034700A (zh) 基于移动终端的前交叉韧带重建手术导航方法及系统
WO2010081094A2 (en) A system for registration and information overlay on deformable surfaces from video data
CN113842227B (zh) 医疗辅助三维模型定位匹配方法、系统、设备及介质
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN114191078B (zh) 一种基于混合现实的内窥镜手术导航机器人系统
CN116485850A (zh) 基于深度学习的手术导航影像的实时非刚性配准方法及系统
CN113662663B (zh) 一种ar全息手术导航系统坐标系转换方法、装置及系统
CN117918955B (zh) 一种增强现实外科导航装置、方法、系统设备及介质
CN118710712A (zh) 手术器械追踪方法、系统、设备、介质和产品
CN116823898A (zh) 一种混合现实增强显示方法及系统
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
CN115919461A (zh) 一种基于slam的手术导航方法
CN115018890A (zh) 一种三维模型配准方法及系统
CN115245302A (zh) 一种基于内窥镜图像重建三维场景的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination