[go: up one dir, main page]

CN112805749A - 用于限定解剖边界的图形用户界面 - Google Patents

用于限定解剖边界的图形用户界面 Download PDF

Info

Publication number
CN112805749A
CN112805749A CN201980061426.9A CN201980061426A CN112805749A CN 112805749 A CN112805749 A CN 112805749A CN 201980061426 A CN201980061426 A CN 201980061426A CN 112805749 A CN112805749 A CN 112805749A
Authority
CN
China
Prior art keywords
anatomical
medical
curve
image data
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061426.9A
Other languages
English (en)
Inventor
赵涛
E·克鲁斯二世
V·多文戴姆
P·C·P·罗
J·马
O·G·萨拉察
王柏
H·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN112805749A publication Critical patent/CN112805749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种医疗系统包括显示系统和用户输入装置。该医疗系统也包括通信地耦连到显示系统和用户输入装置的控制系统。该控制系统被配置成经由显示系统显示与三维解剖区域对应的图像数据，并且经由用户输入装置接收第一用户输入，以在三维解剖区域中生成第一曲线。该控制系统也被配置成经由用户输入装置接收第二用户输入，以在三维解剖区域中生成第二曲线，并且确定由第一曲线和第二曲线界定的解剖边界。该解剖边界指示三维解剖区域中的解剖结构的表面。

Description

用于限定解剖边界的图形用户界面
相关申请的交叉引用
本申请要求2018年10月4日提交的美国临时申请62/741,157的益处，该临时申请通过引用全部并入本文。
技术领域
本公开涉及用于规划和执行图像引导程序的系统和方法，并且更具体地涉及用于使用图形用户界面来限定解剖边界的系统和方法。
背景技术
微创医疗技术旨在减少在医疗程序期间受损的组织数量，从而减少患者康复时间、不适感和有害副作用。这样的微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口执行。通过这些自然孔口或切口，临床医生可以插入微创医疗器械(包括手术器械、诊断器械、治疗器械或活检器械)，以到达目标组织位置。一种这样的微创技术是使用可以是可转向/操控的柔性细长装置(诸如导管)，其可以插入到解剖通道中并且朝着患者解剖体内的感兴趣的区域导航。由医务人员在图像引导程序期间进行的这种细长装置的控制涉及若干自由度的管理，其至少包括对细长装置的插入和缩回以及装置的转向或弯曲半径的管理。另外，还可以支持不同的操作模式。
因此，提供支持包括微创医疗技术的医疗程序的直观规划的图形用户界面将是有利的。
发明内容
本发明的实施例可以由随说明书所附的权利要求最好地概括。
在一个实施例中，医疗系统包括显示系统和用户输入装置。该医疗系统也包括通信地耦连到显示系统和用户输入装置的控制系统。该控制系统被配置成经由显示系统显示与三维解剖区域对应的图像数据，并且经由用户输入装置接收第一用户输入，以在三维解剖区域中生成第一曲线。该控制系统还被配置成经由用户输入装置接收第二用户输入，以在三维解剖区域中生成第二曲线，并且确定由第一曲线和第二曲线界定的解剖边界。该解剖边界指示在三维解剖区域中的解剖结构的表面。
在另一实施例中，规划医疗程序的方法包括经由显示系统显示与三维解剖区域对应的图像数据并且经由用户输入装置接收多个用户输入，以在三维解剖区域中生成多个曲线。该方法还包括从多个曲线确定解剖边界。该解剖边界界定三维解剖区域的脆弱部分。该方法还包括经由显示系统显示叠加在图像数据上的解剖边界。
在另一实施例中，非暂时性机器可读介质包括多个机器可读指令，当由与规划工作站相关联的一个或多个处理器执行时，该多个机器可读指令适于使一个或多个处理器执行一种方法。该方法包括经由显示系统显示与肺部对应的CT图像数据，以及经由用户输入装置接收多个用户输入，以在CT图像数据的不同切片中生成多个曲线。该方法还包括在多个曲线之间内插，以确定在所述CT图像数据中指示肺部的胸膜的位置的解剖边界；以及经由显示系统显示叠加在CIT图像数据上的解剖边界。
应当理解的是，以上概述和以下详细描述本质上是示例性的和说明性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就此而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
本专利或申请文件包含至少一张彩色附图。带有彩色附图的本专利或专利申请的副本将由国际局根据要求和必要的费用提供。
图1是根据一些实施例的医疗系统的简化图。
图2A和图2B是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。
图3A是根据一些实施例的用于限定解剖边界的方法的简化图。
图3B是根据其他实施例的用于限定解剖边界的方法的图示。
图3C是根据一些实施例的用于呈现解剖边界的方法的图示。
图3D是根据一些实施例的用于提供引导信息以引导解剖边界的确定的方法的图示。
图3E至图3G是根据一些实施例的用于提供引导信息的方法的图示。
图4A至图4F是根据一些实施例的在用于限定解剖边界的方法的执行期间的图形用户界面的简化图。
图5A和图5B是根据一些实施例的示出了与解剖边界相关联的范围引导的简化图。
图5C示出了用二维图像数据呈现范围引导的图形用户界面。
通过参考以下详细描述，最好地理解本公开的实施例及其优点。应该理解，相同的附图编号用于识别附图中的一个或多个附图中所示的相同元件，其中附图中的示出是出于示出本公开的实施例的目的，而不是出于限制本公开的实施例的目的。
具体实施方式
在下面的描述中，阐述了描述与本公开一致的一些实施例的具体细节。阐述了许多具体细节，以便提供对实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有一些或所有这些具体细节的情况下实践一些实施例。本文所公开的特定实施例旨在是说明性的，而非限制性的。本领域技术人员可以实现尽管在这里未具体地描述但是在本公开的范围和精神内的其他元件。另外，为了避免不必要的重复，与一个实施例相关联示出和描述的一个或多个特征可以并入其他实施例中，除非具体地描述或者如果一个或多个特征将使实施例不起作用。
在一些情况下，未详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆实施例的各个方面。
本公开根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所用，术语“方位”是指对象或对象的一部分在三维空间中(例如，沿笛卡尔x、y和z坐标的三个平移自由度)的位置。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度——例如滚动、俯仰和偏航)。如本文所用，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的方位和对象或对象的一部分在至少一个旋转自由度(最多六个总自由度)中的取向。如本文所用，术语“形状”是指沿对象测量的一组姿势、方位或取向。
如图1中所示，医疗系统100通常包括用于在对患者P执行各种程序时操作医疗器械104的操纵器组件102。医疗器械104可以经由患者P的身体中的开口延伸到患者P的身体内的内部手术部位中。医疗系统100可以是远程操作的、非远程操作的或两者的混合。操纵器组件102可以是远程操作的、非远程操作的或混合远程操作和非远程操作的组件，其具有可以电动和/或远程操作的选择的运动自由度以及可以非电动和/或非远程操作的选择的运动自由度。操纵器组件102安装到手术台T，或者安装在手术台T附近。主组件106允许操作员O(例如，如图1中所示的外科医生、临床医生或医师)观看接入部位并控制操纵器组件102。
主组件106可以位于操作员控制台处，该操作员控制台通常位于与手术台T相同的房间中，诸如在患者P位于其上的手术台的侧面。然而，应该理解，操作员O可以位于与患者P不同的房间中或完全不同的建筑中。主组件106通常包括用于控制操纵器组件102的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动操作的控制器、语音识别装置、身体运动或存在传感器和/或类似物。
操纵器组件102支持医疗器械104，并且可以包括一个或多个非伺服控制连杆(例如，可以手动地定位并锁定在适当的位置中的一个或多个连杆，通常称为设置结构)和/或一个或多个伺服控制连杆(例如，可以响应于来自控制系统的命令进行控制的一个或多个连杆)和操纵器的运动学结构。操纵器组件102可以可选地包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令来驱动医疗器械104上的输入。致动器可以可选地包括驱动系统，该驱动系统在耦连到医疗器械104时可以将医疗器械104推进到自然或手术产生的解剖孔口。其他驱动系统可以以多个自由度移动医疗器械104的远端，多个自由度可以包括三个线性运动(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动(例如，围绕X、Y、Z笛卡尔轴的旋转)。另外，致动器可以用于致动医疗器械104的可铰接的末端执行器，用于抓紧活检装置和/或类似物的钳口中的组织。
医疗系统100可以包括传感器系统108，其具有用于接收关于操纵器组件102和/或医疗器械104的信息的一个或多个子系统。这种子系统可以包括方位(position)/位置(location)传感器系统(例如，电磁(EM)传感器系统)；用于确定远端和/或沿可以构成医疗器械104的柔性主体的一个或多个分段的方位、取向、速度、速率、姿势和/或形状的形状传感器系统；用于从医疗器械104的远端捕获图像的可视化系统；描述控制器械104的马达的旋转和取向的致动器方位传感器(诸如解析器(resolver)、编码器、电位计和类似物)。
医疗系统100还包括用于显示手术部位和医疗器械104的图像或表示图的显示系统110。显示系统110和主组件106可以定向成使得操作员O可以用远程呈现的感知控制医疗器械104和主组件106。
在一些实施例中，医疗器械104可以包括可视化系统，该可视化系统可以包括图像捕获组件，该图像捕获组件记录手术部位的即时图像或实时图像，并且通过显示系统110中的一个或多个显示器向操作员O提供图像。即时图像可以是例如由定位在手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括可以整体地或可移除地耦连到医疗器械104的内窥镜部件。然而，在一些实施例中，附连到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用，以对手术部位成像。可视化系统可以实施为与一个或多个计算机处理器交互或以其他方式执行的硬件、固件、软件或其组合，该一个或多个计算机处理器可以包括控制系统112的处理器。
显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，医疗系统100可以配置医疗器械104和主组件106的控件，使得医疗器械的相对位置类似于操作员O的眼睛和双手的相对位置。以这种方式，操作员O可以操纵医疗器械104和手控件，就好像在大体真正在场的情况下观看工作空间一样。真正在场是指图像的呈现是真实的透视图像，其模拟物理上操纵医疗器械104的医师的视角。
在一些示例中，显示系统110可以使用来自成像技术的图像数据呈现术前或术中记录的手术部位的图像，该成像技术诸如是计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。术前或术中图像数据可以呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/或作为来自从术前或术中图像数据集创建的模型的图像。
在一些实施例中，经常出于图像引导医疗程序的目的，显示系统110可以显示虚拟导航图像，其中医疗器械104的实际位置与术前或即时图像/模型配准(即动态地参考)。从医疗器械104的视角来看，可以这样做以向操作员O呈现内部手术部位的虚拟图像。
医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现在医疗器械104、主组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括编程的指令(例如，存储指令的非暂时性机器可读介质)，以实施根据本文公开的各方面描述的一些或全部方法，包括用于向显示系统110提供信息的指令。虽然控制系统112在图1的简化图中作为单个方框示出，但是该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在操纵器组件102上执行或邻近操纵器组件102执行，处理的另一部分在主组件106处执行和/或诸如此类。控制系统112可以执行指令，该指令包括与在此公开并在下面更详细描述的过程对应的指令。在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于该反馈，控制系统112可以将信号传输到主组件106。在一些示例中，控制系统112可以传输指示操纵器组件102的一个或多个致动器移动医疗器械104的信号。
控制系统112可以可选地进一步包括虚拟可视化系统，以当在图像引导的医疗程序期间控制医疗器械104时向操作员O提供导航辅助。使用虚拟可视化系统的虚拟导航可以是基于对所获取的解剖通道的术前或术中数据集的参考。可以与操作员输入结合使用的软件用于将所记录的图像转换为部分或整个解剖器官或解剖区域的分段的二维或三维复合表示图。图像数据集与复合表示图相关联。虚拟可视化系统从传感器系统108获得传感器数据，该传感器数据用于计算医疗器械104相对于患者P的解剖体的大概位置。该系统可以实施传感器系统108，以使医疗器械与术前或术中记录的手术图像一起配准和显示。例如，通过引用整体并入本文的PCT公开WO 2016/191298(公开于2016年12月1日)(公开了“Systemsand Methods of Registration for Image Guided Surgery(用于图像引导手术的配准的系统和方法)”)公开了这样一种系统。
医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，医疗系统100可以包括一个以上操纵器组件和/或一个以上主组件。除其他因素外，操纵器组件的确切数量将取决于医疗程序和手术室内的空间限制。主组件106可以并置，或者它们可以定位在分开的位置中。多个主组件允许一个以上操作员以各种组合方式控制一个或多个操纵器组件。
图2A和图2B是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图2A和图2B中所示，包括患者P的手术环境300定位在图1的手术台T上。在患者的总体运动受到镇静、约束和/或其他手段限制的意义上，患者P可以在手术环境内静止。包括患者P的呼吸和心脏运动的循环解剖运动可以继续。在手术环境300内，医疗器械304用于执行医疗程序，该医疗程序可以包括例如手术、活检、消融、照明、冲洗、抽吸或系统配准程序。医疗器械104可以是例如器械104。器械304包括耦连到器械主体312的柔性细长装置310(例如，导管)。细长装置310包括尺寸和形状设定成接收医疗工具(未示出)的一个或多个通道(未示出)。
细长装置310还可以包括一个或多个传感器(例如，传感器系统108的部件)。在一些实施例中，光纤形状传感器314固定在器械主体312上的近端点316处。在一些实施例中，光纤形状传感器314的近端点316可以与器械主体312一起移动，但是近端点316的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器314测量从近端点316到诸如细长装置310的远端318的另一个点的形状。形状传感器314可以与柔性细长装置310(例如，提供在内部通路(未示出)内或安装在外部)对准。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，尺寸可以更大或更小。形状传感器314可以用于确定柔性细长装置310的形状。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于以一维或多维提供结构中的应变测量。用于以三维监测光纤的形状和相对方位的各种系统和方法在以下文献中描述：美国专利申请No.11/180,389(2005年7月13日提交)(公开了“Fiber opticposition and shape sensing device and method relating thereto(光纤方位和形状感测装置及其相关方法)”)；美国专利申请No.12/047,056(2004年7月16日提交)(公开了“(光纤形状和相对方位感测)”)；和美国专利No.6,389,187(1998年6月17日提交)(公开了“Optical Fibre Bend Sensor(光纤弯曲传感器)”)，这些文献通过引用以其整体并入本文。在一些实施例中的传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。用于使用光纤传感器配准和显示手术器械与手术图像的各种系统在PCT公开WO 2016/191298(2016年12月1日公开)(公开了“Systems and Methods ofRegistration for Image Guided Surgery(用于图像引导的手术的配准的系统和方法)”)中提供，该PCT公开通过引用以其整体并入本文。
在各种实施例中，诸如电磁(EM)传感器的方位传感器可以结合到医疗器械304中。在各种实施例中，一系列方位传感器可以沿细长装置310定位，并且然后用于形状感测。在一些实施例中，方位传感器可以被配置和定位成测量六个自由度(例如三个方位坐标X、Y、Z和指示基点的俯仰、偏航和滚动的三个取向角度)或五个自由度(例如，三个方位坐标X、Y、Z和指示基点的俯仰和偏航的两个取向角度)。方位传感器系统的进一步描述在美国专利No.6,380,732(1999年8月11日提交)(公开了“Six-Degree of Freedom Tracking SystemHaving a Passive Transponder on the Object Being Tracked(在所跟踪的对象上具有无源应答器的六自由度跟踪系统)”)中提供，该美国专利通过引用以其整体并入本文。
细长装置310还可以容纳在器械主体312和远端318之间延伸以可控制地弯曲远端318的电缆、联动装置或其他转向控件(未示出)。在一些示例中，至少四个电缆用于提供独立的控制远端318的俯仰的“上下”转向和控制远端318的偏航的“左右”转向。可转向的细长装置在美国专利申请No.13/274,208(2011年10月14日提交)(公开了“Catheter withRemovable Vision Probe(具有可移除视觉探针的导管)”)中详细地描述，该美国专利申请通过引用以其整体并入本文。器械主体312可以包括驱动输入，该驱动输入可移除地耦连到操纵器组件的驱动元件(诸如致动器)并从该驱动元件接收动力。
器械主体312可以耦连到器械托架306。器械托架306安装到固定在手术环境300内的插入台(insertion stage)308。可替代地，插入台308可以是可移动的，但在手术环境300内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。器械托架306可以是操纵器组件(例如，操纵器组件102)的部件，其耦连到医疗器械304以控制插入运动(即沿轴线A的运动)并且可选地控制细长装置310的远端318在包括偏航、俯仰和滚动的多个方向上的运动。器械托架306或插入台308可以包括控制器械托架306沿插入台308的运动的致动器，诸如伺服马达(未示出)。
可以是传感器系统108的部件的传感器装置320提供关于器械主体312在沿插入轴线A在插入台308上移动时的方位的信息。传感器装置320可以包括解析器、编码器、电位计和/或确定控制器械托架306的运动和因此器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是弯曲的或具有弯曲部段和线性部段的组合。
图2A示出了在沿插入台308的缩回方位中的器械主体312和器械托架306。在此缩回方位中，近侧点316是在轴线A上的方位L0处。在沿插入台308的这种方位中，近侧点316的位置可以设置为零和/或另一参考值，以提供基准参考来描述器械托架306和因此近侧点316在插入台308上的方位。用器械主体312和器械托架306的这种缩回方位，细长装置310的远端318可以正好定位在患者P的进入孔口内部。另外在该方位中，传感器装置320可以设置为零和/或另外参考值(例如，I＝0)。在图2B中，器械主体312和器械托架306沿插入台308的线性轨道推进，并且细长装置310的远端318已经推进到患者P中。在这种推进方位中，近侧点310是在轴线A上的方位L1处。在一些示例中，来自控制器械托架306沿插入台308的移动的一个或多个致动器和/或与器械托架306和/或插入台308相关联的一个或多个方位传感器的编码器和/或其他方位数据用于确定近侧点316相对于方位L0的方位Lx。在一些示例中，方位Lx可以进一步用作细长装置310的远端318插入患者P的解剖体的通道中的距离或插入深度的指示符。
在说明性应用中，诸如医疗系统100的医疗系统可以包括用于在肺活检程序中使用的机器人导管系统。机器人导管系统的导管为工具(诸如内窥镜、支气管内超声(EBUS)探针和/或活检工具)提供管道，其中工具将要被输送到其中存在肺活检的一个或多个解剖目标(诸如病变、结节、肿瘤和/或类似物)的气道内的位置。当导管驱动通过解剖体时，通常安装内窥镜，使得诸如外科医生O的临床医生可以监测导管的远端的现场摄像机信息来源/上屏(live camera feed)。现场摄像机信息来源和/或其他实时导航信息可以经由图形用户界面显示给临床医生。用于监测活检程序的图形用户界面的示例在2017年4月18日提交的题为“Graphical User Interface for Monitoring an Image-Guided Procedure(用于监测图像引导程序的图形用户界面)”的美国临时专利申请No.62/486,879中涵盖，该美国临时专利申请通过引用以其整体并入本文。
在使用机器人导管系统执行活检程序之前，可以执行术前规划步骤，以规划活检程序。术前规划步骤可以包括图像数据(诸如患者CT扫描)的分段以创建解剖体的三维模型，选择在三维模型内的解剖目标，确定在模型中的气道，生长气道以形成连接的树形气道，并且规划在目标和连接的树之间的轨道。这些步骤中的一个或多个步骤可以在用于执行活检的相同机器人导管系统上执行。可替代地或另外地，可以在不同系统(诸如专用于术前规划的工作站)上执行规划。用于活检程序的规划被保存(例如，作为一个或多个数字文件)并且转移到用于执行活检程序的机器人导管系统。所保存的规划可以包括三维模型、气道的识别、目标位置、到目标位置的轨迹、通过三维模型的路线和/或诸如此类。
下面提供了用于规划医疗程序的图形用户界面的说明性实施例，包括但不限于上述肺活检程序。图形用户界面可以包括多个模式，该多个模式包括数据选择模式、混合分段和规划模式、预览模式、保存模式、管理模式和查看模式。图形用户界面的一些方面类似于以下文献中描述的特征：2016年6月30日提交的题为“Graphical User Interface forDisplaying Guidance Information During and Image-Guided Procedure(用于在图形引导程序期间显示引导信息的图形用户界面)”的美国临时专利申请No.62/357,217和2016年6月30日提交的题为“Graphical User Interface for Displaying GuidanceInformation in a Plurality of Modes During and Image-Guided Procedure(用于在图形引导程序期间以多个模式显示引导信息的图形用户界面)”的美国临时专利申请No.62/357,258，这些文献通过引用以其整体并入本文。
在医疗程序的规划和执行中，解剖边界或虚拟“危险栅栏(hazard fence)”可以通过识别在医疗程序期间医疗器械未交叉的表面。解剖边界可以屏蔽在目标位置或其他感兴趣部分附近的解剖体的脆弱部分免于被医疗器械无意中穿透。包括脆弱解剖结构或表面的感兴趣部分可以包括例如肺胸膜、肺裂隙、大的肺大疱(large bullae)和血管。例如，在医疗程序期间刺穿肺部胸膜可能导致患者危险的气胸。与这种实施例一致，限定与肺胸膜对应的解剖边界可以允许操作员限制医疗器械的路径，以避免解剖体的脆弱部分。例如，当在解剖结构的脆弱部分的阈值距离内穿过，破坏解剖体的脆弱部分和/或类似物时，候选路径可以是无效的。
图3A是根据一些实施例的用于限定解剖边界的方法400A的简化图。图4A至图4F是根据一些实施例的在方法400A的执行期间的图形用户界面500的对应简化图。在与图1至图2B一致的一些实施例中，图形用户界面500可以是可显示在显示系统(诸如显示系统110和/或独立规划工作站的显示系统)上。
图形用户界面500在一个或多个视图中显示与规划医疗程序相关联的信息，该一个或多个视图对于用户(诸如操作员O)是可观看的。虽然图4A至图4F中示出了视图的说明性布置，但是应当理解，图形用户界面500可以以任何合适的布置和/或在任何合适数量的屏幕上显示任何合适数量的视图。在一些示例中，同时显示的视图的数量可以通过打开和关闭视图改变、最小化和最大化视图、在图形用户界面500的前景和背景之间移动、在屏幕之间切换和/或以其他方式完全或部分地模糊视图。类似地，包括大小、形状、取向、排序(在重叠视图的情况下)和/或诸如此类的视图的布置可以改变且/或可以是用户可配置的。
本文公开的方法作为一组操作或过程示出。并非所有所示过程都可以在所示的方法的所有实施例中执行。另外，在所示过程之前、在所示过程之后、在所示过程之间或作为所示过程的一部分，可以包括未明确地示出的一个或多个过程。在一些实施例中，过程中的一个或多个过程可以至少部分地以存储在非暂时性、有形的机器可读介质上的可执行的代码的形式实施，该可执行的代码在由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行过程中的一个或多个过程。在一个或多个实施例中，过程可以由控制系统112执行。
在过程410处，与患者P的三维解剖区域对应的图像数据510经由图形用户界面500显示。如图4A至图4F中所示，图像数据510可以包括例如计算的断层扫描(CT)图像数据。图像数据510可以包括三维解剖区域的多个图像，其中图4A示出了图像数据的单个平面或“切片”。另外地或可替代地，图像数据510可以包括三维解剖模型，如图形用户界面500的缩略图512中所示的三维解剖模型。在一些实施例中，图像数据510可以包括分段数据514，该分段数据指示从CT图像数据识别的解剖特征(诸如在肺部中的气道、血管或诸如此类的位置)。在一些实施例中，图像数据510可以包括医疗器械的解剖目标516，诸如活检部位。在各种可替代的实施例中，图像数据可以使用其他成像技术生成，其他成像技术诸如磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。
在过程420处，经由用户输入装置接收用于在三维解剖区域中生成或限定曲线520的第一用户输入。曲线520在图像数据510的一个平面中生成。在一些实施例中，第一用户输入可以由操作员经由鼠标、触摸屏、触控笔或类似物提供。如图4B中所示，曲线520可以经由图形用户界面500显示。在此实施例中，曲线520可以对应于作为肺胸膜的一部分的由操作员识别的表面。
在过程430处，用于在三维解剖区域中生成或限定第二曲线530的第二用户输入经由用户输入装置接收。曲线530在与其中限定曲线520的图像面不同的图像数据510的平面中生成。如图4C中所示，曲线530可以经由图形用户界面500显示。
在过程440处，可选地，可以接收附加的用户输入，每个附加的用户输入在三维解剖区域中生成或限定附加的曲线(例如，附加的曲线532，图4D)。通常地，曲线530、532和任何附加的曲线以与曲线520类似的方式限定。任何附加的曲线可以定位在相对于曲线520、530不同的和以任何顺序相对于彼此不同的图像数据510的平面中(例如，在CT图像数据的不同切片中)。
在过程450处并且如图4E中所示，确定由曲线520、曲线530和任何附加的曲线界定的解剖边界540。在一些实施例中，通过内插或以其他方式识别结合边界540的中间曲线来确定解剖边界。根据一些实施例，解剖边界540可以指示三维解剖区域的表面或未由医疗器械在医疗程序过程期间交叉的脆弱的或感兴趣的表面。
可选地，在过程460处，解剖边界540经由图形用户界面500显示。根据一些实施例，解剖边界540的视觉表示图可以叠加在图像数据上。如图4E和图4F中所示，解剖边界540的横截面表示图可以作为叠加在CT切片上的曲线而被显示，解剖边界540的三维表示图可以作为在缩略图视图512中的三维解剖模型上的半透明或网格线网格或类似物而被显示。
在一些情况下，解剖边界540的内插部分可以不精确地跟踪操作员寻求限定的实际解剖边界。例如，在图4E中所示的说明性示例中，旨在跟踪肺部的胸膜的在曲线520和曲线530之间的解剖边界540的内插部分与胸膜明显地未对准。为了纠正这种未对准，方法400A可以返回到过程420-460，以接收限定用于更新解剖边界540来更接近地对准所需的解剖边界(如图4F中所示)的附加曲线的附加用户输入。以这种方式，过程420-450可以迭代地执行，直到实现令人满意的对准。以类似的方式，解剖边界540的范围可以通过返回到过程420-450而被扩展，以接收限定在解剖边界540的当前范围之外的附加曲线的附加用户输入。
图3B是根据一些实施例的用于限定解剖边界的方法400B的图示。方法400B中的一些过程与图400A中识别的那些过程相同，并且用相同的参考标号指示。
在过程410处的图像数据的显示之前或之后，在可选的过程412处，用户可以通过在包括手绘/徒手(freehand)形式和多线/折线(polyline)形式的曲线绘图选项之间的可选择的选项来呈现。在一些实施例中，曲线520可以以手绘、以折线形式、以一系列绘制点或诸如此类来绘制。在折线输入(例如，一系列直线分段)或一系列绘制点的情况下，曲线520可以例如通过样条拟合来确定。可选地，当接收所有点时，可以执行样条拟合。可选地，样条拟合可以在所有接收的点上执行，并且在接收一个新点时进行更新。可选地，样条拟合可以由已经接收的所有点和当前鼠标位置执行，使得用户可以在接收一个点之前实时地看到拟合的曲线的形状。根据一些实施例，第一用户输入可以响应于由操作员接收解剖边界工具518的选择而被接收。解剖边界工具518的选择指示操作员旨在经由图形用户界面500限定解剖边界。
在过程450处，解剖边界540可以基于作为包括多个顶点的三维表面网格存储或显示而进行确定。图3C示出了根据一些实施例的用于呈现解剖边界的方法470。在过程472处，解剖边界540可以作为包括多个顶点的三维表面网格而被生成。在一个可选的技术中，在过程473处，三维表面网格的顶点可以通过对曲线520、曲线530和任何附加的曲线重新采样为相等数量的采样点进行确定。在过程474处，样条拟合在来自于相应曲线的匹配采样点之间执行，产生多个样条。在过程475处，对多个样条中的每个样条重新采样，以产生三维表面网格的顶点。在另一可选的技术中，在过程476处，三维表面网格的顶点可以通过将三维样条表面拟合到曲线520、曲线530和任何附加的曲线而进行确定。在过程477处，对三维样条表面重新采样，以产生三维表面网格的顶点。
再次参照图3B，在可选的过程452处，解剖边界540可以基于图像数据510的特征而被进一步确定。例如，解剖边界540可以被对齐到/捕捉到(snap to)具有高强度梯度的图像数据510的区域，因为高强度梯度指示感兴趣表面(例如，肺部的胸膜、血管壁等)的存在。类似地，包括机器学习算法的计算机视觉技术可以应用于图像数据510，以识别候选解剖边界。与这种实施例一致，解剖边界540可以被对齐到由这种计算机视觉或机器学习技术确定的候选解剖边界。
在可选的过程462处，解剖边界540可以基于患者移动而被变形。在导航期间，患者解剖体和因此模型可以移动，或者由例如来自医疗器械、肺呼气和吸气以及跳动的心脏的力变得变形。变形可以例如由医疗器械中的形状传感器来测量，或者通过模拟而被预测，并且变形可以应用于模型。解剖边界540可以被同样地调整或变形，以对应于模型的变形。
图3D是根据一些实施例的用于限定解剖边界的方法400C的图示。方法400C中的一些过程与图400A中识别的那些过程相同，并且用相同的参考标号指示。在过程414、过程422和过程452处，各种引导信息和可视化助手/辅助(aides)可以经由图形用户界面500显示，以协助操作员限定或调整解剖边界540。
在过程414处，引导信息和可视化辅助可以被进一步显示，以建议解剖边界540应该覆盖的范围或形状。因此，可以显示范围引导信息，以改进由解剖边界540提供的保护范围，如下面参照图5A至图5B更详细地讨论。
图5A和图5B是根据一些实施例的示出与解剖边界(诸如解剖边界540)相关联的范围引导600的简化图。图5C示出了用二维图像数据510呈现范围引导600以协助和引导用户绘制曲线的图形用户界面670。如前所述，解剖边界540通常识别表面610，诸如肺胸膜的表面，其在目标620的部位处的医疗程序期间不应该被医疗器械刺穿或以其他方式接触或交叉。如图5A和图5B中所示，医疗程序可以对应于导管630插入目标620的附近的活检程序。在活检程序期间，针头从导管630的出口点635朝向目标620瞄准。因此，在活检程序(和其中器械可以从导管630朝向目标620延伸的各种其他类型的程序)中，解剖边界540可以用于识别表面610的部分，该表面610的部分相对于出口点635在目标620后面并且因此如果针头(或其他器械)延伸超过目标620太远则处于被刺穿的危险。
如图5A中所示，表面610的三维处于危险中的部分640基于解剖表面610和三维地带(zone)的交叉点而被确定。该地带可以是例如从出口点635通过目标620延伸的圆锥形投影642。在一些实施例中，处于危险中的部分640可以包括在投影642内的直接超出该区域的附加边沿(margin)644。在一些实施例中，处于危险中的部分640可以以二进制方式(例如，给定部分被视为处于危险中或不处于危险中)或以渐进或连续的方式而被确定，以反映不同位置处的危险水平变化。
基于确定表面610的处于危险中的部分640，引导信息可以在图像数据510中提供给操作员，以确保在方法400A期间限定的解剖边界540为表面610的处于危险中的部分640提供足够的保护。例如，处于危险中的部分640、投影642或两者的视觉表示图可以经由图形用户界面500显示。
图3E通过示出用于提供引导信息的方法414a更详细地示出了引导过程414的一个实施例。在过程480处，生成三维地带(例如，圆锥形投影642)，其从器械出口点635朝向目标620延伸。在过程482处，三维地带的二维投影用图像数据510显示。如图5C中所示，三维地带(例如，圆锥体642)的二维投影区域650以重叠的方式在示出目标620的二维图像数据510上提供。在过程484处，用作为引导的投影650，用户可以生成如过程420和430中所述的曲线652。曲线652可以绘制以在区域650内延伸，并且可选地延伸超出区域650，以限定处于危险中的部分640的边界。如前所述，附加的曲线可以在二维图像数据510的附加切片中绘制，以生成用于生成解剖边框540的多个曲线。在一些实施例中，处于危险中的区域中的像素可以以不同阴影、颜色或半透明颜色叠加进行显示。引导可以通过用户选择或通过组合自动地打开或关闭。另外地或可替代地，解剖边界540是否完全保护处于危险中的部分640的指示符可以经由图形用户界面500显示，或者以其他方式传达给操作员。
如图5B中所示，可能引起不同危险水平的一个因素是与医疗程序相关联的不确定性(例如，出口点635的位置中的不确定性、目标620的位置中的不确定性或两者)。可能引起不同危险水平的其他因素包括表面610和出口点635之间的距离；远离出口点635的位置通常与更近位置相比处于较低危险。
在规划程序期间，安全分数可以被计算并且提供给操作员，该安全分数指示了器械将破坏边界540的可能性。基于分数，可以调整或修改所规划的导航路径，以实现更安全的路线。具有不同安全分数的各种路径可以提供给操作员进行选择。
再次参照图3D，附加的引导信息和可视化辅助可以在过程422处提供。图3F通过示出用于提供引导信息的方法422a更详细地示出了引导过程422的一个实施例。在过程486处，曲线520的投影或阴影可以在图像数据510的其他平面中显示，在其他平面中曲线520不会被显示(例如，在除包括曲线520的切片之外的图像数据510的CT切片中)。因此，当限定曲线530时，曲线520的投影或阴影以提示的形式向操作员提供曲线520的特征(例如，起点、终点、长度等)的引导。不存在这种提示，操作员可能无意中限定具有与曲线520明显不同的特征(例如，明显不同的起点、终点或长度)的曲线530。在这种情况下，解剖边界540可能具有不规则形状，或者以其他方式可能不对应于期望的解剖边界。
在过程488处，引导信息可以包括第一曲线的起点和终点。在一些实施例中，当曲线530相对于曲线520无意中翻转时(例如，当相应的起点和终点是在曲线的相对端上时)，解剖边界540还可以具有不规则形状。例如，当方向翻转时，解剖边界540可以具有扭曲的形状。因此，可以显示引导信息，以指示哪个方向曲线530应该定向以匹配曲线520。例如，关于上面讨论的曲线520的投影或阴影(或类似地，解剖边界540的投影)，起点可以以与终点视觉可区分的方式(例如，使用不同颜色、图案、纹理等)显示。
再次参照图3D，可以在过程452处提供器械或边界调整引导信息。图3G通过示出用于提供引导信息的方法452a更详细地示出了引导过程452的一个实施例。例如，在可选的过程490处，解剖边界540的投影或阴影可以在解剖边界540的当前范围之外的区域中被外推和显示，以在扩展解剖边界540的范围时向操作员提供引导。在一些实施例中，解剖边界540的投影或阴影可以以与解剖边界540本身视觉可区分的方式(例如，使用不同颜色、图案、纹理等)显示，以向操作员提醒当前显示的横截面是否在解剖边界540的当前范围内或其之外。如前所述，包括解剖边界540的用于活检程序的规划可以由控制系统保存和使用，以提供医疗器械的自动导航或操作员导航辅助来执行活检程序。在导航期间，边界540可以用解剖区域的三维解剖模型(例如，视图512)、用腔内视图(endoluminal view)或用在用户显示器上呈现的其他解剖视图显示。边界540还可以或可替代地可以用来自其他成像技术的配准图像(诸如在医疗程序期间获得的荧光透视图像)显示(例如，叠加在该配准图像上)。
在可选的过程491处，可以提供用于医疗器械的建议的部署位置。例如，在将三维模型配准到患者解剖体的配准程序期间，收集医疗器械的点可以用于触摸患者解剖体中的推荐的点云。推荐的点云可以基于其相对于边界540的位置来确定。例如，只有点在距边界540的阈值距离内时，才可以推荐该点。类似地，在活检程序期间，所推荐的活检位置可以基于其相对于边界540的位置来确定。例如，只有活检点在距边界540的阈值距离内，才可以推荐该活检点。
在可选的过程492处，在医疗程序期间，医疗器械相对于解剖边界540的方位和取向可以被监测。医疗器械和解剖边界540之间的距离可以被测量例如距离器械的远端部分或距离最接近解剖边界540的器械的一部分的距离被测量。在过程493处，当器械和解剖边界540之间的距离变得小于预定阈值距离值时，可以向操作员提供指示符。例如，图形用户界面500上的视觉指示符可以以颜色变化、文本警报、突出显示的器械、突出显示的边界540或其他视觉警告信号的形式被提供。指示符还可以以听觉、触觉或其他操作员可察觉的信号的形式被提供。另外地或可替代地，在过程494处，控制系统112可以监测距离，并且随着器械接近与边界540对应的表面，使器械速度放慢，或者完全停止。另外地或可替代地，在过程495处，操作员可以提供用户输入(例如，按下按钮)，该用户输入将使医疗器械的远端远离与边界540对应的表面。另外地或可替代地，基于距离的指示符可以用虚拟医疗器械在规划程序中使用。
本公开的实施例中的一个或多个元件可以在软件中实施，以在诸如控制处理系统的计算机系统的处理器上执行。当在软件中实施时，本发明的实施例的元件基本上是执行必要任务的代码段。程序或代码段可以存储在处理器可读存储介质或装置中，该处理器可读存储介质或装置可以通过传输介质或通信链路以载波中体现的计算机数据信号的方式下载。处理器可读存储装置可以包括可以存储包括光学介质、半导体介质和磁性介质的信息的任何介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。代码段可以经由诸如互联网、内联网等的计算机网络下载。可以采用各种集中式或分布式数据处理架构中的任何一种。编程的指令可以实施为许多单独的程序或子例程，或者可以集成到本文所述的系统的许多其他方面中。在一个实施例中，控制系统支持无线通信协议，诸如蓝牙、IrDA(红外数据通信)、HomeRF(家庭射频)、IEEE 802.11、DECT(数字增强无线通信)和无线遥测。
通过本文公开的柔性细长装置或导管递送的医疗工具可以包括例如图像捕获探针、活检器械、激光消融光纤和/或其他手术工具、诊断工具或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤、电极和/或诸如此类。其他末端执行器可以包括例如镊子、抓握器、剪刀、施夹器和/或诸如此类。其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或诸如此类。医疗工具可以包括图像捕获探针，其包括用于捕获图像(包括视频图像)的立体或单视摄像机。医疗工具可以另外地容纳在近端和远端之间延伸以可控制地弯曲医疗器械304的远端的电缆、联动装置或其他致动控件(未示出)。可转向的器械详细描述在美国专利No.7,316,681(2005年10月4日提交)(公开了“Articulated Surgical Instrument for PerformingMinimally Invasive Surgery with Enhanced Dexterity and Sensitivity(用于执行具有增强的灵活性和敏感性的微创手术的铰接式手术器械)”)和美国专利申请No.12/286,644(2008年9月30提交)(公开了“Passive Preload and Capstan Drive for SurgicalInstruments(用于手术器械的无源预载和绞盘驱动)”)，该美国专利和美国临时申请通过引用整体并入本文。
本文所述的系统可以适用于在各种解剖系统中的任何一个中经由自然或外科创建的连接通道导航和治疗解剖组织，各种解剖系统包括肺部、结肠、肠、肾脏和肾盏、大脑、心脏、包括脉管系统的循环系统和/或诸如此类。
注意，所呈现的过程和显示可以是固有地不与任何特定计算机或其他设备相关。各种通用系统可以根据本文的教导与编程一起使用，或者可以证明便于构造一种更专业的设备来执行所述的操作。用于各种这些系统的所需结构将作为权利要求中的元件显示。另外，本发明的实施例不参考任何特定编程语言描述。将理解，可以使用各种编程语言来实施如本文所述的本发明的教导。
虽然本发明的某些示例性实施例已经在附图中描述和示出，但是应当理解，这些实施例对于广泛的发明仅是说明性的并且不是限制性的，并且本发明的实施例不限于所示和所述的特定结构和布置，因为对于本领域技术人员可以进行各种其他修改。

Claims (50)

1.一种医疗系统，所述医疗系统包括：
显示系统；
用户输入装置；和
通信地耦连到所述显示系统和所述用户输入装置的控制系统，所述控制系统被配置成：
经由所述显示系统显示与三维解剖区域对应的图像数据；
经由所述用户输入装置接收第一用户输入，以在所述三维解剖区域中生成第一曲线；
经由所述用户输入装置接收第二用户输入，以在所述三维解剖区域中生成第二曲线；以及
确定由所述第一曲线和所述第二曲线界定的解剖边界，所述解剖边界指示所述三维解剖区域中的解剖结构的表面。
2.根据权利要求1所述的医疗系统，其中从所述第一曲线和所述第二曲线之间的中间曲线确定所述解剖边界。
3.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
经由所述显示系统用所述图像数据显示所述解剖边界。
4.根据权利要求3所述的医疗系统，其中所述解剖边界经由所述显示系统以叠加的方式显示在所述图像数据上。
5.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
经由所述用户输入装置接收第三用户输入，以在所述三维解剖区域中生成第三曲线；
调整由所述第一曲线、所述第二曲线和所述第三曲线界定的所述解剖边界；以及
经由所述显示系统用所述图像数据显示调整的解剖边界。
6.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成提供用户可选择的选项，以手绘形式或以折线形式提供所述第一用户输入和所述第二用户输入。
7.根据权利要求1所述的医疗系统，其中所述解剖边界对应于包括多个顶点的三维表面网格。
8.根据权利要求7所述的医疗系统，其中所述控制系统被配置成确定所述多个顶点，确定所述多个顶点包括：
对所述第一曲线和所述第二曲线中的每个曲线重新采样成相等数量的采样点；
在沿所述第一曲线和所述第二曲线的匹配位置处的成对的采样点之间执行样条拟合，以产生多个样条；以及
对所述多个样条中的每个样条重新采样，以产生所述多个顶点。
9.根据权利要求7所述的医疗系统，其中所述控制系统被配置成确定所述多个顶点，确定所述多个顶点包括：
将三维样条表面拟合到所述第一曲线和所述第二曲线；以及
对所述三维样条表面重新采样，以产生所述多个顶点。
10.根据权利要求1所述的医疗系统，其中所述控制系统被配置成基于与所述图像数据相关联的强度梯度来确定所述解剖边界。
11.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成将计算机视觉应用于所述图像数据，以识别候选解剖边界，并且其中所述解剖边界被对齐到所述候选解剖边界。
12.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成在所述第二曲线的放置期间经由所述显示系统显示引导信息。
13.根据权利要求12所述的医疗系统，其中所述引导信息包括所述第一曲线在除包括所述第一曲线的平面以外的所述图像数据的平面中的投影。
14.根据权利要求12所述的医疗系统，其中所述引导信息包括所述第一曲线的起点和终点。
15.根据权利要求12所述的医疗系统，其中所述引导信息包括在所述解剖边界的当前范围之外的区域中的所述解剖边界的外推投影。
16.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
经由所述显示系统显示叠加在源自所述图像数据的解剖模型上的所述解剖边界。
17.根据权利要求16所述的医疗系统，其中所述控制系统被进一步配置成：
使所述解剖边界变形，以符合基于患者解剖体的移动的所述解剖模型的变形。
18.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
显示叠加在患者程序期间获得的荧光透视图像数据上的所述解剖边界。
19.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
当医疗器械位于所述三维解剖区域内时，接收第三用户输入；以及
响应于所述第三用户输入，引导所述医疗器械的远端的取向远离所述解剖边界。
20.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成确定虚拟医疗器械的远端和所述解剖边界之间的距离。
21.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
确定医疗器械的远端和所述解剖边界之间的距离。
22.根据权利要求21所述的医疗系统，其中所述控制系统被进一步配置成：
当所述医疗器械的所述远端和所述解剖边界之间的所述距离小于预定阈值距离时，提供视觉、听觉或触觉指示符。
23.根据权利要求21所述的医疗系统，其中所述控制系统被进一步配置成：
基于所确定的距离，更改所述医疗器械的前进速度。
24.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：
为医疗器械提供一个或多个建议的部署位置，其中所述一个或多个建议的部署位置位于距所述解剖边界至少阈值距离处。
25.根据权利要求1所述的医疗系统，其中所述控制系统被进一步配置成：基于器械出口点和目标，生成三维地带。
26.根据权利要求25所述的医疗系统，其中所述控制系统被进一步配置成成：
用所述图像数据显示所述地带的二维投影，以基于所述表面和所述地带之间的交点，确定所述表面的处于危险中的部分。
27.根据权利要求26所述的医疗系统，其中所述第一曲线至少部分地沿所述交点生成，以标记相对于所述图像数据的所述处于危险中的部分。
28.一种规划医疗程序的方法，所述方法包括：
经由显示系统显示与三维解剖区域对应的图像数据；
经由用户输入装置接收多个用户输入，以在所述三维解剖区域中生成多个曲线；
从所述多个曲线确定解剖边界，所述解剖边界标定所述三维解剖区域的感兴趣部分；以及
经由所述显示系统显示叠加在所述图像数据上的所述解剖边界。
29.根据权利要求28所述的方法，其进一步包括提供用户可选择的选项，以手绘形式或以折线形式提供所述多个用户输入。
30.根据权利要求28所述的方法，其中所述解剖边界对应于包括多个顶点的三维表面网格。
31.根据权利要求30所述的方法，其进一步包括：
对所述多个曲线中的每个曲线重新采样成相等数量的采样点；
在沿所述多个曲线的匹配位置处的成对的采样点之间执行样条拟合，以产生多个样条；以及
对所述多个样条中的每个样条重新采样，以产生所述多个顶点。
32.根据权利要求30所述的方法，其进一步包括：
将三维样条表面拟合到多个曲线；以及
对所述三维样条表面重新采样，以产生所述多个顶点。
33.根据权利要求28所述的方法，其中基于与所述图像数据相关联的强度梯度，进一步确定所述解剖边界。
34.根据权利要求28所述的方法，其进一步包括：
将计算机视觉应用于所述图像数据，以识别候选解剖边界，并且其中所述解剖边界被对齐到所述候选解剖边界。
35.根据权利要求28所述的方法，其进一步包括：
在接收所述多个用户输入时，经由所述显示系统显示引导信息。
36.根据权利要求35所述的方法，其中所述引导信息包括所述多个曲线中的第一曲线在除包括所述第一曲线的平面以外的所述图像数据的平面中的投影。
37.根据权利要求35所述的方法，其中所述引导信息包括所述多个曲线中的第一曲线的起点和终点。
38.根据权利要求35所述的方法，其中所述引导信息包括在所述解剖边界的当前范围之外的区域中的所述解剖边界的外推投影。
39.根据权利要求28所述的方法，其进一步包括：
使所述解剖边界变形，以符合从所述图像数据生成的解剖模型的变形，所述解剖模型的所述变形基于患者解剖体的移动。
40.根据权利要求28所述的方法，其进一步包括：
将所述解剖边界叠加在患者程序期间获得的荧光透视图像数据上。
41.根据权利要求28所述的方法，其进一步包括：
确定虚拟医疗器械的远端和所述解剖边界之间的距离。
42.根据权利要求28所述的方法，其进一步包括：
确定医疗器械的远端和所述解剖边界之间的距离。
43.根据权利要求42所述的方法，其进一步包括：
基于确定的距离，引导所述医疗器械的远端的取向远离所述解剖边界。
44.根据权利要求42所述的方法，其进一步包括：
当所述医疗器械的所述远端和所述解剖边界之间的所述距离小于预定阈值距离时，提供视觉、听觉或触觉指示符。
45.根据权利要求42所述的方法，其进一步包括：
基于确定的距离，更改所述医疗器械的推进速度。
46.根据权利要求28所述的方法，其进一步包括：
为医疗器械提供一个或多个建议的部署位置，其中所述一个或多个建议的部署位置位于距所述解剖边界至少阈值距离处。
47.根据权利要求28所述的方法，其进一步包括：
基于器械出口点和目标，生成三维地带。
48.根据权利要求47所述的方法，其进一步包括：
用所述图像数据显示所述地带的二维投影，以基于所述表面和所述地带之间的交点，确定解剖结构的表面的处于危险中的部分。
49.根据权利要求48所述的方法，其进一步包括：其中所述多个曲线中的一个曲线至少部分地沿所述交点生成，以标记相对于所述图像数据的所述处于危险中的部分。
50.一种非暂时性机器可读介质，所述非暂时性机器可读介质包括多个机器可读指令，当由与规划工作站相关联的一个或多个处理器执行时，所述多个机器可读指令适于使所述一个或多个处理器执行一种方法，所述方法包括：
经由显示系统显示与肺部对应的CT图像数据；
经由用户输入装置接收多个用户输入，以在所述CT图像数据的不同切片中生成多个曲线；
在所述多个曲线之间内插，以确定在所述CT图像数据中指示所述肺部的胸膜的位置的解剖边界；以及
经由所述显示系统显示叠加在所述CT图像数据上的所述解剖边界。
CN201980061426.9A 2018-10-04 2019-09-30 用于限定解剖边界的图形用户界面 Pending CN112805749A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862741157P 2018-10-04 2018-10-04
US62/741,157 2018-10-04
PCT/US2019/053820 WO2020072360A1 (en) 2018-10-04 2019-09-30 Graphical user interface for defining an anatomical boundary

Publications (1)

Publication Number Publication Date
CN112805749A true CN112805749A (zh) 2021-05-14

Family

ID=68343437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061426.9A Pending CN112805749A (zh) 2018-10-04 2019-09-30 用于限定解剖边界的图形用户界面

Country Status (6)

Country Link
US (1) US20210401508A1 (zh)
EP (1) EP3861530A1 (zh)
JP (2) JP7478143B2 (zh)
KR (1) KR20210068118A (zh)
CN (1) CN112805749A (zh)
WO (1) WO2020072360A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170307755A1 (en) 2016-04-20 2017-10-26 YoR Labs Method and System for Determining Signal Direction
US11633247B2 (en) * 2020-03-03 2023-04-25 Verb Surgical Inc. Graphical user guidance for a robotic surgical system
US11998391B1 (en) 2020-04-02 2024-06-04 yoR Labs, Inc. Method and apparatus for composition of ultrasound images with integration of “thick-slice” 3-dimensional ultrasound imaging zone(s) and 2-dimensional ultrasound zone(s) utilizing a multi-zone, multi-frequency ultrasound image reconstruction scheme with sub-zone blending
US11832991B2 (en) 2020-08-25 2023-12-05 yoR Labs, Inc. Automatic ultrasound feature detection
US12138123B2 (en) 2020-08-25 2024-11-12 yoR Labs, Inc. Unified interface for visualizing 2D, 3D and 4D ultrasound images
US11344281B2 (en) * 2020-08-25 2022-05-31 yoR Labs, Inc. Ultrasound visual protocols
US11751850B2 (en) 2020-11-19 2023-09-12 yoR Labs, Inc. Ultrasound unified contrast and time gain compensation control
EP4370057A1 (en) * 2021-07-13 2024-05-22 Proprio, Inc. Methods and systems for displaying preoperative and intraoperative image data of a scene
US20230277249A1 (en) * 2022-03-01 2023-09-07 Verb Surgical Inc. Apparatus, systems, and methods for intraoperative instrument tracking and information visualization
US12156761B1 (en) 2024-03-05 2024-12-03 yoR Labs, Inc. Bayesian anatomically-driven, artificial-intelligence based intracardiac echocardiography object detection and prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN104050313A (zh) * 2013-03-15 2014-09-17 柯惠有限合伙公司 路径规划系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
JPH1057371A (ja) * 1996-08-27 1998-03-03 Ge Yokogawa Medical Syst Ltd 医用装置および標的領域設定方法
AU1616497A (en) 1997-02-13 1998-09-08 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
EP0999785A4 (en) 1997-06-27 2007-04-25 Univ Leland Stanford Junior METHOD AND DEVICE FOR NAVIGATING THROUGH THREE-DIMENSIONAL IMAGE GENERATION
US6676605B2 (en) * 2002-06-07 2004-01-13 Diagnostic Ultrasound Bladder wall thickness measurement system and methods
US20080071292A1 (en) 2006-09-20 2008-03-20 Rich Collin A System and method for displaying the trajectory of an instrument and the position of a body within a volume
US9037215B2 (en) * 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
EP2358269B1 (en) * 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US8311306B2 (en) 2008-04-30 2012-11-13 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
WO2010144405A2 (en) * 2009-06-08 2010-12-16 Surgivision, Inc. Mri-guided surgical systems with proximity alerts
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
EP2938399B1 (en) * 2012-12-28 2020-04-15 Cyberheart, Inc. Blood-tissue surface based radiosurgical renal treatment planning
US11227427B2 (en) * 2014-08-11 2022-01-18 Covidien Lp Treatment procedure planning system and method
EP3297529B1 (en) 2015-05-22 2025-03-12 Intuitive Surgical Operations, Inc. Systems for registration for image guided surgery
CA3030831A1 (en) 2016-07-15 2018-01-18 Mako Surgical Corp. Systems for a robotic-assisted revision procedure
US10881466B2 (en) * 2016-08-29 2021-01-05 Covidien Lp Systems, methods, and computer-readable media of providing distance, orientation feedback and motion compensation while navigating in 3D
CN109996486A (zh) 2016-10-05 2019-07-09 创新外科解决方案有限责任公司 神经定位和标测

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN104050313A (zh) * 2013-03-15 2014-09-17 柯惠有限合伙公司 路径规划系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREA SCHENK等: "Efficient Semiautomatic Segmentation of 3D Objects in Medical Images", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION，MICCAI 2000，LNCS 1935, 11 February 2004 (2004-02-11), pages 1 - 4 *
DAVID T. GERING等: "An Integrated Visualization System for Surgical Planning and Guidance Using Image Fusion and an Open MR", JOURNAL OF MAGNETIC RESONANCE IMAGING 13:967–975 (2001), 31 December 2001 (2001-12-31), pages 1 - 8 *

Also Published As

Publication number Publication date
JP2024009240A (ja) 2024-01-19
WO2020072360A1 (en) 2020-04-09
EP3861530A1 (en) 2021-08-11
JP2022502194A (ja) 2022-01-11
KR20210068118A (ko) 2021-06-08
US20210401508A1 (en) 2021-12-30
JP7478143B2 (ja) 2024-05-02

Similar Documents

Publication Publication Date Title
US12186031B2 (en) Graphical user interface for monitoring an image-guided procedure
US20230200790A1 (en) Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
EP4084719B1 (en) Systems for indicating approach to an anatomical boundary
JP7478143B2 (ja) 解剖学的境界を規定するためのグラフィカルユーザインターフェイス
JP6716538B2 (ja) 多数のインターベンショナル処置を計画するシステム及び方法
CN116585031A (zh) 用于智能种子配准的系统和方法
US11464411B2 (en) Systems and methods for medical procedures using optical coherence tomography sensing
WO2024145341A1 (en) Systems and methods for generating 3d navigation interfaces for medical procedures
CN118284380A (zh) 用于器械的导航辅助
US20230034112A1 (en) Systems and methods for automatically generating an anatomical boundary
CN117355862A (zh) 包含用于连接表示解剖通路的模型结构的指令的系统、方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination