CN118284380A - 用于器械的导航辅助 - Google Patents

Abstract

用于为细长装置提供导航指示符的系统和方法包括一种系统，该系统被配置为确定该细长装置在通路内的姿势；并且基于该细长装置的姿势，在显示系统上显示：通路的图像，以及与包含通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中一个或多个导航指示符被显示在通路的图像之上。

Description

用于器械的导航辅助

相关申请

本申请要求在2021年9月28日提交的题为“用于器械的导航辅助”的美国临时申请第63/249,440号的权益，该申请通过引用并入本文中。

技术领域

本公开涉及用于进行图像引导的程序的系统和方法，并且更具体地涉及在图像引导的程序期间用于器械的导航辅助。

背景技术

微创医疗技术旨在减少医疗程序期间受损的组织量，从而减少患者的恢复时间、不适和有害副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，操作者可以插入微创医疗器械(包括手术、诊断、治疗或活检器械)以到达靶组织位置。一种这样的微创技术是使用柔性和/或可转向的细长装置，诸如导管，该细长装置可以插入解剖通路中并朝向患者解剖结构内的感兴趣区域导航。医疗人员在图像引导的程序期间对这种细长装置的控制涉及几个自由度的管理，包括至少管理细长装置的插入和缩回以及该装置的转向和/或弯曲半径。此外，还可以支持不同的操作模式。

类似的图像引导的程序也可以在非医疗环境中找到。例如，细长装置和/或其他器械可以用于检查和/或执行管子、通风轴、通路、封闭空间和/或操作者无法或实际不能直接进入的类似物内的操作。

器械在通路中的导航可能很困难。器械向操作者呈现通路的有限视野。相应地，操作者可能难以确定器械在通路内和/或相对于通路所在的工作空间的取向。如果工作空间包括通路中的许多看起来相似的曲线、弯曲和/或交叉口，操作者在导航器械时可能会很快变得困惑和迷失取向，导致不必要的躯体侵犯和/或不必要且低效的回溯。

相应地，在图像引导的程序期间为细长装置或其他器械提供更有效的导航辅助将是有利的。

发明内容

与一些实施例一致，一种系统包括细长装置、显示系统、一个或多个处理器以及存储指令的存储器。当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器确定所述细长装置在通路内的姿势；并且基于所述细长装置的所述姿势，在所述显示系统上显示所述通路的图像，以及与包含所述通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

与一些实施例一致，一种装置包括一个或多个处理器以及存储指令的存储器。当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器确定细长装置在通路内的姿势；并且基于所述细长装置的所述姿势，使得在显示系统上显示所述通路的图像，以及与包含所述通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

与一些实施例一致，一种系统包括细长装置、显示系统、一个或多个处理器以及存储指令的存储器。当由所述一个或多个处理器执行时，所述指令使所述一个或多个处理器在显示系统上显示：基于细长装置的姿势的通路的第一虚拟表示，以及与所述细长装置相关联的路径的虚拟表示；经由第一控制装置接收第一输入；响应于所述第一输入在所述细长装置正以链接模式被导航时，使得在所述显示系统上显示：与沿着所述路径的所述虚拟表示的移动对应的所述通路的第二虚拟表示，其中沿着所述路径的所述虚拟表示的移动基于所述第一输入；经由第二控制装置接收第二输入；并且响应于所述第二输入，使得在所述显示系统上显示：与沿着平移自由度或旋转自由度中的至少一个对所述第二虚拟表示的改变对应的所述通路的第三虚拟表示，其中对所述第二虚拟表示的所述改变基于所述第二输入。

与一些实施例一致，一种方法包括：确定细长装置在通路内的姿势；并且基于所述细长装置的所述姿势，使得在显示系统上显示：所述通路的图像，以及与包含所述通路在内的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

与一些实施例一致，一种方法包括使得在显示系统上显示：基于细长装置的姿势的通路的第一虚拟表示，以及与所述细长装置相关联的路径的虚拟表示；经由第一控制装置接收第一输入；响应于所述第一输入，在所述细长装置正以链接模式被导航时，使得在所述显示系统上显示：与沿着所述路径的所述虚拟表示的移动对应的所述通路的第二虚拟表示，其中沿着所述路径的所述虚拟表示的移动基于所述第一输入；经由第二控制装置接收第二输入；并且响应于所述第二输入，使得在所述显示系统上显示：与沿着平移自由度或旋转自由度中的至少一个对所述第二虚拟表示的改变对应的所述通路的第三虚拟表示，其中对所述第二虚拟表示的所述改变基于所述第二输入。

与一些实施例一致，一种或多种非暂时性机器可读介质包括多个机器可读指令，这些指令当由一个或多个处理器执行时，适于使所述一个或多个处理器执行本文中所述的任何方法。

所公开的技术相对于现有技术的至少一个优点和技术改进在于，利用所公开的技术，以相对于传统方法更清晰和更具信息性的方式向操作者提供用于细长装置的导航辅助。导航辅助可以与基于实况图像的引导和/或动态配准引导一起使用。相应地，细长装置的操作者可以更有效地在一个或多个通路内(例如，在患者体内)导航细长装置，同时降低了沿着不期望的路径导航和不期望的回溯的可能性。另一个优点和技术改进在于，当对细长装置的姿势的改变(例如，细长装置的移动)被链接到动态配准引导中沿着规划路径的移动时，可以调整规划路径上的虚拟视图以更好地匹配来自所述细长装置的实况视图，而不会导致所述细长装置的姿势改变。相应地，当虚拟视图与所述实况视图不匹配时，操作者可以在动态配准引导中手动调整所述虚拟视图。这些技术优点提供了相对于现有技术方法的一个或多个技术进步。

附图说明

为了能够详细理解各种实施例的上述特征的方式，可以通过参考各种实施例来对以上简要概括的本发明构思进行更具体的描述，其中一些实施例在附图中示出。然而，需指出，附图仅示出了本发明构思的典型实施例，并因此不应被视为以任何方式限制范围，并且存在其他同等有效的实施例。

图1为根据一些实施例的远程操作的医疗系统的简化图。

图2A为根据一些实施例的医疗器械系统的简化图。

图2B为根据一些实施例的带有扩展的医疗器械的医疗器械系统的简化图。

图3A和图3B为根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。

图4是根据一些实施例的可在显示系统上显示的图形用户界面的简化图。

图5是根据一些实施例的示例局部视图的简化图。

图6是根据一些实施例的另一示例局部视图的简化图。

图7A-图7B是根据一些实施例的指示不同细长装置姿势的示例取向指引的示意图。

图8A-图8C是根据一些实施例的在不同时间具有实况摄像机视图和虚拟视图的用户界面的简化图。

图8D是根据一些实施例的具有实况摄像机视图、虚拟视图、树视图和导航视图的用户界面的简化图。

图9是根据一些实施例的用于手动调整虚拟视图的图形用户界面的简化图。

图10是根据一些实施例的用于为细长装置提供导航引导的方法步骤的流程图。

图11A-图11B是根据一些实施例的用于调整虚拟表示的方法步骤的流程图。

具体实施方式

在以下描述中，阐述了描述与根据本公开的一些实施例的具体细节。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说，显而易见的是，一些实施例可以在没有这些具体细节中的一些或全部细节的情况下实践。本文中公开的具体实施例为说明性的而非限制性的。本领域技术人员可以实现其他元件，虽然这里没有具体描述，但是属于本公开的范围和精神内。另外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以结合到其他实施例中，除非另外特别描述或者如果一个或多个特征使得实施例不起作用。

此外，本描述中的术语并不旨在限制本发明。例如，空间相对术语，诸如“在...下方”、“在下面”、“下部”、“在...上方”、“上部”、“近侧”、“远侧”和类似术语可以用于描述一个元件或特征与图中所示的另一个元件或特征的关系。除了图中所示的方位和取向之外，这些空间相对术语旨在包括元件或其操作的不同方位和取向。例如，如果其中一个图形的内容被翻转，则被描述为在其他元件或特征“下面”或“下方”的元件将在其他元件或特征的“上面”或“上方”。因此，说明性术语“在下面”可以包含在上面和在下面的姿势和取向。装置可以以其他方式定向(旋转90度或在其他取向)，并且相应地解释本文中使用的空间相对描述符。同样，对沿着和围绕各种轴线的运动的描述包括各种特殊的元件方位和取向。另外，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。并且，术语“包含”、“包括”、“具有”和类似用语规定了所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或组的存在或增加。被描述为耦连的部件可以为电或机械直接耦连的，或者它们可以经由一个或多个中间部件间接耦连。

只要可行，在没有具体示出或描述元件的其他实施例、实现方式或应用中，可以包括参考一个实施例、实现方式或模块详细描述的元件。例如，如果参考一个实施例详细描述了一个元件，而未参考第二实施例对它进行描述，则该元件仍可以被要求包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，除非另外具体说明，否则与一个实施例、实现方式或应用相关联示出和描述的一个或多个元件可以被结合到其他实施例、实现方式或方面中，除非一个或多个元件将使实施例或实现方式不起作用，或者除非两个或更多个元件提供冲突的功能。

在其他实例中，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆本实施例的各方面。

本公开根据各种器械和器械的部分在在三维空间中的状态对其进行了描述。如本文中所用，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文中所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度-例如，滚转、俯仰和偏转)。如本文中所用，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(高达六个自由度)。如本文中所用，术语“形状”是指沿对象测量的一组姿势、方位或取向。

图1为根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如外科手术、诊断、治疗或活检程序。虽然本文中提供了关于这种程序的一些实施例，但对医疗或外科器械以及医疗或外科方法的任何引用都是非限制性的。例如，本文中所述的系统、器械和方法可以用于动物、人类尸体、动物尸体、人或动物解剖结构的一部分、非手术诊断，并且可以用于工业系统和通用机器人或远程操作系统。

如图1所示，医疗系统100通常包括操纵器组件102，该操纵器组件用于在对患者P执行各种程序时操作医疗器械104。操纵器组件102可以是远程操作组件、非远程操作组件，或者是混合远程操作和非远程操作的组件，该组件具有可被机动化和/或远程操作的选择运动自由度和可被非机动化和/或非远程操作的选择运动自由度。操纵器组件102被安装在手术台T上或其附近。主组件106允许操作者O(例如，如图1所示的外科医生、临床医生或医师)观察介入部位并控制操纵器组件102。

主组件106可以位于操作者的控制台，该控制台通常位于与手术台T相同的房间中，诸如在患者P所在的手术台的侧面。然而，应当理解，操作者O可以位于与患者P不同的房间或完全不同的建筑物中。主组件106通常包括用于控制操纵器组件102的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、滚轮、数据手套、触发枪、手动控制器、语音识别装置、身体运动或存在传感器和/或类似物。为了向操作者O提供直接控制器械104的强烈感觉，可以为控制装置提供与相关联的医疗器械104相同的自由度。通过这种方式，控制装置为操作者O提供远程呈现或者控制装置与医疗器械104为一体的感知。

在一些实施例中，控制装置可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然为操作者O提供远程呈现。在一些实施例中，控制装置可以可选地为以六个自由度移动的手动输入装置，并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓握夹具，向电极施加电势，输送药物治疗和/或诸如此类)。

操纵器组件102支撑医疗器械104，并且可以包括一个或多个非伺服控制的连杆(例如，可以手动定位和锁定在适当位置的一个或多个连杆，通常称为设置结构)和/或一个或多个伺服控制的连杆(例如，响应于来自控制系统的命令可以控制的一个或多个连杆)和操纵器的运动学结构。操纵器组件102可以可选地包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可以可选地包括驱动系统，当耦连到医疗器械104时，该驱动系统可以将医疗器械104推进到自然或手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，所述自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔坐标轴线的旋转)。另外，致动器可以用于致动医疗器械104的可铰接的末端执行器，以用于抓取活检装置和或类似物的夹具中的组织。诸如旋转变压器、编码器、电位计和其他机构的致动器方位传感器可以向医疗系统100提供描述马达轴的旋转和取向的传感器数据。该方位传感器数据可以用于确定由致动器操纵的对象的运动。

远程操作医疗系统100可以包括具有用于接收关于操纵器组件102的器械的信息的一个或多个子系统的传感器系统108。这种子系统可以包括方位/位置传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，其用于确定沿着可以构成医疗器械104的柔性主体的远端和/或一个或多个节段的方位、取向、速率、速度、姿势和/或形状；和/或用于从医疗器械104的远端捕获图像的可视化系统。

远程操作医疗系统100还包括显示系统110，其用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示。显示系统110和主组件106可以被定向，使得操作者O可以利用远程呈现的感知来控制医疗器械104和主组件106。

在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细讨论的)，其可以包括用于记录手术部位的同步或实况图像并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)将图像提供给操作者或操作者O的观察镜组件。同步图像可以为例如由位于手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜部件，其可以整体地或可移除地耦连到医疗器械104。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对手术部位成像。可视化系统可以被实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，一个或多个计算机处理器可以包括控制系统112的处理器。

显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主组件106的控件，使得医疗器械的相对方位类似于操作者O的眼睛和手的相对方位。通过这种方式，操作者O可以操纵医疗器械104和手动控件，就好像在基本上真实临场的情况下观察工作空间。就真实临场而言，意味着图像的呈现是模拟物理操纵医疗器械104的医师的视点的真实透视图像。

在一些示例中，显示系统110可以使用来自成像技术的图像数据来呈现术前或术中记录的手术部位的图像，成像技术诸如是计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/呈现为来自从术前或术中图像数据集创建的模型的图像。

在一些实施例中，通常出于成像引导的外科程序的目的，显示系统110可以显示医疗器械104的实际位置与术前或同步图像/模型进行配准(例如，动态地参考)的虚拟导航图像。可以这样进行以从医疗器械104的视点向操作者O呈现内部手术部位的虚拟图像。在一些示例中，视点可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上，以帮助操作者O控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示虚拟导航图像，在该虚拟导航图像中，医疗器械104的实际位置与术前或同步图像配准，以从外部视点向操作者O呈现手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分或其他图形或字母数字指示符的图像可以被叠加在虚拟图像上，以帮助操作者O控制医疗器械104。如本文中所述，可以将数据点的视觉表示渲染给显示系统110。例如，本文中描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示显示在显示系统110上。数据点可以通过显示系统110上的多个点或斑在用户界面中可视地表示，或者作为渲染模型，诸如基于该组数据点创建的网格或线模型。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经实现之后，可以在显示系统110中刷新视觉表示以改变数据点。

远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，其用于实现医疗器械104、主组件106、传感器系统108和显示系统110之间的控制。控制系统112进一步包括已编程指令(例如，存储指令的非暂时性机器可读介质)以实现根据本文中公开的各方面描述的一些或所有方法，包括用于向显示系统110提供信息的指令。虽然在图1的简化示意图中控制系统112被示为单个框，但是本系统可以包括两个或更多个数据处理电路，其中，处理的一部分可选地在操纵器组件102上或其附近执行，处理的另一部分在主组件106和/或类似物处执行。控制系统112的处理器可以执行包括与本文中公开的过程相对应的指令并且在下面更详细地描述的指令。可以采用各种集中式或分布式数据处理架构中的任何一种。类似地，已编程指令可以被实现为多个单独的程序或子例程，或者它们可以集成到本文中描述的远程操作系统的许多其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA(红外数据通讯)、HomeRF(家庭射频技术)、IEEE 802.11、DECT(数位加强式无线通讯系统)和无线遥测。

在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以将信号发送到主组件106。在一些示例中，控制系统112可以发送指示操纵器组件102的一个或多个致动器以移动医疗器械104的信号。医疗器械104可以经由患者P的身体中的开口延伸到患者P的体内的内部手术部位。可以使用任何合适的传统和/或专用致动器。在一些示例中，一个或多个致动器可以与操纵器组件102分离或成一体。在一些实施例中，一个或多个致动器和操纵器组件102被提供作为邻近患者P和手术台T定位的远程操作手推车的一部分。

控制系统112可以可选地进一步包括虚拟可视化系统，以在图像引导的外科程序期间控制医疗器械104时向操作者O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通路的术前或术中数据集的引用。虚拟可视化系统处理使用成像技术成像的手术部位的图像，诸如计算机断层摄影术(CT)、磁共振成像(MRI)、荧光检查、温度记录法、超声、光学相干断层摄影术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。可以与手动输入结合使用的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分割二维或三维复合表示。图像数据集与复合表示相关联。复合表示和图像数据集描述了通路的各种位置和形状及其连接性。用于生成复合表示的图像可以在临床程序期间术前或术中记录。在一些实施例中，虚拟可视化系统可以使用标准表示(例如，不是患者特定的)或标准表示和患者特定数据的混合。复合表示和由复合表示生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿势。

在虚拟导航程序期间，传感器系统108可以用于计算医疗器械104相对于患者P的解剖结构的近似位置。该位置可以用于产生患者P的解剖结构的宏观层面(外部)跟踪图像和患者P的解剖结构的虚拟内部图像两者。本系统可以实现一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器以与术前记录的手术图像一起配准和显示医疗实现，诸如来自虚拟可视化系统的那些。例如，PCT公布WO 2016/191298(2016年12月1日公布)(公开了“Systems and Methods of Registration for Image Guided Surgery”)公开了这样一种系统，该公布通过引用整体并入本文中。远程操作医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括不止一个操纵器组件和/或不止一个的主组件。远程操作操纵器组件的确切数量将取决于外科程序和手术室内的空间限制以及其他因素。主组件106可以并置或者它们可以位于不同的位置。多个主组件允许不止一个操作者以各种组合控制一个或多个远程操作的操纵器组件。

图2A为根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可以用作利用远程操作医疗系统100执行的图像引导的医疗程序中的医疗器械104。在一些示例中，医疗器械系统200可以用于非远程操作的探索程序或涉及传统手动操作的医疗器械(诸如内窥镜)的程序。可选地，医疗器械系统200可以用于收集(例如，测量)对应于患者(诸如患者P)的解剖通路内的位置的一组数据点。

医疗器械系统200包括细长装置202，诸如柔性导管，其耦连到驱动单元204。细长装置202包括具有近端217和远端218的柔性主体216。在一些实施例中，柔性主体216具有约3mm的外直径。其他柔性主体外直径可以更大或更小。

医疗器械系统200进一步包括跟踪系统230，该跟踪系统用于使用一个或多个传感器和/或成像装置来确定沿着柔性主体216的远端218和/或一个或多个节段224的方位、取向、速率、速度、姿势和/或形状，如下面进一步详细描述的。在远端218和近端217之间的柔性主体216的整个长度可以有效地分成节段224。跟踪系统230可以可选地实现为硬件、固件、软件或其组合，该硬件、固件、软件或其组合与一个或多个计算机处理器交互或以其他方式由该计算机处理器执行，一个或多个计算机处理器可以包括图1中的控制系统112的处理器。

跟踪系统230可以可选地使用形状传感器222跟踪远端218和/或一个或多个节段224。形状传感器222可以可选地包括与柔性主体216对准的光纤(例如，提供在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤的直径约为200μm。在其他实施例中，尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或多个维度中提供结构中的应变测量。在美国专利申请公布号2006/0013523(2005年7月13日提交)(公开了“Fiber optic position and shape sensing device and method relating thereto”)；美国专利号7,772,541(2004年7月16日提交)(公开了“Fiber-optic shape and relativeposition sensing”)；以及美国专利号6,389,187(1998年6月17日提交)(公开了“OpticalFibre Bend Sensor”)中描述了用于监测三维光纤的形状和相对位置的各种系统和方法，它们通过引用整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，细长装置的形状可以使用其他技术来确定。例如，柔性主体216的远端姿势的历史可以用于在时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以使用方位传感器系统220可选地和/或另外地跟踪远端218。方位传感器系统220可以为EM传感器系统的部件，其中方位传感器系统220包括可以经受外部产生的电磁场的一个或多个导电线圈。然后，EM传感器系统220的每个线圈产生感应电信号，该感应电信号具有取决于线圈相对于外部产生的电磁场的方位和取向的特性。在一些实施例中，方位传感器系统220可以被配置和定位成测量六个自由度(例如，三个方位坐标X、Y、Z和指示基点的俯仰、偏转和滚转的三个取向角)或五个自由度(例如，三个方位坐标X、Y、Z和指示基点的俯仰和偏转的两个取向角)。在美国专利号6,380,732(1999年8月11日提交)(公开了“Six-Degree of Freedom Tracking System Having aPassive Transponder on the Object Being Tracked”)中提供了方位传感器系统的进一步描述，其通过引用整体并入本文中。

在一些实施例中，跟踪系统230可以交替地和/或另外地依赖于沿着交替运动的循环(诸如呼吸)为器械系统的已知点存储的历史姿势、方位或取向数据。该存储的数据可以用于开发关于柔性主体216的形状信息。在一些示例中，诸如与方位传感器系统220中的传感器类似的电磁(EM)传感器的一系列方位传感器(未示出)可以沿着柔性主体216定位并然后用于形状感测。在一些示例中，来自在程序期间采集的这些传感器中的一个或多个传感器的数据的历史可以用于表示细长装置202的形状，特别是如果解剖通路通常为静态的。

柔性主体216包括通道221，通道221的尺寸和形状设计成接收医疗器械226。图2B为带有根据一些实施例扩展的医疗器械226的柔性主体216的简化图。在一些实施例中，医疗器械226可以用于诸如外科手术、活检、消融、照明、冲洗或抽吸的程序。医疗器械226可以通过柔性主体216的通道221部署并且用在解剖结构内的靶位置处。医疗器械226可以包括例如图像捕获探针、活检器械、激光消融光纤和/或其他外科手术、诊断或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤、电极和/或类似物。其他末端执行器可以包括例如镊子、抓紧器、剪刀、施夹器和/或类似物。其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或类似物。在各种实施例中，医疗器械226为活检器械，其可以用于从靶解剖位置移除样品组织或对细胞取样。医疗器械226也可以与柔性主体216内的图像捕获探针一起使用。在各种实施例中，医疗器械226可以为图像捕获探针，其包括在柔性主体216的远端218处或其附近具有立体或单视场摄像机的远侧部分，立体或单视场摄像机用于捕获由可视化系统231处理以供显示和/或提供给跟踪系统230的图像(包括视频图像)以支持远端218和/或一个或多个节段224的跟踪。图像捕获探针可以包括耦连到摄像机的用于发送捕获的图像数据的缆线。在一些示例中，图像捕获器械可以为耦连到可视化系统231的光纤束，诸如纤维镜。图像捕获器械可以为单光谱或多光谱的，其用于例如在可见光、红外光和/或紫外光谱中的一种或多种中捕获图像数据。可替代地，医疗器械226本身可以为图像捕获探针。医疗器械226可以从通道221的开口推进以执行该程序，然后当程序完成时缩回到通道中。医疗器械226可以从柔性主体216的近端217取出或者从另一个可选的器械端口(未示出)沿着柔性主体216取出。

医疗器械226可以另外容纳在其近端和远端之间延伸的缆线、连杆机构或其他致动控件(未示出)，以可控地弯曲医疗器械226的远端。可操控的器械在美国专利号7,316,681(2005年10月4日提交)(公开了“Articulated Surgical Instrument for PerformingMinimally Invasive Surgery with Enhanced Dexterity and Sensitivity”)和美国专利号9,259,274(2008年9月30日提交)(公开了“Passive Preload and Capstan Drive forSurgical Instruments”)中详细描述，上述专利申请通过引用整体并入本文中。

柔性主体216还可以容纳在驱动单元204和远端218之间延伸的缆线、连杆机构或其他转向控件(未示出)，以可控地弯曲远端218，例如如通过远端218的间断的虚线描绘219所示。在一些示例中，至少四根缆线用于提供独立的“上下”转向以控制远端218的俯仰并提供独立的“左右”转向以控制远端281的偏转。可转向细长装置在美国专利号9,452,276(2011年10月14日提交)(公开了“Catheter with Removable Vision Probe”)中详细描述，该专利通过引用整体并入本文中。在医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可以包括驱动输入，该驱动输入可移除地耦连到远程操作组件的驱动元件(诸如致动器)并从其接收电力。在一些实施例中，医疗器械系统200可以包括夹持特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以为可转向的，或可替代地，系统可以为不可转向的，其没有用于操作者控制远端218的弯曲的集成机构。在一些示例中，在柔性主体216的壁中限定一个或多个管腔，医疗器械可以通过该管腔在靶外科手术位置处部署并使用。

在一些实施例中，医疗器械系统200可以包括柔性支气管器械，诸如支气管镜或支气管导管，其用于肺部的检查、诊断、活检或治疗。医疗器械系统200还适用于经由自然或外科手术创建的连接通路在各种解剖系统中导航和治疗其他组织，包括结肠、肠、肾和肾小管、大脑、心脏、循环系统(包括脉管系统)和/或类似物。

来自跟踪系统230的信息可以被发送到导航系统232，该信息在导航系统1032处与来自可视化系统231和/或术前获得的模型的信息组合，以向医师或其他操作者提供实时方位信息。在一些示例中，实时方位信息可以被显示在图1的显示系统110上，以用于控制医疗器械系统200。在一些示例中，图1的控制系统116可以将方位信息用作用于定位医疗器械系统200的反馈。2011年5月13日提交的公开了“Medical System Providing DynamicRegistration of aModel of an Anatomic Structure for Image-Guided Surgery”的美国专利第8,900,131号，以及2016年5月20日提交的公开了“Systems and Methods ofRegistration for Image Guided Surgery”的PCT公布WO 2016/191298提供了用于使用光纤传感器来配准和显示具有外科图像的外科器械的各种系统，上述专利全部通过引用并入本文中。

在一些示例中，医疗器械系统200可以在图1的医疗系统100内进行远程操作。在一些实施例中，图1的操纵器组件102可以由直接操作者控件代替。在一些示例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。

图3A和图3B为根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图3A和图3B所示，外科手术环境300包括患者P被定位在图1的手术台T上。在通过镇静、约束和/或其他手段限制患者的总体运动的意义上，患者P可以在外科手术环境内为静止的。包括患者P的呼吸和心脏运动的循环解剖学运动可以继续，除非患者被要求屏住他或她的呼吸以暂时中止呼吸运动。相应地，在一些实施例中，可以在呼吸的特定阶段收集数据，并且用该阶段标记和识别该数据。在一些实施例中，可以根据从患者P收集的生理信息推断收集数据的阶段。在外科手术环境300内，点收集器械304被耦连到器械托架306。在一些实施例中，点收集器械304可以使用EM传感器、形状传感器和/或其他传感器模态。器械托架306被安装到固定在外科手术环境300内的插入台308。可替代地，插入台308可以是可移动的，但在外科手术环境300内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。器械托架306可以为操纵器组件(例如，操纵器组件102)的部件，其耦连到点收集器械304以控制插入运动(即，沿着A轴线的运动)，并且可选地控制细长装置310的远端318在多个方向上的运动(包括偏转、俯仰和滚转)。器械托架306或插入台308可以包括致动器，诸如伺服马达(未示出)，其控制器械托架306沿插入台308的运动。

细长装置310被耦连到器械主体312。器械主体312相对于器械托架306耦连和固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以与器械主体312一起移动，但是近侧点316的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。点收集器械304可以基本上类似于医疗器械系统200。

方位测量装置320提供关于器械主体312在插入台308上沿插入轴线A移动时的方位的信息。方位测量装置320可以包括旋转变压器、编码器、电位计和/或确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是成曲线的或具有成曲线的和线性的区段的组合。

图3A示出了沿着插入台308处于缩回方位的器械主体312和器械托架306。在该缩回方位，近侧点316位于轴线A上的方位L₀处。在沿插入台308的该方位中，近侧点316的位置的A分量可以被设置为零和/或另一坐标值以提供描述器械托架306的方位并因此描述插入台308上的近侧点316的基本坐标。由于器械主体312和器械托架306的这种缩回方位，细长装置310的远端318可以恰好定位在患者P的进入孔口内侧。同样在该方位，方位测量装置320可以被设置为零和/或另一个坐标值(例如，l＝0)。在图3B中，器械主体312和器械托架306沿着插入台308的线性轨道推进，并且细长装置310的远端318已推进到患者P中。在该推进方位，近侧点316处于轴线A上的方位L₁处。在一些示例中，来自控制器械托架306沿插入台308的移动的一个或多个致动器和/或与器械托架306和/或插入台308相关联的一个或多个方位传感器的编码器和/或其他方位数据用于确定近侧点316相对于方位L₀的方位L₁。在一些示例中，方位L₁可以进一步用作细长装置310的远端318插入患者P的解剖结构的通路中的距离或插入深度的指示符。

在说明性应用中，诸如医疗器械系统200的医疗器械系统可以包括用于肺活检程序中的机器人导管系统。机器人导管系统的导管提供用于工具诸如内窥镜、支气管内超声(EBUS)探针、治疗工具和/或活检工具的管道，其被递送到气道内的位置，在该位置处，存在肺活检的一个或多个靶，诸如病变、结节、肿瘤和/或类似物。当通常安装有内窥镜的导管被驱动通过解剖结构时，使得临床医生(诸如操作者O)可以监测导管远端的实况摄像机视图。可以经由图形用户界面向临床医生显示实况摄像机视图和/或其他实时导航信息。

在使用机器人导管系统执行活检程序之前，可以执行术前规划步骤以规划活检程序。术前规划步骤可以包括分割患者CT扫描以创建解剖结构的三维(3D)表示(例如，3D模型)，在3D模型内选择靶，确定模型中的气道，生长气道以形成气道的连接树，并且规划通过连接树到达靶的路径。这些步骤中的一个或多个可以在用于进行活检的相同机器人导管系统上、在不同的医疗器械系统上、独立的处理器(诸如专用于术前规划的工作站)等上进行。活检程序的规划可以被保存(例如，作为一个或多个数字文件)并传输到用于执行活检程序的机器人导管系统。保存的规划可以包括3D模型、气道的识别、靶位置、到靶位置的路径和/或诸如此类。支持术前规划步骤的图形用户界面的一个示例被包含在2019年9月20日提交的题为“Graphical User Interface for Planning a Procedure”的美国专利申请公布第2020/0030044号中，该专利申请通过引用整体并入。

在规划被转移到机器人导管系统之后，解剖结构的3D模型可以被配准到实际的患者解剖结构和/或患者解剖结构内的导管。因此，导管的实时方位和取向可以被投影到3D模型上并经由图形用户界面显示。临床医生然后可以继续驱动导管通过解剖结构，同时监测图形用户界面上的导航进度。例如，临床医生可以沿着保存的规划中的预定路径驱动导管，以导航到靶位置和/或在靶位置处执行活检。

下面提供用于监测医疗程序的图形用户界面的说明性实施例，包括但不限于上述肺活检程序。图形用户界面可以包括用于监测3D模型到解剖结构的配准的配准模式、用于监测医疗器械到解剖结构中的靶位置的导航的导航模式，以及用于监测靶位置处的介入步骤的表现的表现模式。图形用户界面的一些方面类似于2017年6月29日提交的题为“Graphical User Interface for Displaying Guidance Information During anImage-Guided Procedure”的国际专利申请公布号WO 2018/005861和2017年6月29日提交的题为“Graphical User Interface for Displaying Guidance Information in aPlurality of Modes During an Image-Guided Procedure”的国际专利申请公布号WO2018/005482中描述的特征，上述专利申请通过引用以其整体并入本文中。

图4是根据一些实施例的可在诸如显示系统110的显示系统上显示的图形用户界面400的简化图。图形用户界面400显示临床医生(诸如操作者O)可查看的与一个或多个视图中的医疗程序相关联的信息。尽管图4中描绘了视图的说明性布置，但应理解，图形用户界面400可以以任何合适的布置和/或在任何合适数量的屏幕上显示任何合适数量的视图。在一些示例中，可以通过打开和关闭视图、最小化和最大化视图、在图形用户界面400的前景和背景之间移动视图、在屏幕之间切换和/或以其他方式完全或部分地模糊视图，来改变同步显示的视图的数量。类似地，视图的布置(包括它们的大小、形状、取向、排序(在重叠视图的情况中)和/或诸如此类)可以变化和/或可以是用户可配置的。

在一些示例中，显示在图形用户界面400中的视图可以按有组织的方案布置，以利于快速访问相关信息。尽管图4描绘了一个这样的组织方案的说明性示例，但是许多其他组织方案也是可能的。如图4所示，图形用户界面400包括显示一个或多个全局视图410的上部部分、显示一个或多个紧凑视图420的中间部分，以及显示一个或多个局部视图430的下部部分。全局视图410通常显示医疗程序的全局方面，以向临床医生提供医疗程序的当前状态的详细画面。紧凑视图420通常以简化、整洁的格式显示关于医疗程序的缩减信息集，以利于临床医生快速理解。局部视图430通常显示医疗程序的局部方面，以实时监测由医疗器械执行的移动和/或介入步骤。下面参考图5-图8C更详细地讨论局部视图430的示例。

在一些示例中，全局视图、紧凑视图和局部视图410-430可以以不同于图4中所示的配置的各种配置来布置。例如，图形用户界面400可以具有横向布局，其中全局视图410位于左侧，紧凑视图420竖直地定向在中间，而局部视图430位于右侧。在一些示例中，全局视图、紧凑视图和局部视图410-430可以分布在整个图形用户界面400中，使得如图4所示，图形用户界面400可以不可划分为专用区域。在一些示例中，图形用户界面400除了图4中所示的那些之外，还可以包括各种视图、控件、指示符和/或诸如此类。例如，图形用户界面400可以包括页眉、页脚、一个或多个边栏、消息栏、弹出窗口、背景、覆盖层和/或诸如此类。

图形用户界面400可以在医疗程序的各个阶段以不同的模式进行操作。在一些示例中，组织方案可以基于图形用户界面400的模式而变化。在每个模式中，可以选择视图的布置来传达在医疗程序的当前阶段可用和/或相关的信息。在一些示例中，这些模式可以包括如下所述的配准模式、导航模式和/或表现模式。在一些示例中，各种模式可以彼此重叠和/或在彼此之间无缝转变，从而表现为单个模式。例如，导航和表现模式可以无缝转变，使得它们可以被视为单一的混合导航和表现模式。

在一些实施例中，图形用户界面400可以进一步包括一个或多个交互式用户界面元件。例如，在显示系统110包括触敏显示器(例如，触摸屏)的实施例中，图形用户界面400可以包括操作者O可以经由触敏显示器上的触摸与其交互的一个或多个用户界面元件(例如，按钮、滑块、拨盘、开关、拨动开关和/或类似物)，并且控制系统112接收触摸作为输入。也就是说，触敏显示器也是医疗系统100内的控制装置。用户界面元件可以被显示在一个视图中，该视图是对全局视图、紧凑视图或局部视图410-430中的任何视图的补充或替代。此外，在具有触敏显示器的相同实施例中，操作者O也可以与全局视图、紧凑视图和/或局部视图410-430中的任何视图进行交互。

如上所述，图形用户界面400可以在导航模式下操作，该导航模式用于监测医疗器械到解剖结构中的靶位置的导航。当处于导航模式时，图形用户界面400可以包括局部视图430，该局部视图430包括由器械104在患者P体内捕获的图像的实况摄像机视图。处于导航模式的局部视图430还可以包括虚拟视图，该虚拟视图显示根据当前配准的患者P的解剖结构的3D模型的渲染(例如，从器械104的远端的视角)。导航模式中的局部视图430可以进一步包括一个或多个视觉辅助装置，以在操作者O在患者P体内导航器械104时向操作者O提供导航信息和/或辅助。下面参考图5-图6描述导航模式中局部视图的示例。

图5是根据一些实施例的示例局部视图的简化图。处于导航模式的局部视图500包括并排显示的实况摄像机视图502和虚拟视图504。实况摄像机视图502显示了在患者解剖结构(例如，患者P)内的细长装置(例如，器械104、细长装置202、导管)的远端处捕获的实况实时图像。实况摄像机视图502可以由位于细长装置的远端处的成像装置(例如，摄像机、内窥镜)捕获。如图5所示的实况摄像机视图502是从细长装置的远端的第一人员视图(例如，捕获图像的内窥镜摄像机位于细长装置的远端处或其附近)。在一些实施例中，实况摄像机视图502可以改为第三人员视图，其中捕获实况图像的摄像机稍微在细长装置的远端之后，并且远端的至少一部分在摄像机的视场内。

虚拟视图504是与细长装置的周围环境的视图相对应的虚拟导航图像。在一些实施例中，虚拟视图504对应于从细长装置的远端的视角观察的视图。虚拟视图504可以是根据3D模型和患者解剖结构之间的当前配准的患者解剖结构的3D模型的渲染(例如，从细长装置的远端的视角)。

一个或多个导航指示符506可以与实况摄像机视图502同步显示并且显示在(例如，覆盖在)实况摄像机视图502上。导航指示符可以包括相对于实况摄像机视图502和/或虚拟视图504中所示的视角的方向和/或航向的指示符(例如，方向/航向指示符)。导航指示符506从实况摄像机视图502的视角(并且相应地，从细长装置的远端的视角)指示(例如，指向)相对于患者解剖结构的一个或多个方向或航向。在一些实施例中，导航指示符506基于细长装置相对于患者解剖结构的当前姿势(例如，当前方位和/或取向)，从实况摄像机视图502的视角指示解剖方向或航向。相应地，当操作者O监测患者解剖结构并通过患者解剖结构导航细长装置时，导航指示符506可以向操作者O提供导航信息和引导。

如图所示，导航指示符506包括在实况摄像机视图502的上方、下方和/或侧面的多个方向或航向。导航指示符506包括指示相对于在实况摄像机视图502上方的患者解剖结构的内侧航向(medial heading)(“M”)的指针指示符506-1、指示相对于在实况摄像机视图502右侧的患者解剖结构的前向航向(“A”)的指针指示符506-2、指示相对于在实况摄像机视图504下方的患者解剖结构的外侧航向(lateral heading)(“L”)的指针指示符506-3，以及指示相对于在实况摄像机视图502左侧的患者解剖结构的后向航向(“P”)的指针指示符506-4。操作者O可以通过将细长装置的远端指向指针指示符506-1至506-4中的任何一个所指向的航向，将实况摄像机视图502指向由指针指示符506-1至506-4所指示的任何航向。类似地，操作者O可以通过将细长装置朝着指针指示符506-1至506-4中的任何一个所指向的航向移动，来将细长装置朝向由指针指示符506-1至506-4所指示的任何航向导航。

导航指示符506还包括指示相对于患者解剖结构的上级航向(superior heading)(“S”)的指示符506-5。如图所示，上级航向在实况摄像机视图502的前方(例如，正前方)。相应地，指示符506-5被显示为显示在两条垂直线的交叉点上的图标，类似于标线。在一些实施例中，在图标处相交的两条垂直线对应于解剖平面(例如，冠状平面、矢状平面或横向平面)。操作者O可以通过继续将细长装置的远端指向由指示符506-5指示的直行方向，将实况摄像机视图502维持在由指示符506-5指示的上级航向。类似地，操作者O可以通过在指示符506-5所指示的直行方向上移动细长装置来将细长装置朝向指示符506-5所指示的上级航向导航。

如图所示，在实况摄像机视图502之后的下级航向没有由实况摄像机视图502中的指示符506指示。操作者O可以通过指示下级航向的指示符506的不存在来推断下级航向在实况摄像机视图502之后。在一些其他实施例中，导航指示符506可以包括指示在实况摄像机视图502后面的方向的指示符(例如，类似于指针指示符506-1至506-4的附加指针指示符)。在一些实施例中，指示符506包括用于一个或多个(例如，四个)解剖方向中的每一个的指示符，所述解剖方向与细长装置的航向方向在角度上最接近。

局部视图500还可以包括信息侧边栏512，该信息侧边栏显示对操作者O导航细长装置有用的附加信息(例如，到靶边缘的距离等)。如图所示，信息侧边栏512包括取向指引508。取向指引508以图形的形式向操作者O提供进一步的导航信息和引导，该图形与实况摄像机视图502相同地从患者解剖结构外部的视角指示细长装置的姿势。相应地，在取向指引508中，观看显示器的方向与实况摄像机视图502的方向相同。取向指引508中的图形可以包括以虚拟球体为中心的人类的表示。取向指引508中的图形还可以包括解剖航向的指示符和对应于解剖平面的一个或多个赤道圆。以下参考图7A描述关于取向指引的进一步细节。

在各种实施例中，指示符506和取向指引508以及显示在信息侧边栏512中的其他信息可以由控制系统112基于细长装置的当前姿势生成和/或更新，并且显示在显示系统110上(例如，在局部视图500中与实况摄像机视图502一起)。当操作者O导航细长装置时，控制系统112基于细长装置的当前姿势定期生成和/或更新实况摄像机视图502和取向指引508上的指示符506。更新可以包括修改指示符506指向的位置、指示符506在实况摄像机视图502上的位置、添加或移除指示符506和/或诸如此类。

在一些实施例中，控制系统112可以基于细长装置相对于矢状平面的当前姿势(例如，基于在肺程序中细长装置是在右肺中还是在左肺中)来自动修改指示内侧航向和外侧航向的指示符506。例如，当细长装置在矢状平面的右侧并且指向下级航向时(例如，当在肺程序中细长装置在右肺中时)，内侧航向可以在细长装置的左侧，而外侧航向可以在细长装置的右侧，并且用于内侧航向和外侧航向的指示符506可以相应地指向。当细长装置越过矢状平面的左侧同时仍然指向下级航向时(例如，当细长装置在肺程序中在左肺中时)，内侧航向在细长装置的右侧，而外侧航向在细长装置的左侧，并且控制系统112可以自动更新用于内侧航向和外侧航向的指示符506(例如，自动将用于内侧航向的导航指示符和用于外侧航向的导航指示符交换)，以考虑细长装置越过了矢状平面。

图6是根据一些实施例的另一示例局部视图的简化图。图6示出了在许多方面类似于图5的局部视图500的局部视图600。在一些实施例中，局部视图600是与局部视图500在相同的患者解剖结构中并且是在不同的时间的局部视图。类似于局部视图500，局部视图600包括并排显示的实况摄像机视图602和虚拟视图604。导航指示符606被显示在实况摄像机视图602之上，类似于导航指示符506显示在实况摄像机视图502之上。如图所示，指示符606-1、606-2、606-3和606-4分别指示前向航向、外侧航向、后向航向和内侧航向。指示符606-5指示下级航向。没有示出用于在实况摄像机视图602后面的上级航向的指示符。局部视图600还包括信息侧边栏612。信息侧边栏612包括取向指引608，其与实况摄像机视图602相同地从患者解剖结构外部的视角指示细长装置的姿势。以下参考图7B进一步描述关于取向指引的进一步细节。

局部视图600进一步包括与虚拟视图604同步显示并且显示在虚拟视图604之上的规划路径610。规划路径610可以基于保存的规划(例如，用于程序的保存的术前规划)来生成。操作者O可以使用规划路径610作为在到达与规划路径610相关联的靶位置的程序期间在患者解剖结构内导航细长装置的路径的指引。下面参考图8A-图8C进一步描述规划路径。

虽然图5示出了在实况摄像机视图502之上显示的导航指示符506，但是导航指示符506可以附加地或可替代地与虚拟视图504同步显示并且显示在虚拟视图504之上。类似地，在图6中，导航指示符606可以附加地或可替代地与虚拟视图604和规划路径610同步显示并且显示在虚拟视图604或规划路径610之上。

图7A-图7B示出了根据一些实施例的指示不同细长装置姿势的取向指引。图7A示出了指示细长装置的第一姿势的取向指引700。取向指引700包括表示患者P的身体或解剖结构的身体表示702。身体表示702可以包括解剖结构的3D表示，包括头部、手臂和/或腿部的表示。如图所示，身体表示702上的手臂朝向前向航向延伸以指示身体表示702的前侧和后侧。此外，与细长装置的指向患者解剖结构的下级方向的远端一致，身体表示702被定向为使得身体表示702上的头部的顶部面向操作者O。也就是说，身体表示702上的头部被定向成远离显示器并朝向观看取向指引700的操作者O，而身体表示702上的腿部被定向为进入显示器，远离观看取向指引700的操作者O。

在取向指引700内，身体表示702以虚拟球体为中心。对应于解剖平面的一条或多条赤道线可以沿着虚拟球体的虚拟表面(例如，在虚拟球体的正交圆周处)延伸。如图所示，取向指引700包括横向平面赤道线(Transverse plane equator line)704、冠状平面赤道线(coronal plane equator line)706和矢状平面赤道线(sagittal plane equatorline)708。横向平面、冠状平面和矢状平面在以虚拟球体为中心的身体表示702处彼此相交。

赤道线可以包括指示解剖方向/航向的航向指示符。如图所示，前向航向指示符712和后向航向指示符716分别位于横向平面赤道线704和矢状平面赤道线708的对应交点处。内侧航向指示符710和外侧航向指示符714分别位于横向平面赤道线704和冠状平面赤道线706的对应交点处。上级航向指示符720位于冠状平面赤道线706和矢状平面赤道线708的对应交点处。由于细长装置的第一姿势，上级航向指示符720面向操作者O，而下级航向指示符在身体表示702之后，并且相应地至少部分地被身体表示702遮挡，因此未在图7A中示出。在一些实施例中，虚拟球体上的赤道线可以可选地包括间隙或散列标记(harshmarks)，作为操作者O辨别细长装置的取向的附加视觉辅助。间隙或散列标记可以沿着赤道线以规则的角度间隔放置。例如，在图7A中，每条赤道线包括在沿着赤道线的解剖航向指示符之间的45度点处的间隙。

转到图7B，取向指引750是与取向指引700相同的取向指引，但指示细长装置的第二不同姿势。取向指引750包括身体表示702。如图7B所示，身体表示702上的手臂朝向前向航向延伸，以指示身体表示702的前侧和后侧，如图7A所示。此外，与细长装置的指向下级方向的远端一致，身体表示702上的头部被定向为远离显示器并朝向观看取向指引750的操作者O，而身体表示702上的腿部被定向为进入显示器中，远离观看取向指引750的操作者O。

与取向指引700一样，取向指引750中的身体表示702在虚拟球体内居中。与取向指引700一样，横向平面赤道线704、冠状平面赤道线706和矢状平面赤道线708沿着虚拟球体的虚拟表面延伸。与取向指引700一样，取向指引750也包括内侧航向指示符710、前向航向指示符712、外侧航向指示符714、后向航向指示符716和上级航向指示符720。此外，下级航向指示符718现在至少部分可见，并且被显示在冠状平面赤道线706和矢状平面赤道线708的对应交点处。

当操作者O在患者解剖结构内导航细长装置时，控制系统112可以基于细长装置的当前姿势来更新取向指引700或750。例如，当操作者O将细长装置从第一姿势导航到第二姿势时，控制系统112可以将虚拟球体和身体表示702从取向指引700中所示的取向旋转到取向指引750中所示的取向，以跟踪细长装置的姿势。

在一些实施例中，身体表示702包括高亮显示的一半702-1和阴影或变暗(或更通常不高亮显示)的一半702-2。高亮显示的一半702-1对应于并指示在矢状平面的一侧上的患者解剖结构的一半，细长装置当前定位在该一半中。未高亮显示的一半702-2对应于并指示在矢状平面的相对侧上的患者解剖结构的另一半，细长装置当前未定位在该另一半中。每当细长装置从患者解剖结构的一半越过矢状平面到另一半时，控制系统112可以更新身体表示702以改变身体表示702被高亮显示的一半和没有被高亮显示的一半。在一些实施例中，可以以任何合适的方式(例如，对比颜色和/或阴影)将高亮显示的一半与未高亮显示的一半区分开。例如，高亮显示的一半可以被着色为较浅的颜色或阴影(例如，白色，浅色阴影)，而未高亮显示的一半可以被着色成较深的颜色或阴影(例如，黑色或深灰色，深色阴影)。在细长装置从患者解剖结构的一半越过矢状平面到另一半之后，控制系统112可以进一步更新内侧航向指示符710和外侧航向指示符714的位置(例如，交换它们的位置)以对应于细长装置的新方位。

应当理解，虽然结合图5-图7B公开的实施例是参考具有解剖方向/航向和解剖平面的医学示例来说明和描述的，但是所公开的实施例适用于非医学背景和另一3D坐标系。例如，导航指示符和取向指引可以指示笛卡尔坐标系中的航向和平面，其中该航向对应于沿着x、y或z轴的正方向或负方向，并且该平面对应于x、y和z平面。作为另一示例，导航指示符和取向指引可以指示基于罗盘的坐标系中的航向和平面(例如，航向对应于基本方向(例如，北、南、东、西)以及上或下)。作为另一示例，在取向指引中，身体表示702可以由更适当地表示非医疗工作空间的不同表示、形状或图标来代替。

图8A-图8C是根据一些实施例的在不同时间具有实况摄像机视图和虚拟视图的用户界面的简化图。图8A示出了在第一时间并排的实况摄像机视图802和虚拟视图804。实况摄像机视图802和虚拟视图804可以在导航模式下显示在图形用户界面400中，特别是局部视图430(例如，局部视图500或600)中。类似于实况摄像机视图502或602，实况摄像机视图802可以显示在患者解剖结构内的细长装置的远端处(例如，通过远端处的内窥镜)捕获的实况实时图像。虚拟视图804是患者解剖结构的虚拟导航图像(例如，从细长装置的远端的视角的患者解剖结构的视图)。虚拟视图804可以是根据3D模型和患者解剖结构之间的当前配准从细长装置的远端的视角对患者解剖结构的3D模型的渲染。在虚拟视图804中还可以显示规划路径806和信息栏808。

在一些实施例中，控制系统112可以通过操作者O的命令，基于细长装置的移动，将显示在虚拟视图804中的图像链接或“锁定”到沿着规划路径806的图像。在链接模式中，当细长装置在患者解剖结构中移动时，控制系统112可以自动调整虚拟视图804，使得虚拟视图804大致对应于实况摄像机视图802。当例如3D模型和患者解剖结构之间的配准不准确时，链接模式可能是有帮助的，配准不准确可能是由患者运动、解剖结构的变形等引起的。在链接模式中，控制系统112可能不再依赖于3D模型和患者解剖结构之间的配准来确定要在虚拟视图804中显示的图像。例如，操作者O可以操作主组件106处的控制装置(例如，滚轮、轨迹球)，以在患者解剖结构中诸如在插入方向或缩回方向上移动细长装置，并且实况摄像机视图802可以在细长装置移动时显示对应的实况图像。在链接模式下，虚拟视图804可以例如以对应于沿着规划路径806的移动的方式，链接到细长装置的移动。当细长装置被命令在患者解剖结构中移动时，虚拟视图804可以基于所命令的移动来更新。例如，如果操作者依赖于实况摄像机视图802并且在插入方向上推进细长装置，则虚拟视图804可以沿着规划路径806自动推进(例如，达设定的量)以大致对应于实况摄像机视图802。相应地，操作者O可以通过使用控制装置沿着规划路径806移动来移动细长装置，并且虚拟视图804可以被锁定到规划路径806并且显示与细长装置的移动相对应的虚拟图像，即使当例如配准不准确时也是如此。

信息栏808可以显示包含链接模式指示符和偏移值的信息。链接模式指示符指示虚拟视图804是否以上述方式链接到细长装置的移动。例如，如图8A所示的模式或状态“锁定到路径”将指示链接模式是活动的，并且相应地虚拟视图804被链接到细长装置的移动。如果链接模式不是活动的，则可以从显示中省略链接模式或状态，或者可以在信息栏808中显示具有该效果的模式/状态指示符(例如，“未锁定到路径”)。下面进一步描述在信息栏808中显示的偏移值。

当链接模式是活动的同时，细长装置在患者解剖结构内移动时，并且实况摄像机视图802和虚拟视图804被相应地更新时，实况摄像机视图802和虚拟视图804可能彼此偏离。特别地，因为在链接模式处于活动状态时细长装置的移动可以被解释为沿着规划路径806的直线移动，所以细长装置偏离规划路径806的任何实际移动仍然促使虚拟视图804被更新，就好像该移动是沿着规划路径806一样，这可能导致实况摄像机视图802和虚拟图像804之间的偏差。由于偏差，实况摄像机视图802和虚拟视图804可能基本上不匹配。例如，图8B示出了在第二时间的实况摄像机视图802和虚拟视图804(例如，在操作者O已经将细长装置在患者解剖结构内从图8A所示的姿势移动了一定量之后，并且虚拟视图804基于细长装置的移动沿着规划路径806被更新)。虽然图8B中的实况摄像机视图802和虚拟视图804可能都示出相同的分支通路，但虚拟视图804中所示的分支通路看起来比实况摄像机视图802中所示的分支通路进一步向后。此外，虚拟视图804中所示的分支通路看起来相对于实况摄像机视图802中所示的分支通路被旋转。

在一些实施例中，控制系统112允许操作者O手动调整虚拟视图804以考虑偏差，使得虚拟视图8040可以基本上匹配实况摄像机视图802。手动调整可以包括虚拟视图804的平移(例如，推进、后退、向上或向下移动、或者向左或向右移动等)，以使虚拟视图804回到实况摄像机视图802，而不会对细长装置产生任何影响。平移可以是自由平移和/或沿着规划路径806的平移。例如，操作者O可以手动输入沿着规划路径806的增量(例如，逐毫米或另一增量单位)推进或后退，以使虚拟视图804平移地更接近实况摄像机视图802。作为另一示例，操作者O可以手动输入沿着任何平移自由度的增量(例如，逐毫米或另一增量单位)平移，以使虚拟视图804平移地更接近实况摄像机视图802。手动调整还可以包括虚拟视图804的手动旋转，而不会对细长装置产生任何影响。例如，操作者O可以激活旋转模式，在该模式中，操作者O可以使用控制装置(例如，轨迹球、鼠标、在其上显示虚拟视图804的触敏显示器)沿着任意旋转自由度手动旋转虚拟视图804，以旋转虚拟视图804以更精密地匹配实况摄像机视图802。手动调整可能不会影响链接状态；操作者O可以使用另一控制装置或控制模态继续移动细长装置。在一些实施例中，控制系统112还可以基于手动调整来更新当前配准。例如，操作者O可以命令控制系统112将实况摄像机视图802和/或细长装置的当前姿势映射到手动调整的虚拟视图804，并且控制系统112可以基于该映射来更新配准。下面参考图9描述与这些手动调整相关联的图形用户界面。

图8C示出了在第三时间的实况摄像机视图802和虚拟视图804，特别是在如图8B所示的对虚拟视图804的手动调整之后。如图8C中所示并且与图8B相比，虚拟视图804中的分支通路看起来更接近并且在平移上更好地匹配如实况摄像机视图802中所示的分支通路。此外，虚拟视图804已经被旋转以更好地匹配实况摄像机视图802。在对虚拟视图804进行手动调整之后，操作者O可以使用例如实况摄像机视图802继续推进细长装置，并且在虚拟视图804中显示的图像可以继续被锁定到规划路径806。随着细长装置的推进，虚拟视图804在未来的时间可能不适当地匹配实况摄像机视图802，并且操作者O可以再次手动旋转和/或平移虚拟视图804，以更精密地匹配实况摄像机视图802。

虽然图8A-图8C省略了导航指示符(例如，导航指示符506/606)和取向指引(例如，取向指引508/608)，但是在各种实施例中，导航指示符和取向指引可以与实况摄像机视图802和/或虚拟视图804以类似于上面参考图5-图6所描述的方式同步显示。此外，在链接模式中，可以基于细长装置的移动、沿着规划路径806的移动和/或对虚拟视图804的手动调整来更新导航指示符和/或取向指引。

返回到信息栏808，偏移值指示如实况摄像机视图802中所示的患者解剖结构中的方位与如虚拟视图804中所示的患者解剖结构的3D模型中的方位之间的差异。该差异可以指示实况摄像机视图802和虚拟视图804之间的不匹配程度。在一些实施例中，控制系统112可以通过将细长装置在患者解剖结构内的当前姿势和细长装置的当前姿势附近的患者解剖结构的部分与根据当前配准的患者解剖结构的3D模型进行比较，来确定偏移值和/或以其他方式确定实况摄像机视图802和虚拟视图804不匹配(例如，不匹配超过预定容差)。附加地或可替代地，控制系统112还可以通过确定处于当前姿势的细长装置与患者解剖结构中的靶位置之间的距离、确定规划路径806上的当前方位与患者解剖结构的3D模型中的靶位置之间的距离并且比较这两个确定的距离，来确定偏移值。偏移值可以被表示为指示细长装置的姿势与如虚拟视图804所示的患者解剖结构的3D模型中的当前方位之间的距离的距离值。例如，在图8A中，在信息栏808中显示0mm的偏移。在图8B中，在一些偏差之后，在信息栏808中显示20mm的偏移。在图8C中，在手动调整之后，在信息栏808中显示3mm的偏移。在PCT公布WO 2019/245818(公布于2019年12月26日)(公开了“Systems and MethodsRelated to Registration for Image Guided Surgery”)中描述了确定实况摄像机视图和虚拟视图之间的匹配或不匹配的示例，该PCT公布通过引用整体并入本文中。

附加的用户界面是可能的，其中除了虚拟视图804之外或代替虚拟视图，还提供了从患者解剖结构的3D模型生成的一个或多个其他视图以及3D模型和患者解剖结构之间的当前配准。图8D是根据一些实施例的具有实况摄像机视图、虚拟视图、树视图和导航视图的用户界面的简化图。尽管图8D示出了虚拟视图、树视图和导航视图，但是这些视图中的一个或多个可以从用户界面中省略。类似于图8A-图8C的用户界面，图8D包括实况摄像机视图802、虚拟视图804、规划路径806和信息栏808。图8D还包括树视图810和导航视图812的示例。当在导航模式中操作时，实况摄像机视图802、虚拟视图804、树视图810和导航视图812可以被显示为图形用户界面400的一部分。树视图810包括具有细长装置的描绘816的3D模型的渲染814，其中细长装置位于3D模型的患者解剖结构的通路内。树视图810进一步包括靶位置818，诸如细长装置将被导航到的通路内的靶位置。树视图810还包括规划路径820，规划路径820示出了细长装置可以用来通过其到达靶位置818的通路的路径。规划路径820对应于规划路径806的树视图版本。导航视图812描绘了沿着导航路径820的长度的各种解剖通路的宽度和分支关系，以及细长装置沿着导航路径820的进展。

图9是根据一些实施例的用于手动调整虚拟视图的图形用户界面的简化图。图形用户界面900可以被显示为图形用户界面400的一部分。图形用户界面900可以与实况摄像机视图802和/或虚拟视图804同步显示在显示系统110内的相同显示器或不同显示器上。附加地或可替代地，图形用户界面900可以被显示为例如弹出视图(例如，操作者O从菜单中弹出图形用户界面900)或切换视图来代替图形用户界面400中的任何其他视图(例如，操作者O从局部视图430切换到图形用户界面900)。

图形用户界面900包括与虚拟视图804的链接模式和/或手动调整相关联的一个或多个用户界面元素。如图所示，图形用户界面900包括链接状态切换按钮902，以切换关于细长装置和虚拟视图804的链接模式的状态。图形用户界面900还包括向上/向下箭头按钮904，用于输入在不影响细长装置的情况下沿着第一平移自由度或沿着规划路径806虚拟视图804的手动增量调整(例如，向前推进或向后后退)。例如，操作者O可以激活按钮904上的向上箭头以在不移动细长装置的情况下手动推进虚拟视图804，并且激活按钮902上的向下箭头以在不影响细长装置的情况下手动后退虚拟视图804。图形用户界面900还可以包括箭头按钮908，以用于沿着一个或多个附加平移自由度输入虚拟视图804的类似手动增量调整。例如，如图所示的箭头按钮908包括用于输入虚拟视图804的向上或向下调整的向上/向下箭头，以及用于输入虚拟视图的向左或向右调整的向左/向右箭头。

图形用户界面900可以进一步包括用于切换用于手动旋转虚拟视图804的旋转模式的旋转模式切换按钮906。当旋转模式是活动的时，操作者O可以使用控制装置手动旋转虚拟视图804，而不移动或旋转或以其他方式影响细长装置。

应当理解，图形用户界面900仅仅是一个示例。图形用户界面900可以包括比所示更多或更少的用户界面元素，可以被合并到图形用户界面400中或其中的另一视图中，和/或以此类推。

图10是根据一些实施例的用于为细长装置提供导航引导的方法步骤的流程图。尽管关于图1-图9的系统描述了所述方法步骤，但是本领域技术人员将理解，被配置为以任何顺序执行所述方法步骤的任何系统都落入各种实施例的范围内。在一些实施例中，方法1000的步骤1002-1008中的一个或多个可以至少部分地以存储在一个或多个非暂时性的、有形的、机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统112的一个或多个处理器)运行时将使一个或多个处理器执行步骤1002-1008中的一个或多个。

如图所示，方法1000开始于步骤1002，在步骤1002中控制系统112确定细长装置在与工作空间相关联的通路内的姿势。在一些实施例中，细长装置可以对应于器械104、细长装置202、导管和/或类似物。控制系统112可以确定细长装置在工作空间的通路内(例如，在患者P的患者解剖结构中的通路内)的当前姿势(例如，当前方位和/或取向)。控制系统112可以通过例如从传感器系统108获得数据来确定细长装置的姿势。

在步骤1004处，控制系统112基于细长装置在通路中的姿势来生成一个或多个导航指示符。控制系统112基于细长装置相对于通路和工作空间的当前姿势(例如，细长装置位于患者解剖结构相对于矢状平面的哪一半、细长装置相对于患者解剖结构的取向)来生成(或更新)导航指示符(例如，导航指示符506/606)并且可选地生成取向指引(例如，取向指引508/608)。

在步骤1006处，控制系统112基于细长装置的姿势来显示通路的图像。控制系统112在显示系统110上显示从细长装置远端上或其附近的摄像机、从细长装置的姿势捕获的实况摄像机视图(例如，实况摄像机视图502/602)，和/或与细长装置的姿势相关联并根据当前配准的虚拟视图(例如，虚拟视图504/604)。

在步骤1008处，控制系统112同步地显示通路的图像与导航指示符。控制系统112在实况摄像机视图和/或虚拟视图之上显示在步骤1004中生成和/或更新的导航指示符。除了实况摄像机视图和/或虚拟视图之外，控制系统112还可以同步显示在步骤1004中生成和/或更新的取向指引。方法1000然后可以返回到步骤1002以确定细长装置的新的当前姿势，并且继续通过方法1000来更新图像和/或导航指示符。

图11A-图11B是根据一些实施例的用于调整虚拟表示的方法步骤的流程图。尽管关于图1-图9的系统描述了方法步骤，但是本领域技术人员将理解，被配置为以任何顺序执行方法步骤的任何系统都落入各种实施例的范围内。在一些实施例中，方法1100的步骤1102-1120中的一个或多个可以至少部分地以存储在一个或多个非暂时性的、有形的、机器可读介质上的可执行代码的形式来实现，该可执行代码在由一个或多个处理器(例如，控制系统112的一个或多个处理器)运行时将使一个或多个处理器执行步骤1102-1120中的一个或多个。

如图所示，方法1100开始于步骤1102，其中控制系统112接收解剖模型到患者解剖结构的当前配准。在一个示例中，当前配准可以是3D模型到患者解剖结构的配准。配准可以在程序之前或程序期间生成和/或更新，并由控制系统112接收。

在步骤1104处，控制系统112接收与细长装置通过解剖模型相关联的规划路径。在一些实施例中，细长装置可以对应于器械104、细长装置202、导管和/或类似物。控制系统112可以接收保存的规划，该规划包括细长装置通过3D模型到一个或多个靶位置的规划路径(例如，规划路径610、806或820)。

在步骤1106处，控制系统112提供来自细长装置远端的患者解剖结构的第一图像和解剖模型的一个或多个视觉表示。控制系统112可以在显示系统110上显示在患者解剖结构中处于当前姿势的细长装置的远端的实况摄像机视图，以及根据在步骤1102中接收到的当前配准与细长装置的当前姿势相关联的一个或多个视图。控制系统112可以同步显示步骤1104中接收到的规划路径与虚拟视图。例如，控制系统112可以提供实况摄像机视图(例如，实况摄像机视图502、602或802)和一个或多个附加视图，诸如虚拟视图(例如虚拟视图504、604或804)、树视图(例如树视图810)和/或导航视图(例如导航视图812)，并将它们显示在显示系统110上。控制系统112可以进一步在显示系统110上在一个或多个附加视图中显示规划路径(例如，规划路径610、806或820)。

在步骤1108处，控制系统112可以接收在细长装置的移动和一个或多个视觉表示(例如，在步骤1106中提供的一个或多个视觉表示)之间切换链接模式的输入。在一些实施例中，对一个或多个附加视图(例如，虚拟视图804、树视图810和/或导航视图812)的更新可以被链接到细长装置的移动。控制系统112可以经由切换按钮902接收来自操作者O的切换输入。如果切换输入是去激活(切换关闭)链接模式的输入，则方法1100进行到步骤1114，在步骤1114中，控制系统112去激活该链接模式，这包括将对第一视觉表示的更新与细长装置通过患者解剖结构的移动解除链接。方法1100然后可以返回到步骤1106。当链接模式被去激活时，一个或多个视觉表示(例如，虚拟视图804、树视图810和/或导航视图812)是基于当前配准来提供的(例如，细长装置的当前姿势基于配准被映射到患者解剖结构的3D模型中的姿势，并且一个或多个视觉表示根据3D模型中的姿势来显示)。

如果切换输入是激活(切换接通)链接模式的输入，则方法1100进行到步骤1112，在步骤1112中，控制系统112将对一个或多个视觉表示的更新链接到细长装置通过患者解剖结构的移动。控制系统112可以将一个或多个视觉表示及其更新链接到细长装置通过患者解剖结构的移动，使得控制系统112不需要依赖于用于更新一个或多个视觉表示的配准。例如，当操作者O经由控制装置(例如，滚轮或轨迹球)上的输入插入或缩回细长装置时，控制系统112可以将虚拟视图804和/或细长装置沿着树视图810和/或导航视图812中的一个或多个中的规划路径的描绘方位更新达与控制装置输入相对应的量，而不是确定细长装置的当前姿势并基于配准将该姿势映射到3D模型。

在步骤1116处，基于细长装置的移动，控制系统112可以根据链接提供患者解剖结构的第二图像和解剖模型的一个或多个视觉表示。当链接模式处于活动状态时，操作者O可以经由控制装置(例如，滚轮或轨迹球)进行输入，以相对于患者解剖结构移动细长装置。基于细长装置经由控制装置的移动和活动的链接模式，控制系统112可以更新虚拟视图804、树视图810和/或导航视图812和实况摄像机视图802中的一个或多个。控制系统112可以用从细长装置捕获的新图像来更新实况摄像机视图802。控制系统112可以将虚拟视图804和/或细长装置沿着规划路径树视图810和/或导航视图812的方位的描绘中的一个或多个更新达与细长装置的移动相对应的沿着规划路径的量作为经由控制装置的输入。

在步骤1118处，控制系统112接收与对一个或多个视觉表示的调整对应的一个或多个第二输入。控制系统112可以从控制装置接收对应于操作者O对虚拟视图804的手动调整的一个或多个输入。手动调整可以包括虚拟视图804沿着一个或多个平移自由度的平移、沿着规划路径的推进或后退、和/或虚拟视图804沿着一个或多个旋转自由度的旋转。手动调整还可以包括沿着树视图810和/或导航视图812中的规划路径推进或后退细长装置的描绘。例如，操作者O可以与箭头按钮904和/或908交互以平移虚拟视图804，而不引起细长装置的移动。作为另一示例，操作者O可以与旋转模式切换按钮906交互以激活虚拟视图804的旋转模式，并且然后在旋转模式是活动时经由控制装置旋转虚拟视图804，而不引起细长装置的移动。在一些实施例中，控制系统112可以确定实况摄像机视图802已经偏离虚拟视图804(例如，实况摄像机视图802和虚拟视图804不匹配)。控制系统112可以确定偏移值以表示实况摄像机视图802和虚拟视图804之间的差异。控制系统112可以将该偏移值与虚拟视图804一起显示在信息栏808中，或者提供不匹配的任何其他指示。操作者O可以响应于偏移值或不匹配的指示或主动地进行手动调整输入(例如，控制系统112可能不确定偏移或不提供不匹配的指示，并且操作者O可以根据实况摄像机视图802和虚拟视图804的视觉检查来识别不匹配)。

在步骤1120处，基于第二输入，控制系统112调整一个或多个视觉表示。响应于手动调整输入，控制系统112调整一个或多个视觉表示，并显示调整后的一个或多个视觉表示。在一些实施例中，控制系统112还可以基于对虚拟视图804的手动调整来更新配准。例如，操作者O可以命令控制系统112将实况摄像机视图802和/或细长装置的当前姿势映射到手动调整的虚拟视图804，并且控制系统112将基于该映射来更新配准。在一些实施例中，从步骤1120开始，方法1100可以循环返回以再次执行方法1100的一个或多个步骤。例如，方法1100可以从步骤1120返回到步骤1116，以根据活动的链接模式基于细长装置的进一步移动来进一步更新虚拟视图804。作为另一示例，方法1100可以从步骤1120返回到步骤1108以确定链接模式是否已经被关闭。

如上所述，并在此进一步强调，图11A和图11B仅为示例，不应过度限制权利要求的范围。其他变型、替代方案和修改是可能的。在一些实施例中，对一个或多个视觉表示的一个或多个视觉特性进行一个或多个附加改变，以帮助用户确定用户界面中的一个或多个虚拟表示是使用链接模式(例如，基于细长装置的命令运动)生成的还是不使用链接模式生成的(例如，基于当前配准)。在一些示例中，对一个或多个视觉特性的一个或多个附加改变包括改变用户界面上的一个或多个标签以识别导航模式的类型，诸如使用如图8A-图8D所示的“锁定到路径”标签来指示当前导航模式是链接模式以及使用其他合适文本来指示导航模式何时不处于链接模式中。在一些示例中，虚拟视图804、树视图810和/或导航视图812中的元素(例如，边界、背景、解剖特征、规划路径和/或靶中的任何一个)的一种或多种颜色可以是不同的，这取决于一个或多个视觉表示是由过程1106(不在链接模式中)还是由过程1116和/或1120(在链接模式中)显示。例如，在过程1106期间可以使用第一颜色方案，并且在过程1116和/或1120期间(在链接模式中)可以使用具有与第一颜色方案不同的一种或多种颜色的第二颜色方案。在一些示例中，虚拟视图804、树视图810和/或导航视图812中的元素的网格、透明度、符号、图标和/或任何其他视觉特性中的一个或多个可以是不同的，这取决于一个或多个视觉表示是由过程1106还是由过程1116和/或1120显示。

总之，各种技术在图像引导的程序期间为细长装置提供导航辅助。在第一种技术中，计算系统确定细长装置(例如，器械，诸如导管)在工作空间(例如，患者解剖结构)中的通路内的姿势。计算系统基于细长装置的姿势生成一个或多个导航指示符(例如，解剖方向的指示符)。计算系统同步显示对应于与细长装置在通路内的姿势相关联的视图的图像和一个或多个导航指示符。导航指示符可以指示解剖方向、坐标系中的方向或罗盘方向。计算系统还可以显示取向指引，该取向指引从工作空间外部的视角提供指示细长装置的当前姿势的信息。在第二种技术中，当对虚拟视图的更新被链接到细长装置的移动时，计算系统可以接收用于基于输入手动调整虚拟视图的输入，而不影响细长装置。

所公开的技术相对于现有技术的至少一个优点和技术改进在于，利用所公开的技术，以相对于传统方法更清晰和更具信息性的方式向操作者提供用于细长装置的导航辅助。导航辅助可以与基于实况图像的引导和/或动态配准引导一起使用。相应地，细长装置的操作者可以更有效地在一个或多个通路内(例如，在患者体内)导航细长装置，同时降低了沿着不期望的路径导航和不期望的回溯的可能性。另一个优点和技术改进在于，当对细长装置的姿势的改变(例如，细长装置的移动)被链接到动态配准引导中沿着规划路径的移动时，可以调整规划路径上的虚拟视图以更好地匹配来自细长装置的实况视图，而不会导致细长装置的姿势改变。相应地，当虚拟视图与实况视图不匹配时，操作者可以在动态配准引导中手动调整虚拟视图。这些技术优点提供了相对于现有技术方法的一个或多个技术进步。

1.在一些实施例中，一种方法包括：确定细长装置在通路内的姿势，并且基于所述细长装置的姿势，在显示系统上显示所述通路的图像以及与包含所述通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

2.根据条款1所述的方法，其中所述细长装置包括导管。

3.根据条款1或条款2所述的方法，其中所述细长装置的姿势包括所述细长装置在所述工作空间内的方位以及所述细长装置相对于所述工作空间的取向。

4.根据条款1-3中任一项所述的方法，其中所述一个或多个导航指示符包括所述工作空间内相对于所述细长装置的远端的方向的指示符。

5.根据条款1-4中任一项所述的方法，其中所述工作空间内的方向包括前向方向、后向方向、外侧方向、内侧方向、上级方向或下级方向。

6.根据条款1-5中任一项所述的方法，其中所述工作空间内的方向包括沿着笛卡尔坐标系中的轴线的方向。

7.根据条款1-6中任一项所述的方法，其中所述工作空间内的方向包括基本方向。

8.根据条款1-7中任一项所述的方法，进一步包括在所述显示系统上显示取向指引，所述取向指引包括所述工作空间的三维(3D)表示和基于所述细长装置相对于所述工作空间的姿势的多个第二导航指示符。

9.根据条款1-8中任一项所述的方法，其中所述取向指引包括虚拟球体，并且所述工作空间的3D表示以所述虚拟球体为中心。

10.根据条款1-9中任一项所述的方法，其中所述取向指引包括沿着所述虚拟球体的虚拟表面的一条或多条赤道线。

11.根据条款1-10中任一项所述的方法，其中包括在所述一条或多条赤道线中的第一赤道线包括沿着所述第一赤道线以规则间隔放置的多个间隙。

12.根据条款1-11中任一项所述的方法，其中每条所述赤道线对应于解剖平面。

13.根据条款1-12中任一项所述的方法，其中所述取向指引进一步包括与所述取向指引相关联的坐标系中的一个或多个平面的一个或多个指示符。

14.根据条款1-13中任一项所述的方法，进一步包括基于所述细长装置相对于所述工作空间的方位来突出显示所述工作空间的所述3D表示的第一部分。

15.根据条款1-14中任一项所述的方法，进一步包括确定所述细长装置的姿势的改变，其中所述姿势的改变包括所述细长装置跨过平分所述工作空间的平面的方位的改变；并且基于所述细长装置的姿势的改变：突出显示3D表示的第二部分并且取消突出显示所述3D显示的第一部分。

16.根据条款1-15中任一项所述的方法，其中平分所述工作空间的平面包括所述工作空间的矢状平面，所述3D表示的第一部分对应于所述矢状平面的第一侧，并且所述3D表示的第二部分对应于所述矢状平面的与所述第一侧相对的相对侧。

17.根据条款1-16中任一项所述的方法，进一步包括基于所述细长装置的姿势的改变，切换包括在所述取向指引中的所述多个第二导航指示符中的第一个和第二个的方位。

18.根据条款1-17中任一项所述的方法，其中：所述取向指引中包括的所述多个第二导航指示符中的所述第一个包括内侧方向指示符，并且所述取向指引中包括的所述多个第二导航指示符中的所述第二个包括外侧方向指示符。

19.根据条款1-18中任一项所述的方法，进一步包括：确定所述细长装置的姿势的改变，其中所述姿势的改变包括所述细长装置跨过平分所述工作空间的平面的方位的改变；并且基于所述细长装置的姿势的改变，切换所述一个或多个导航指示符中的第一导航指示符和第二导航指示符的方位。

20.根据条款1-19中任一项所述的方法，其中所述一个或多个导航指示符中的所述第一导航指示符包括内侧方向指示符，并且所述一个或多个导航指示符中的所述第二导航指示符包括外侧方向指示符。

21.根据条款1-20中任一项所述的方法，其中所述工作空间包括患者的内部解剖结构。

22.根据条款1-21中任一项所述的方法，其中所述通路的所述图像包括所述通路的虚拟表示。

23.根据条款1-22中任一项所述的方法，其中所述通路的所述图像包括由与所述细长装置相关联的成像装置捕获的所述通路的图像。

24.根据条款1-23中任一项所述的方法，进一步包括：基于所述细长装置的姿势，在所述显示系统上显示通过所述通路的路径的虚拟表示；经由第一输入装置接收第一输入；响应于所述第一输入，使得与所述细长装置的移动对应的所述通路的第二图像被显示；经由第二输入装置接收第二输入；并且响应于所述第二输入，使得与沿着平移自由度或旋转自由度中的至少一个对所述第二图像的改变对应的所述通路的第三图像被显示。

25.在一些实施例中，一种方法包括：基于细长装置的姿势，在显示系统上显示通路的第一虚拟表示以及与所述细长装置相关联的路径的虚拟表示；经由第一控制装置接收第一输入；响应于所述第一输入，在所述细长装置正以链接模式被导航时，在所述显示系统上显示与沿着所述路径的所述虚拟表示的移动对应的所述通路的第二虚拟表示，其中沿着所述路径的所述虚拟表示的移动基于所述第一输入；经由第二控制装置接收第二输入；并且响应于所述第二输入，在所述显示系统上显示与沿着平移自由度或旋转自由度中的至少一个对所述第二虚拟表示的改变对应的所述通路的第三虚拟表示，其中对所述第二虚拟表示的所述改变基于所述第二输入。

26.根据条款25所述的方法，进一步包括响应于所述第一输入，引起所述细长装置的姿势的改变，并且响应于所述第二输入，维持所述细长装置的姿势。

27.根据第25条或第26条所述的方法，其中所述第二输入包括沿着第一平移自由度的所述第二虚拟表示的平移。

28.根据条款25-27中任一项所述的方法，其中所述第二输入包括所述第二虚拟表示沿着第一旋转自由度的旋转。

29.根据条款25-28中任一项所述的方法，进一步包括确定所述通路的实况图像与所述通路的所述第二虚拟表示之间的偏移。

30.根据条款25-29中任一项所述的方法，进一步包括基于所述细长装置的姿势的改变来更新所述通路的实况图像。

31.根据条款25-30中任一项所述的方法，进一步包括接收来自操作者的去激活所述链接模式的命令，并且响应于所述命令，在所述显示系统上显示与沿着所述路径的所述虚拟表示的移动对应的所述通路的第四虚拟表示，其中沿着所述路径的所述虚拟表示的所述移动基于所述细长装置与所述通路的模型之间的配准。

32.根据条款25-31中任一项所述的方法，其中所述第三虚拟表示中描绘的第一元件的一个或多个第一视觉特性不同于所述第四虚拟表示中描绘的所述第一元件的一个或多个对应的第二视觉特性。

33.根据条款25-32中任一项所述的方法，其中一个或多个第一视觉特性包括所描绘的第一元件的第一颜色，并且所述一个或多个第二视觉特性包括所述第一元件的第二颜色，所述第二颜色不同于所述第一颜色。

34.根据条款25-33中任一项所述的方法，其中所述一个或多个第一视觉特性包括用于所述第一元件的网格、透明度、符号或图标中的一个或多个。

35.根据条款25-34中任一项所述的方法，其中所述第一元件是所述路径、所述通路、靶、边界或背景。

36.根据条款25-35中任一项所述的方法，进一步包括显示指示所述链接模式是激活还是去激活的标签。

37.在一些实施例中，一种或多种非暂时性机器可读介质包括多个机器可读指令，所述多个机器读取指令在由一个或多个处理器执行时适于使所述一个或多个处理器执行条款1-36中任一项所述的方法。在任何权利要求中所述的任何权利要求元素和/或在本申请中所描述的任何元素的任何和所有组合以任何方式落入本公开和保护的预期范围内。

已经出于说明的目的给出了对各种实施例的描述，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。

本实施例的各方面可以实施为系统、方法或计算机程序产品。相应地，本公开的各方面可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或者结合软件和硬件方面的实施例的形式，所述软件和硬件方面通常都可以在本文中称为“模块”或“系统”或“计算机”。此外，本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统都可以实现为电路或电路集合。此外，本公开的各方面可以采用在一种或多种计算机可读介质中体现的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。

可以使用一种或多种计算机可读介质的任何组合。计算机可读介质可以为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置，或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下介质：具有一条或多条导线的电连接，便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或任何上述的适当组合。在本文件的上下文中，计算机可读存储介质可以为任何有形介质，其可以包含或存储程序以供指令执行系统、设备或装置使用或与其结合使用。

以上参考根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图描述了本公开的各方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器。当通过计算机的处理器或其他可编程数据处理设备执行时，所述指令使得能够实现在流程图和/或框图的一个或多个框中指定的功能/动作。这些处理器可以为但不限于通用处理器、专用处理器、特定应用处理器或现场可编程门阵列。

附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还需指出，在一些替代实现方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个框实际上可以基本上同步执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还需指出，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由执行特定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。

虽然前述内容针对本公开的实施例，但是可以在不脱离本公开的基本范围的情况下设计本公开的其他和进一步的实施例，并且本公开的范围由所附权利要求确定。

Claims (55)

1.一种系统，包括：

细长装置；

显示系统；

一个或多个处理器；以及

存储指令的存储器，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

确定所述细长装置在通路内的姿势；并且

基于所述细长装置的所述姿势，在所述显示系统上显示：

所述通路的图像，以及

与包含所述通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

2.根据权利要求1所述的系统，其所述细长装置包括导管。

3.根据权利要求1所述的系统，其中所述细长装置的所述姿势包括所述细长装置在所述工作空间内的方位以及所述细长装置相对于所述工作空间的取向。

4.根据权利要求1所述的系统，其中所述一个或多个导航指示符包括相对于所述细长装置的远端在所述工作空间内的方向的指示符。

5.根据权利要求4所述的系统，其中所述工作空间内的所述方向包括前向方向、后向方向、外侧方向、内侧方向、上级方向或下级方向。

6.根据权利要求4所述的系统，其中所述工作空间内的所述方向包括沿着笛卡尔坐标系中的轴线的方向。

7.根据权利要求4所述的系统，其中所述工作空间内的所述方向包括基本方向。

8.根据权利要求1所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器在所述显示系统上显示取向指引，所述取向指引包括：

所述工作空间的三维表示即3D表示；以及

基于所述细长装置相对于所述工作空间的所述姿势的多个第二导航指示符。

9.根据权利要求8所述的系统，其中所述取向指引包括虚拟球体，并且所述工作空间的所述3D表示以所述虚拟球体为中心。

10.根据权利要求9所述的系统，其中所述取向指引包括沿着所述虚拟球体的虚拟表面的一条或多条赤道线。

11.根据权利要求10所述的系统，其中包括在所述一条或多条赤道线中的第一赤道线包括沿所述第一赤道线以规则间隔放置的多个间隙。

12.根据权利要求10所述的系统，其中所述赤道线中的每条对应于解剖平面。

13.根据权利要求8所述的系统，其中所述取向指引进一步包括与所述取向指引相关联的坐标系中的一个或多个平面的一个或多个指示符。

14.根据权利要求8所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器基于所述细长装置相对于所述工作空间的方位来突出显示所述工作空间的所述3D表示的第一部分。

15.根据权利要求14所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

确定所述细长装置的所述姿势的改变，其中所述姿势的所述改变包括所述细长装置跨过平分所述工作空间的平面的方位的改变；并且

基于所述细长装置的所述姿势的所述改变：

突出显示所述3D表示的第二部分，并且

取消突出显示所述3D表示的所述第一部分。

16.根据权利要求15所述的系统，其中：

平分所述工作空间的所述平面包括所述工作空间的矢状平面，

所述3D表示的所述第一部分对应于所述矢状平面的第一侧，以及

所述3D表示的所述第二部分对应于所述矢状平面的与所述第一侧相对的一侧。

17.根据权利要求15所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器基于所述细长装置的所述姿势的所述改变来切换包括在所述取向指引中的所述多个第二导航指示符中的第一导航指示符和第二导航指示符的方位。

18.根据权利要求17所述的系统，其中：

所述取向指引中包括的所述多个第二导航指示符中的所述第一导航指示符包括内侧方向指示符，以及

所述取向指引中包括的所述多个第二导航指示符中的所述第二导航指示符包括外侧方向指示符。

19.根据权利要求1所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

确定所述细长装置的所述姿势的改变，其中所述姿势的所述改变包括所述细长装置跨过平分所述工作空间的平面的方位的改变；并且

基于所述细长装置的所述姿势的所述改变，切换所述一个或多个导航指示符中的第一导航指示符和第二导航指示符的方位。

20.根据权利要求19所述的系统，其中：

所述一个或多个导航指示符中的所述第一导航指示符包括内侧方向指示符，以及

所述一个或多个导航指示符中的所述第二导航指示符包括外侧方向指示符。

21.根据权利要求1至20中任一项所述的系统，其中所述工作空间包括患者的内部解剖结构。

22.根据权利要求1至20中任一项所述的系统，其中所述通路的所述图像包括所述通路的虚拟表示。

23.根据权利要求1至20中任一项所述的系统，其中所述通路的所述图像包括由与所述细长装置相关联的成像装置捕获的所述通路的图像。

24.根据权利要求1至20中任一项所述的系统，进一步包括：

第一输入装置，以及

第二输入装置；并且

其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

基于所述细长装置的所述姿势，在所述显示系统上显示通过所述通路的路径的虚拟表示；

经由所述第一输入装置接收第一输入；

响应于所述第一输入，显示与所述细长装置的移动对应的所述通路的第二图像；

经由所述第二输入装置接收第二输入；并且

响应于所述第二输入，显示与沿着平移自由度或旋转自由度中的至少一个对所述第二图像的改变对应的所述通路的第三图像。

25.一种设备，包括：

一个或多个处理器；以及

存储指令的存储器，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

确定细长装置在通路内的姿势；并且

基于所述细长装置的所述姿势，使得在显示系统上显示：

所述通路的图像，以及

与包含所述通路的工作空间内的一个或多个方向相关联的一个或多个导航指示符，其中所述一个或多个导航指示符被显示在所述通路的所述图像之上。

26.根据权利要求25所述的设备，其中所述细长装置包括导管。

27.根据权利要求25所述的设备，其中所述细长装置的所述姿势包括所述细长装置在所述工作空间内的方位以及所述细长装置相对于所述工作空间的取向。

28.根据权利要求25所述的设备，其中所述一个或多个导航指示符包括相对于所述细长装置的远端在所述工作空间内的方向的指示符。

29.根据权利要求28所述的设备，其中所述工作空间内的所述方向包括前向方向、后向方向、外侧方向、内侧方向、上级方向、下级方向、笛卡尔坐标系中的轴线或基本方向。

30.根据权利要求25所述的设备，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器在所述显示系统上显示取向指引，所述取向指引包括：

所述工作空间的三维表示即3D表示；以及

基于所述细长装置相对于所述工作空间的所述姿势的多个第二导航指示符。

31.根据权利要求30所述的设备，其中所述取向指引包括虚拟球体，并且所述工作空间的所述3D表示以所述虚拟球体为中心。

32.根据权利要求31所述的设备，其中所述取向指引包括沿着所述虚拟球体的虚拟表面的一条或多条赤道线。

33.根据权利要求32所述的设备，其中每条所述赤道线对应于解剖平面。

34.根据权利要求30所述的设备，其中所述取向指引进一步包括与所述取向指引相关联的坐标系中的一个或多个平面的一个或多个指示符。

35.根据权利要求30所述的设备，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器基于所述细长装置相对于所述工作空间的方位来突出显示所述工作空间的所述3D表示的第一部分。

36.根据权利要求35所述的设备，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

确定所述细长装置的所述姿势的改变，其中所述姿势的所述改变包括所述细长装置跨过平分所述工作空间的平面的方位的改变；并且

基于所述细长装置的所述姿势的所述改变：

突出显示所述3D表示的第二部分，并且

取消突出显示所述3D表示的所述第一部分。

37.根据权利要求36所述的设备，其中：

平分所述工作空间的所述平面包括所述工作空间的矢状平面，

所述3D表示的所述第一部分对应于所述矢状平面的第一侧，以及

所述3D表示的所述第二部分对应于所述矢状平面的与所述第一侧相对的一侧。

38.根据权利要求36所述的设备，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器基于所述细长装置的所述姿势的所述改变来切换包括在所述取向指引中的所述多个第二导航指示符中的第一导航指示符和第二导航指示符的方位。

39.根据权利要求38所述的设备，其中：

所述取向指引中包括的所述多个第二导航指示符中的所述第一导航指示符包括内侧方向指示符，以及

所述取向指引中包括的所述多个第二导航指示符中的所述第二导航指示符包括外侧方向指示符。

40.根据权利要求25至39中任一项所述的设备，其中所述工作空间包括患者的内部解剖结构。

41.根据权利要求25至39中任一项所述的设备，其中所述通路的所述图像包括所述通路的虚拟表示。

42.根据权利要求25至39中任一项所述的设备，其中所述通路的所述图像包括由与所述细长装置相关联的成像装置捕获的所述通路的图像。

43.根据权利要求25至39中任一项所述的设备，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

在所述显示系统上显示基于所述细长装置的所述姿势的通过所述通路的路径的虚拟表示；

经由第一输入装置接收第一输入；

响应于所述第一输入，显示与所述细长装置的移动对应的所述通路的第二图像；

经由第二输入装置接收第二输入；并且

响应于所述第二输入，显示与沿着平移自由度或旋转自由度中的至少一个对所述第二图像的改变对应的所述通路的第三图像。

44.一种系统，包括：

一个或多个处理器；以及

存储指令的存储器，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

使得在显示系统上显示：

基于细长装置的姿势的通路的第一虚拟表示，以及

与所述细长装置相关联的路径的虚拟表示；

经由第一控制装置接收第一输入；

响应于所述第一输入，在所述细长装置正以链接模式被导航时，使得在所述显示系统上显示：

与沿着所述路径的所述虚拟表示的移动对应的所述通路的第二虚拟表示，其中沿着所述路径的所述虚拟表示的所述移动基于所述第一输入；

经由第二控制装置接收第二输入；并且

响应于所述第二输入，使得在所述显示系统上显示：

与沿着平移自由度或旋转自由度中的至少一个对所述第二虚拟表示的改变对应的所述通路的第三虚拟表示，其中对所述第二虚拟表示的所述改变基于所述第二输入。

45.根据权利要求44所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

响应于所述第一输入，引起所述细长装置的所述姿势的改变；并且

响应于所述第二输入，维持所述细长装置的所述姿势。

46.根据权利要求44所述的系统，其中所述第二输入包括所述第二虚拟表示沿第一平移自由度的平移。

47.根据权利要求44所述的系统，其中所述第二输入包括所述第二虚拟表示沿第一旋转自由度的旋转。

48.根据权利要求44至47中任一项所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器确定所述通路的实况图像与所述通路的所述第二虚拟表示之间的偏移。

49.根据权利要求44至47中任一项所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器基于所述细长装置的所述姿势的改变来更新所述通路的实况图像。

50.根据权利要求44至47中任一项所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器：

从操作者接收去激活所述链接模式的命令；并且

响应于所述命令，使得在所述显示系统上显示与沿着所述路径的所述虚拟表示的移动对应的所述通路的第四虚拟表示，其中沿着所述路径的所述虚拟表示的所述移动基于所述细长装置与所述通路的模型之间的配准。

51.根据权利要求50所述的系统，其中所述第三虚拟表示中描绘的第一元件的一个或多个第一视觉特性不同于所述第四虚拟表示中描绘的所述第一元件的一个或多个对应的第二视觉特性。

52.根据权利要求51所述的系统，其中一个或多个第一视觉特性包括所描绘的所述第一元件的第一颜色，并且所述一个或多个第二视觉特性包括所述第一元件的第二颜色，所述第二颜色不同于所述第一颜色。

53.根据权利要求51所述的系统，其中所述一个或多个第一视觉特性包括用于所述第一元件的网格、透明度、符号或图标中的一个或多个。

54.根据权利要求51所述的系统，其中所述第一元件是所述路径、所述通路、靶、边界或背景。

55.根据权利要求50所述的系统，其中所述存储器存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器显示指示所述链接模式是被激活还是去激活的标签。