CN119548255A - 指导医疗系统的手动移动的方法 - Google Patents

Abstract

本发明涉及指导医疗系统的手动移动的方法。一种计算机辅助医疗系统包括可由操作员穿戴的用户设备。所述用户设备包括被配置为呈现叠加在操纵器组件的环境中的图像的显示设备，以及被配置为检测所述环境中的一个或多个界标的传感器。所述医疗系统包括被配置为执行指令以执行操作的控制器。所述操作包括从所述传感器接收所述环境中的所述一个或多个界标的位置或取向信息，以及通过致使所述显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的图像来引导所述操纵器组件的一部分的手动移动。

Description

指导医疗系统的手动移动的方法

本申请是于2019年02月04日提交的名称为“指导医疗系统的手动移动的方法”的中国专利申请2019800045484(PCT/US2019/016549)的分案申请。

相关申请的交叉引用

本申请要求2018年3月13日提交的美国临时申请序列号62/642,299的优先权，该申请的全部内容以引用方式并入本文。

技术领域

本说明书涉及指导(guide)医疗系统的手动移动的方法。

背景技术

机器人设备的系统可以用于在工作现场处执行任务。例如，机器人系统可以包括机器人操纵器以操纵用于执行任务的器械。机器人操纵器可以包括通过一个或多个接头耦接在一起的两个或更多个连杆。接头可以是被主动控制的主动接头。接头也可以是在主动接头被主动控制时遵循主动接头的移动的被动接头。此类主动接头和被动接头可以是旋转接头或棱柱接头。然后，可以通过接头的位置和取向、机器人操纵器的结构以及连杆的耦接来确定机器人操纵器的配置。

机器人系统包括工业和娱乐机器人系统。机器人系统还包括在诊断、非外科手术治疗、外科手术治疗等的规程中使用的医疗机器人系统。作为特定示例，机器人系统包括微创的机器人远程外科手术系统，其中外科医生可以从床边或远程位置对患者进行手术。远程外科手术通常是指使用外科手术系统来执行的外科手术，其中外科医生使用某种形式的远程控制(例如，伺服机构)来操纵外科手术器械的移动，而不是直接用手保持和移动器械。可用于远程外科手术或其他远程医疗规程的机器人医疗系统可以包括远程可控机器人操纵器。操作员可以远程控制远程可控机器人操纵器的运动。操作员还可以将机器人医疗系统的工件手动移动到其环境内的位置或取向中。

发明内容

在一个方面，计算机辅助医疗系统包括可由操作员穿戴的用户设备。所述用户设备包括被配置为呈现叠加(overlaid)在操纵器组件的环境中的图像的显示设备，以及被配置为检测所述环境中的一个或多个界标(landmark)的传感器。所述医疗系统包括被配置为执行指令以执行操作的控制器。所述操作包括从所述传感器接收所述环境中的所述一个或多个界标的位置或取向信息，以及通过致使所述显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的所述图像来引导所述操纵器组件的一部分的手动移动。

在另一个方面，特征在于一种设置包括操纵器组件的计算机辅助医疗系统的方法。所述方法包括从所述计算机辅助医疗系统的用户设备的传感器接收环境中的一个或多个界标的位置或取向信息。所述方法还包括通过致使所述用户设备的显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的图像来引导所述操纵器组件的一部分的手动移动。

前述优点可包括但不限于以下和本文其他地方描述的那些。本文描述的系统和方法可以改善环境中的对象的手动移动的准确性和精确度。穿戴用户设备的操作员可以轻松看到相对于对象的实际位置、取向和配置的对象的推荐位置、取向和配置，因为图像直接叠加在环境上。

本文描述的系统和方法还可以改善工作流效率和安全性。用户设备可以呈现图像以指导操作员要执行的任务，而无需将操作员的注意力从环境中移开。操作员可以查看环境并与环境互动，同时查看由用户设备呈现的图像所提供的指导。在其中存在用于多个操作员的多个用户设备的实施方式中，操作员可以容易地彼此协作以使环境和所述环境中的对象准备好进行要对工件执行的规程。例如，操作员可以与用户设备交互以协作地更新在用户设备上呈现的信息，使得信息被有效地传播到每个操作员。此外，操作员可以跟踪其他操作员正在执行的任务的进度，由此可以使工作流程更有效率。

本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，其他潜在的特征、方面和优点将变得显而易见。

附图说明

图1A是包括机器人设备的医疗环境的顶视图，其中描绘了通过用户设备呈现给操作员的环境中的图像。

图1B是图1A的环境的隔离部分的透视图。

图2是操纵器组件的示例的透视图。

图3是穿戴用户设备的操作员的前视图。

图4是机器人系统的框图。

图5A是引导操纵器组件的一部分的手动移动的过程的示例的流程图。

图5B是引导操纵器组件的一部分的手动移动的过程的另一个示例的流程图。

图6是描绘控制器的输入和输出的图示，该控制器执行引导操纵器组件的一部分的手动移动的过程。

图7A是具有机器人设备和操作员的外科手术环境的另一个示例的透视图。

图7B是外科手术环境的透视图，包括通过用户设备呈现给操作员的环境中的图像的描绘。

具体实施方式

尽管本文描述的一些示例涉及外科手术规程或工具或医疗规程和医疗工具，但所公开的技术适用于医疗和非医疗规程以及医疗和非医疗工具。例如，本文描述的工具、系统和方法可以用于非医疗目的，包括工业用途、通用机器人用途以及感测或操纵非组织工件。其他示例性应用包括美容改善、人类或动物解剖结构的成像、从人类或动物解剖结构收集数据、建立或拆卸系统以及训练医疗人员或非医疗人员。附加的示例性应用包括对于从人类或动物解剖结构移除的组织使用的规程(不返回人类或动物解剖结构)，以及对于人类或动物尸体执行规程。另外，这些技术还可以用于包括或不包括外科手术方面的医疗治疗或诊断规程。

示例性系统

从图1A所示的医疗示例开始，环境10中的计算机辅助医疗系统100包括具有机器人操纵器103的机器人操纵器组件102。可以操作医疗系统100以对工件执行规程，例如，对患者104执行医疗规程。一个或多个操作员(例如，外科医生、外科手术助手、护士、技术人员和其他执业医生中的一个或多个)可以操作医疗系统100或医疗系统100的部分以执行外科手术。

可以建立操纵器组件102的配置以准备对患者104执行医疗规程。可以相对于患者104手动地移动(例如，重新定位或重新定向)操纵器组件102或操纵器组件102的部分，使得操纵器组件102的操纵器103可以用于对患者104执行医疗规程。在一些示例中，操纵器组件102具有推荐配置，例如，由医疗系统100的控制器基于数据(诸如预设置、来自传感器或用户的输入数据等)推荐。操作员106将操纵器组件102手动地移动到推荐配置中。操纵器组件102的推荐配置可以由操纵器组件102的单独部件的位置和取向限定。在一些示例中，可以在地板表面20上手动地平移操纵器组件102的整体以相对于患者104重新定位操纵器103。在另外的示例中，可以手动地重新定向操纵器组件102以相对于患者104重新定向操纵器103。在另外的示例中，在环境10中平移或重新定向操纵器103或操纵器103的一部分。如本文所述，操作员106的用户设备108可以通过呈现叠加在环境10中的图像来引导操纵器组件102、操纵器103、操纵器组件102的一部分或操纵器103的一部分的手动移动。

为了控制用户设备108，控制器122(图4所示)接收与环境10中的一个或多个界标相关的信息以定位由操作员106穿戴的用户设备108(例如，使用同时定位和映射(SLAM)技术)。界标可以对应于环境10中的任何物理对象，诸如操作台105、患者104、环境10中的另一个操纵器、环境10中的其他装置、环境10中的墙壁表面上的特征、环境10中的地板表面上的特征或可用于(如本文所述)在环境10中定位用户设备108的其他独特特征。然后，控制器122控制用户设备108将图像呈现给配备有用户设备108的操作员106。可能以一定方式呈现图像，使得对于配备有用户设备108的操作员106，图像看起来基于接收信息而叠加在环境10中。该叠加信息用于引导由操作员106促进的手动移动，以将操纵器103或操纵器103的一部分移动到建议的位置或取向。

图1A和图1B描绘了叠加在环境10中的图像的示例。控制器122致使用户设备108的显示设备124(图3所示)呈现与环境10中的地板表面20叠加的图像。

显示设备124呈现指示沿着地板表面20的路径150的图像。例如，图像包括路径150的表示，对于穿戴用户设备108的操作员106，该路径与环境10、地板表面20或环境10的其他部分叠加。路径150指示推荐路径，应当沿着该推荐路径手动地移动操纵器组件102以到达其推荐位置。可以基于各种形式的输入数据(例如，包括关于图6描述的输入数据600)来确定推荐位置和推荐路径。在一些示例中，当操纵器组件102处于推荐位置时，操纵器103可以容易地接近患者104。在使用图像来指导操纵器组件102整体的重新定位的情况下，路径150指示操纵器组件102的当前位置152和操纵器组件102的推荐位置154。路径150指导从操纵器组件102的当前位置152朝向操纵器组件102的推荐位置154的重新定位。操作员106沿路径150将操纵器组件102整体从当前位置152手动移动到推荐位置154。

在一些实施方式中，除了指示当前位置152和推荐位置154之外，路径150还指示沿地板表面20的多个路径点156。选择用于操纵器组件102的这些推荐路径点156，使得当沿路径150手动移动操纵器组件102时，操纵器组件102不会接触环境10中的其他对象。在一个示例中，障碍(例如，椅子158)在操纵器组件102和患者104之间定位在环境10中。选择路径点156以使得远离椅子158操纵操纵器组件102。在一些实施方式中，由用户设备108呈现的图像包括指示符160，即椅子158靠近路径150。该指示符160向操作员106通知操纵器组件102在沿着路径150移动时可能与其碰撞的潜在障碍。图1B描绘了四个路径点156，但在其他实施方式中可以存在更少或更多的路径点。

如图1B所示，图像包括指示操纵器组件102的期望位置和不期望位置的地图(map)162。地图162可以叠加在地板表面20和环境10上，使得配备有用户设备108的操作员106可以轻松地看到操纵器组件102的期望位置在环境10中所处的地点。地图162的区域164指示期望位置，而地图162的区域166指示不期望位置。区域164靠近患者104和操作台105定位，并且由控制器122选择以包括被确定为可由操纵器组件102容易接近的位置。区域166对应于操纵器组件102不期望的位置。在一些实施方式中，区域166指示在患者104和操作台105附近但是不期望的位置，而不是指示操纵器组件102的所有不期望位置，因为例如操纵器103将离患者104和操作台105太远或者将在操纵器103可能在规程期间与其碰撞的障碍附近。

在一些实施方式中，为了产生包括区域164、166的图像，控制器122确定操纵器组件102的每个潜在位置的期望度值。然后，控制器122将具有高于预定阈值的期望度值的位置指定为期望位置(例如，对应于区域164中的位置)，以及将具有小于或等于预定阈值的期望度值的位置指定为不期望位置(例如，对应于区域166中的位置)。在一些示例中，地图162是指示每个潜在位置的期望度值的热地图，而不是示出两个离散区域。地图162可以包括期望度值的颜色代码表示。如果地图162是热地图，则地图162可以指示两个以上的区域，每个区域指示期望度值的不同预定范围。可以基于各种形式的输入数据(例如，包括相对于图6描述的输入数据600)来生成期望位置、不期望位置、路径点156、指示符160、地图162、区域164和区域166。

图2描绘了可在地板表面20上移动的操纵器组件102的示例(图1A和图1B所示)。除了包括操纵器103之外，操纵器组件102还包括将操纵器103支撑在地板表面20上方的支撑结构110。支撑结构110可相对于地板表面20平移和定向。例如，支撑结构110包括轮112(例如，脚轮)，其使得操作员106(图1A和图1B所示)能够相对于患者104(图1A和图1B所示)手动地重新定位或重新定向支撑结构110。支撑结构110连接到操纵器103，并且在地板表面20上方的高度处支撑操纵器103。在指导相对于图1A和图1B描述的操纵器组件102的一部分的手动移动的示例性过程中，操纵器组件102的针对其引导移动的部分可以对应于支撑结构110。具体地，操作员106可以通过手动移动支撑结构110来手动地重新定位操纵器组件102的整体。在其他示例中，部分可以对应于操纵器103或操纵器组件102的另一个部分。

可以通过其他机构手动调整操纵器103的位置或取向。在一个示例中，操纵器103的在地板表面20上方的高度是可调整的。操纵器103可以相对于支撑结构110竖直地移动。在另一个示例中，操纵器103可以相对于支撑结构110重新定向。支撑结构110可以包括操纵器103可围绕其旋转的一个或多个被动接头。在图2所示的示例中，支撑结构110可以包括将操纵器103连接到支撑结构110的柱109的被动设置臂107。被动设置臂107包括可手动重新定位和重新定向的一系列被动连杆和接头。被动设置臂107可以相对于柱109竖直地平移，由此相对于支撑结构110的柱109竖直地重新定位操纵器103。

操纵器103的基部111连接到支撑结构110，例如连接到支撑结构110的被动设置臂107。操纵器103包括一个或多个接头和一个或多个连杆，其可操作以移动被配置为保持器械116的器械保持器114。操纵器103的一个或多个连杆从操纵器103的基部111向远侧延伸。例如，操纵器103包括接头118和连杆120，并且接头118中的一个或多个是可由控制器122(图4所示)控制的动力接头。在一些实施方式中，接头118中的一个或多个是被动接头。通过驱动接头118，可以相对于患者104或环境10(图1所示)重新定位具有器械116的器械保持器114。在准备规程时，可以将操纵器103的基部111重新定位到期望位置，使得可以实现操纵器103的连杆120和接头118的期望运动范围。就这一点而言，在本文所述的某些示例中，控制器122(图4所示)可以致使用户设备108(图1所示)呈现图像以引导操纵器103、连杆120、接头118、基部111或操纵器103的另一个部分的手动移动。

图3示出了由操作员106穿戴的用户设备108的示例。用户设备108包括显示设备124和传感器126。显示设备124向操作员106呈现图像。例如，在图3所示的示例中，用户设备108是可穿戴的头戴式显示设备，其可穿戴在操作员106的眼睛上方。显示设备124包括呈现图像的透视显示器。当用户设备108被穿戴在操作员106的眼睛上方时，图像中的至少一些可以叠加在环境10中。图像中的至少一些可以是透明的，使得当叠加在环境10的一部分上时，图像的该部分和环境10的部分对于操作员106都是可见的。在一些实施方式中，叠加在环境10的一部分上的图像中的至少一些可以是不透明的，使得环境10的该部分对于操作员106是不可见的，而图像的该部分对于操作员106是可见的。显示设备124的视图框在操作员106的眼睛前方，使得由显示设备124呈现的图像看起来叠加在环境10的由操作员106看到的部分上。因此，操作员106同时看到环境10以及呈现在显示设备124上的任何叠加图像。

传感器126被配置为检测环境10中的一个或多个界标，以生成指示环境10中的一个或多个界标的位置和/或取向的信息。传感器126可以响应于检测到环境中的一个或多个界标而生成一个或多个信号，并且可以例如由控制器122处理和分析一个或多个信号以生成指示一个或多个界标的位置和/或取向的信息。在一些示例中，传感器126包括图像捕获设备，该图像捕获设备捕获环境10的图像，包括环境10中的任何界标。使用SLAM技术，位置和取向信息可以用于相对于环境10和环境10内的其他特征来定位用户设备108并从而定位显示设备124，使得由显示设备124呈现的图像可能以对穿戴用户设备108的操作员106有意义的方式进行叠加。具体地，从操作员106的角度来看，图像看起来叠加在环境10的部分上，使得操作员106可以容易地使用图像作为用于与环境10进行交互的指导。

图4示出了可用于指导操纵器组件102的手动移动的医疗系统100的示例图。医疗系统100包括用户设备108、操纵器组件102和控制器122。控制器122包括一个或多个计算机处理器。在一些实施方式中，控制器122对应于操纵器组件102、用户设备108和医疗系统100的其他系统的处理器的组合。控制器122引导医疗系统100的各种系统的操作。

在一些实施方式中，医疗系统100还包括用户控制系统132(也在图1A中示出)。用户控制系统132包括用户输入系统和用户输出系统。用户控制系统132的用户输入系统可由操作员128中的一个操作以控制操纵器组件102的移动。在一些情况下，用户设备从操作员106接收用户命令以移动远程操作式操纵器103。在一些情况下，用户输入系统是可手动操作的，使得用户输入系统的手动操作导致操纵器组件102的对应移动。用户输入系统可以包括具有脚趾控件和脚跟控件中的一者或两者的脚踏板、一个或多个操纵杆或其他可手动操作用户输入设备中的一个或多个。在一些情况下，用户输入系统包括可检测用户运动的图像捕获设备或其他传感器。用户输入系统基于所检测的用户运动生成控制信号以控制操纵器组件102的移动。用户控制系统132的用户输出系统将工作现场的图像提供给操作用户控制系统132的操作员。

在医疗系统100包括用户控制系统132的情况下，由控制器122提供的对操纵器组件102的手动移动的指导可以包括用于操作用户控制系统132的用户输入系统以移动操纵器组件102的指导。例如，如果用户输入系统包括用户输入设备，则操作员106手动操作用户输入设备以手动移动操纵器组件102。替代地，如果用户输入系统包括图像捕获设备或检测操作员动作的另一个传感器，则控制器122操作用户设备108以便呈现指导操作员以致使操纵器组件102或其一部分移动的某种方式移动的图像。

医疗系统100包括可检测环境10的特征的传感器系统137，该传感器系统包括用户设备108的传感器126。由传感器系统137产生的数据可以与SLAM技术一起使用以在环境10内定位用户设备108。利用由传感器系统137提供的数据，可以确定用户设备108相对于环境10的姿势(例如，用户设备108的位置和取向)。

传感器系统137为从传感器系统137所生成的信号中提取的一个或多个界标产生位置或取向信息。界标是由传感器系统137生成的独特信号或一组信号，该独特信号或一组信号可以与可由传感器系统137在传感器系统137检测到环境10内的不同特征时生成的其他信号区分开。例如，在传感器系统137包括用户设备108的传感器126并且传感器126是图像捕获设备的情况下，界标可以对应于环境10中的通常不会相对于环境10改变位置或取向的独特视觉特征，诸如操作台105、环境10中的其他装置、房间的拐角或另一个独特视觉特征。当传感器126观察到这种视觉特征时，控制器122从传感器126接收的信息指示界标相对于传感器126的取向或位置，从而使得控制器122能够使用SLAM技术来确定传感器126以及因此用户设备108相对于环境10的位置或取向。

传感器系统137可以包括除用户设备108的传感器126之外的一个或多个传感器。例如，医疗系统100包括运动学传感器138、患者传感器140、器械传感器142、障碍传感器144或图像捕获设备146中的一个或多个。由传感器系统137的传感器产生的输出数据可以由控制器122用来在环境10中定位用户设备108。在一些实施方式中，输出数据可以用于通过用户设备108向操作员106提供其他信息。在本文所述的一些示例中，输出数据用于确定操纵器组件102的推荐配置，并且因此用于生成用于指导操纵器组件102朝向推荐配置的手动移动的图像。在其他示例中，输出数据用于提供与医疗系统100的某个子系统、环境10中的某个操作员、患者104或环境10中的另一个对象的状态相关的信息。

运动学传感器138可以是操纵器组件102的运动学传感器。例如，运动学传感器138可以检测操纵器103的接头118或连杆120的姿势。在一些情况下，运动学传感器138被配置为检测器械保持器114的姿势，使得可以确定器械116的位置和取向。运动学传感器138可以是加速度计、陀螺仪、编码器、扭矩传感器、力传感器或可检测操纵器103的接头118或连杆120中的一者的运动的其他类型的传感器。在一些示例中，操纵器组件102包括单个运动学传感器，然而在其他实施方式中，操纵器组件102包括两个或更多个运动学传感器。

患者传感器140被配置为检测患者104的特性(图1所示)。例如，患者传感器140可以是检测患者104何时例如相对于环境10或相对于患者104位于其上的操作台105(图1所示)移动的患者运动传感器。在一些情况下，患者传感器140包括检测患者104是否位于操作台105上的图像捕获设备或光学传感器(例如，安装在环境10中或安装到操纵器103)。在一些情况下，患者传感器140包括检测患者104的移动的附接到患者104的加速度计或其他运动传感器。在其他情况下，患者传感器140检测患者104的另一个物理特性(诸如患者104的体重或大小、患者104的血压、患者104的心率)，而不是检测患者104的运动或位置。

器械传感器142被配置为检测安装到器械保持器114的器械116的特性。例如，器械传感器142是在器械保持器114上的检测器械是否已经安装到器械保持器114的传感器。在一些实施方式中，器械传感器142检测安装到器械保持器114的器械116的类型。例如，器械传感器142可以是操纵器组件102的检测器械116的EEPROM中指示的身份的传感器。在一些实施方式中，器械传感器142检测器械116的运动。例如，器械传感器142包括加速度计、陀螺仪、力传感器、扭矩传感器或安装到器械116或器械保持器114以检测器械116的运动的其他类型的传感器。

障碍传感器144被配置为检测环境10中的障碍。在一些情况下，障碍传感器144是光学或声学接近传感器，其检测障碍何时位于操纵器组件102附近。例如，障碍传感器144被安装到操纵器组件102并且能够检测障碍何时在操纵器组件102的预定距离内。在一些实施方式中，障碍传感器144是安装在环境10中并且被配置为检测障碍何时在操纵器组件102的附近内移动的图像捕获设备。障碍可以包括对象，诸如医疗系统100的其他装置、环境10内的其他装置、环境10中的人或环境10中的其他对象。障碍传感器144可以包括接触传感器、接近传感器、光学渡越时间传感器以及适合于检测与障碍的接触或障碍的距离的其他传感器。

图像捕获设备146可以对应于相对于本文描述的其他传感器中的一个(例如，用户设备130的传感器136、运动学传感器138、患者传感器140、器械传感器142、障碍传感器144或另一个传感器中的一个)描述的图像捕获设备中的一个。图像捕获设备146位于环境10内以捕获环境10的图像。在一些情况下，用户设备130中的一个包括图像捕获设备146。在其他情况下，图像捕获设备146固定在环境10的一部分(例如，墙壁、天花板或环境10中的其他夹具)中。图像捕获设备146可以是光学传感器(例如，相机或声学传感器)。

示例性过程

图5A描绘了用于指导操纵器组件102(图1A和图1B所示)的一部分的手动移动的过程500A。如本文所述，操纵器组件102的部分可以对应于操纵器组件102的支撑结构110。过程500A可以由本文描述的控制器122执行。在操作502A处，控制器122接收环境中的一个或多个界标的位置或取向信息。例如，控制器122从一个或多个传感器(诸如相对于传感器系统137或相对于用户设备108的传感器126描述的那些)接收该信息。

在操作504A处，控制器122引导操纵器组件102的部分的手动移动。控制器122致使由操作员106穿戴的用户设备108的显示设备124(相对于图1A、图1B和图3描述)基于在操作502A处接收到的位置或取向信息来呈现叠加在环境10中的图像。可以呈现图像以指导操作员106朝向推荐配置手动移动操纵器组件102的部分，该推荐配置基于在操作502A处接收到的位置或取向信息来确定。还可以呈现图像，使得基于在操作502A处接收的位置或取向信息相对于环境10定位或定向图像。在一些示例中，图像指示操纵器组件102的部分的推荐移动路径，例如，如相对于图1A和图1B所描述的。如本文所述，其他示例是可能的。

图5B描绘了用于更新向操作员106呈现的图像的另一个过程500B。在一些情况下，在执行过程500A的操作502A以使得图像已经通过用户设备108(图1A所示)呈现给操作员106之后，执行过程500B。在过程500B中，在操作502B处，控制器122接收环境中的一个或多个界标(例如，在操作502A处接收到其信息的环境中的一个或多个界标)的更新的位置或取向信息。该更新的位置或取向信息可以指示操作员106以及因此用户设备108相对于一个或多个界标的移动。

在操作504B处，控制器122基于更新的位置或取向信息来更新所呈现的图像。例如，如果用户设备108已经相对于一个或多个界标移动，则可以更新所呈现的图像，使得即使用户设备108已经移动，仍维持图像相对于一个或多个界标的位置或取向。就这一点而言，如果图像的一部分叠加在环境中的对象上，则在用户设备相对于对象移动时更新所呈现的图像，使得图像的该部分保持叠加在对象上。

替代或附加的实施方式

已经描述了许多实施方式。然而，应当理解，可以对本文描述的过程、系统和机构进行各种修改。

相对于医疗示例描述了本文描述的一些实施方式。在其他实施方式中，医疗系统100是用于对患者104执行外科手术规程的外科手术系统。本文公开的技术也适用于非外科手术用途。例如，它们可以与通用或工业机器人操作一起使用并改善这些操作(诸如用于操纵工件的那些)。这些技术还可以与用于诊断和非外科手术治疗的医疗机器人操作一起使用并改善这些操作。

在本公开中提出的特定示例可以适用于远程操作式机器人系统和远程可控臂。本文公开的技术还适用于部分或全部由操作员直接和手动移动的机器人系统。例如，这些技术可以应用于被设计成在由操作员的手操纵器械时帮助稳定由操纵器103保持的器械的机器人系统。作为另一个示例，本文讨论的任何可控操纵器可以被配置为允许直接操纵，并且通过直接施加到操纵器的连杆或接头的输入来接受操作员指令。技术还适用于部分或全部自动移动的机器人系统。

操作员可以通过直接在对象上施加力(例如，使用手、脚或其他身体部位以直接在对象上施加力)来手动移动对象(例如，操纵器组件102的部分或全部)。操作员可以手动地推动对象以重新定位或重新定向对象。在其他示例中，操作员可以通过与致使对象移动的用户输入设备进行交互来手动移动对象。例如，如果要手动移动的对象是操纵器组件102，则支撑结构110的轮112例如可以是可由用户输入设备控制的动力轮。就这一点而言，由用户设备108引导的操纵器组件102的手动移动可以对应于响应于与操纵器组件102分开的用户输入设备的手动操纵而生成的手动移动。

尽管在以上示例中将设置臂107描述为被动，但在其他实施方式中，设置臂107是主动可控设置臂。例如，可以响应于本文描述的用户输入系统的操作来移动设置臂。在一些实施方式中，可以通过操纵器103的动力接头的操作来反向驱动设置臂。例如，操纵器103的远侧部分可以被固定，并且动力接头可以被操作以反向驱动设置臂，由此重新定位或重新定向安装臂。

支撑结构110被描述为包括轮112。在一些实施方式中，支撑结构110以使得支撑结构110能够在环境10中容易移动的方式安装在环境10中，而不是包括轮。例如，支撑结构110可以直接安装到操作台105，直接安装到环境10的墙壁，或直接安装到环境10的天花板。

在一些实施方式中，用户设备108由操作员106穿戴在操作员106的眼睛上方。用户设备108可以是头戴式用户设备，并且用户设备108的显示设备124可以是透视显示器，如相对于图2所描述的。在其他实施方式中，显示设备124可以是基本上不透光的不透明显示设备，而不是透视显示设备。用户设备108是虚拟现实设备。为了允许操作员106查看环境10，用户设备108的传感器126可以捕获环境10的图像，并且显示设备124可以呈现环境10的图像。在一些情况下，控制器122可以生成环境10的图像，其中一个或多个指示符叠加在图像上以指导操纵器组件102的手动移动。

尽管用户设备108被描述为具有透视显示器的头戴式设备，但用户设备可以在其他实施方式中变化。在其他实施方式中，用户设备108可以由操作员106以其他方式携带。用户设备可以是移动计算设备，诸如平板计算机、智能手表或智能手机。例如，用户设备108可以是穿戴在操作员106的手腕上的智能手表。移动计算设备是操作员106可容易地在环境10周围用手携带的手持式计算设备。使用增强现实过程，可以将呈现在移动计算设备的显示设备上的图像叠加在环境10的图像上。就这一点而言，在操作504A、504B处，不是将图像直接叠加在环境10上方，而是将用于指导操纵器组件102的手动移动的图像叠加在环境10的图像上。可以由移动计算设备的图像捕获设备或医疗系统100的另一个部分的图像捕获设备捕获环境10的图像。

尽管相对于图1A和图1B描述了单个用户设备108，但在其他实施方式中，具有多个用户设备的多个操作员可以存在于环境10中。环境10包括任何数量的操作员。返回参考图4，每个操作员具有对应的用户设备130-1、130-2、……、130-n(统称为用户设备130)。在一些实施方式中，每个用户设备130包括对应的显示设备。多个用户设备130可以各自包括对应的显示设备134-1、134-2、……、134-n(统称为显示设备134)。在一些实施方式中，用户设备130还包括对应的传感器136-1、136-2、……、136-n(统称为传感器136)。每个传感器136可以类似于相对于图3描述的传感器126。例如，一个或多个传感器136可以包括图像捕获设备。在其他实施方式中，传感器136可以包括加速度计、运动传感器、陀螺仪或另一种类型的传感器中的任何一个。在其中存在多个用户设备130的实施方式中，传感器系统137可以包括多个用户设备130的传感器136中的任何一个。就这一点而言，控制器122可以接收由传感器136产生的数据并且将该数据用于本文描述的过程。例如，如果一个用户设备130包括对应传感器136，则来自传感器136的输出可以用于提供可用于定位另一个用户设备130的信息，确定操纵器103的推荐配置，或者执行本文所述的其他操作。

在图1A所示的示例中，环境10包括四个操作员128-1(即操作员106)、128-2、128-3、128-4(统称为操作员128)。操作员128中的一个或多个可以携带用户设备。例如，在一些实施方式中，环境10中的操作员128的仅一部分携带用户设备。在图1的示例中，操作员128-1、128-2、128-3各自携带对应的用户设备130-1、130-2、130-3。操作员128-4操作用户控制系统132。用户设备130-1、130-2、130-3中的一个或多个可以包括对应传感器。在一些情况下，用户设备130-1、130-2、130-3中的每一个包括对应传感器，然而在其他情况下，用户设备130-1、130-2、130-3中的一个或两个包括对应传感器。类似地，在一些情况下，用户设备130-1、130-2、130-3中的每一个包括对应显示设备，然而在其他情况下，用户设备130-1、130-2、130-3中的一个或两个包括对应显示设备。

在一些实施方式中，在用户设备130中的一个上呈现的图像可以对应于由其他用户设备130中的一个捕捉的图像。例如，在医疗系统100包括由操作员128-1携带的用户设备130-1和由操作员128-2携带的第二用户设备130-2的实施方式中，在操作504A、504B(图5A和图5B所示)中，呈现在用户设备130-1上的图像可以对应于由用户设备130-2的传感器136-2(在图4中示意性地示出)捕获的图像。如果用户设备130-2是头戴式设备，则用户设备130-2的传感器136-2可以捕获由操作员128-2看到的环境10的一部分的图像。例如，传感器136-2可以捕获在操作员128-2前面的装置台168的图像。就这一点而言，用户设备130-1的显示设备134-1(在图4中示意性地示出)可以呈现在装置台168上准备装置的操作员128-2的图像。在一些实施方式中，操作员128-1可以操作用户设备130-1以致使显示设备134-1呈现由操作员128-2的用户设备130-2捕获的图像。这允许操作员128-1容易地确定操作员128-2的状态或由操作员128-2执行的任务的状态。

在一些情况下，显示设备134-1可以呈现指示操作员128-2的状态或由操作员128-2执行的任务的状态的指示符。例如，指示符可以指示操作员128-2正在移动装置的特定工件，正在准备器械以供使用，或者正在执行某个其他操作以准备要对工件执行的规程。尽管用户设备130-1被描述为呈现由用户设备130-2的传感器136-2(在图4中示意性地示出)捕获的图像，但在其他实施方式中，用户设备130-2的显示设备134-2(在图4中示意性地示出)也可以或替代地呈现由用户设备130-1的传感器136-1捕获的图像。此外，在一些实施方式中，显示设备134-2可以呈现指示操作员128-1的状态或由操作员128-1执行的任务的状态的指示符。

在一个示例中，如图1所示，操作员128-1正在移动操纵器组件102，并且操作员128-2正在准备用于在对患者104进行规程期间使用的器械。在此类情况下，如果用户设备130-1和用户设备130-2都包括对应的传感器和显示设备。可以操作用户设备130-1的显示设备134-1以呈现指示操作员128-2正在执行的装置准备的状态的指示符，并且可以操作用户设备130-2的显示设备134-2以呈现指示由操作员128-1执行的手动移动操作的状态的指示符。

在一些实施方式中，不是所有的用户设备130都包括对应传感器或对应显示设备。例如，用户设备130-1包括传感器136-1和显示设备134-1，并且用户设备130-2包括传感器136-2但是不包括显示设备。在此类情况下，基于由传感器136-1生成的数据和由传感器136-2生成的数据来生成在显示设备134-1上呈现的图像。在其他示例中，用户设备130-1包括传感器136-1和显示设备134-1，并且用户设备130-2包括显示设备134-2但不包括传感器。在此类情况下，可以基于由传感器系统137的传感器而不是用户设备130-2上的传感器收集的数据来生成由显示设备134-2呈现的图像。

在一些实施方式中，如果用户设备130-1和用户设备130-2都包括显示设备，则由用户设备130-1呈现的图像和用户设备130-2的图像可以彼此相似。由用户设备130-1呈现的图像和用户设备130-2的图像都可以叠加在环境10上。在一些情况下，因为用户设备130-1、130-2的定位和取向彼此不同，所以由用户设备130-1呈现的图像的视角可能与由用户设备130-2呈现的图像的视角不同。由用户设备130-1呈现的图像和由用户设备130-2呈现的图像可以相对于单个全局参考系定位和定向。用户设备130-1和用户设备130-2都可以呈现指示操纵器组件102应沿着其移动的路径150的图像。在由用户设备130-1呈现的图像和由用户设备130-2呈现的图像两者中，路径150的表示被叠加在环境10的相同部分上，例如地板表面20的相同部分上。

在一些实施方式中，操作用户设备130-1以指导操纵器组件102的手动移动，并且操作另一个用户设备以指导医疗系统100的另一个部分的手动移动。例如，由操作员128-3携带的用户设备130-3可以引导辅助系统170(图1A所示)的手动移动。在一些实施方式中，辅助系统170是提供视觉或图像处理能力以呈现例如患者104的内部解剖结构的图像的系统。用户设备130-3可以呈现引导环境10中的辅助系统170的手动移动的图像。本文描述了可指导其手动移动的部分的其他示例。在用户设备130-3上呈现的图像可以类似于相对于用户设备108描述的用于指导操纵器组件102的手动移动的图像。

在用户设备130-1和用户设备130-2都包括传感器的实施方式中，用户设备130-1、130-2的传感器136-1、136-2都可以检测环境10中用于定位用户设备130-1、130-2的界标。例如，当用户设备130-1在环境10内到处移动时，可以从传感器136-1所产生的数据中提取第一界标。当用户设备130-2在环境10内到处移动时，可以从传感器136-2所产生的数据中提取第二界标。所提取的第一界标可对应于的环境10中的物理特征与对应于第二界标的物理特征不同。例如，如果传感器136-1、136-2是图像捕获设备，则第一界标可以对应于由传感器136-1捕获的表示用户控制系统132的图像的部分，并且第二界标可以对应于由传感器136-2捕获的表示操作台105的图像的部分。在其他实施方式中，从传感器136-1、136-2的数据中提取的界标可以对应于环境10中的相同物理特征。尽管描述了第一界标和第二界标，但在其他实施方式中，用户设备130-1、130-2的传感器136-1、136-2中的每个可以收集从中提取多个界标的数据。

在操作502A和操作502B中，接收位置或取向信息，使得控制器122可以生成或更新图像以在手动移动操纵器103时为操作员提供指导。位置或取向信息的参考系可以在不同的实施方式中变化。在控制器122确定用户设备108的姿势的实施方式中，用户设备108的位置或取向信息的参考系可以与一个或多个界标的位置或取向信息的参考系相同。在其他实施方式中，界标的位置或取向信息的参考系与用户设备108的位置或取向信息的参考系不同。

在一些实施方式中，除了位置或取向信息之外的其他信息也可以用于生成或更新图像。例如，控制器122接收与环境10中的除了一个或多个界标之外的对象相关的其他上下文信息。图6示出了可由控制器122使用以生成或更新在用户设备108上呈现的图像的上下文信息的示例。上下文信息可以包括装置信息、操作员信息、障碍信息和患者信息。例如，控制器122使用输入数据600来产生输出602，例如用于致使用户设备108呈现图像以指导操纵器组件102或其一部分的手动移动的信号。输入数据600包括加载到与控制器122相关联的存储器中的数据、用户指定的数据、由传感器系统137生成的数据等。例如，输入数据600包括规程数据600a、装置数据600b、姿势数据600c、操作员数据600d、障碍数据600e、工件数据600f和端口数据600g。

数据600a、600b、600c、600e、600f、600g表示可由控制器122使用以控制医疗系统100以及生成在用户设备108上的呈现图像的数据的一些示例。控制器122可以适当地使用其他类型和内容的数据来控制医疗系统100或控制在用户设备108上呈现的图像。此外，尽管被描述为输入数据600，但在一些实现中，输入数据600的一些数据是根据输入数据600的其他数据生成的。此外，尽管相对于生成用于引导操纵器组件102的一部分的手动移动的图像描述了操作502A、502B，但输入数据600可以用于生成图像以向操作员106提供其他信息，如本文所述。

规程数据600a包括指示要执行的特定规程的数据。例如，在医疗示例中，规程数据600a包括指示要对患者执行的医疗规程的数据。在一些实施方式中，操作员在控制器122引导操纵器组件102的手动移动之前选择规程的类型。然后，控制器122基于将由操纵器组件102的操纵器103执行的医疗规程的类型来生成在用户设备108上呈现的图像。

规程数据600a可以指工作空间的特定要求，诸如器械116应当能够接近的工作空间周围的区域。在一个示例中，规程的类型可以指示特定的工作空间要求。规程的特定类型可能需要工作空间的预定范围。在医疗或外科手术的示例中，由于要对患者104执行的特定医疗或外科手术规程，工作空间可以对应于器械116在外科手术期间应当能够接近的患者104周围的区域。

在另一个示例中，当操作员在执行手动移动之前选择工作空间的范围时，生成规程数据600a。操作员可能以任何数量的方式选择工作空间的范围。例如，操作员可以通过在用户接口设备上呈现的工作空间的表示上突出显示或追踪表示该工作空间的期望范围的区域来输入数据。操作员可以指示工作空间的期望范围的边界。

作为另一个示例，工作空间的期望范围可以由操纵器103(例如，操纵器103的远侧部分)的现有操作员引导的运动来指示。操作员可以移动操纵器103(在保持或不保持器械的情况下)以指示所期望的工作空间，或者通过移动器械116的替代物以指示所期望的工作空间。器械116的示例性替代物包括表示可在规程期间使用的普通器械的设备、复制器械116的近侧部分但不复制整个轴和端部执行器的设备、投射与可在规程期间使用的器械的远端相关联的位置的视觉指示的设备等。图像捕获设备或其他传感器可以检测操纵器103的移动。如果用户接口设备对应于用户设备108，则用户设备108的传感器126可以检测操纵器103的移动。在一些实施方式中，当操作员移动操纵器103时，控制器122可以基于与操纵器103的接头118相关联的传感器所生成的信号来确定运动范围极限。

关于操纵器组件102或医疗系统100的期望设置配置的信息可以至少部分地从这种演示中得出。例如，操纵器103或器械116的接头的期望运动范围，以及因此操纵器103的期望位置或取向可以至少部分地从这种演示中得出。例如，传感器系统137的姿势传感器可以提供指示操纵器103的配置、器械116的配置或在期望工作空间的手动演示期间可检测的其他系统特性的数据。传感器系统137因此可以提供关于操纵器103或器械116的接头的期望运动范围的信息或期望运动包络的信息。控制器122或其他计算系统然后可以处理该传感器信息以确定操作员演示的工作空间的范围。

在一些实施方式中，规程数据600a可以包括指示操纵器组件102或医疗系统100的期望或推荐的设置配置的计划。例如，计划可以指示环境10中的对象的位置或取向。计划可以替代地或附加地指示环境10中的控制器122将指示其手动移动的一个或多个对象(诸如操纵器103)的期望或推荐位置。替代地或附加地，计划可以指示环境10中的一个或多个对象(诸如用于规程的装置)的已知位置。一个或多个对象可以包括环境10中的装置、界标、障碍或其他对象。例如，计划对应于在控制器122引导操纵器103的手动移动之前产生的图。操作员可以通过与环境10的图形表示进行交互来产生图。在医疗示例中，操作员106可以指示操作台、患者、医疗装置或在医疗规程期间将在环境10中的另一个对象的位置。操作员可以使用用户输入设备(例如，鼠标、键盘或其他适当用户输入设备)来指示位置。可以通过用户设备108的显示设备124来呈现图形表示。在其他实施方式中，操作员用来产生计划的计算设备独立于在规程期间穿戴的用户设备108。

在一些实施方式中，规程数据600a包括用于设置先前规程(例如，与本规程类似的规程)的存储计划。例如，在先前规程期间，存储用于设置医疗系统或操纵器组件的计划以用于为另一个规程设置另一个医疗系统或操纵器组件。

在一个示例中，在任何操作员位于环境10中之前建立计划。当操作员106开始医疗规程的准备过程时，例如将医疗系统100或操纵器组件102置于设置配置中时，用户设备108可以呈现计划的表示。操作员106可以与用户设备108交互以将改变输入到计划中，例如，更新环境10中的对象的位置。在用户设备108可以检测手势的示例中，如本文所述，操作员106可以执行手势以更新计划。

装置数据600b包括指示在规程期间要使用的装置的规格的数据。装置数据600b可以包括为操纵器组件102的每个接头118指定运动范围的数据。运动范围可以是结构或机械限制。在一些示例中，基于接头118的初始位置(和/或取向)以及操纵器103的接头118的运动范围来估计器械116的初始运动包络。控制器122确定接头118在运动范围内的推荐位置或取向，其将使得器械116能够实现器械116的推荐运动包络。控制器122可以驱动接头118中的一个或多个动力接头，使得接头118朝向推荐位置(或取向)移动并且器械116能够移动通过建议的运动范围。

装置数据600b还可以包括与安装到操纵器103的器械116的类型相关的信息。该信息可以例如由器械传感器142(相对于图4描述)产生。例如，器械116的类型可以影响工作空间的范围和执行操作所需的扭矩量。器械116的类型可以由操作员手动输入。在一些示例中，器械116可以包括指示器械116的类型的可检测标签。

姿势数据600c包括指示医疗系统100的部分的姿势的数据。姿势数据600c包括在操作502A和502B处接收的位置和取向信息。在一些实施方式中，姿势数据600c还包括操纵器组件102或操纵器组件102的部分(诸如接头118、连杆120、器械保持器114或操纵器组件102的其他部件)的位置或取向信息。

姿势数据600c可以指示医疗系统的部分的目标位置或取向或实际位置或取向。在一个示例中，姿势数据600c可以包括指示操纵器103的实际配置的信息。在此类情况下，姿势数据600c可以包括操纵器103的接头和/或连杆中的每一个的初始姿势。替代地，姿势数据600c可以包括指示在操纵器103的指导的手动移动期间的操纵器103的实际配置的信息。接头和连杆的姿势或操纵器103的配置可以由传感器系统137的传感器检测。

在另一个示例中，姿势数据600c可以包括指示操纵器103的目标配置的信息。可以基于本文所述的其他数据和信息来确定操纵器103的目标配置，或者在一些情况下，操作员可以选择操纵器103的目标配置。在一些情况下，可以在相对于规程数据600a描述的预定计划上指示操纵器103的目标配置。

操作员数据600d包括与操作员相关的数据。在医疗示例中，操作员数据600d包括与进行规程的医疗团队(例如，操作员128)相关的数据。例如，操作员数据600d包括与能力、装置布局的偏好、经验水平、技能水平以及其他操作员特定属性相关的信息。在一些实施方式中，操作员数据600d包括与医疗团队上的操作员的特定角色相关的信息。例如，操作员数据600d可以包括指示哪些操作员被配备为执行需要无菌处理的任务(例如，处理要放置在患者104中的医疗装置)的信息。在一些示例中，在规程之前为每个操作员创建操作员简档。另选地或另外地为特定团队创建团队简档。

障碍数据600e包括指示环境10中的患者和障碍相对于操纵器组件102的姿势(例如，位置或取向的一个或多个参数)的数据。在一些示例中，障碍数据600e可以包括由操作员输入的环境10的地图。该地图可以包括环境10内的潜在障碍的位置，诸如装置的其他工件(例如，医疗系统100)。该地图可以类似于作为规程数据600a的一部分生成的地图。

障碍数据600e替代地或附加地包括来自传感器系统137的障碍传感器的数据。在规程之前或者在操纵器103在规程期间在环境10内到处移动时，障碍传感器144可以生成指示环境10内的障碍的位置、取向或姿势的信号。

尽管椅子158被描述为操纵器组件102可能与之碰撞的潜在障碍的一个示例，但其他示例是可能的。在一些实施方式中，潜在障碍包括操作台105、辅助系统170、另一个操纵器组件、人类操作员、用户控制系统132或环境10中的其他夹具。

在一些医疗环境中，工件数据600f包括患者数据并且包括指示患者特定特性的数据。此类患者数据可以包括指示患者身体习性和患者几何形状的数据。在一些示例中，操作员输入指示患者习性和患者几何形状的数据。在一些情况下，成像设备可以产生可由控制器122(或在规程之前或规程期间由计算系统)分析以确定患者习性和患者几何形状的图像。成像设备可以包括器械116的部分。在一些示例中，工件数据600f还可以包括指示患者相对于操纵器103的姿势和/或操作台105相对于操纵器103的姿势的数据。工件数据600f可以包括术前图像，诸如x射线图像、x射线计算断层摄影图像、磁共振成像扫描等。在一些情况下，工件数据600f包括术中图像或表面扫描。工件数据600f的一部分可以由患者传感器140产生。

端口数据600g包括指示进入(access)端口的特性的数据。在医疗实施方式中，进入端口对应于通过患者104的体壁插入的设备，医疗系统100的一部分可以通过该设备插入以进入患者104的解剖结构。进入端口例如提供导管，通过该导管插入器械116以进入患者104的解剖结构。在一个示例中，端口数据600g可以指示进入端口的推荐位置或取向。可以在相对于规程数据600a描述的预定计划上指示进入端口的推荐位置或取向。在一些实施方式中，当耦接到操纵器103的套管被对接时，当操作员指示准备好重新定位基部111时，当器械116被安装时等，进入端口的推荐位置或取向基于操纵器103的姿势。在一些医疗实施方式中，通过患者的进入端口插入部件(诸如器械116)，并且控制器122可以基于来自操纵器103上的传感器的信号来确定进入端口的位置和取向。

在另一个示例中，端口数据600g可以指示进入端口的实际位置或取向。可以由传感器系统137的传感器检测进入端口的实际位置或取向。例如，用户设备108的传感器126可以检测进入端口的位置或定向。控制器122可以基于进入端口的推荐或实际的位置或取向来引导操纵器103的手动移动，使得可以容易地将由操纵器103的器械保持器114保持的器械插入进入端口中。

如相对于规程数据600a所描述的，操作员106可以在控制器122引导操纵器组件102的手动移动之前指定规程数据600a或规程数据600a的部分。并且，如相对于规程数据600a和障碍数据600e所描述的，操作员106可以指定环境10中的对象的位置。在一些实施方式中，操作员106可以指定其他类型的输入数据600。例如，在一些实施方式中，操作员106可以通过指定将在规程期间使用的装置的类型来指定装置数据600b。操作员106还可以指定装置的规格。在另一个示例中，操作员106可以指定将参与规程的操作员的特性，并且因此指定操作员数据600d。

对于由操作员106指定的输入数据600的部分，操作员106可以与计算设备(例如，个人计算机、平板计算设备、移动电话、用户设备108或其他计算设备)进行交互以指定数据。在一些实施方式中，操作员106通过执行可由用户设备108的传感器126检测的手势来提供用户输入。例如，传感器126被定位成检测操作员106的移动，并且控制器122可以响应于检测的移动而引导操纵器103的手动移动。控制器122可以被配置为检测致使控制器122执行对应操作的预定义操作员手势。

在一些示例中，在用户设备108上呈现的图像包括一个或多个指示符，例如，指示对象的潜在位置，指示用于移动操纵器103的指导，指示警告或警报，或指示与操作员106相关的其他信息。响应于由操作员106执行的手势，可以更新图像中的指示符，例如，将其重新定位在图像中，从图像中清除，调整为提供附加细节，或以某种其他方式进行调整。控制器122可以响应于手势靠近或指向指示符而更新图像。

在一个示例中，当操作员106执行从用户设备108的观看框的一侧到另一侧的宽轻扫动作时，控制器122致使用户设备108停止呈现图像。

在另一个示例中，用户设备108可以呈现指示操纵器组件102的移动的推荐路径150的路径点156的图像。操作员106可以执行指向路径点156中的一个的手势。例如，操作员106可以将手朝向路径点延伸并且使手沿用于手动移动路径点的方向移动。具体地，响应于手势，用户设备108更新图像，使得路径点沿由操作员106的手势指示的方向重新定位。在一些示例中，如相对于图1A和图1B所述，图像可以包括操纵器组件102的目标位置的指示符。操作员106执行手势以致使操纵器组件102的目标位置重新定位在新目标位置处，而不是致使路径点重新定位。

在另一示例中，操作员106可以执行手势以重新布置环境10中的对象的图形表示，如相对于规程数据600a描述的。如果通过用户设备108上的透视显示器来呈现环境10的图形表示，则透视显示器可以呈现包括在医疗规程期间将位于环境10中的对象的表示的图像。由操作员106执行的手势可以指示在规程期间的对象的位置。用户设备108更新图像以指示对象的位置。在一些情况下，在图像中指示对象的位置，由操作员106执行的手势可以致使用户设备108更新图像以指示对象的新位置。在一些示例中，对象对应于在规程期间要使用的装置。图像包括装置的各种工件的图形表示，诸如Mayo支架、配件推车、医疗成像系统或可在规程期间使用的其他装置。出于术前计划的目的，操作员106执行手势以创建指示装置的各种工件的位置的计划，并且如本文所述，控制器122基于这些手势来更新图像。控制器122可以基于该计划进一步引导操纵器103的手动移动。

在一些实施方式中，用户设备108呈现图像以引导操纵器103的手动移动，并且操作员106执行手势以指示将放置在环境10中的装置的工件的位置。基于该指示的位置，控制器122可以更新图像，使得由图像提供的指导考虑了要放置在环境10中的装置的工件。

尽管操作员106可以提供控制器122用来控制通过用户设备108呈现的图像的用户输入，但在本文描述的一些实施方式中，传感器系统137的传感器产生由控制器122用来呈现图像的输入数据600的部分。例如，如相对于姿势数据600c描述的，传感器系统137的传感器可以检测医疗系统100的部分的位置和取向。在一些实施方式中，控制器122可以从用户设备108的传感器126和传感器系统137的另一个传感器两者接收信息。由其他传感器提供的信息还可以指示由用户设备108的传感器126检测的一个或多个界标的位置或取向。替代地或附加地，信息可以是操纵器103的运动学信息或医疗系统100的另一个部分的运动学信息。控制器122可以基于该接收的运动学信息致使用户设备108呈现叠加在环境中的图像。

在一个示例中，其他传感器是环境10中的另一个操作员所穿戴的另一个用户设备的传感器。例如，其他传感器是由一个操作员128穿戴的一个用户设备130的传感器。在另一个示例中，其他传感器是安装到环境10的传感器，诸如安装到壁表面、地板表面或环境10的某个其他部分的图像捕获设备。图像捕获设备可以固定在环境10中或者可以安装到环境10内的可移动对象。在一些情况下，图像捕获设备是医疗系统100的装置的一部分。在另外的示例中，其他传感器是医疗系统100的集成部分。例如，其他传感器可以对应于操纵器组件102的接头传感器。

在环境10中存在多个操作员128的实施方式中，不同的操作员128可以协作提供或更新输入数据600。例如，如果第一操作员128-1和第二操作员128-2都携带用户设备130-1、130-2，则第一用户设备130-1和第二用户设备130-2都可以呈现指示针对环境10中的不同对象的计划的图像(相对于规程数据600a描述)。例如，图像可以包括叠加在环境10中的对象的图形表示，使得操作员128-1、128-2可以轻松地手动移动现实世界对象以便与对象的图形表示一致。第一操作员128-1和第二操作员128-2可以基于预定义计划在环境中重新定位和重新定向对象，例如通过单独地将环境10中的不同对象移动到其计划位置。

如本文所述，第一用户设备130-1和第二用户设备130-2可以提供用于对象的手动移动的指导。在另外的实施方式中，第一操作员128-1和第二操作员128-2可以协作地更新计划。例如，第一操作员128-1和第二操作员128-2可以操作如本文所述的用户输入设备(例如，操作触摸屏或执行手势)以选择环境10中的对象的新期望位置或取向。对象的图形表示被相应地重新定位或重新定向以在由第一用户设备130-1呈现的图像和由第二用户设备130-2呈现的图像两者中反映新选择的位置或取向。如果第二操作员128-2为装置台168选择了新的期望位置或取向，则更新由第一用户设备130-1呈现的图像和由第二用户设备130-2呈现的图像两者中的装置台168的图形表示。

在操作504A和操作504B中，通过用户设备108的显示设备124呈现图像。如本文所述，可以呈现图像以引导操作员106重新定位或重新定向操纵器组件102或操纵器组件102的一部分。虽然图像被描述为表示操纵器组件102应当沿其移动的路径150，但在其他示例中，图像表示用于引导操纵器组件102的手动移动的其他类型的指示符。例如，图像可以包括指示操作员106应当手动平移操纵器组件102的方向的指示符。

在其中引导操作员106来重新定位操纵器组件102或操纵器组件102的一部分的示例中，用户设备108可以呈现包括对准指示符的图像。例如，如果控制器122引导操纵器103的重新定向，则对准指示符是指示操纵器103的连杆或接头的目标取向的线、标记或其他指示符。

由显示设备124呈现的图像被描述为叠加在环境10中。如果显示设备124是穿戴在操作员106的眼睛上方的头戴式用户设备的一部分，则呈现在显示设备124上的图像定位在环境10和显示设备124之间，使得图像叠加在操作员106所看到的环境10上。在一些实施方式中，用户设备108呈现环境部分叠加的图像。例如，如果用户设备108是平板计算机、智能手机或可具有不透明显示器的其他设备，则不透明显示器可以呈现环境10的捕获图像，其具有附加图像或与环境10的捕获图像分开的指示符。附加图像可以包括与相对于由用户设备108呈现的图像描述的内容类似的内容。在一些示例中，呈现了附加图像以使其看起来叠加在环境10的捕获图像上。

在一些实施方式中，环境10的捕获图像的一部分看起来覆盖附加的呈现图像。例如，再次参考图1A，操作台105定位在操作员106和辅助系统170之间。如果用户设备108呈现指示辅助系统170的位置的指示符，则用户设备108可以呈现指示符以使得操作台105看起来叠加在指示符上。指示符可以由操作台105部分叠加。

图像可以指示除针对操纵器组件102或其一部分的手动移动的指导之外的信息。图7A和图7B描绘了可由头戴式用户设备呈现的图像的另一个示例。参考图7A，穿戴用户设备702(例如，类似于用户设备108)的操作员700位于环境30中，靠近支撑患者706的操作台704。操纵器708a和708b安装在操作台704上。

图7B描绘了用户设备702呈现给操作员700的叠加在环境30中的图像的示例。图像包括操纵器708a、708b的状态指示符710a、710b。在图7B所示的示例中，状态指示符710a、710b指示操纵器708a、708b是否需要手动重新定位。在其他实施方式中，状态指示符710a、710b指示操纵器708a、708b是需要手动重新定向还是需要手动重新定位和手动重新定向两者。在图7B所示的示例中，图像包括方向指示操纵器708b应当移动的方向的方向指示符716。

在一些示例中，操纵器708b的手动移动在对患者706执行医疗规程的任何部分之前。例如，可以在进入端口插入患者706中之前，以及在器械712a、712b插入患者706中之前引导手动移动。在其他示例中，在已经执行医疗规程的一部分之后，引导操纵器708b的手动移动。例如，在器械712b已经插入患者706中之后，引导操纵器708b的手动移动。将器械712b从患者706回缩，并且用户设备702呈现用于将操纵器708b的手动移动引导到新位置或取向的图像。

在医疗规程开始之后但在医疗规程完成之前，可能需要这种重新定位或重新定向以完成医疗规程。例如，医疗规程的第一阶段可能要求在目标解剖结构的第一区域上使用器械712a、712b，并且医疗规程的第二阶段可能要求在目标解剖结构的第二区域上使用器械712a、712b。当医疗规程的第一阶段完成时，可以开始操纵器708b的手动重新定位和操纵器708a的手动重新定位。可以重新定位或重新定向操纵器708a、708b以使得它们可以接近目标解剖结构的第二区域。

在一些实施方式中，指示符710a、710b指示操纵器708a、708b的其他状况，而不是指示是否需要移动操纵器708a、708b。例如，指示符710a、710b可以指示操纵器708a、708b是否可操作，或者操纵器708a、708b是否已经适当地安装到操作台704。在一些示例中，指示符710a、710b指示安装到操纵器708a、708b的器械712a、712b的状况或状态。例如，指示符710a、710b可以指示当前安装到操纵器708a、708b的器械712a、712b的类型，已经使用器械712a、712b的持续时间，或者是否应当用新器械来替换器械712a、712b。

图7B的示例性图像还包括指示与将由器械712a、712b接近的目标解剖结构相对应的区域的解剖结构指示符714。解剖结构指示符712可以包括患者706的内部解剖结构的表示，使得操作员700可以容易地相对于内部解剖结构移动操纵器708a、708b，在没有单独医疗成像系统的情况下，操作员700通常无法看到该内部解剖结构。可以基于由医疗成像系统捕获的图像来生成解剖结构指示符712，具体是在用户设备702穿戴在操作员700的眼睛上方的实施方式中。例如，解剖结构指示符712可以是在由医疗成像系统捕获的图像中存在的患者706的内部解剖结构的图形表示。

在其他实施方式中，图像可以包括指示与器械712a、712b不会接近的解剖结构特征相对应的区域的解剖结构指示符。这些解剖结构指示符可以指示操作员700在移动操纵器708a、708b时应当避免的区域。

在另外的实施方式中，图像可以包括指示患者706的状态的患者指示符718。例如，患者指示符718可以指示患者706的心率和血压。可以基于关于图6描述的输入数据600(例如，工件数据600f)来生成患者指示符718。

图1A和图1B的示例描绘了描绘操纵器组件102的手动移动的指导的一个示例。例如，在图1A和图1B中，图像指示用于引导操纵器组件102的手动移动的路径150。在其他实施方式中，图像指示应当沿其移动操纵器组件102的多个可选路径。每个可选路径将操纵器组件102从其当前位置引导到期望或推荐位置。

在图1A和图1B所示的示例中，路径150被示为包括多个路径点156。在一些实施方式中，路径150对应于操纵器组件102应当移动通过以将操纵器组件102从其当前位置移动到其期望或推荐位置的区域。区域可以大于操纵器组件102的占地面积或操纵器组件102的支撑结构110的占地面积。区域限定操纵器组件102的支撑结构110应当保持在其内以避开环境10中的障碍的边界。操纵器组件102可以沿着多个路径中的任何路径移动通过该区域。

在一些实施方式中，除了或代替呈现操纵器组件102的期望或推荐的移动路径的表示，用户设备108呈现指示操纵器组件102的期望或推荐的运动方向的指示符。当操作员106沿期望或推荐方向移动操纵器组件102时，更新由指示符指示的期望或推荐的运动方向，使得操作员106可以将操纵器组件102移动到期望或推荐的位置。附加地或替代地，指示符可以指示操纵器组件102的期望或推荐的移动幅度。例如，指示符可以包括指定操纵器组件102应当移动的距离的文本。在指示符是方向箭头的示例中，方向箭头的大小可以指示操纵器组件102应当沿指示方向移动的移动量。

虽然指示符160在图1B中被描述为靠近路径150附近的障碍呈现，但在一些实施方式中，由用户设备108呈现的指示符指示障碍的位置，但不一定靠近障碍。例如，当操作员106沿着路径150移动操纵器组件102时，用户设备108可以呈现指示障碍方向的注释。例如，注释包括以方向箭头形式的指示符，其指示障碍在特定方向上。

在相对于图1A和图1B描述的示例中，操纵器组件102及其操纵器103被描述为根据由用户设备108呈现的指示来手动移动。在某些实施方式中，用户设备108可以呈现用于指导医疗系统100的其他部分或操纵器组件102的其他部分的手动移动的图像。例如，在一些实施方式中，用户设备108呈现用于指导操纵器103的基部111、操纵器组件102的支撑结构110或操纵器103的器械保持器114的手动移动的图像。在另外的实施方式中，指导操纵器103的中间部分的手动移动。例如，用户设备108可以呈现用于引导接头118中的特定接头或连杆120中的特定连杆的手动移动的图像。在其他实施方式中，引导操纵器组件102的远侧部分或操纵器组件102的近侧部分的手动移动。例如，用户设备108可以呈现用于指导器械保持器114的手动移动的图像以引导操纵器组件102的远侧部分的手动移动，并且用户设备108可以呈现用于引导柱109或支撑结构110的手动移动的图像以引导操纵器组件102的近侧部分的手动移动。

在一些示例中，所呈现的图像包括控制器122基于输入数据600推荐的操纵器103的配置的表示。操纵器103的推荐配置的表示可以指示接头118中的一个或多个、连杆120中的一个或多个、基部111或其组合的推荐取向、推荐位置或推荐方位和推荐位置两者。推荐配置的表示可以对应于叠加在环境10上的图像。在一些实施方式中，表示是处于推荐配置的操纵器103的不透明或部分透明的图形表示。

在一些示例中，图像提供了操纵器103到推荐取向、推荐位置或推荐姿势的推荐运动的动画。动画可以指示操纵器103的当前位置和取向与操纵器103的推荐位置和取向之间的位置或取向的序列。在一些情况下，动画可以提供操作员的移动方式的表示以手动地将操纵器103移动到推荐位置或取向。例如，动画可以表示操作员的手以及建议的手运动以手动移动操纵器103。动画可以包括叠加在环境上的操纵器103或操作员的一个或多个透明图形表示。

在一些实施方式中，用户设备108呈现用于引导医疗系统100的另一个部分的手动移动的图像，而不是引导操纵器组件102的一部分的手动移动。在一些实施方式中，呈现图像以引导安装到操纵器103的器械116或通过其插入器械116的套管的手动移动。在通过患者104的体壁插入进入端口的实施方式中，由用户设备108呈现的图像可以指示该进入端口的期望或不期望的位置。图像可以指示操作员106应当将进入端口手动放置在的推荐端口位置。推荐端口位置对应于控制器122基于输入数据600确定的推荐。在其他实施方式中，图像可以指示禁止进入区域，该禁止进入区域指示不应当放置进入端口的位置。

用户设备108可以引导医疗系统100的其他部分的手动移动。在一些实施方式中，用户设备108呈现用于根据本文相对于引导操纵器组件102及其部分的手动移动而描述的实施方式来引导另一个操纵器组件的手动移动的图像。该其他操纵器组件不同于操纵器组件102。在一些实施方式中，该其他操纵器组件与操纵器组件102分离。操纵器组件102和其他操纵器组件是各自包括其自身的单独支撑结构的独立组件。在其他实施方式中，操纵器组件102和其他操纵器组件共享可在环境10内到处移动的公共支撑结构。

在其他实施方式中，附加地或替代地，用户设备108呈现用于引导医疗系统100的辅助系统的手动移动的图像。辅助系统包括资源，诸如照明源、能量源、吹入源、器械存储部件、中央处理器或其组合。辅助系统可以是可在环境10内到处移动的独立系统。例如，辅助系统可以对应于医疗成像系统、用户控制系统132、装置台168、吹入系统(图1A中未示出)、操作台105或环境10中的其他系统。可引导其手动移动的其他辅助系统包括托盘、台面、成像系统、用户控制台、外科手术器械、医疗器械、诊断器械或其他装置。本文所述的用于引导操纵器组件102的手动移动的实施方式的特征还可以是其中所呈现的图像用于引导辅助系统的手动移动的实施方式的特征。通过呈现用于引导辅助系统的手动移动的图像，用户设备108使得操作员能够容易地相对于操纵器组件102或相对于环境10中的其他装置来设置装置。

在一些实施方式中，用户设备108呈现用于引导患者104在环境10中的移动的图像。例如，可以移动患者104支撑在其上的操作台105以使患者104在环境10内到处移动。在其他实施方式中，用户设备108呈现用于引导操作员在环境10中的移动的图像。例如，在环境10包括第一操作员128-1和第二操作员128-2的实施方式中，由第一操作员128-1穿戴的用户设备130-1可以引导第一操作员128-1、第二操作员128-2或两者的移动。类似地，由第二操作员128-2穿戴的用户设备130-2可以引导第一操作员128-1、第二操作员128-2或两者的移动。可以基于操作员数据600d以及本文所述的不同类型的位置和取向信息(例如，针对障碍、操纵器组件102和环境10中的其他对象)来确定第一操作员128-1和第二操作员128-2的期望位置。在其中操作员数据600d包括与操作员是否被配备为操作无菌装置相关的信息的实施方式中，此信息可以用于确定操作员应当在环境中执行的任务以及执行该任务的位置。例如，信息可以指示第一操作员128-1没有被配备为操作无菌装置，并且因此引导第一操作员128-1来手动地移动操纵器组件102。相比之下，操作员128-2被配备为操作无菌装置并且因此引导该操作员来准备插入患者104的器械。还可以引导操作员128-2处于患者104的床边以执行靠近患者104的任务，诸如指出用于进入端口或用于插入器械116(图2所示)的位置。

如本文所述，本文所述的技术、系统和方法可以用于在执行医疗规程之前(例如，术前重新定位或重新定向)或在医疗规程期间(例如，术中重新定位或重新定向)重新定位或重新定向操纵器组件的一部分或医疗系统的一部分。例如，在医疗规程期间，这些技术、系统和方法可以用于响应紧急状况(例如，要求将医疗系统或操纵器组件置于新配置的患者状况或装置状况)而重新定位或重新定向操纵器组件的一部分或医疗系统的一部分。在其他实施方式中，可以在医疗规程之后使用这些技术、系统和方法以促进操纵器组件或医疗系统的拆卸。

本文所述的系统(例如，医疗系统100)和医疗系统的机器人部件(例如，操纵器103)可以是计算机辅助系统。例如，可以使用一个或多个计算机程序产品来至少部分地控制这些系统和机器人部件中的每一个，该一个或多个计算机程序产品例如为有形地体现在一个或多个信息载体(诸如一种或多种非暂时性机器可读介质)中的一个或多个计算机程序，其用于由一个或多个数据处理装置(例如，可编程处理器、计算机、多个计算机和/或可编程逻辑部件)执行或控制该一个或多个数据处理装置的操作。可以针对不同的系统和机器人部件使用单个计算机程序产品或多个不同计算机程序产品来控制系统和机器人部件。例如，用于一种或多种计算机程序产品的计算机程序可能以任何形式的编程语言(包括编译或解释语言)来编写，并且它可能以任何形式进行部署，包括作为独立程序或作为模块、部件、子例程或适用于计算环境的其他单元。

与控制本文所述的医疗系统相关联的操作可以由控制器(例如，控制器122)执行。控制器可以包括执行一个或多个计算机程序以执行本文描述的功能的一个或多个可编程处理器。一个或多个可编程处理器可以包括作为医疗系统100中的不同子系统的部分的多个处理器，例如，操纵器组件102的处理器、用户控制系统132的处理器、辅助系统170的处理器/和/或医疗系统100的另一个处理器。在其他实施方式中，一个或多个可编程处理器可以包括远离环境10的一个或多个处理器，例如，远程服务器的处理器。可以使用专用逻辑电路(例如FPGA(现场可编程门阵列)和/或ASIC(专用集成电路))来实现对本文所述的医疗系统的全部或部分的控制。

例如，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储区或随机访问存储区或两者接收指令和数据。计算机的元件包括用于执行指令的一个或多个处理器以及用于存储指令和数据的一个或多个存储区域设备。通常，计算机还将包括一个或多个机器可读存储介质(诸如用于存储数据的大容量PCB，例如，磁盘、磁光盘或光盘)或被可操作地耦接以从所述机器可读存储介质接收数据或将数据传递到所述机器可读存储介质或进行这两者。适用于体现计算机程序指令和数据的机器可读存储介质包括所有形式的非易失性存储区域，例如包括半导体存储区域设备(例如，EPROM、EEPROM和闪存存储区设备)；磁盘(例如，内部硬盘或可移除磁盘)；磁光盘；以及CD-ROM和DVD-ROM盘。

本文描述的不同实施方式的元件可以组合以形成以上未具体阐述的其他实施例。可以将元件排除在本文所述的结构之外而不会不利地影响其操作。此外，各种独立元件可以组合成一个或多个单独元件以执行本文描述的功能。

Claims (10)

1.一种计算机辅助医疗系统，包括：

操作员可穿戴的用户设备，所述用户设备包括：

显示设备，所述显示设备被配置为呈现叠加在操纵器组件的环境中的图像，以及

传感器，所述传感器被配置为检测所述环境中的一个或多个界标；以及

控制器，所述控制器被配置为执行指令以执行操作，所述操作包括：

从所述传感器接收所述环境中的所述一个或多个界标的位置或取向信息，以及

通过致使所述显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的所述图像来引导所述操纵器组件的一部分的手动移动。

2.根据权利要求1所述的医疗系统，其中所述操作还包括：

通过致使所述显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的所述图像来引导所述医疗系统的一部分相对于所述操纵器组件的手动移动，所述医疗系统的所述部分与所述操纵器组件不同。

3.根据权利要求2所述的医疗系统，其中所述图像包括：

指示所述操纵器组件的所述部分的目标位置的第一指示符，以及

指示所述医疗系统的所述部分的目标位置的第二指示符。

4.根据权利要求2所述的医疗系统，其中：

所述医疗系统的所述部分选自由以下组成的组：操作台、支撑所述操纵器组件的操纵系统、相对于支撑所述操纵器组件的所述操纵系统在物理上分离且可移动的单独操纵系统、用于远程操作所述操纵器组件的操作员控制台、插管、人类操作员以及包括用于所述医疗系统的资源的辅助系统，并且

所述资源选自由以下组成的组：照明源、能量源、吹入源、器械存储部件和中央处理器。

5.根据权利要求1所述的医疗系统，其中：

所述图像是第一图像，并且

所述操作还包括通过致使所述显示设备基于所接收的位置或取向信息呈现叠加在所述环境中的第二图像来引导患者所述操纵器组件的手动移动。

6.根据权利要求1所述的医疗系统，其中：

所述操作还包括接收指示所述医疗系统的推荐配置的用户输入信息，并且

引导所述手动移动包括进一步基于所述用户输入信息来引导所述手动移动。

7.根据权利要求1所述的医疗系统，其中引导所述操纵器组件的所述部分的所述手动移动包括引导用户来平移或重新定向所述操纵器组件的所述部分。

8.根据权利要求1所述的医疗系统，其中：

所述图像包括对准指示符，并且

引导所述操纵器组件的所述部分的所述手动移动包括引导用户来相对于所述对准指示符重新定向所述操纵器组件的所述部分。

9.根据权利要求1或权利要求2至8中任一项所述的医疗系统，其中叠加在所述环境中的所述图像指示所述操纵器组件的所述部分的所述手动移动的一个或多个路径点。

10.根据权利要求1或权利要求2至8中任一项所述的医疗系统，其中叠加在所述环境中的所述图像包括具有指示所述操纵器组件的所述部分的不期望位置的第一区域的地图。