[go: up one dir, main page]

CN113853176A - 观察系统的头部移动控制 - Google Patents

观察系统的头部移动控制 Download PDF

Info

Publication number
CN113853176A
CN113853176A CN202080036044.3A CN202080036044A CN113853176A CN 113853176 A CN113853176 A CN 113853176A CN 202080036044 A CN202080036044 A CN 202080036044A CN 113853176 A CN113853176 A CN 113853176A
Authority
CN
China
Prior art keywords
movement
head
headrest portion
display unit
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080036044.3A
Other languages
English (en)
Inventor
S·帕拉斯特加里
G·林奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN113853176A publication Critical patent/CN113853176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/60—Supports for surgeons, e.g. chairs or hand supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45123—Electrogoniometer, neuronavigator, medical robot used by surgeon to operate

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

一种计算机辅助医疗系统，包括：显示单元，其被配置为向显示单元的操作者提供图像；头枕部，其被配置为接收由与头枕部机械接触的操作者的头部提供的机械输入；头枕部传感器，其与头枕部介接并且被配置为基于机械输入提供传感器信号；以及控制器。控制器包括计算机处理器，并被配置为：处理传感器信号以获得驱动输入；通过驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；以及引起头枕部的移动，头枕部的移动跟踪虚拟质量移动。

Description

观察系统的头部移动控制
相关申请的交叉引用
本申请根据35U S.C.§119(e)要求2019年8月23日提交的美国临时专利申请序列号62/891,229的优先权的权益，该美国临时专利申请通过引用以其整体并入本文。
技术领域
本发明总体上提供改进的机器人和/或医疗(包括外科手术)设备、系统和方法。
背景技术
机器人设备的系统可以用于在工作场所执行任务。操作者可以观察工作场所的由成像设备(例如内窥镜、光学相机或超声波探头)获得的图像。图像可以使操作者能够使用来自工作场所的由显示单元提供给操作者的视觉反馈来监测和/或执行任务。
成像设备可以是可控的以更新工作场所的视图。成像设备可以附接到机器人操纵器并且机器人操纵器可以包括通过一个或多个关节耦接在一起的两个或更多个连杆。可以移动关节以更新成像设备在工作场所的位置和/或取向。成像设备的移动可以由操作者控制，从而使操作者能够根据执行任务的需要或期望改变工作场所的视图。
配备有向操作者提供视觉反馈的显示单元的机器人系统包括工业和娱乐机器人系统。机器人系统还包括在用于诊断、非外科手术治疗、外科手术治疗等手术中使用的医疗机器人系统。作为一个具体的示例，机器人系统包括微创机器人远程外科手术系统，在微创机器人远程外科手术系统中，外科医生可以在床边或远程位置对患者进行手术。远程外科手术通常指代使用外科手术系统进行的外科手术，在外科手术系统中，外科医生使用某种形式的远程控制，例如伺服机构，来操纵外科手术器械的移动，而不是直接用手握持和移动器械。可用于远程外科手术或其他远程医疗手术的机器人医疗系统可以包括远程可控机器人操纵器。一个或多个机器人操纵器可以配备有成像设备以经由显示单元向操作者提供视觉反馈。操作者可以远程控制一个或多个远程可控机器人操纵器的运动。
发明内容
一般而言，在一个方面中，一个或多个实施例涉及一种计算机辅助医疗系统，该计算机辅助医疗系统包括：显示单元，其被配置为向显示单元的操作者提供图像；头枕部，其被配置为接收由与头枕部机械接触的操作者的头部提供的机械输入；头枕部传感器，其与头枕部介接(interface)并且被配置为基于机械输入提供传感器信号；控制器，其包括计算机处理器，该控制器被配置为：处理传感器信号以获得驱动输入；通过驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；以及引起头枕部的移动，头枕部的移动跟踪虚拟质量移动。
一般而言，在一个方面中，一个或多个实施例涉及一种用于操作医疗系统的方法。该方法包括从头枕部传感器获得传感器信号，其中头枕部传感器与头枕部介接，头枕部被配置为接收由操作者的头部提供的机械输入，头部与头枕部机械接触，并且其中传感器信号基于机械输入；处理传感器信号以获得驱动输入；通过驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；以及引起头枕部的移动，头枕部的移动跟踪虚拟质量移动。
一般而言，在一个方面中，一个或多个实施例涉及一种非暂时性机器可读介质，该非暂时性机器可读介质包括由与医疗系统相关联的一个或多个处理器执行的多个机器可读指令，多个机器可读指令引起一个或多个处理器执行一种方法，该方法包括：从头枕部传感器获得传感器信号，其中头枕部传感器与头枕部介接，头枕部被配置为接收由操作者的头部提供的机械输入，头部与头枕部机械接触，并且其中传感器信号基于机械输入；处理传感器信号以获得驱动输入；通过驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；以及引起头枕部的移动，头枕部的移动跟踪虚拟质量移动。
本发明的其他方面将从以下描述和所附权利要求中变得明显。
附图说明
图1示出了根据一个或多个实施例的示例远程操作外科手术系统。
图2示出了根据一个或多个实施例的显示系统。
图3示出了根据一个或多个实施例的用于控制显示单元的移动的控制架构。
图4示出了根据一个或多个实施例的描述用于显示单元的头部移动控制的方法的流程图。
图5A和图5B示出了根据一个或多个实施例的操作者的头部与显示单元的头部输入设备的交互。
图6示出了根据一个或多个实施例的描述用于感测操作者的头部的机械输入的方法的流程图。
图7示出了根据一个或多个实施例的描述使用由感测到的机械输入驱动的虚拟动力学模型来模拟移动的方法的流程图。
图8示出了根据一个或多个实施例的描述用于引起显示单元的头枕部的移动跟随由虚拟动力学模型产生的移动的方法的流程图。
具体实施方式
现在将参考附图详细描述本发明的具体实施例。为了一致性，各个图中的相同元件由相同的附图标记表示。
在本发明的实施例的以下详细描述中，阐述了许多具体细节以提供对本发明的更透彻的理解。然而，对于本领域的普通技术人员来说明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，未详细描述众所周知的特征以避免不必要地使描述复杂化。
在整个申请中，序数(例如，第一、第二、第三等)可以用作元素(即申请中的任何名词)的形容词。序数的使用不暗示或创建元素的任何特定排序，也不将任何元素限制为仅是单个元素，除非明确公开，例如通过使用术语“之前”、“之后”、“单个”，以及其他此类术语。相反，序数的使用是为了区分元素。作为示例，第一元素不同于第二元素，并且第一元素可以包含一个以上的元素并且在元素的排序中在第二元素之后(或在其之前)。
尽管本文描述的一些示例涉及外科手术或工具，或医疗手术和医疗工具，但所公开的技术适用于医疗和非医疗手术，以及医疗和非医疗工具。例如，本文描述的工具、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用涉及美容改进、人体或动物解剖结构成像、从人体或动物解剖结构收集数据、组建或拆除系统以及培训医疗或非医疗人员。附加示例应用包括用于对从人体或动物解剖结构中取出的组织进行手术(无需返回人体或动物解剖结构)，以及对人体或动物尸体进行手术。此外，这些技术还可以用于包括或不包括外科手术方面的医学治疗或诊断程序。
一般而言，本公开的实施例可以促进机器人系统的使用并改进各种条件下的工作流程。机器人系统可以包括成像设备，从而使操作者能够观察工作场所。成像设备的位置和/或取向可以由操作者控制。在本公开的一个或多个实施例中，操作者使用头部移动来控制成像设备的移动。操作者的头部可以与头枕部接触，并且头部移动可以通过与头枕部耦接的头枕部传感器进行记录。从头枕部传感器获得的信号可以用于更新成像设备的位置和/或取向。假设固定的显示单元向操作者显示来自成像的图像，操作者的头部移动会导致操作者的眼睛和显示单元之间的未对准。这种未对准会降低操作者可用的视觉信息，特别是当显示单元提供立体视觉信息时。因此，在一个或多个实施例中，操作者的头部移动引起显示单元的补偿移动，从而导致显示单元保持与操作者的眼睛对准。可以在考虑人体解剖结构的情况下进行补偿移动，从而在避免操作者疲劳的同时确保符合人体工程学且毫不费力的控制。
现在参考附图，其中在若干视图中相同的附图标记表示相同的部件。图1是示例远程操作系统(100)的示意图，其可以与本文公开的一个或多个特征部一起使用，并且可以是外科手术系统。如图所示，远程操作系统(100)可以包括主控制子系统(其可以是工作站(例如控制台)(102)的形式)和从设备(104)。
在该示例中，主控制工作站(102)包括由操作者的手接触和操纵的一个或多个主控制设备，例如，每只手一个主控制设备。主控制设备由工作站(102)支撑并且可以机械接地。在一些实施方式中可以提供人体工程学支撑部(110)(例如，前臂托)，操作者(108)可以在抓住主控制设备的同时将他或她的前臂靠在其上。在一些示例中，操作者(108)可以在医疗手术期间通过使用主控制设备控制从设备(104)在从设备(104)附近的工作场所处执行任务。
显示单元(112)包括在工作站(102)中。显示单元(112)可以显示图像以供操作者(108)观察。显示单元(112)可以以各种自由度移动以适应操作者的观察位置和/或提供控制功能。在远程操作系统(100)的示例中，显示的图像可以描绘操作者经由主控制设备的控制来执行各种任务的工作场所。在一些示例中，由显示单元(112)显示的图像可以由工作站(102)从布置在远程工作场所处的一个或多个图像捕获设备接收。在其他示例中，由显示单元显示的图像可以由显示单元(或由连接的其他设备或系统)生成，例如用于工具、工作场所的虚拟表示或用于用户界面部件。
当使用工作站(102)时，操作者(108)可以坐在工作站(102)前面的椅子或其他支撑部中，将他或她的眼睛放在显示单元(112)前面，抓住并操纵主控制设备，并根据需要将他或她的前臂靠在人体工程学支撑部(110)上。在一些实施方式中，操作者可以站在工作站处或呈现其他姿势，并且可以调节显示单元(112)和主控制设备的位置(高度、深度等)以适应。
远程操作系统(100)还可以包括可以由主控制工作站(102)控制的从设备(104)。在医学示例中，从设备(104)位于手术台(106)(例如，桌子、床或其他支撑部)附近，患者可以放置在该手术台上。可以在手术台(106)上例如在患者、模拟患者或模型等(未示出)之上或之中提供工作场所(130)。所示的远程操作从设备(104)包括多个操纵臂(120)，每个臂被配置为耦接到器械组件(122)。器械组件(122)可以包括例如器械(126)和被配置为保持器械(126)的器械托架(未示出)。
在各种实施方式中，器械(126)中的一个或多个可以包括图像捕获设备(例如，相机)，例如内窥镜组件(124)中包括的相机，其可以提供工作场所的一部分的捕获图像以由工作站(102)的显示单元(112)显示用于输出。
在一些实施方式中，可以控制从操纵器臂(120)和/或器械组件(122)以响应于操作者(108)对主控制设备的操纵来移动和铰接器械(126)，使得操作者(108)可以在工作场所(130)处执行任务。对于外科手术示例，操作者可以通过微创外科手术孔在内部外科手术部位处指导外科手术。
在一些实施方式中，在主控制工作站(102)中提供或在工作站(102)外部提供控制系统，并且控制系统与工作站(102)通信。随着操作者(108)移动(一个或多个)主控制设备，基于主控制设备的移动将感测到的空间信息和感测到的取向信息提供给控制系统。控制系统可以基于接收到的信息和用户输入来确定或向从设备(104)提供控制信号以控制臂(120)、器械组件(122)和器械(126)的移动。在一个实施例中，控制系统支持一种或多种无线通信协议，例如蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。
继续图1，控制系统可以在一个或多个计算系统(未示出)上实施。一个或多个计算系统可以用于控制从设备(104)。此外，一个或多个计算系统可以用于响应于操作者的头部移动控制主控制工作站(102)的部件，例如显示单元(112)的移动。
计算系统可以包括一个或多个计算机处理器、非持久性存储装置(例如，易失性存储器，例如随机存取存储器(RAM)、高速缓存存储器)、持久性存储装置(例如，硬盘、光盘驱动器(例如光盘(CD)驱动器或数字多功能磁盘(DVD)驱动器)、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光学接口等)以及许多其他元件和功能。
计算系统的计算机处理器可以是用于处理指令的集成电路。例如，计算机处理器可以是处理器的一个或多个核或微核。计算系统还可以包括一个或多个输入设备，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔或任何其他类型的输入设备。
计算系统的通信接口可以包括用于将计算系统连接到网络(未示出)(例如，局域网(LAN)、广域网(WAN)(例如因特网)、移动网络或任何其他类型的网络)和/或另一个设备(例如另一个计算系统)的集成电路。
此外，计算系统可以包括一个或多个输出设备，例如显示设备(例如，液晶显示器(LCD)、等离子显示器、触摸屏、有机LED显示器(OLED)、投影仪或其他显示设备)、打印机、扬声器、外部存储装置或任何其他输出设备。一个或多个输出设备可以与(一个或多个)输入设备相同或不同。存在许多不同类型的计算系统，并且前述的(一个或多个)输入和输出设备可以采用其他形式。
用于执行本公开的实施例的计算机可读程序代码形式的软件指令可以全部或部分地、临时或永久地存储在非暂时性计算机可读介质上，例如CD、DVD、存储设备、磁盘、磁带、闪存、物理存储器或任何其他计算机可读存储介质。具体而言，软件指令可以对应于计算机可读程序代码，该程序代码当由(一个或多个)处理器执行时，被配置为执行本发明的一个或多个实施例。
继续图1，计算系统可以连接到网络或者是网络的一部分。网络可以包括多个节点。每个节点可以对应于计算系统，或者一组节点。作为一个示例，本公开的实施例可以在分布式系统的连接到其他节点的节点上实施。作为另一个示例，本发明的实施例可以在具有多个节点的分布式计算系统上实施，其中本公开的每个部分可以位于分布式计算系统内的不同节点上。此外，前述计算系统的一个或多个元件可以位于远程位置处并且通过网络连接到其他元件。
在一些实施方式中，显示单元(112)可以由操作者结合一个或多个未接地的主控制设备(未接地的主控制设备没有运动学上的接地，例如没有额外的物理支撑部的由操作者的手握持的主控制设备)的操作来操作。在一些实施方式中，操作者可以使用在工作场所附近定位的显示单元(112)，使得操作者可以在工作场所处手动操作器械，例如外科手术示例中的腹腔镜器械，同时观察由显示单元(112)显示的图像。
一些实施方式可以包括远程操作的医疗系统的一个或多个部件，例如由美国加利福尼亚州森尼维耳市的直观外科手术操作公司(Intuitive Surgical,Inc.of Sunnyvale,California)商业化的da
Figure BDA0003354326400000071
外科手术系统。da
Figure BDA0003354326400000072
外科手术系统上的实施方式仅是示例而不是被认为是限制本文公开的特征的范围。例如，在工作场所处具有从设备的不同类型的远程操作系统以及非远程操作系统可以利用本文描述的特征。
图2是根据一个或多个实施例的示例显示系统(200)的透视图。在一个或多个实施例中，显示系统(200)在远程操作系统的主控制工作站中(例如，在图1的远程操作系统(100)的主控制工作站(102)中)使用，或者可以在其他系统中使用或作为独立系统使用，例如，以允许操作者观察工作场所或其他物理场所、显示的虚拟环境等。
显示系统(200)包括基座支撑部(202)、臂支撑部(204)和显示单元(206)。如下文更详细的描述，显示单元(206)被提供有由支撑连杆提供的多个移动自由度，该支撑连杆包括基座支撑部(202)、耦接到基座支撑部(202)的臂支撑部(204)和耦接到臂支撑部(204)的倾斜构件(224)(如下所述)，其中显示单元(206)耦接到倾斜构件。
基座支撑部(202)可以是机械接地(例如直接或间接耦接到地面)的垂直构件。例如，基座支撑部(202)可以机械地耦接到支撑结构(210)，该支撑结构耦接到地面以为基座支撑部(202)提供稳定性。基座支撑部(202)包括第一基座部分(212)和第二基座部分(214)，其经耦接使得第二基座部分(214)可相对于第一基座部分(212)以线性自由度平移。其他实施方式可以使用不同的配置。
臂支撑部(204)可以是机械耦接到基座支撑部(202)的水平构件。臂支撑部(204)包括第一臂部分(218)和第二臂部分(220)。第二臂部分(220)是臂支撑部(204)的耦接到第一臂部分(218)的远侧部分，使得第二臂部分(220)可相对于第一臂部分(218)线性平移。其他实施方式可以使用不同的配置。
在其他实施方式中，臂支撑部(204)可以在各种高度和/或配置处延伸，例如，在操作者的头部或身体下方、在操作者的头部的高度处、在操作者的后面并且围绕着操作者绕圈子等。
继续图2，显示单元(206)可以机械地耦接到臂支撑部(204)。显示单元(206)可以在由第二基座部分(214)和第二臂部分(220)的线性平移提供的两个线性自由度内移动。
在一个或多个实施例中，显示单元(206)包括可以显示数字图像的显示设备，例如一个或多个显示屏、投影仪或其他显示设备。显示单元(206)可以包括两个观察口(223)，其中显示设备在观察口之后提供或包括在观察口中。一个或多个显示屏或其他显示设备可以位于显示单元(206)上以代替观察口(223)。
在一个或多个实施例中，显示单元(206)显示由诸如内窥镜的成像设备捕获的外科手术部位的图像。外科手术部位可以可替代地是外科手术部位的虚拟表示。图像可以显示从设备(104)的器械(126)的捕获图像或虚拟渲染，而这些器械中的一个或多个由操作者经由主控制工作站(102)的主控制设备控制。图像还可以包括诸如状态信息、警报和警告、通知等信息。这样的信息可以结合工作场所的视图或者没有工作场所的视图进行显示。
在一个或多个实施例中，显示单元(206)通过倾斜构件(224)旋转地耦接到臂支撑部(204)。在该示例中，倾斜构件(224)在第一端处通过旋转耦接耦接到臂支撑部(204)的第二臂部分(220)，该旋转耦接被配置为提供倾斜构件(224)和显示单元(206)相对于第二臂部分(220)围绕倾斜轴线(226)的旋转运动。在一个或多个实施例中，倾斜轴线(226)位于显示单元(206)中的显示设备上方。在一个或多个实施例中，当操作者操作显示单元(206)时，倾斜轴线(226)位于操作者的头部的位置的上方。
继续图2，本文讨论的各种自由度中的每一个都可以是被动的并且需要手动操纵，或者可以通过一个或多个致动器移动，例如通过一个或多个电机、螺线管等。例如，倾斜构件(224)和显示单元(206)围绕轴线(226)的旋转运动可以由一个或多个致动器驱动，例如在倾斜轴线(226)处或附近的耦接到倾斜构件的电机。基座支撑部(202)、臂支撑部(204)和倾斜构件(224)可以被认为是具有耦接在支撑连杆的远端处的显示单元(206)的支撑连杆。
显示单元(206)可以旋转地耦接到倾斜构件(224)并且可以围绕偏航轴线(230)旋转。例如，从经由观察口(223)观察显示单元(206)的图像的操作者的角度来看，这可以是横向或左右旋转。在该示例中，显示单元(206)通过可以是轨道机构的旋转机构耦接到倾斜构件。例如，在一些实施方式中，轨道机构包括弯曲轨道(228)，其可滑动地接合耦接到倾斜构件(224)的凹槽构件(229)，从而允许显示单元(206)通过将弯曲轨道(228)移动穿过凹槽构件(229)的凹槽来围绕偏航轴线(230)旋转。在一些实施方式中，弯曲轨道耦接到倾斜构件(224)并且凹槽构件耦接到显示单元(206)。在一些实施方式中，弯曲轨道(228)可以是接合凸轮滚轮的弯曲凸轮从动件。
弯曲轨道(228)和/或凹槽构件的曲率(例如，半径)在距显示单元(206)的操作者侧和/或距倾斜轴线(226)特定距离处提供偏航轴线(230)。例如，这可以是平行于第二臂部分(220)的自由度(222)的特定水平距离。例如，偏航轴线(230)可以设置在一定距离处，使得其与对应于操作者的颈部中的枢轴线的限定的(例如，虚拟或软件限定的)颈部枢轴线近似相交。在一些实施方式中，所限定的颈部枢轴线可以用作显示单元(206)的运动的参考。
继续图2，显示系统(200)因此可以为显示单元(206)提供垂直线性自由度(216)、水平线性自由度(222)、旋转(倾斜)自由度(227)、和旋转偏航自由度(231)。组合显示系统(200)的部件在这些自由度中的协调的移动允许将显示单元(206)定位在其工作空间中的各种位置和取向处。显示单元(206)在倾斜、水平和垂直自由度上的运动允许显示单元(206)在操作者头部运动期间保持靠近操作者的头部和眼睛，和/或维持与操作者的头部(例如前额)和显示单元(206)之间的物理连接。
例如，显示单元(206)在其工作空间中可定位(例如，可平移和/或可旋转)，使得操作者的眼睛与显示单元的观察口对准。此外，显示单元(206)可以在物理空间中围绕限定的眼睛枢轴线旋转，该眼睛枢轴线对应于例如穿过操作者的两只眼睛的眼睛轴线以允许对于操作者期望的垂直(例如，上下)眼睛观察角度和期望的偏航(例如，左右)观察角度。
显示系统的自由度允许显示系统(200)提供显示单元(206)在物理空间中围绕可以位于不同位置的枢轴线的枢转运动。例如，系统(200)可以提供显示单元(206)在物理空间中的运动，该运动对应于操作者在操作显示系统(200)时的头部的运动。该运动可以包括围绕限定的颈部枢轴线旋转，该颈部枢轴线大致对应于操作者的颈部处的操作者的头部的颈部轴线。该旋转允许显示单元(206)根据指导显示单元(206)的移动的操作者的头部移动。在另一个示例中，该运动可以包括围绕限定的前额枢轴线旋转，如图所示，当显示单元(206)在中心偏航旋转位置围绕偏航轴线(230)被取向时，该前额枢轴线大致对应于在前额处延伸穿过操作者的头部的前额轴线。
显示单元(206)可以包括输入设备，该输入设备允许操作者提供输入以操纵显示单元(206)在空间中的取向和/或位置，和/或操纵显示系统(200)和/或更大的系统(例如，远程操作系统)的其他功能或部件。
显示单元(206)可以包括头部输入设备(242)。在一个或多个实施例中，头部输入设备(242)位于显示单元(206)的表面上，该表面在显示单元(206)的操作期间面向操作者的头部。
头部输入设备(242)可以成形为形成可以与操作者的头部接触的头枕部。更具体而言，头部输入设备(242)可以位于观察口(223)上方的区域中以在操作者通过观察口(223)观察图像时与操作者的前额接触。头部输入设备(242)可以包括一个或多个头部输入传感器，其感测作为命令接收的操作者头部输入以引起成像设备的移动，从而更新呈现给操作者的图像中的视图。此外，在一个或多个实施例中，感测到的头部移动用于移动显示单元(206)以补偿头部移动。因此，即使当操作者执行头部移动以控制由成像设备提供的视图时，操作者的头部位置也可以相对于观察口(223)保持静止。因此可以确保操作者的眼睛与观察口正确对准。
在一个或多个实施例中，感测操作者头部输入包括感测操作者的头部或头部的一部分(例如，前额)与头部输入设备(242)的存在或接触。一个或多个头部输入传感器可以包括多种类型的传感器中的任一种，例如电阻传感器、电容传感器、力传感器、光学传感器等。
继续图2，显示单元(206)的取向和/或位置可以基于操作者对头部输入设备(242)的头部输入由显示系统(200)改变。例如，感测到的操作者输入被提供给控制系统，该控制系统控制显示系统(200)的致动器以线性自由度(216)移动第二基座部分(214)、以线性自由度(222)移动第二臂部分(220)、以旋转自由度(227)移动倾斜构件(224)，和/或以旋转自由度(231)移动显示单元(206)，以使显示单元(206)按照(例如，根据)感测到的操作者头部输入的命令来移动。感测到的操作者头部输入还可以用于控制显示系统(200)和/或更大系统(例如，图1的远程操作系统100)的其他功能。因此，在一些实施方式中，操作者可以移动他或她的头部以向输入设备提供输入以控制显示单元(206)根据头部的运动由显示系统移动，从而允许显示单元跟随操作者的头部的运动和观察角度的变化。
在一些实施方式中，由显示单元(206)和/或其他受控设备显示的图像基于显示单元(206)的感测到的运动而被改变和操纵。
在显示系统的一些实施方式中，显示单元(206)可在自由度(231)和其他自由度(216)、(222)和(227)中的一个或多个中围绕偏航轴线(230)旋转，并且从显示系统(200)中省略。例如，显示单元(206)可以围绕偏航轴线(230)(例如，通过(一个或多个)致动器和/或由操作者手动)旋转并且显示单元(206)可以(例如，通过(一个或多个)致动器和/或由操作者手动)(例如，使用基座支撑部(202)或其他机构)手动地定位得较高和/或较低，其中省略水平自由度(222)和/或倾斜自由度(227)。
本领域技术人员将理解图2仅示出了显示系统(200)的配置的示例。可以使用基于操作者对头部输入设备(242)的输入来支持显示单元(206)的移动的可替代配置，而不脱离本公开的范围。可以使用支持显示单元(206)的期望移动的任何连杆来代替图2中所示的配置。下面参考图3、图4、图5A、图5B、图6、图7和图8提供使用在头部输入设备(242)处捕获的信号以引起显示单元(206)的移动的详细描述。
转到图3，示出了根据本公开的一个或多个实施例的用于控制显示单元的移动的控制架构(300)。虽然图3提供了基于检测到的头部移动来控制显示单元的移动的高级介绍，但是随后讨论的流程图提供了可以执行的步骤的描述。根据本公开的一个或多个实施例，图3的控制架构的关键方面是移动显示单元的动力学与由操作者提供的力输入解耦接。更具体地说，由操作者进行的力输入用于模拟驱动虚拟动力学模型。然后可以驱动显示单元跟随由虚拟动力学模型产生的虚拟移动。因此，假设显示单元的移动反映了虚拟动力学模型模拟的移动，则显示单元的动力学对操作者是透明的，而由操作者所经历的动力学反而由虚拟动力学模型操控。因此，可以通过改变虚拟动力学模型的特性来根据需要调节操作者关于头部移动如何导致显示单元的移动(以及由显示单元提供的视图的更新)的体验。
在图3的控制架构中，头部位置或改变的头部位置(即头部移动)被认为是作用在头部输入设备上的输入。头部与头部输入设备的相互作用导致作用在头部和头部输入设备之间的力。力由头部输入传感器记录。取决于头部和头部输入设备之间的接触点与头部输入传感器位置之间的距离，力可能会导致不同类型的传感器信号。具体而言，如下面的图4所示，可以针对水平和垂直平面中的头部移动记录各个方向上的各种力和/或扭矩。头部输入传感器信号可以用于驱动虚拟动力学模型。虚拟动力学模型可以包括虚拟质量，该虚拟质量可以由传感器信号模拟驱动，从而导致虚拟质量的加速。模拟质量的所得的移动可以操控显示单元的移动。具体而言，虚拟质量的速度可以用作表示显示单元的连杆的逆运动学模型的期望速度输入。逆运动学模型的输出可以是关节速度，关节速度可以用于驱动关节的致动器，从而引起显示单元的移动，如虚拟质量的模拟移动所指定的。显示单元的移动导致头部输入设备位置的改变。在一个或多个实施例中，控制架构被设计为补偿操作者的头部移动。因此，控制架构可以使显示单元“跟随”头部移动以减少接触点与头部输入设备中心之间的偏移。下面讨论的流程图提供了有关控制架构的可能实施方式的详细信息。
转到流程图，图4示出了根据一个或多个实施例的流程图。图4的流程图描绘了用于使用头部移动来控制观察系统的移动的方法。观察系统可以包括用户控制系统的之前描述的成像设备和之前描述的显示单元。与显示单元交互的操作者的头部移动可以引起成像设备的移动。此外，根据一个或多个实施例，头部移动引起显示单元的移动以维持显示单元与操作者的头部对准。图4中的一个或多个步骤可以由系统的各种部件来执行，之前参考图1和图2进行了描述。这些图描述了作为示例的特定系统配置。然而，随后描述的方法不限于系统的特定配置。相反，这些方法适用于包括成像设备的任何类型的系统，该成像设备允许更新由与可移动显示单元配对的成像设备提供的视图。图4的方法可以用于水平平面和/或垂直平面中的头部移动输入。下面提供了对水平与垂直平面中的控制的附加讨论。
虽然这些流程图中的各个步骤是按顺序呈现和描述的，但普通技术人员将理解，可以以不同的顺序执行、可以组合或省略这些步骤中的一些或所有步骤，并且可以并行执行这些步骤中的一些或所有步骤。可以进一步执行附加步骤。此外，可以主动或被动地执行这些步骤。例如，根据本发明的一个或多个实施例，一些步骤可以使用轮询来执行或被中断驱动。作为一个示例，根据本发明的一个或多个实施例，除非接收到指示该条件存在的中断，否则确定步骤可能不需要处理器来处理指令。作为另一示例，根据本发明的一个或多个实施例，可以通过执行测试来执行确定步骤，例如检查数据值以测试该值是否与测试条件一致。因此，本公开的范围不应被认为限于图4所示的步骤的具体布置。
转到图4的流程图，示出了一系列步骤，这些步骤当重复执行时，可以形成一个循环，其中检测到操作者的头部的移动并引起显示单元的补偿移动。
在步骤400中，根据一个或多个实施例，感测由操作者的头部提供的机械输入。可以使用之前介绍的头部输入传感器来执行感测。感测可以在垂直平面(如图5A所示)和/或在水平平面(如图5B所示)中执行。可以在步骤400中使用头部输入传感器获得表示由操作者的头部机械输入的各种传感器信号。下面参考图6提供步骤400的详细描述。
在步骤402中，根据一个或多个实施例，使用虚拟动力学模型来模拟移动。模拟的移动可以由在步骤400中获得的感测到的机械输入来驱动。在一个或多个实施例中，虚拟动力学模型建立移动显示单元的动力学，而不管显示单元的机械配置如何。因此，当使用头部移动来控制观察系统时，虚拟动力学模型可以强加操作者要体验的期望动力学。因此，可以设置期望的动力学以满足各种不同的需要。例如，一位操作者可能更喜欢需要最小头部移动作为控制输入的高响应系统，而另一位操作者可能更喜欢较小响应系统，例如，以实现特别高的精度。这些特性可以通过例如调制应用于感测到的机械输入的增益、调节虚拟动力学模型的惯性等来实现。下面参考图7详细讨论步骤402的这些和其他方面。
在步骤404中，根据一个或多个实施例，使显示单元和显示单元的头部输入设备跟随虚拟动力学模型的移动。因此，显示单元的移动反映了由虚拟动力学模型模拟的移动，从而使显示单元的原始动力学对操作者透明。步骤404的执行可以在跟随操作者头部移动的方向上驱动显示单元，从而减少接触点和头部输入设备之间的现有偏移。下面参考图8提供可以用于驱动显示单元的步骤的详细描述。
转到图5A和图5B，示出了根据一个或多个实施例的操作者的头部与显示单元的头枕部的相互作用。图5A提供了相互作用的侧视图，而图5B提供了相互作用的顶视图。
转到图5A，示出了操作者的头部(570)和躯干(572)。在相互作用(500)中，操作者的头部(570)在接触点(530)处与头枕部(510)接触。在一个或多个实施例中，与头枕部(510)介接的头枕部传感器(520)被配置为感测由操作者的头部(570)与头枕部(510)的相互作用引起的力和/或扭矩。在一个实施例中，头枕部传感器包括用于在多个方向上施加的力和在多个方向上施加的扭矩的传感模态。图5A示出了建立相对于地面的参考系的笛卡尔坐标系(548)。当结合操作者(头部(570)、躯干(572))观察时，x方向可以理解为表示操作者的头部的左/右移位，y方向可以理解为表示操作者的头部的向前/向后移位，z方向可以理解为表示操作者的头部的向上/向下移位。围绕x方向的旋转可以理解为俯仰移动，而围绕z方向的旋转可以理解为操作者的头部的偏航移动。头枕部传感器(520)的感测也可以在笛卡尔参考系中以多达六个自由度(三个平移和三个旋转)执行。在一些实施例中，头枕部传感器可以是在较少的平移和/或旋转自由度中提供测量值的传感器，例如仅在x方向、y方向和z方向上的力，以及仅关于x方向和z方向的扭矩。头枕部传感器的自由度不一定与由坐标系(548)建立的参考系对准。在图5A的示例中，头枕部传感器(520)具有围绕x方向的枢转偏移。因此，在图5A的示例中，头枕部传感器获得大致对应于进/出移动的力FI/O(544)、大致对应于向上/向下移动的力FU/D(542)和扭矩τX(540))。可以使用三角运算在任何时间执行不同参考系之间的转换。具体而言，在基于地面的笛卡尔参考系中的Fy(538)和Fz(536)可以基于FI/O(544)和FU/D(542)的组合直接计算。
在图5A的图示中示出了偏移(546)。虽然在接触点(530)和头枕部传感器(520)之间显示了偏移，但在实际场景中，瞬时接触点(530)和初始接触点(未显示)之间可能存在偏移。偏移可能是操作者的头部移动的结果，从而导致接触点(530)远离初始接触点移动。因为随后描述的方法引起显示单元(206)的移动以补偿偏移(546)，所以偏移可以是暂时的。
在一个或多个实施例中，头枕部(510)具有已知的几何形状。因此，可以使用力/扭矩平衡等式直接估计垂直y-z平面中的偏移(546)。在图5A的示例中，FI/O(544)、FU/D(542)、τX(540)可用于确定偏移(546)。
为了说明的目的，接触点和头枕部中心(或原始接触点)之间的偏移很大，如图5A所示。在执行随后描述的方法时，实际遇到的偏移可能要小得多，因为这些方法会驱动补偿移动，从而减少偏移。
转到图5B，最初显示在图5A中的场景显示为顶视图。因此，图5A中介绍的各种元件在图5B中具有对应元件。在相互作用(500)中，操作者的头部(570)在接触点(530)处与头枕部(510)接触。在图5B的示例中，头枕部传感器记录y方向上的力Fy(584)，其大致对应于操作者的头部的进/出移位。头枕部传感器进一步记录x方向的力Fx(582)，其大致对应于操作者的头部的左/右移位。此外，头枕部传感器记录关于z方向的扭矩τz(590)，其大致对应于操作者的头部的偏航运动。虽然，在图5B中，头枕部传感器的自由度被示为与由坐标系(548)建立的参考系对准，但是头枕部传感器的感测自由度可以可替代地在具有相对于由坐标系(548)建立的参考系旋转偏移的参考系中，例如，当包括头枕部传感器(520)的图2的显示单元(206)具有偏航偏移时。标准三角运算可以用于在参考系之间进行转换。
当安装在图2A和图2B的显示单元(206)上时，头枕部可以在观察口(223)上方居中。在图3的图示中，接触点(330)和头枕部传感器(320)之间存在偏移。虽然在接触点(530)和头枕部传感器(520)之间显示了偏移，但在实际场景中，瞬时接触点(530)和初始接触点(未示出)之间可能存在偏移。初始接触点不一定与头枕部传感器(520)对准。偏移可能是操作者的头部移动的结果。因为随后描述的方法引起显示单元(206)的移动以补偿偏移，所以偏移可以是暂时的。
在一个或多个实施例中，头枕部(510)具有已知的曲率。因此，每当操作者的头部(570)未与初始接触点的头枕部中心对准时，x方向上的偏移xoffset(552)和y方向上的偏移yoffset(554)都可能存在。因此，由操作者的头部(570)施加的力F(580)导致平衡等式xoffsetFy-yoffsetFx＝τz其中Fx(582)、Fy(584)表示力F(580)分别在x和y方向中的分量，并且τz(590)是相反的扭矩。通过头枕部传感器(520)提供的Fx(582)、Fy(584)和τz(590)的测量值，以及基于头枕部的已知曲率的xoffset和yoffset之间的已知关系，可以确定水平x-y平面中的接触点(530)。
虽然上面的描述讨论了图5A和图5B中所示的头枕部配置的偏移，在不脱离本公开的情况下，还可以针对具有不同几何形状的头枕部、不同放置的头部传感器等计算偏移。本领域技术人员将理解，偏移的计算涉及可以基于所使用的配置进行适应的力-扭矩平衡等式。不同的配置可能需要不同的三角运算和/或力-扭矩平衡等式。
图5B还示出了计算的剪切力Fshear(586)和计算的法向力Fnormal(588)，它们稍后用于控制显示单元(206)的移动。Fshear(586)在接触点(530)处平行于头枕部(510)的表面，而Fnormal(588)在接触点(530)处垂直于头枕部(510)的表面。Fshear和Fnormal可以针对任何形状的表面进行计算。
出于说明性、非限制性目的，接触点和头枕部中心(或初始接触点)之间的偏移很大，如图5B所示。在执行随后描述的方法时，实际遇到的偏移可能要小得多，因为这些方法会驱动补偿移动，从而减少偏移。
转到图6的流程图，示出了根据一个或多个实施例的一种用于获得反映操作者的头部移动的传感器信号的方法。该方法可以用于记录操作者的头部在基本上水平的平面内的移动。该方法还可以用于记录操作者的头部在基本上垂直的平面内的移动。
在步骤600中，获得头枕部的几何形状。x/y平面(即，水平平面中，如先前图5B中所示)中的头枕部可以是弯曲的。y/z平面(即，垂直平面中，如先前图5A中所示)中的头枕部可以是直的或基本上直的。头枕部的几何形状可以以头枕部模型的形式存储，例如多边形头枕部模型。在本公开的一个实施例中，使用了使用三次样条函数平滑的多边形头枕部模型。在不脱离本公开的情况下，可以使用建立头枕部的x和y坐标之间(在水平平面中)以及y和z坐标之间(在垂直平面中)的关系的任何其他模型。
在步骤602中，从头枕部传感器获得传感器信号。在本公开的一个实施例中，获得的传感器信号至少包括表示Fx、Fy、Fz、τx和τz的传感器信号。在不脱离本公开的情况下可以获得其他传感器信号。虽然最初获得的传感器信号可以在头枕部传感器特定参考系中，但是可以基于头枕部传感器的已知当前位置和/或取向，使用三角运算将传感器信号转换为任何其他参考系。
传感器信号可以以任何格式(例如，作为数字或模拟读数)获得，并且可以转换成能够读出对应于由头枕部传感器遇到的实际力/扭矩的测量力/扭矩的格式。
在步骤604中，根据一个或多个实施例，确定头部和头枕部之间的接触点的位置。接触点可以在垂直平面(如图5A所示)和/或水平平面(如图5B所示)中获得。在图5B所示的示例配置中，水平平面中的接触点可以使用关系xoffsetFy-yoffsetFx＝τz来确定。可以使用xoffset和yoffset来描述接触点相对于头枕部传感器的位置。由于x和y坐标之间的关系由于先前获得的头枕部的几何形状而已知，因此可以使用针对Fx、Fy和τz获得的传感器信号来求解xoffset和yoffset的等式。在本公开的一个实施例中，xoffset和yoffset描述了接触点相对于头枕部的中心的位置，该位置可能与头枕部传感器的位置对应也可能不对应。在图5A所示的示例配置中，垂直平面中的接触点可以类似方式确定。然而，在垂直平面中，可以相对于最初记载的接触点(例如，当操作者的头部最初接触头枕部时)获得接触点，该最初记载的接触点不一定对应于头枕部传感器的位置。因此，操作者的头部与头枕部的中心或头枕部传感器之间的完美对准是不必要的。
在步骤606中，根据一个或多个实施例，Fx和Fy分解为法向力Fnormal和剪切力Fshear。步骤606的执行特定于水平平面，如图5B所示。在垂直平面中可以不计算剪切力和法向力，如图5A所示。可以使用三角运算基于接触点处的头枕部的已知几何形状来执行分解。具体而言，在接触点处获得Fshear的切线方向，随后确定Fshear和Fnormal的大小。Fx、Fy、Fnormal和Fshear显示在图5B中。Fnormal和Fshear可以随后用于虚拟动力学模型的模拟驱动。
虽然未在图6的流程图中示出，但是可以对获得的传感器信号执行完整性检查。例如，只有当相应的力指向具有物理意义的方向时，才可以接受传感器信号。例如，如果方向是朝向操作者，从而暗示是拉力而不是推力，则力的方向可能没有意义。类似地，如果Fshear相对于Fnormal过大，则力的方向可能没有意义。通常至少需要最小的Fnormal以允许一定水平的Fshear，而不会让操作者的头部在头枕部上滑动。如果检测到物理上不可信的传感器信号，则可以忽略它们。此外或可替代地，操作者可以接收视觉或听觉警告。
在执行图6的方法之后，用于模拟驱动虚拟动力学模型的力和扭矩分量是可用的。
转到图7的流程图，示出了根据一个或多个实施例的用于模拟虚拟动力学模型的移动的方法。可以使用如在图6中描述的获得的感测到的机械输入来驱动虚拟动力学模型。
在步骤700中，获得垂直力。垂直力可以是图5A所示的Fz。Fz可以处于基于地面的笛卡尔参考系中。如前所述，当头枕部传感器未与基于地面的笛卡尔参考系对准时，可以使用三角运算从由头枕部传感器报告的力中直接获得Fz。
在步骤702中，获得水平力。水平力可以是图5A中所示的Fy。Fy可以处于基于地面的笛卡尔参考系中。如前所述，当头枕部传感器未与基于地面的笛卡尔参考系对准时，可以使用三角运算从由头枕部传感器报告的力中直接获得Fy。可替代地，Fy可以如图5B所示获得。
在步骤704中，获得俯仰扭矩。可以使用当前接触点(以与在步骤604中获得的相同或相似的方式)和初始接触点之间的距离来获得俯仰扭矩。距离可以乘以俯仰系数或增益。初始接触点可以在一个时间点获得，例如，当操作者最初通过头部移动激活可转向显示单元的控制时。获得的俯仰扭矩可以围绕头枕部的中心并且可以被设定取向以在导致当前接触点更接近初始接触点的方向上驱动显示单元和头枕部。结果，显示单元和头枕部可以跟随操作者的头部移动，如下文进一步详细讨论的。
在步骤706中，获得偏航扭矩。类似于俯仰扭矩，偏航扭矩可以被设定取向以在使当前接触点更靠近头枕部的中心的方向上驱动显示单元和头枕部。所获得的偏航扭矩可以围绕穿过物理或虚拟偏航关节的中心的轴线，例如，如图2所示。偏航扭矩可以包括两项的加法组合。第一项可以是接触点项，而第二项可以是剪切力项。
可以使用当前接触点(如在步骤604中获得的)和头枕部的中心(其可以与头枕部传感器的位置重合也可以不重合)之间的距离来获得接触点项。距离可以乘以偏航系数或增益。该系数可以是可调的以允许调节距离的影响。
接触点项对于检测包括操作者的头部在头枕部中的“滚动”运动的头部移动可能特别有益，因为滚动会改变接触点。更具体地说，滚动头部运动直接导致接触点的移位。
剪切力项可以如下获得：参考图5B，可以通过使用Fnormal对Fshear进行降额来获得剪切力项。降额可以缩放Fshear，方式为在Fnormal升高时提供较小的水平力，而在Fnormal降低时提供较大的水平力。降额可以乘法执行(例如，通过Fshear与Fnormal的倒数相乘)并使用可调增益来允许缩放降额的影响。降额可以使操作者能够更准确地控制观察系统的移动。具体来说，当操作者严重倚靠头枕部时，产生高Fnormal，Fshear也可能升高，因为当产生高Fnormal时，操作者精细控制Fshear的能力可能会受到限制。相比之下，当操作者仅轻轻触摸头枕部时，可以很好地控制Fshear。降额可以进一步解决控制环路中潜在的稳定性问题：较高的Fnormal有效地增加了整个闭环控制系统的刚性。如果(对于使用Fshear作为输入的控制)控制环路增益被优化为针对较低的Fnormal，即基于较低的刚性机械系统，则当控制因Fnormal增加而产生的较高的刚性机械系统时，直接使用Fshear可能会导致不稳定，从而可能引起振荡。Fshear的降额确保整个闭环控制系统保持在稳定的区域内。
降额的Fshear可以乘以半径以获得剪切力项。半径可以是接触点和物理或虚拟偏航关节的中心之间的距离，例如，如图2所示。剪切力项对于检测包括头部枢转(偏航)的头部移动可能特别有益，因为枢转引起剪切力。
在步骤708中，通过对水平力、垂直力、偏航扭矩和俯仰扭矩进行矢量组合获得驱动输入。因此，驱动输入提供了用于模拟驱动虚拟动力学模型的四维方向力-扭矩。
在步骤710中，针对偏置力调节驱动输入。偏置力可以垂直于头枕部的表面，在头枕部的中心，指向操作者。可以施加偏置力以保持与操作者的头部接触。换句话说，偏置力使头枕部对操作者的头部产生力。偏置力可以被选择为在操作者的头部和头枕部之间提供足够的摩擦力，以使操作者在进行头部移动时能够将力和/或扭矩传输到头枕部。此外，当操作者收回头部时，偏置力使头枕部跟随操作者的头部。偏置力可以是恒定的，也可以是渐进的，即随着插入而增加，从而在沿插入方向前进时需要操作者的头部逐渐施加更大的力。尽管偏置力可以在垂直于头枕部的方向上，但可以调节驱动输入的水平和垂直力以引入偏置力。可以基于头枕部的当前取向来计算水平和垂直力调节。
在步骤712中，驱动输入被模拟地应用于虚拟动力学模型。在一个或多个实施例中，虚拟动力学模型包括虚拟质量。虚拟质量可以被配置为调节模拟系统的惯性。与速度相关的阻尼可以作用于虚拟质量。此外，摩擦(例如，库仑摩擦)可以包括在虚拟动力学中。由驱动输入表示的力和扭矩可以作用在虚拟质量上，从而导致虚拟质量加速。因此，在任何时间点，基于驱动虚拟质量的输入，虚拟质量可以在虚拟空间中移动。
在一个或多个实施例中，虚拟动力学模型具有附加特性。例如，虚拟质量可能被约束在有限的虚拟空间内。虚拟空间的限制可以源自成像设备和/或显示单元的物理工作空间约束。通过约束虚拟空间不超过物理工作空间，可以确保当显示单元被驱动以遵循虚拟动力学模型(如下所述)时，不会达到或超过物理工作空间边界。可以通过在接近边界时降低虚拟质量的速度来引入对虚拟空间的限制。速度减少可能是逐渐的，直到在边界处达到零速度。虚拟空间的约束可以是静态的或动态的。虚拟工作空间的静态约束可以反映物理工作空间约束。虚拟工作空间的动态约束可以基于自发发生的事件(例如被控制的成像设备的预测或实际发生的检测到的碰撞)来设置和调节。
在上面的描述中，虚拟质量主要由操作者的头部移动驱动。其他因素可能会影响虚拟质量的模拟移动。在本公开的一个实施例中，可以通过改变虚拟质量的动力学来渲染触觉事件。这些触觉事件可以实施虚拟控制元件，例如可以通过模拟刚性或柔顺表面、具有可配置刚性的弹簧等来实施的开关。在步骤708中，可以通过驱动输入的调制来引入触觉事件。可以通过附加地调制驱动输入来引入触觉事件。因为显示单元的移动可以反映模拟虚拟质量的移动，所以操作者可以物理地体验触觉事件。
触觉事件可能与位置有关。例如，可以基于显示单元的当前位置来实施虚拟开关，从而允许将虚拟开关放置在例如物理可用工作空间的边界处。可以使用位置传感器(例如，驱动显示单元的连杆的致动器的编码器)来获得显示单元的当前位置。可以使用正向运动学来获得参考系中的当前位置，该参考系适合于限定触觉事件的位置。触觉事件可以映射到机器人系统的其他特征。例如，点击可用工作空间的边界处的虚拟墙可能会开始录制视频、激活特定工具、在不同操作模式之间切换等。
转到图8的流程图，示出了根据一个或多个实施例的一种用于引起显示单元和附接到显示单元的头枕部的移动的方法。图8的方法可能导致头枕部跟随虚拟动力学模型的模拟移动。可替代地，在一个实施例中，头枕部使用驱动输入直接驱动。在这种情况下，可能不需要虚拟动力学模型。
在步骤800中，支撑显示单元和头枕部的连杆的逆运动学模型以虚拟质量的速度运行以生成用于驱动连杆的关节的致动器的关节移动命令。因此，逆运动学模型可以用于驱动支撑显示单元和头枕部的连杆的关节，使得头枕部或显示单元上的另一点准确地跟随虚拟质量。例如，可以使用支撑显示单元的连杆的逆(或伪逆)雅可比行列式来实施逆运动模型。虽然逆运动学模型的输出可以是关节速度，但可以执行积分以获得命令的关节位置。
在步骤802中，使用关节移动命令驱动连杆的关节。关节移动命令可以是位置或速度命令，这取决于控制关节的伺服控制器。位置-速度-时间(PVT)插值可以用于作为位置提供的关节移动命令。
随着步骤802的完成，显示单元可以在基于操作者头部移动的方向上移动以达到显示单元与操作者的头部对准的状态。此外，可以响应于确定操作者的头部或显示单元的移动而引起成像系统的移动，并更新提供给操作者的视图。结果，头部移动使操作者能够控制从成像设备获得的视图，而显示单元的补偿移动确保显示单元保持与操作者的头部对准以提供正确的观察配置，而不会在操作者的眼睛和显示单元的观察口之间未对准。有时，成像设备可能与操作者的头部移动解耦接。好处可能是，在解耦接期间，即使在存在小的自然发生的摇晃或操作者的其他“抖动”头部移动的情况下，由成像设备提供的视图也可以保持稳定。解耦接可以通过输入死区的实施方式来完成。输入死区可以通过忽略低于设定阈值的力/扭矩输入来实施，只要操作者停止移动。死区可以建立在操作者停止移动的位置周围。一旦操作者施加超过阈值的力/扭矩输入，就可以停用死区。
因为根据一个或多个实施例的补偿移动的动力学由虚拟动力学模型操控，该虚拟动力学模型可以基于操作者偏好、准确度要求等进行配置，所以操作者可以接收期望的反馈体验，而不管显示单元的原始动力学。只要逆运动学模型准确地表示显示单元和支撑显示单元的连杆，显示单元就可以准确地跟随虚拟质量的模拟移动，从而以期望的动力学取代原始动力学。
虽然已经关于有限数量的实施例描述了本发明，但是受益于本公开的本领域技术人员将理解，不脱离本文公开的本发明的范围的其他实施例可以被设计。因此，本发明的范围应仅受所附权利要求的限制。

Claims (32)

1.一种计算机辅助机器人系统，其包括：
显示单元，其被配置为向所述显示单元的操作者提供图像；
头枕部，其被配置为接收由与所述头枕部机械接触的所述操作者的头部提供的机械输入；
头枕部传感器，其与所述头枕部介接并且被配置为基于所述机械输入提供传感器信号；
控制器，其包括计算机处理器，所述控制器被配置为：
处理所述传感器信号以获得驱动输入；
通过所述驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；并且
引起所述头枕部的移动，所述头枕部的所述移动跟踪所述虚拟质量移动。
2.根据权利要求1所述的计算机辅助机器人系统，
其中所述头枕部设置在所述显示单元上，并且其中支撑所述显示单元的连杆使得所述头枕部的所述移动能够结合所述显示单元的移动，并且
其中所述连杆包括多个关节。
3.根据权利要求2所述的计算机辅助机器人系统，其中引起所述头枕部的所述移动包括使用所述模拟的虚拟质量移动作为输入来驱动所述连杆的逆运动学模型以获得所述多个关节的移动命令。
4.根据权利要求2所述的计算机辅助机器人系统，
其中所述显示单元包括被配置为显示所述图像的观察口，并且
其中所述控制器被配置为使用所述驱动输入，在引起对所述头枕部的所述机械输入的头部移动期间维持所述观察口与所述头部的对准。
5.根据权利要求1所述的计算机辅助机器人系统，其中所述头枕部传感器感测以下中的至少一个：由所述机械输入引起的多个力和由所述机械输入引起的多个扭矩。
6.根据权利要求1所述的计算机辅助机器人系统，其中处理所述传感器信号以获得所述驱动输入包括确定所述头部和所述头枕部之间的接触点。
7.根据权利要求6所述的计算机辅助机器人系统，其中使用力和扭矩的平衡以及所述头枕部的几何形状来确定所述接触点，所述力和扭矩由所述传感器信号表示。
8.根据权利要求1所述的计算机辅助机器人系统，其中处理所述传感器信号以获得所述驱动输入包括确定在所述头部和所述头枕部之间的接触点处的剪切力。
9.根据权利要求8所述的计算机辅助机器人系统，其中处理所述传感器信号还包括基于所述接触点处的法向力降额所述剪切力。
10.根据权利要求1所述的计算机辅助机器人系统，其中从处理所述传感器信号获得的所述驱动输入包括水平力、垂直力、偏航扭矩和俯仰扭矩。
11.根据权利要求1所述的计算机辅助机器人系统，其中从处理所述传感器信号获得的所述驱动输入反映了从由以下各项组成的组中选择的至少一个头部移动的确定：滚动头部移动、偏航头部移动、俯仰头部移动和水平头部移位移动。
12.根据权利要求1至11中任一项所述的计算机辅助机器人系统，其中所述控制器还被配置为：
调节所述驱动输入以包括偏置力。
13.根据权利要求12所述的计算机辅助机器人系统，其中所述偏置力垂直作用于所述头枕部的表面、在所述头枕部的中心处并且朝向所述头部取向。
14.根据权利要求12所述的计算机辅助机器人系统，其中所述偏置力偏置所述驱动输入的水平力和垂直力。
15.根据权利要求1至11中任一项所述的计算机辅助机器人系统，其中驱动所述虚拟质量包括模拟摩擦和阻尼中的至少一个。
16.根据权利要求1至11中任一项所述的计算机辅助机器人系统，其中所述控制器还被配置为通过根据触觉事件改变所述驱动输入或所述虚拟质量的动力学来渲染所述触觉事件。
17.根据权利要求1至11中任一项所述的计算机辅助机器人系统，还包括成像设备，
其中所述成像设备被配置为提供所述图像，并且
其中所述控制器还被配置为基于所述机械输入来控制所述成像设备的移动。
18.一种用于操作机器人系统的方法，其包括：
从头枕部传感器获得传感器信号，
其中所述头枕部传感器与头枕部介接，所述头枕部被配置为接收由操作者的头部提供的机械输入，所述头部与所述头枕部机械接触，并且
其中所述传感器信号基于所述机械输入；
处理所述传感器信号以获得驱动输入；
通过所述驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；并且
引起所述头枕部的移动，所述头枕部的所述移动跟踪所述虚拟质量移动。
19.根据权利要求18所述的方法，
其中所述头枕部设置在显示单元上，并且其中支撑所述显示单元的连杆使得所述头枕部的所述移动能够结合所述显示单元的移动，并且
其中引起所述头枕部的所述移动包括使用所述模拟的虚拟质量移动作为输入来驱动所述连杆的逆运动学模型以获得所述连杆的移动命令。
20.根据权利要求19所述的方法，还包括：
在引起对所述头枕部的所述机械输入的头部移动期间，使用所述驱动输入来维持所述显示单元的观察口与所述头部的对准。
21.根据权利要求18所述的方法，其中处理所述传感器信号以获得所述驱动输入包括确定所述头部和所述头枕部之间的接触点。
22.根据权利要求21所述的方法，其中使用力和扭矩的平衡以及所述头枕部的几何形状来确定所述接触点，所述力和扭矩由所述传感器信号表示。
23.根据权利要求18所述的方法，其中处理所述传感器信号以获得所述驱动输入包括确定在所述头部和所述头枕部之间的接触点处的剪切力。
24.根据权利要求23所述的方法，其中处理所述传感器信号还包括基于所述接触点处的法向力降额所述剪切力。
25.根据权利要求18所述的方法，其中从处理所述传感器信号获得的所述驱动输入包括水平力、垂直力、偏航扭矩和俯仰扭矩。
26.根据权利要求18至25中任一项所述的方法，还包括：
调节所述驱动输入以包括偏置力。
27.根据权利要求26所述的方法，其中所述偏置力垂直作用于所述头枕部的表面、在所述头枕部的中心处并且朝向所述头部取向。
28.根据权利要求26所述的方法，其中所述偏置力偏置所述驱动输入的水平力和垂直力。
29.根据权利要求18至25中任一项所述的方法，其中驱动所述虚拟质量包括模拟摩擦和阻尼中的至少一个。
30.根据权利要求18至25中任一项所述的方法，还包括：
通过根据触觉事件改变所述驱动输入或所述虚拟质量的动力学来渲染所述触觉事件。
31.根据权利要求18至25中任一项所述的方法，还包括：
基于所述机械输入控制成像设备的移动。
32.一种非暂时性机器可读介质，其包括由与医疗系统相关联的一个或多个处理器执行的多个机器可读指令，所述多个机器可读指令引起所述一个或多个处理器执行一种方法，所述方法包括：
从头枕部传感器获得传感器信号，
其中所述头枕部传感器与头枕部介接，所述头枕部被配置为接收由操作者的头部提供的机械输入，所述头部与所述头枕部机械接触，并且
其中所述传感器信号基于所述机械输入；
处理所述传感器信号以获得驱动输入；
通过所述驱动输入驱动虚拟质量以获得模拟的虚拟质量移动；并且
引起所述头枕部的移动，所述头枕部的所述移动跟踪所述虚拟质量移动。
CN202080036044.3A 2019-08-23 2020-08-21 观察系统的头部移动控制 Pending CN113853176A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962891229P 2019-08-23 2019-08-23
US62/891,229 2019-08-23
PCT/US2020/047493 WO2021041248A1 (en) 2019-08-23 2020-08-21 Head movement control of a viewing system

Publications (1)

Publication Number Publication Date
CN113853176A true CN113853176A (zh) 2021-12-28

Family

ID=72322573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036044.3A Pending CN113853176A (zh) 2019-08-23 2020-08-21 观察系统的头部移动控制

Country Status (4)

Country Link
US (2) US12082902B2 (zh)
EP (1) EP4017690A1 (zh)
CN (1) CN113853176A (zh)
WO (1) WO2021041248A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12232836B2 (en) * 2019-10-23 2025-02-25 Auris Health, Inc. Apparatus, systems and methods for dynamic online kinematic adaptation of medical robots
CN116322559A (zh) * 2020-11-25 2023-06-23 直观外科手术操作公司 可操控的查看器模式激活和停用
CN118401193A (zh) * 2021-10-21 2024-07-26 直观外科手术操作公司 用于显示单元的可调整头枕

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034308A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
US20160183930A1 (en) * 2013-08-14 2016-06-30 Intuitive Surgical Operations, Inc. Endoscope control system
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state
WO2018195319A1 (en) * 2017-04-20 2018-10-25 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
CN109806002A (zh) * 2019-01-14 2019-05-28 微创（上海）医疗机器人有限公司 一种用于手术机器人的成像系统及手术机器人

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10028086C2 (de) 2000-06-07 2003-05-08 Tesa Ag Verfahren zum Herstellen eines Datenspeichers
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10568703B2 (en) 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system
JP6756040B2 (ja) * 2016-10-03 2020-09-16 バーブ サージカル インコーポレイテッドＶｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ． ロボット手術のための没入型三次元表示

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034308A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
US20160183930A1 (en) * 2013-08-14 2016-06-30 Intuitive Surgical Operations, Inc. Endoscope control system
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state
WO2018195319A1 (en) * 2017-04-20 2018-10-25 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
CN109806002A (zh) * 2019-01-14 2019-05-28 微创（上海）医疗机器人有限公司 一种用于手术机器人的成像系统及手术机器人

Also Published As

Publication number Publication date
US20240390092A1 (en) 2024-11-28
US12082902B2 (en) 2024-09-10
WO2021041248A1 (en) 2021-03-04
EP4017690A1 (en) 2022-06-29
US20220287788A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20240390092A1 (en) Head movement control of a viewing system
US7689320B2 (en) Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
JP2024133585A (ja) 移動可能なディスプレイシステム
US20240375282A1 (en) Techniques for following commands of an input device using a constrained proxy
US20230263585A1 (en) Method and system for coordinated multiple-tool movement using a drivable assembly
JP2022545684A (ja) トラック上の移動可能なディスプレイユニット
US20240335245A1 (en) Techniques for adjusting a field of view of an imaging device based on head motion of an operator
US20240025050A1 (en) Imaging device control in viewing systems
US20240024049A1 (en) Imaging device control via multiple input modalities
US20240000534A1 (en) Techniques for adjusting a display unit of a viewing system
US20200179070A1 (en) Robotic surgical system control arm including dual encoders
CN116528790A (zh) 用于调整观看系统的显示单元的技术
US20230393544A1 (en) Techniques for adjusting a headrest of a computer-assisted system
US20240423751A1 (en) Controlling a repositionable structure system based on a geometric relationship between an operator and a computer-assisted device
US20240008942A1 (en) Steerable viewer mode activation and de-activation
EP4493105A1 (en) Temporal non-overlap of teleoperation and headrest adjustment in a computer-assisted teleoperation system
US20240208065A1 (en) Method and apparatus for providing input device repositioning reminders
WO2024142020A1 (en) External force regulation for teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination