[go: up one dir, main page]

CN106715057A - 使用协同控制的机器人的外科手术系统用户界面 - Google Patents

使用协同控制的机器人的外科手术系统用户界面 Download PDF

Info

Publication number
CN106715057A
CN106715057A CN201580050941.9A CN201580050941A CN106715057A CN 106715057 A CN106715057 A CN 106715057A CN 201580050941 A CN201580050941 A CN 201580050941A CN 106715057 A CN106715057 A CN 106715057A
Authority
CN
China
Prior art keywords
robot
control
collaborative
user
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580050941.9A
Other languages
English (en)
Other versions
CN106715057B (zh
Inventor
马尔钦·A·巴利茨基
彼得·卡赞兹德斯
安东·德盖特
拉塞尔·H·泰勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Priority to CN201910498590.8A priority Critical patent/CN110142787A/zh
Publication of CN106715057A publication Critical patent/CN106715057A/zh
Application granted granted Critical
Publication of CN106715057B publication Critical patent/CN106715057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/04—Foot-operated control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/06—Communication with another machine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Manipulator (AREA)

Abstract

根据本发明的一些实施方式，协同控制的机器人包括包含工具架和力传感器的机器人致动器组件、适于与机器人致动器组件和力传感器通信的控制系统以及与控制系统通信的输出系统。工具架被配置为接收要由用户操纵的工具。控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令。力传感器被配置为测量施加到工具的力和扭矩中的至少一个，且控制系统被配置为接收对施加到工具的力和扭矩中的至少一个的指示，并基于该指示来操纵输出系统。

Description

使用协同控制的机器人的外科手术系统用户界面
本申请要求于2014年9月25日提交的美国非临时专利申请第14/497,178号的优先权，其全部内容通过引用并入本文。
本发明是在美国国立卫生研究院(NIH)的健康和人类服务部授予的资助号为第1R01EB 007969-01号的政府支持和国家科学基金会授予的资助号为第EEC-9731478号的政府支持下完成的。美国政府对本发明具有某些权利。
背景
1.技术领域
本发明当前要求保护的实施方式的领域涉及机器人系统，更具体地涉及使用协同控制机器人系统的外科手术系统用户界面和包括所述用户界面的机器人系统。
2.相关技术的讨论
外科医生和手术室工作人员通过踏板、物理旋钮、触摸面板和偶尔通过语音命令与计算机集成外科设备直接交互。在大多数手术情况下，外科医生手动处理外科手术器械，并且由于无菌要求或因为他们的手被占用，外科医生可能不能直接改变位于远程接口(例如，触摸面板)上的系统参数。相反，他们将必要的设置传递给根据请求调整参数的助理。这种交换增加了操作时间，并且如果发生错误通信，可能会不经意地对患者造成伤害。
另外，为了在操作期间有效地检查手术前外科手术计划或诊断图像，可能需要复杂的控制接口，例如三自由度(DOF)或六DOF操纵杆。
将复杂的手术装置添加到手术室中引入了竞争有限空间的更多物理接口。最小化这些接口的数量是合乎需要的。
概述
根据本发明的一些实施方式，协同控制的机器人包括机器人致动器组件、适于与该机器人致动器组件和力传感器通信的控制系统、以及与该控制系统通信的输出系统，该机器人致动器组件包括工具架和力传感器。该工具架被配置为接收要由用户操纵的工具。该控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令。该力传感器被配置为测量施加到该工具的力和扭矩中的至少一个，并且该控制系统被配置为接收对施加到该工具的力和扭矩中的至少一个的指示，并且基于该指示来操纵该输出系统。
根据本发明的一些实施方式，用于协同控制的机器人的外科手术系统用户界面包括适于与机器人致动器组件和力传感器通信的控制系统以及与该控制系统通信的输出系统。该控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，并且该控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示并基于该指示操纵该输出系统。
附图简述
通过考虑说明书、附图和示例，进一步的目标和优势将变得明显。
图1A是根据本发明的实施方式的协同控制的机器人的示意图；
图1B示出了包括力传感器和工具架的机器人致动器组件；
图1C示出了根据本发明的实施方式的工具的示意图；
图2示出了用户与协同控制的机器人交互；
图3示出了根据本发明的实施方式的用于外科医生控制协同控制的机器人的流程图；
图4示出了商业3D空间导航器(3Dconnexion公司)；
图5示出了机器人框架(FR)和外科医生的身体框架(FS)之间的关系；
图6示出了如何通过选项列表围绕工具的z轴施加扭矩以循环；以及
图7示出了根据本发明的实施方式如何将单轴选择器推广用于图形菜单导航。
详细描述
下面详细讨论本发明的一些实施方式。在描述实施方式中，为了清楚起见采用特定术语。然而，本发明不旨在限于所选择的特定术语。相关领域的技术人员将认识到，在不脱离本发明的宽泛概念的情况下，可以采用其他等效组分和开发其他方法。在本说明书中任何地方(包括背景和详细描述部分)引用的所有参考文献，，通过引用并入本文，如同各自已被单独并入一样。
图1A是根据本发明的实施方式的协同控制的机器人的示意图。协同控制的机器人100包括机器人致动器组件102，其包括工具架106和力传感器104，如图1B所示。协同控制的机器人100还包括适于与机器人致动器组件102和力传感器104通信的控制系统108，以及与控制系统108通信的输出系统110。工具架106被配置为接收待由外科医生持有的工具112。图1C示出了工具112的示意图。控制系统108被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令。力传感器104被配置为测量施加到工具112的力和扭矩中的至少一个，并且控制系统108被配置为接收对施加到工具112的力和扭矩中的至少一个的指示并基于该指示来操纵输出系统110。根据本发明的一些实施方式，输出系统是视觉显示系统、音频显示系统、显微镜、光源或第二机器人致动器组件。
术语“协同控制”旨在针对机器人系统，在该机器人系统中用户与机器人致动器组件的至少一部分直接交互，使得机器人有效地辅助用户执行某些操作。在这种情况下，用户位于机器人致动器组件的附近。图2示出了一个可能的例子，其中用户200抓取附加到机器人致动器组件204的工具202。例如，然后工具202的运动是用户200和机器人两者的协同动作的结果。
本文所述的协同控制的机器人和外科手术系统用户界面允许机器人的双重使用。通过停止机器人的运动，外科医生施加在工具手柄上的力可以被解释为工具是基于速度或位置的多轴操纵杆。一般概念类似于集成在IBM ThinkPad中的手指操纵杆控制器。然而，本系统中的输入端也是外科器械，并且包括附加的自由度。另外，机器人可以向用户提供触觉反馈，并且系统可以与各种设备和软件应用组合。
在用户界面模式中协同控制的机器人可以包括速度控制模式，其中用于外科外科手术系统用户界面的数字输出(例如x，y速度)与施加到工具的力/扭矩成比例地变化。例如，通过用施加在工具上的2-D力控制光标的x和y速度，可以在2-D平面上操纵2-D鼠标光标。这可以扩展到任何数量的自由度。力/扭矩和数字输出之间的关系可以是线性，非线性(例如，指数)，基于时间的，或基于背景的(例如，当光标位于部件上方时具有低转换因子，以及当它离开部件时具有高转换因子。)
在用户界面模式中协同控制的机器人可以允许位置控制，其中用于外科手术系统用户界面的数字输出(例如x，y位置)与施加到工具的力/扭矩成比例。例如，施加到工具的力/扭矩被转换成输出位置，例如相对于原点的位移。一旦用户释放仪器(力/扭矩＝0)，则位置返回原点。力/扭矩和数字输出之间的关系可以是线性、非线性(例如，指数)、基于时间的、或基于背景的(例如，当光标位于部件上方时具有低转换因子，以及当它离开部件时具有高转换因子。)
在用户界面模式中协同控制的机器人可以用作单轴选择器。在该模式中，可以应用上述位置或速度控制方法以使得工具能够像旋钮那样工作。例如，通过系统选项的列表用户可以将扭矩施加到工具以循环。根据本发明的一些实施方式，用户可以通过向工具施加力/扭矩来选择一个选项来确认系统通知或回答问题。例如，为了回答“我们会继续吗？”的问题，用户可以顺时针转动工具以选择“是”，并且逆时针以选择“否”。
在用户界面模式中的协同控制的机器人可以用于产生按钮按压功能。当用户沿着预定轴以给定的持续时间和/或以给定的力大小在工具上施加力时，产生事件。例如，如果系统处于2-D用户界面模式，则沿着垂直于2-D运动平面的方向在工具上施加力产生按钮按压事件。另一个按钮按压应用是在单轴选择器模式中的项选择确认，其中沿选择轴施加力。
在用户界面模式中协同控制的机器人可以允许用户进行放大和缩小。如果系统处于2-D模式，沿着垂直于2D运动平面的方向按压或拉动将使视图/屏幕放大和缩小。
补充上述功能的附加反馈方法包括图形、触觉和音频反馈。图形反馈可以包括输入光标正在移动或悬停在其上的图形项目的大小和颜色调制。为了提供触觉反馈，当按钮按下被启动时，或者如果指针在可视部件上移动，则机器人可以轻微振动工具(例如，诱导正弦运动)。为了提供音频反馈，用户输入事件可以通过相应的音频信号来补充，例如，用于选择的蜂鸣声。
在用户界面模式中协同控制的机器人可以具有多种模式。例如，可以激活1-D模式，其中协同控制的机器人用作选项选择器。2-D模式可以用于控制平面鼠标运动，或者作为2-D选项选择器。2-D+系统除了可以包括2-D系统的功能，还允许按钮输入。2-D+系统还可以允许围绕z轴的基于扭矩的旋转以及基于沿着z轴施加的力的缩放能力。在3-D模式中，工具上的力可以被转换为三DOF中的指针运动，或者可以改变3D模型的视图。这可以包括缩放功能。6-D模式可以采用全六DOF操纵杆控制。
协同控制的机器人可以用于各种应用，包括但不限于：在显示屏上控制鼠标指针，控制一组系统选项，应答听觉或视觉提示，确认系统通知，控制致动的显微镜/内窥镜/组织牵开器，检查患者数据/图像，以及控制辅助机器人。
以下示例更详细地描述一些实施方式。本发明的广义概念不旨在限于特定示例。
EyeRobot是协同控制的机器人的示例，其中外科医生和机器人共享外科器械的控制(参见图1A和图2)。机器人(通过6-DOF力/扭矩传感器)感测由操作者施加在手术器械手柄上的力并且移动器械以符合。通过这种合作关系，外科医生直接控制用于在患者上操作的器械，并且外科医生的生理性手抖动显著减少。该组合提供了机器的精确性和灵敏度，其具有外科医生已经习惯的手持工具的操纵简单性、直接性和自然的手眼协调。
EyeRobot上的6-DOF力/扭矩(FT)传感器主要用于控制外科器械的运动。当机器人不移动时，实际工具与物理用户输入的偏差是最小的，这是由于致动器的非常僵硬的结构设计和非反向驱动特性。当机器人不被命令移动时，FT传感器也可以在运行中重新使用，以提供用于与外科手术系统的其余部分交互的直观的和即时的用户输入方法。
图3示出了用于外科医生302控制协同控制的机器人的流程图300。外科医生302可以指示协同控制的机器人在机器人控制模式和用户界面控制模式之间切换。通过接合物理按钮或脚踏板，通过麦克风检测到的语音命令，经由诸如护士控制台的第二显示系统上的图形用户界面(GUI)按钮，或基于过程的背景或内部系统事件自动地通过外科手术系统，进行切换命令304。切换命令304控制模式306并确定系统将如何响应施加到力传感器的力/扭矩308。当协同控制的机器人处于机器人控制模式310时，施加的力/扭矩308控制机器人的运动312。当外科手术系统处于用户界面控制模式314时，所施加的力/扭矩308用于选择参数316以充当系统输入318。机器人的运动被禁用，并且启用下面描述的模式中的一个或多个。
另一种选择是将特殊的操纵杆工具插入到工具适配器中。该工具没有标准长度的工具轴来防止与解剖结构的意外碰撞。当检测到其插入时(例如，经由接触开关)，启用操纵杆模式。此外，该工具可以约束围绕工具轴的旋转，使得力/扭矩传感器可以检测扭矩，以提供完全的6-DOF输入。外科手术工具或特殊操纵杆上的力/扭矩可以解释为6-DOF速率控制操纵杆，非常类似于图4中所示的商业3D空间导航器(3Dconnexion公司)。
虽然在工具或机器人坐标系中测量的力/扭矩可以直接用于用户界面操作，但是用户并不总是直观地这样做。根据本发明的一些实施方式，力/扭矩测量框架(通常位于机器人框架(FR)中)与外科医生的身体框架(FS)对准。框架FR和FS在图5中示出。该示例性机器人-外科医生布置具有使机器人框架中的手柄力围绕机器人z轴旋转±30°的效果。注意，手柄相对于机器人底座的取向不影响输入的一致性，即，如果手柄滚动到20°的位置，并且外科医生远离他的身体向前按压，则操纵杆模式将产生与手柄滚动到-20°的位置时相同的输出。虚拟操纵杆(速度螺杆)的输出速率计算如下：
v＝CRAdSf， (方程1)
其中机器人框架FR中测量的手柄力和扭矩f(6-DOF)由伴随变换矩阵AdS变换并乘以对角矩阵C，其对角线表示将力(N)和扭矩(N/mm)转换成mm/s和rad/s的因子。在该示例中，C是线性映射，但是可以扩展为包括力/扭矩到数值位置或速度输出的非线性和基于背景的变换。
然后将输出传输到系统作为用户接口输入，并解释为速率控制操纵杆。注意，XYZ操纵杆单元必须从mm转换为像素或mm/s转换为像素/s，并且取决于外科医生的偏好，并且操纵杆框架可能需要围绕水平轴(90°)旋转以对准在典型的眼科手术可视化设置中的观察平面。对于根据本发明的一些实施方式的用户界面，在显示器上驱动鼠标光标时，仅考虑单个平面(X-Y或Z-X平面)中的速度读数。
在一些情况下，使用虚拟操纵杆作为定位装置是更有利的。这通过连续积分速度以产生在时间T处的当前位置p(扭曲)(6DOF)来实现：
其中在这种情况下dt变为力/转矩测量的采样周期。
位置虚拟操纵杆能力为外科医生输入笛卡尔坐标到系统中提供了一种方法。例如，其可以用于远程作为光标输入以在玻璃体视网膜手术可视化系统中的视网膜的表面上虚拟地绘制线。外科医生可以使用虚拟操纵杆来将感兴趣区域上的显示器上的光标进行转变，其中按钮按下事件处于绘制模式并且外科医生通过在期望方向上按压手柄来继续绘制线。
在上述方法中，对于在单个平面或单力轴中产生输出的输入仅考虑力测量。然而，即使当仅需要力的输入时，不精确的手柄操纵通常涉及扭矩和力的组合。为了增强输入的灵敏度并且使得交互更直观，特别是当外科医生将器械保持在与力/扭矩进行处理的位置不同的位置时，扭矩测量也可以被解释为力输入。例如，输出速度(V)通过V＝C*f+D*T计算，其中D是将扭矩(T)转换成mm/s的缩放因子。
通过利用触发按钮按下、按钮上升等事件的阈值监视沿预定轴的力/扭矩来实现点击事件。公共输入轴是主工具(z-)轴。外科医生在给定的时间量内以给定的力沿向下方向(沿着负z轴)按压工具，这启动按钮按下点击事件。可选地，通过在工具上施加向上的力(沿着正z轴)，按钮上升点击事件也是可能的。
该系统可以包括位置控制模式，其中操纵杆控制的输出是与力/扭矩成比例的位置/旋转。可以使用缩放因子C和方向变换矩阵RAdS来计算位置：
p＝C RAds f. (方程3)
这使得当外科医生不再处理器械时，输出“弹回”到原点。与速度输出一样，C可以扩展超过线性映射，以包括力/扭矩到数值位置或速度输出的非线性和基于背景的变换。
协同控制的机器人可以具有许多操作模式，外科医生可以在操作期间基于手头任务的要求动态地选择使用。为了便于这些机器人控制模式之间的快速切换，可以使用开关(例如，踏板点击)来启用单轴选择器，在该点处机器人停止其运动并且预定的力/扭矩测量轴被认为是选择旋钮，并用于通过可用选项来回循环。例如，通过用户界面选项(假设z轴被锁定)应用围绕工具的主z轴的扭矩循环。通过该选项，顺时针方向的力可以向前循环，并且通过该选项，逆时针方向的力可以向后循环。一旦再次点击或释放开关，则选择被设置。当力/扭矩输入超过阈值和最小停留时间时，完成通过该选项的循环。虽然可以为该模式选择任意的力/扭矩选择轴，但是参考诸如工具的物理对象以获得更直观的输入方法是自然的。
根据本发明的实施方式，旋钮选择还可以包括混合行为，其中主工具轴(参见图6)是被动的并且被编码。用户围绕主工具轴旋转工具以循环通过这些模式(不考虑力数据)。系统直接解释旋转的位置。为了进行选择，沿着工具轴在工具上施加力，触发按下的按钮按下事件。这种行为也可以通过致动的工具轴来实现，其中通过标准进入(admittance)控制进行旋转。
在机器人可以安全地产生运动(例如，当其不参与关键外科手术任务时，例如在过程的准备阶段期间)的情况下，可以响应于用户界面事件生成物理反馈。例如，机器人可以振动以确认选择、点击、错误、或在菜单项上移动的鼠标指针。在另一示例中，当鼠标光标悬停在可点击的部件上方时，机器人可以轻微地“向上”移动，而当鼠标光标离开部件时，机器人则可以返回到其原始位置。为了进一步增强直观的通信，触觉反馈可以与补充的听觉或视觉反馈组合。机器人的运动可能在力传感器上感应到力，在这种情况下，力/扭矩测量应该在触觉反馈的时段中被忽略。
单轴选择器模式可以被概括用于图7所示的图形菜单导航。通过在y方向上施加力(向上为正，向下为负)，选择以离散转换进行循环。一旦所需选择被激活，应用正交力(沿着x轴)调整与选择相关联的特定参数。可选地，可以使用围绕工具的z轴的扭矩来执行参数调整。
相互作用可以包括最小力输入(公差)，使得沿特定轴的力的不精确施加不会无意地触发基于沿着其它轴的力的动作。此外，用于在选项之间转换的时间延迟可以控制通过选择进行的循环速率。
可选菜单交互包括多层菜单部件，其可以使用操纵杆按钮/按压事件来选择打开另一组菜单的菜单项。为了让这成为有效的交互方法，可能期望视觉或听觉反馈以增强离散菜单项之间的转换。这与BMW的iDrive类似，可应用于多层菜单，并可包括按钮按下事件以供选择。
操纵杆输出的取向可以与典型的外科手术情景(表对准，或显示对准)的典型手视图对准，以便于外科医生使用系统。
外科医生经常在使用脚踏板或用他们的手的操作期间调整外科手术显微镜或致动的内窥镜的致动变焦/平移/聚焦。或者，可以以下列方式绘制操纵杆位置控制模式，以在不使用这种踏板或放弃外科手术工具的情况下控制这种显微镜的致动。平移模式可以控制显微镜的x-y平面平移。所做的缩放可以允许z轴输入，其中沿着z轴的力使得显微镜放大或缩小。聚焦模式可以允许外科医生通过施加围绕z轴的扭矩来聚焦显微镜。
类似地，可以使用相同的方法来进行高分辨率视频或图像的检查，而不是物理地控制显微镜，可以纯粹通过软件来操纵视频或图像。平移模式可以控制在高分辨率视频或图像上的观看窗口的x-y平面平移。缩放模式可以允许用户使用沿着z轴使得显微镜放大或缩小的力以放大图像的一部分。响应于围绕z轴的扭矩，选择功能循环通过可用图像的列表。除了视频和图像之外，还可以在用户界面控制模式中使用协同控制的机器人检查和操纵音频数据流。机器人还可以用于检查诸如患者生命体、脑电图(EEG)、心电图(EKG)或使用患者数据创建的其他图像的医疗数据。
3-D模型检查模式允许外科医生使用6-DOF操纵杆输入来操纵3-D模型的视图，直接映射到标准3-D视图，类似于3-D空间鼠标交互。
在用于增强现实的3-D模型对准模式中，操纵杆可以用于对叠加在外科手术区域的视图之上的虚拟解剖模型执行姿态调整。这种初始对准步骤通常有助于在增强现实应用中注册具有视觉数据的模型。一个例子是从在导航操作期间使用术前图像导出具有肿瘤的肾的3-D模型。
本文所述的外科手术系统可用于辅助操纵器控制。根据本发明的实施方式，在手术室中使用多于一个机器人操纵器。该系统可以具有双手EyeRobot设置，或者可以是EyeRobot和致动的内窥镜保持机器人的组合。通过将协同控制的机器人用作操纵杆的能力，可以实现远程操作控制方案，其中一个机器人处于操纵杆模式，其用于定位另一个机器人。这可以提供更精细的控制水平，或者为远程操作的机器人提供必要的控制输入。
上述实施方式公开了协同控制的机器人。可选地，外科手术系统用户界面可以被配置为与协同控制的机器人一起使用。外科手术系统用户界面可以包括适于与协同控制的机器人的机器人致动器组件和力传感器通信的控制系统。外科手术系统用户界面还可以包括与控制系统通信的输出系统，其中控制系统被配置为从用户接收指令以从机器人控制模式切换到用户界面控制模式，并且其中控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示，并且基于所述指示来操纵所述输出系统。与协同控制的机器人结合的外科手术系统用户界面可以被配置为执行上文关于协同控制的机器人描述的所有功能。
在本说明书中说明和讨论的实施方式仅旨在教导本领域技术人员如何制造和使用本发明。在描述本发明的实施方式时，为了清楚起见，使用了特定的术语。然而，本发明不旨在限于所选择的特定术语。如本领域技术人员根据上述教导所理解的，可以修改或改变本发明的上述实施方式而不脱离本发明。因此，应当理解，在权利要求及其等同物的范围内，本发明可以以与具体描述不同的方式实施。

Claims (20)

1.一种协同控制的机器人，所述协同控制的机器人包括：
机器人致动器组件，其包括工具架和力传感器；
控制系统，其适于与所述机器人致动器组件和所述力传感器通信；以及
输出系统，其与所述控制系统通信，
其中所述工具架被配置为接收要由用户操纵的工具，
其中所述控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，
其中所述力传感器被配置为测量施加到所述工具的力和扭矩中的至少一个，以及
其中所述控制系统被配置为接收对施加到所述工具的力和扭矩中的所述至少一个的指示，并且基于所述指示来操纵所述输出系统。
2.根据权利要求1所述的协同控制的机器人，还包括：
与所述控制系统通信的麦克风，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括由所述麦克风检测到的语言信号。
3.根据权利要求1所述的协同控制的机器人，还包括：
与所述控制系统通信的踏板，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括对所述踏板的推动或释放。
4.根据权利要求1所述的协同控制的机器人，还包括：
与所述控制系统通信的物理按钮，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括通过所述物理按钮接收的命令。
5.根据权利要求1所述的协同控制的机器人，还包括：
与所述控制系统通信的第二输出系统，其中来自用户的从机器人控制模式切换到用户界面控制模式的所述指令包括通过所述第二输出系统的用户界面接收的命令。
6.根据权利要求1所述的协同控制的机器人，其中所述输出系统是音频系统。
7.根据权利要求1所述的协同控制的机器人，其中所述输出系统是视觉显示系统。
8.根据权利要求7所述的协同控制的机器人，其中所述控制系统被配置为通过基于所述指示改变光标的位置来操纵所述视觉显示系统。
9.根据权利要求7所述的协同控制的机器人，其中所述控制系统被配置为通过基于所述指示改变光标的速度来操纵所述视觉显示系统。
10.根据权利要求7所述的协同控制的机器人，其中所述视觉显示系统被配置为显示图像，并且其中所述控制系统被配置为基于所述指示来操纵所述图像。
11.根据权利要求10所述的协同控制的机器人，其中所述图像是使用来自患者的数据而创建的。
12.根据权利要求7所述的协同控制的机器人，其中所述视觉显示系统被配置为显示图像，并且其中所述控制系统被配置为通过基于所述指示放大或缩小所述图像来操纵所述视觉显示系统。
13.根据权利要求1所述的协同控制的机器人，其中所述输出系统是第二机器人致动器组件。
14.根据权利要求1所述的协同控制的机器人，其中所述输出系统是显微镜。
15.根据权利要求1所述的协同控制的机器人，其中所述输出系统是光源。
16.根据权利要求1所述的协同控制的机器人，其中所述控制系统被配置为通过浏览参数列表并基于所述指示选择参数来操纵所述输出系统。
17.根据权利要求1所述的协同控制的机器人，其中所述控制系统被配置为在所述力沿着预定轴线施加并且超过预定持续时间和幅度中的至少一个的情况下执行按钮按压功能。
18.根据权利要求1所述的协同控制的机器人，其中所述工具是外科手术器械。
19.根据权利要求1所述的协同控制的机器人，其中所述工具是不打算在外科手术期间使用的操纵杆工具。
20.一种用于协同控制的机器人的外科手术系统用户界面，所述外科手术系统用户界面包括：
控制系统，其适于与机器人致动器组件和力传感器通信；以及
输出系统，其与所述控制系统通信，
其中所述控制系统被配置为接收来自用户的从机器人控制模式切换到用户界面控制模式的指令，和
其中所述控制系统被配置为从力传感器接收对施加到工具的力和扭矩中的至少一个的指示，并且基于所述指示来操纵所述输出系统。
CN201580050941.9A 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面 Active CN106715057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498590.8A CN110142787A (zh) 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/497,178 2014-09-25
US14/497,178 US9815206B2 (en) 2014-09-25 2014-09-25 Surgical system user interface using cooperatively-controlled robot
PCT/US2015/051907 WO2016049294A1 (en) 2014-09-25 2015-09-24 Surgical system user interface using cooperatively-controlled robot

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910498590.8A Division CN110142787A (zh) 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面

Publications (2)

Publication Number Publication Date
CN106715057A true CN106715057A (zh) 2017-05-24
CN106715057B CN106715057B (zh) 2019-07-02

Family

ID=55581994

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580050941.9A Active CN106715057B (zh) 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面
CN201910498590.8A Pending CN110142787A (zh) 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910498590.8A Pending CN110142787A (zh) 2014-09-25 2015-09-24 使用协同控制的机器人的外科手术系统用户界面

Country Status (5)

Country Link
US (1) US9815206B2 (zh)
EP (1) EP3197383A4 (zh)
CN (2) CN106715057B (zh)
CA (1) CA2960725C (zh)
WO (1) WO2016049294A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109806011A (zh) * 2018-09-12 2019-05-28 苏州铸正机器人有限公司 辅助手术装置
CN111093910A (zh) * 2017-09-18 2020-05-01 沃博手术股份有限公司 具有环形拓扑通信网络的机器人手术系统及其使用方法
CN113290542A (zh) * 2020-02-21 2021-08-24 佳能株式会社 机器人装置及控制方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205176B3 (de) * 2015-03-23 2016-05-12 Kuka Roboter Gmbh Robustes intuitives Bedienverfahren durch Berührung eines Manipulators
US10166080B2 (en) 2015-06-12 2019-01-01 The Johns Hopkins University Cooperatively-controlled surgical robotic system with redundant force sensing
US9862099B1 (en) * 2015-06-22 2018-01-09 X Development Llc Haptic controller with touch-sensitive control knob
US9833907B1 (en) 2015-06-22 2017-12-05 X Development Llc Proximity-based binding
WO2017041159A1 (en) * 2015-09-11 2017-03-16 Synaptive Medical (Barbados) Inc. End effector joystick for a positioning device
US10589428B1 (en) 2015-10-01 2020-03-17 Verily Life Sciences Llc Automatic distribution of control functions between multiple knob controllers based on proximity and relative positioning of the knobs
US10201903B1 (en) 2015-10-22 2019-02-12 Verily Life Sciences Llc Punch-in / punch-out smoothing for takeover of automated movement with haptic controller
US9987753B1 (en) 2015-10-28 2018-06-05 X Development Llc Linear force control of rotation of a knob controller
US9737987B1 (en) 2015-11-20 2017-08-22 X Development Llc Visual cards for describing and loading operational modes to motorized interface element
US9811066B1 (en) 2015-12-14 2017-11-07 X Development Llc Throttle functionality of haptic controller
WO2017210098A1 (en) * 2016-06-03 2017-12-07 Covidien Lp Multi-input robotic surgical system control scheme
CH712952A1 (de) * 2016-09-26 2018-03-29 Appsocial Org Stiftung Fremdkraftbetätigbare Prothese.
CN107007892A (zh) * 2016-11-16 2017-08-04 温州医科大学附属眼视光医院 医疗用抽吸机器人
CN107009365A (zh) * 2016-11-16 2017-08-04 温州医科大学附属眼视光医院 注射机器人
CN107019559A (zh) * 2016-11-16 2017-08-08 温州医科大学附属眼视光医院 全自动眼科手术机器人
EP4424267A3 (en) 2017-04-20 2024-10-30 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
WO2018209042A2 (en) 2017-05-10 2018-11-15 Mako Surgical Corp. Robotic spine surgery system and methods
CN110913792A (zh) * 2017-06-06 2020-03-24 直观外科手术操作公司 用于远程操作系统中基于状态的语音识别的系统和方法
JP7541481B2 (ja) 2018-01-26 2024-08-28 マコ サージカル コーポレーション 手術ロボットで案内されたプロテーゼ嵌入のためのエンドエフェクタおよびシステム
US11179214B2 (en) 2019-07-16 2021-11-23 Asensus Surgical Us, Inc. Haptic user interface for robotically controlled surgical instruments
CN112057170B (zh) * 2019-09-10 2022-02-15 深圳市精锋医疗科技股份有限公司 手术机器人及其控制方法、控制装置
CN112384870B (zh) 2020-01-22 2024-04-12 上海联影医疗科技股份有限公司 控制系统和方法
US11633247B2 (en) * 2020-03-03 2023-04-25 Verb Surgical Inc. Graphical user guidance for a robotic surgical system
EP3875048B1 (en) * 2020-03-04 2022-05-04 Storz Medical AG Shockwave therapy system with 3d control
CN111421560A (zh) * 2020-04-10 2020-07-17 前元运立(北京)机器人智能科技有限公司 一种隔离空间病毒诊断机器人系统
CN111844026B (zh) * 2020-07-02 2023-07-11 兰州大学 一种事件触发的多机器人分布式协同控制方法
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US12167900B2 (en) 2021-03-31 2024-12-17 Moon Surgical Sas Co-manipulation surgical system having automated preset robot arm configurations
JP2024513204A (ja) 2021-03-31 2024-03-22 ムーン サージカル エスアエス 腹腔鏡下外科手術を実施するための外科手術用器具と併用するための協調操作式外科手術用システム
US12042241B2 (en) 2021-03-31 2024-07-23 Moon Surgical Sas Co-manipulation surgical system having automated preset robot arm configurations
US12178418B2 (en) 2021-03-31 2024-12-31 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
DE102022118710A1 (de) * 2022-07-26 2024-02-01 B. Braun New Ventures GmbH Medizinische Fernsteuerung, Medizinischer Roboter mit intuitiver Steuerung und Steuerungsverfahren
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020003528A1 (en) * 1997-08-23 2002-01-10 Immersion Corporation Cursor control using a tactile feedback device
US20020151784A1 (en) * 1998-11-10 2002-10-17 Olympus Optical Co., Ltd. Surgical microscope
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US20050029978A1 (en) * 2003-07-08 2005-02-10 Dmitry Oleynikov Microrobot for surgical applications
CN101031236A (zh) * 2003-07-16 2007-09-05 Z-凯特公司 用于具有改进反馈的手术程序的导向系统和方法
US20090036902A1 (en) * 2006-06-06 2009-02-05 Intuitive Surgical, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20100225209A1 (en) * 2009-03-09 2010-09-09 Intuitive Surgical, Inc. Ergonomic surgeon control console in robotic surgical systems
US20110213384A1 (en) * 2008-10-31 2011-09-01 Chang Wook Jeong Surgical robot system having tool for minimally invasive surgery
US20120053597A1 (en) * 2009-03-10 2012-03-01 Mcmaster University Mobile robotic surgical system
US20140094968A1 (en) * 2011-09-28 2014-04-03 The Johns Hopkins University Teleoperative-cooperative robotic system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995002801A1 (en) * 1993-07-16 1995-01-26 Immersion Human Interface Three-dimensional mechanical mouse
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US7289611B2 (en) 1999-01-22 2007-10-30 Pointset Corporation Method and apparatus for setting programmable features of motor vehicle
US7206626B2 (en) * 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for haptic sculpting of physical objects
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7303010B2 (en) * 2002-10-11 2007-12-04 Intelligent Robotic Corporation Apparatus and method for an autonomous robotic system for performing activities in a well
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
FR2871363B1 (fr) 2004-06-15 2006-09-01 Medtech Sa Dispositif robotise de guidage pour outil chirurgical
US7979157B2 (en) * 2004-07-23 2011-07-12 Mcmaster University Multi-purpose robotic operating system and method
EP3679882A1 (en) * 2005-06-06 2020-07-15 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
EP3155998B1 (en) 2005-10-20 2021-03-31 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7689320B2 (en) * 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
CN101448468B (zh) * 2006-05-19 2011-10-12 马科外科公司 用于验证外科手术装置的校准的系统和方法
US9179832B2 (en) * 2008-06-27 2015-11-10 Intuitive Surgical Operations, Inc. Medical robotic system with image referenced camera control using partitionable orientational and translational modes
US8428781B2 (en) * 2008-11-17 2013-04-23 Energid Technologies, Inc. Systems and methods of coordination control for robot manipulation
EP2194434B1 (en) * 2008-12-05 2012-05-30 COMAU SpA Robot system
US8830224B2 (en) * 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
US8364314B2 (en) * 2009-04-30 2013-01-29 GM Global Technology Operations LLC Method and apparatus for automatic control of a humanoid robot
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP4699572B2 (ja) * 2009-09-28 2011-06-15 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、ロボットアームの制御プログラム、及び、ロボットアーム制御用集積電子回路
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US20140330288A1 (en) * 2010-03-25 2014-11-06 Precision Automation And Robotics India Ltd. Articulating Arm for a Robotic Surgical Instrument System
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
CN103068348B (zh) 2010-08-02 2015-07-15 约翰霍普金斯大学 使用协作机器人控制和音频反馈呈现力传感器信息的方法
US8827948B2 (en) * 2010-09-17 2014-09-09 Hansen Medical, Inc. Steerable catheters
SG11201402020XA (en) 2011-11-04 2014-09-26 Univ Johns Hopkins Steady hand micromanipulation robot
KR20130080909A (ko) * 2012-01-06 2013-07-16 삼성전자주식회사 수술 로봇 및 그 제어 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020003528A1 (en) * 1997-08-23 2002-01-10 Immersion Corporation Cursor control using a tactile feedback device
US20020151784A1 (en) * 1998-11-10 2002-10-17 Olympus Optical Co., Ltd. Surgical microscope
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US20050029978A1 (en) * 2003-07-08 2005-02-10 Dmitry Oleynikov Microrobot for surgical applications
CN101031236A (zh) * 2003-07-16 2007-09-05 Z-凯特公司 用于具有改进反馈的手术程序的导向系统和方法
US20090036902A1 (en) * 2006-06-06 2009-02-05 Intuitive Surgical, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20110213384A1 (en) * 2008-10-31 2011-09-01 Chang Wook Jeong Surgical robot system having tool for minimally invasive surgery
US20100225209A1 (en) * 2009-03-09 2010-09-09 Intuitive Surgical, Inc. Ergonomic surgeon control console in robotic surgical systems
US20120053597A1 (en) * 2009-03-10 2012-03-01 Mcmaster University Mobile robotic surgical system
US20140094968A1 (en) * 2011-09-28 2014-04-03 The Johns Hopkins University Teleoperative-cooperative robotic system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093910A (zh) * 2017-09-18 2020-05-01 沃博手术股份有限公司 具有环形拓扑通信网络的机器人手术系统及其使用方法
CN111093910B (zh) * 2017-09-18 2023-09-01 威博外科公司 具有环形拓扑通信网络的机器人手术系统及其使用方法
CN109806011A (zh) * 2018-09-12 2019-05-28 苏州铸正机器人有限公司 辅助手术装置
CN109806011B (zh) * 2018-09-12 2024-01-12 苏州铸正机器人有限公司 辅助手术装置
CN113290542A (zh) * 2020-02-21 2021-08-24 佳能株式会社 机器人装置及控制方法
CN113290542B (zh) * 2020-02-21 2024-02-02 佳能株式会社 机器人装置及控制方法
US12168297B2 (en) 2020-02-21 2024-12-17 Canon Kabushiki Kaisha Robot apparatus and control method

Also Published As

Publication number Publication date
CA2960725A1 (en) 2016-03-31
CN110142787A (zh) 2019-08-20
US9815206B2 (en) 2017-11-14
CN106715057B (zh) 2019-07-02
CA2960725C (en) 2023-10-03
WO2016049294A1 (en) 2016-03-31
EP3197383A1 (en) 2017-08-02
EP3197383A4 (en) 2018-05-16
US20160089212A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
CN106715057B (zh) 使用协同控制的机器人的外科手术系统用户界面
US11986259B2 (en) Association processes and related systems for manipulators
JP7275204B2 (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
US9731415B2 (en) Method for the alignment of a multiaxial manipulator with an input device
CN110799144B (zh) 用于远程控制系统中菜单项的选择的触觉反馈的系统和方法
EP3651677B1 (en) Systems and methods for switching control between multiple instrument arms
EP3217910B1 (en) Interaction between user-interface and master controller
US12121309B2 (en) Systems and methods for navigating an onscreen menu in a teleoperational medical system
US20220331033A1 (en) Camera control
EP3793468A1 (en) Method and apparatus for manipulating tissue
GB2606672A (en) Camera control
EP4504088A1 (en) User interface interaction elements with associated degrees of freedom of motion
GB2605090A (en) Camera control
GB2605091A (en) Camera control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238205

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant