[go: up one dir, main page]

CN110603002A - 增强现实支持的膝盖手术 - Google Patents

增强现实支持的膝盖手术 Download PDF

Info

Publication number
CN110603002A
CN110603002A CN201880016782.4A CN201880016782A CN110603002A CN 110603002 A CN110603002 A CN 110603002A CN 201880016782 A CN201880016782 A CN 201880016782A CN 110603002 A CN110603002 A CN 110603002A
Authority
CN
China
Prior art keywords
virtual
augmented reality
surgical
display
virtual representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880016782.4A
Other languages
English (en)
Inventor
B·M·梅
W·哈特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Single Liability Co That Is Constructed With Of Bai Ou Meter
Biomet Manufacturing LLC
Original Assignee
Special Single Liability Co That Is Constructed With Of Bai Ou Meter
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Single Liability Co That Is Constructed With Of Bai Ou Meter filed Critical Special Single Liability Co That Is Constructed With Of Bai Ou Meter
Publication of CN110603002A publication Critical patent/CN110603002A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools for implanting artificial joints
    • A61F2/4603—Special tools for implanting artificial joints for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/461—Special tools for implanting artificial joints for insertion or extraction of endoprosthetic joints or of accessories thereof of knees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools for implanting artificial joints
    • A61F2002/4632—Special tools for implanting artificial joints using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools for implanting artificial joints using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/372—Arrangements in connection with the implantation of stimulators
    • A61N1/37211—Means for communicating with stimulators
    • A61N1/37252—Details of algorithms or data aspects of communication system, e.g. handshaking, transmitting specific data or segmenting data
    • A61N1/37258—Alerting the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Transplantation (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Remote Sensing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Pathology (AREA)
  • Surgical Instruments (AREA)
  • Prostheses (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

系统和方法可以在外科手术期间使用增强现实装置。该系统和方法可以使用增强现实装置的增强现实显示在外科手术期间呈现或投射虚拟特征，同时允许通过增强现实显示查看手术区域的实体方面。虚拟特征可以包括术前计划、手术装置、患者的解剖学方面等各个方面。

Description

增强现实支持的膝盖手术
优先权要求
本申请要求2017年3月10日提交的名称为“Augmented Reality Supported KneeSurgery”的美国临时申请62/469,815的优先权，该美国临时申请的全部内容通过引用并入本文。
背景技术
在美国，每年执行超过五十万次全膝关节置换手术。外科手术的进步使外科医生能够使用术前计划、手术区域内的显示装置、光学成像装置和引导装置来改善手术结果并为患者定制手术。虽然这些进步在某些情况下允许实现更快和更成功的外科手术，但它们最终依赖于实体物体，这些实体物体具有制造和配置的成本和时间要求。实体物体和装置还可能阻挡手术区域的一部分，从而损害其益处。另外，许多这些技术进步最终需要额外的手术时间或显著增加手术的成本。此外，这些技术进步中的一些消除了外科医生在外科手术期间使用他/她的经验做出关键决定的能力。
附图说明
在不一定按比例绘制的这些附图中，相同的附图标记可以描述不同视图中的类似组件。具有不同字母后缀的相同数字可表示类似部件的不同实例。附图通过示例而非通过限制的方式大体示出了本文件中讨论的各种实施方式。
图1示出了根据一些实施方式的手术区域。
图2示出了根据一些实施方式的包括被隐藏的手术仪器的增强现实显示。
图3示出了根据一些实施方式的包括软组织可视化的增强现实显示。
图4示出了根据一些实施方式的包括虚拟计划部件的增强现实显示。
图5示出了根据一些实施方式的包括用于销钉放置的示例引导装置的增强现实显示。
图6示出了根据一些实施方式的在外科手术期间使用增强现实装置的系统。
图7示出了根据一些实施方式的在外科手术期间使用增强现实装置来呈现被隐藏的特征的技术的流程图。
图8示出了根据一些实施方式的在外科手术期间使用增强现实装置来投射术前计划的一方面的技术的流程图。
图9大体上示出了根据一些实施方式的机器的框图的示例，在该机器上，可以执行本文所讨论的任何一种或多种技术。
具体实施方式
本文描述了在外科手术期间使用增强现实装置的系统和方法。本文中的系统和方法描述了增强现实装置的用途，例如显示叠加在真实环境上的真实物体的虚拟部件或虚拟表达。增强现实(AR)装置允许用户查看所显示的虚拟物体，所述虚拟物体看起来像被投射到真实环境中，所述真实环境也是可见的。AR装置通常包括两个显示镜头或屏幕，其中对于用户的每只眼睛来说各一个显示镜头或屏幕。允许光通过两个显示镜头，以使得真实环境的各个方面是可见的，同时还投射光以使虚拟元件对AR装置的用户可见。
本文描述了使用增强现实来辅助外科手术的各种技术。本文中的AR装置包括多种显示(显示界面、显示器)，所述显示可提供软组织(例如，韧带，肌腱，肌肉等)可视化以允许外科医生在该外科医生看不到实际的软组织(例如，该实际的软组织被其他组织、手术仪器、植入物、试选装置等挡住)时查看虚拟软组织。在微创手术期间的AR显示(显示界面)可以提供解剖结构的可视化，而不需要将切口扩展到超过插入手术仪器所需的程度。本文描述的AR显示可以显示叠加在骨骼上的虚拟试选装置或虚拟植入物。可以例如通过可由相机或传感器捕获的用户的输入(例如，手势)在AR显示内修改虚拟试选装置或虚拟植入物。修改可以包括修改虚拟试选装置或植入物的装配、尺寸或位置，并将修改提供给手术计划系统。一旦确定虚拟试选装置或植入物是可接受的，就可以使用虚拟试选装置或植入物作为模板来创建实体(物理)试选装置或植入物。备选地，可以仅基于使用虚拟试选植入物时所产生的反馈和调整来进行外科手术。
在一个示例中，手术计划系统可用于创建术前手术计划。可以使用本文所述的AR显示来修改手术计划，并且可以在术前或术中修改手术计划。例如，可以使用AR显示来修改为手术计划而选择的植入物或试选装置的尺寸。可以将修改发送到手术计划系统以输出包括所述修改的新的手术计划。在另一个示例中，当在术中进行修改时，可以使用手术计划系统实时更新新的手术计划。
本文描述的AR装置可用于显示用于将销钉放置在骨骼的参考位置上的虚拟引导装置。销钉放置可以包括显示用于对准和定向销钉的圆锥或漏斗，然后可以基于虚拟引导装置将销钉在参考位置处驱动至骨骼中。当手术仪器的一部分被骨骼、切割引导装置、另一仪器等阻挡时，AR装置可提供手术仪器(例如锯片或其他切割工具(例如，骨钻、锉刀、扩孔器))的一部分的虚拟表达。手术仪器的一部分的虚拟表达可以看起来像是该手术仪器的可见部分的虚拟延伸。可以跟踪所述虚拟表达的位置或方位，以准确地表达被阻挡或被隐藏的部分。本文描述的AR装置可以显示用于运动范围测试的虚拟平面、轴线、角度或旋转信息(例如，术中运动范围测试)。
虽然本文描述的一些示例和附图涉及特定示例，例如全膝关节置换术或部分膝关节置换术，但是本文描述的许多技术可以用于髋关节置换术、肩部替换手术、其他整形外科植入手术等。本文描述的AR装置可以显示可以替换实体部件(例如引导装置、试选装置等)的虚拟表达。在其他示例中，本文描述的AR装置可以显示被隐藏或受阻挡物体(例如软组织，仪器，骨骼等)的虚拟表达。本文描述的各种实施方式可以组合在统一的AR显示中，所述统一的AR显示例如显示一个或多个引导装置、试选装置、被隐藏或受阻挡物体或物体部分等的组合。
图1示出了根据一些实施方式的手术区域100。手术区域100在图1中示出，其包括外科医生102、患者106并且可包括相机110(或在一些示例中为多个相机)或传感器。外科医生佩戴增强现实(AR)装置104，其可以用于向外科医生102显示虚拟物体108。如果手术区域100内的其他人没有佩戴AR装置，则手术区域100内的这些其他人可能看不到虚拟物体108。即使另一个人正在用AR装置观看手术区域，该人也可能无法看到虚拟物体108或者可能能够在与外科医生102共享的增强现实中看到虚拟物体108，或者可能能够看到虚拟物体108的修改版本(例如，根据外科医生102或该人独有的定制)。下面更详细地解释增强现实。
增强现实是用于显示叠加在真实环境上的虚拟或“增强”物体或视觉效果的技术。真实环境可以包括房间或特定区域(例如，手术区域100)，或者可以更一般地包括整个世界。叠加在真实环境上的虚拟方面可以表达为相对于真实环境的一个或多个方面锚定或处于设定位置。例如，虚拟物体108可以被配置为看起来像搁在桌子上。AR系统可以呈现固定至真实物体的虚拟方面，而不考虑AR系统的一个观看者或多个观看者(例如，外科医生102)的视角。例如，虚拟物体108可以存在于房间中，对于该房间内的AR系统的观看者可见，并且对于该房间外的AR系统的观看者不可见。当观看者进入房间时，该房间中的虚拟物体108可以显示给该房间外的观看者。在该示例中，房间可以充当在AR系统中虚拟物体108所固定至的真实物体。
AR装置104可以包括一个或多个屏幕，诸如单个屏幕或两个屏幕(例如，用户的每只眼睛一个屏幕)。屏幕可以允许光通过所述屏幕，以使得在显示虚拟物体108的同时可以看到真实环境的各个方面。可以通过投射光使外科医生102看到虚拟物体108。虚拟物体108可以看起来像具有一定程度的透明度或者可以是不透明的(即，阻挡真实环境的各个方面)。
AR系统可以对于一个或多个观看者可见，并且可以包括对于一个或多个观看者来说可获得的视野(视角)之间的差异，同时保持视野之间通用(普遍)的一些方面。例如，抬头显示可以在两个视野之间改变，而虚拟物体可以固定至两个视野中的真实物体或区域。可以在各个视野之间进行诸如物体的颜色、照明或其他方面的改变，而不改变至少一个虚拟物体的固定位置。
用户可以看到在AR系统中呈现为不透明或呈现为包括某种水平的透明度的虚拟物体108。在一个示例中，用户可以(例如通过将虚拟物体108从第一位置移动到第二位置)与虚拟物体108互动。例如，用户可以用他或她的手移动物体。这可以通过(例如，使用可以安装在AR装置上的诸如AR装置相机112或单独的相机的并且可以是静态的或可以受控移动的一个或多个相机，或者一个或多个传感器)确定手已经移动到与物体重合或相邻的位置并作为响应使物体移动来在AR系统中虚拟地实现。虚拟方面可以包括现实世界物体的虚拟表达，或者可以包括视觉效果，例如照明效果等。AR系统可以包括用于管理虚拟物体的行为的规则，例如使虚拟物体服从重力或摩擦，或者可以包括违反现实世界的物理约束的其他预定规则(例如，浮动物体、永久运动等)。AR装置104可以包括处于AR装置104上的相机112(不可混淆成与AR装置104分开的相机110)。AR装置相机112或相机110可以包括红外相机、红外滤光器、可见光滤光器、多个相机、深度相机等。AR装置104可以在真实环境的表达上投射可以由用户查看的虚拟物品。
AR装置104可在外科手术(例如由外科医生102在患者106身上执行的外科手术)期间用于手术区域100中。AR装置104可在外科手术期间投射或显示虚拟物体(例如虚拟物体108)以增强外科医生的视觉。外科医生102可以使用AR装置104、AR装置104的远程控制器或者通过与虚拟物体108互动(例如，使用手来与虚拟物体108“互动”或使用由AR装置104的相机112识别的手势)来控制虚拟物体108。虚拟物体108可以增强手术工具。例如，虚拟物体108可以看起来像(对通过AR装置104查看虚拟物体108的外科医生102来说看起来像)与手术工具耦合或保持固定距离。在另一个示例中，虚拟物体108可以用于引导手术工具，并且可以看起来像固定至患者106。
图2示出了根据一些实施方式的包括部分隐藏的手术仪器的增强现实显示200A-200B。第一AR显示200A示出了被骨骼202部分隐藏的手术仪器，所述骨骼202正在外科手术期间被外科医生切割。手术仪器包括可见部分204和隐藏部分206，所述隐藏部分206隐藏在骨骼202内或骨骼202后。
虽然外科医生看不到手术仪器的隐藏部分206，但是可以跟踪隐藏部分206。例如，手术仪器的长度可以是已知的，并且可见部分204的长度或方位可被识别(例如，光学地识别)以确定隐藏在隐藏部分206中的量。在另一个示例中，可见部分204的端部可以是已知的(例如，具有传感器或跟踪器)，并且骨骼202可以是固定的或包括传感器或跟踪器以确定手术仪器的进入点。在该示例中，可以计算手术仪器的传感器或跟踪器与骨骼的传感器或跟踪器之间的长度或方位，这致使能够确定可见部分204和隐藏部分206的长度或方位。可以使用其他技术来确定可见部分204和隐藏部分206的长度或方位。
外科医生可以在外科手术期间使用AR装置查看隐藏部分206。AR装置可允许可见部分204、骨骼202或手术区域的其他方面通过AR装置可见(例如，犹如未使用AR装置)。可以使用AR装置生成和显示隐藏部分206。例如，当通过AR装置查看时，隐藏部分206可以看起来像叠加在骨骼202上。隐藏部分206可以看起来像类似于可见部分204。隐藏部分206可以看起来像连接到可见部分204，以使得可见部分204和隐藏部分206看起来像是该手术仪器(例如，犹如其未被插入骨骼202中)。在一个示例中，隐藏部分206可以显示为具有增强的虚拟效果，例如颜色增强、闪光、文本等。
当手术仪器移动例如进到更深处或从骨骼202中拉出时，可见部分204和隐藏部分206的量可以改变。AR装置可以更新显示以准确地反映手术仪器的隐藏量。例如，当手术仪器更深地插入骨骼202中以切割另外的骨骼时，隐藏部分206将增加，并且隐藏部分206的虚拟表达可相应地增加。因此，隐藏部分206的虚拟表达可以根据骨骼202中的隐藏部分206的移动和消失或出现而移动和出现或消失。
在一个示例中，AR装置可以可选地显示切割深度208。例如，切割深度208可以是切割骨骼202的预定最大深度或切割骨骼202的目标深度。切割深度208可以虚拟地显示，例如使用AR装置叠加在骨骼202上。切割深度208可包括使用手术装置进行不同切割的多个深度。当手术仪器接近切割深度208时，AR装置可以显示警报、附加信息等。例如，AR装置可以显示骨骼202的围绕切割深度208或与切割深度208相邻的区域的放大视图，可以包括闪光、改变切割深度208或隐藏部分206(或者隐藏部分206的一部分)的颜色、手术仪器的当前切割深度等。切割深度208可以是二维的或三维的。
在一个示例中，手术仪器可以由机器人(例如，机器人臂)控制，该机器人(例如，机器人臂)可以引导手术仪器进行切割。当由机器人控制时，可以如上所述地显示手术装置的隐藏部分206。在一个示例中，当手术仪器接近切割深度208时，可以警告外科医生，机器人可以更慢地行进，机器人可以将对手术仪器的控制让渡给外科医生以完成切割，机器人可以改变为动力辅助模式(例如，以允许外科医生控制手术仪器的方位、方向和移动同时向移动提供动力)等。外科医生可以通过查看隐藏部分206和切割深度208来监视进行切割的机器人。例如，如果机器人太快地接近切割深度208、处于切割深度208处或者超过切割深度208，外科医生可以停止机器人。
在一个示例中，当骨骼202是胫骨并且手术仪器是锯片或其他切割工具(例如，骨钻，锉刀，铰刀)时，骨骼202可能阻挡手术仪器。锯片或其他切割工具(例如，骨钻，锉刀，铰刀)可以在骨骼202的胫骨平台下进行切割，并且被骨骼202遮挡而导致不能看见。隐藏部分206可以利用AR装置显示为叠置在骨骼202上的“幻象”。外科手术可以是例如全膝关节置换术。在另一个示例中，手术仪器可以在翻修手术期间执行切割，手术仪器可以包括铰刀，并且切割深度208可以包括铰刀切割深度。深度切割208可以包括切除手术(例如胫骨切割(例如，近端))的切割深度的确认。
第二AR显示200B示出了被切割引导装置210和骨骼(例如，骨骼202)部分隐藏的手术仪器，所述骨骼(例如，骨骼202)正在外科手术期间被外科医生(使用切割引导装置210)切割。切割引导装置210包括用于插入手术仪器的狭槽212。第二AR显示200B中的手术仪器包括可见部分204和隐藏部分206，类似于上面关于第一AR显示200A所描述的那样。如上所述，第二AR显示200B可以包括切割深度208。
在第二AR显示200B中，手术仪器的隐藏部分206被骨骼202和切割引导装置210的一部分隐藏。隐藏部分206可以被示为单个虚拟部件或者可以在隐藏于骨骼202和切割引导装置210之后的部段中具有不同的属性。在一个示例中，切割引导装置210或狭槽212可用于(例如使用传感器、成像装置等)确定可见部分204或隐藏部分206的长度。
图3示出了根据一些实施方式的包括软组织可视化的增强现实显示300。增强现实显示300允许查看股骨302和胫骨304。增强现实显示300包括软组织解剖结构的虚拟表达，诸如前十字韧带(ACL)306、后十字韧带(PCL)308、外侧副韧带(LCL)312和内侧副韧带(MCL)310的虚拟表达。这些虚拟韧带被示出为可以使用AR显示来显示的软组织的虚拟表达的示例。可以使用AR显示虚拟地显示诸如肌腱、肌肉、皮肤、血管等的其他示例。AR显示300中示出的虚拟软组织可以被示出为叠加在该AR显示中，以使得当存在诸如手术仪器的装置或骨骼时，通过该AR显示可以看到虚拟软组织，即使手术仪器、其他装置或骨骼阻挡实际软组织解剖结构从而导致其不能被显示。例如，髌骨可能阻挡实际MCL的全部或部分，因此虚拟MCL310可以以看起来像位于髌骨前方的方式显示，以使得外科医生可以看到实际MCL位于何处。在微创手术中，除了上述软组织之外，增强现实显示300还可以包括股骨302、胫骨304和腓骨303的虚拟表达。增强现实显示300可以叠加在手术区域上(在该手术区域中，骨骼和/或软组织的部分进入和离开实际视野)，其中增强现实方面与外科医生实际可见的方面协调地转换。在一个示例中，可使用传感器来检测解剖特征(例如，骨骼等)的位置。
在一个示例中，虚拟软组织仅在实际软组织被阻挡从而不能查看(例如，使用耦合至AR显示300的相机对实际软组织被阻挡进行检测)时才可见。虚拟软组织可以增强实际的软组织。例如，虚拟软组织可以是彩色编码的或包括高对比度颜色(例如，呈第一颜色的韧带和呈第二颜色的肌腱，或者每个韧带可以单独地颜色编码)。虚拟软组织可以勾勒出或突出实际的软组织。在一个示例中，虚拟软组织可以包括围绕实际软组织的安全区域(例如，在视觉上表达大于实际软组织的区域)，以允许外科医生以一定的安全系数避免与实际软组织接触。
在一个示例中，可以例如由外科医生选择AR显示300中示出的虚拟韧带308-312，以从视野中启用或停用虚拟韧带。虚拟韧带308-312可以一起、单独地、成对地(例如，虚拟ACL 306和虚拟PCL 308，或虚拟LCL 312和虚拟MCL 310)等选择。在另一个示例中，虚拟韧带308-312可以根据由外科医生正在执行的手术来显示。例如，当在膝关节置换术期间放置模板时，可以主动显示虚拟ACL 306以允许外科医生避免与实际ACL接触。AR显示300可以用于在插入ACL保留假体时显示虚拟ACL 306，以允许更容易地放置。
在一个示例中，可以使用诸如对比X射线、MRI或超声的成像装置来捕获要由AR显示虚拟显示的实际软组织的解剖结构。一旦对实际软组织解剖结构进行成像，处理器就可以创建使用AR显示300显示的虚拟软组织。AR显示300可以识别(例如，利用相机、传感器或用户输入识别)参考点(例如，股骨302上的参考点)，然后可以基于参考点显示虚拟软组织。在另一个示例中，当装置(例如，诸如锯片、骨钻、锉刀、铰刀等的手术仪器)接近或进入围绕实际软组织的危险区域时，AR显示300可以显示虚拟软组织。AR显示300可以警告外科医生，例如通过在接近或进入危险区域时闪烁警告或增加光的强度或改变虚拟软组织的颜色来警告外科医生。
在一个示例中，AR显示300可以用于使膝盖的运动范围方面可视化。可以虚拟地显示运动平面(例如，弯曲-伸展平面、外展-内收平面314等)以(例如，在术中或在术后)测试膝盖的运动范围。运动平面可以基于术前计划或所检测到的平面而得到。在另一示例中，AR显示300可以包括呈虚拟表达的内翻角度信息、外翻角度信息、旋转信息(例如，围绕虚拟显示的轴线)等。膝盖或腿部可以(例如沿着AR显示300中显示的虚拟运动平面、沿着虚拟显示的轴线，或者根据虚拟显示的旋转信息)旋转或移动以测试膝盖或腿部的运动范围的各个方面。在一个示例中，可以显示虚拟显示的韧带306-312的各个方面以在腿部或膝盖移动时检查松弛度。可以捕获并显示例如当在膝关节上施加内翻或外翻应力时股骨和胫骨之间的间隙的角度变化。另一个示例包括显示例如当向关节施加向前的力(例如，前抽屉测试或拉克曼(Lachman)测试)时股骨和胫骨(例如，原生或带有就位的植入物)之间的前部距离变化。
虽然已经参考图3描述了软组织，但是可以在AR显示中显示、突出或增强其他解剖学方面。例如，可以显示骨骼轮廓，例如胫骨的后外侧拐角，其难以在全膝关节置换术手术的标准切口中可视化。显示虚拟骨骼可以帮助向外科医生提供关于何时停止锯的信息或帮助设定植入物(特别是胫骨)的尺寸。其他隐藏的骨骼或硬组织可以显示在AR显示中。
图4示出了根据一些实施例的包括虚拟计划部件的增强现实显示400A-400B。AR显示400A-400B允许患者的股骨402在显示虚拟部件时可见。股骨402可以通过AR显示400A-400B中的虚拟部件(例如，AR显示400A中的植入物或试选装置404或AR显示400B中的切除切割引导装置406A-406D)来增强。
AR显示400A示出了投射在骨骼402上的虚拟试选装置404。可以关于要在膝关节替换手术中使用的试选装置进行术前确定，例如术前确定试选装置的尺寸或位置。通过使用术前确定，可以创建虚拟试选装置404(例如，通过处理器)以在AR显示400A中显示。可以基于虚拟试选装置404与股骨402的所显示的配合来在AR显示400A内调整、改变或移动虚拟试选装置404。在另一个示例中，可以在术中创建虚拟试选装置404(例如在没有术前确定试选装置的尺寸或位置的情况下)。在该示例中，可以确定虚拟试选装置404的尺寸或位置，并且可以使用虚拟试选装置404的尺寸或位置信息来创建实体试选装置。
AR显示400A可以包括股骨试选装置(在AR显示400A中由虚拟试选装置404代表或近似)与胫骨403之间的间隙408的虚拟表达。间隙408可以利用间隙408的长度值(例如，10mm或12mm)来显示。可以调整间隙408，例如通过对虚拟试选装置404(其可以代表实际试选装置)进行改变来调整间隙408。可以显示建议的承载(载体、轴承)厚度选项，例如基于已知的切除或者胫骨或股骨试选装置的位置。在一个示例中，可以显示(例如，原生的或带有就位的植入物的)股骨和胫骨之间的前部距离的变化。当向关节施加向前的力时(例如，前抽屉测试或拉克曼测试)，可以显示距离的变化。AR显示400A可以基于间隙408的评估和已知的最小植入物厚度来投射照明效果(例如，绿色或红色)。例如，当间隙408小于最小植入物厚度时(例如，去除的骨骼不足)，该间隙可以显示为红色，并且如果移除了足够的骨骼，则该间隙可以显示为绿色。
在一个示例中，在插入实际试选装置之后，可以向实际试选装置添加虚拟效果，例如通过在试选装置上使用激光标记或者通过使用试选装置的增强虚拟轮廓。该虚拟效果可以允许跟踪试选装置的方位而不需要光学导航或其他跟踪系统。该虚拟效果可以利用AR显示400A来施加至实际试选装置，例如使用代表AR显示400A的AR装置上的相机(例如，可见光相机)来施加至实际试选装置。
在一个示例中，可以将虚拟标记放置在实际试选装置上，并且AR显示400A可以(例如根据术前计划)引导外科医生放置实际试选装置。在另一个示例中，跟踪标记(例如，非虚拟的)可以放置在实际试选装置上。股骨402可包括虚拟或实际的标记以指示实际试选装置的对准。在一个示例中，实际试选装置上的虚拟或实际的标记可以与股骨402上的虚拟或实际的标记对准以放置该试选装置。
AR显示400B示出了要在股骨402上进行的虚拟切除切割406A-406D，所述切除切割406A-406D使得可以放置试选装置或植入物。虚拟切除切割406A-406D可以虚拟地显示为线或平面，并且可以由操作AR装置的外科医生移动，该AR装置显示AR显示400B并允许查看股骨402。可以虚拟地显示虚拟切除切割406A-406D中的一个或多个以代替切割引导装置或切割块。外科医生可以沿着虚拟切除切割406A-406D利用手术锯进行切割以使股骨402准备好接收植入物。可以基于术前计划来创建虚拟切除切割406A-406D。在一个示例中，一旦执行了切割，则可以移除或可以修改相应的虚拟切除切割，例如以便提出附加的切割以装配试选装置。AR显示400A的虚拟试选装置404和AR显示400B的虚拟切除切割406A-406D可以(例如基于用户输入)互换、同时显示或修改。虚拟切割引导装置、虚拟试选装置或虚拟植入物可用于在植入手术(例如，肩部替换、髋关节替换等)期间将植入物放置在胫骨403或其他骨骼上。虚拟切除切割406A-406D可用于监视执行切割的机器人。
图5示出了根据一些实施方式的包括用于销钉放置的示例虚拟引导装置504的增强现实显示500A-500B。虚拟引导装置504相对于骨骼502示出，以用于将销钉508放置在骨骼502上的参考位置506处。第一AR显示500A示出骨骼502的立体图，第二AR显示500B示出骨骼502的侧视图。
在一个示例中，虚拟引导装置504可以呈现为漏斗形或圆锥形，以引导外科医生将销钉508放置在参考位置506处。虚拟引导装置504可以朝向骨骼502的表面上的参考位置506缩小或变窄，同时看起来像从骨骼502的表面出发。虚拟引导装置504可以包括销钉508的方位的视觉识别。例如，虚拟引导装置504可以根据销钉508与虚拟引导装置504的一部分的接近程度而进行颜色编码(例如，如果销钉508成角度，则虚拟引导装置504的象限(四分之一)或其他部分可以改变颜色或点亮)。虚拟引导装置504可以由AR系统基于术前计划来创建。虚拟引导装置504可以是三维的并且允许使用三维的AR向导进行无仪器销钉放置。在另一个示例中，虚拟引导装置504可以用于引导冲头或其他仪器，例如具有线性动作并且可具有多自由度的位置的仪器。
类似于图5中所示的那些引导装置的AR引导装置也可以生成以引导钻孔或切割手术。例如，类似的引导装置可用于引导手术锯或其他切割工具(例如，骨钻，锉刀，铰刀)的切割角度或位置。
图6示出了根据一些实施例的在外科手术期间使用增强现实装置的系统600。该系统包括可以与数据库616通信的增强现实装置601。增强现实装置601包括处理器602、存储器604、AR显示608和相机606。增强现实装置601可以包括传感器610、扬声器612或触觉控制器614。数据库616可以包括图像储存器618或术前计划储存器620。在一个示例中，增强现实装置601可以是由华盛顿州雷蒙德市的微软公司制造的全息眼镜(HoloLens)。
增强现实装置601的处理器602包括增强现实建模器603。增强现实建模器603可以由处理器602使用以创建增强现实环境。例如，增强现实建模器603可以例如从相机606或传感器610接收房间的尺寸，并创建增强现实环境以符合(匹配)房间的实体结构。在另一示例中，实体物体可存在于房间中，并且增强现实建模器603可以使用实体物体来在增强现实环境中呈现虚拟物体。例如，增强现实建模器603可以使用或检测房间中存在的桌子并将虚拟物体呈现为搁在桌子上。AR显示608可以显示叠加在真实环境上的AR环境。显示608可以使用AR装置601示出虚拟物体(例如在AR环境中处于固定位置)。
增强现实装置601可以包括传感器610，例如红外传感器。相机606或传感器610可用于检测移动(例如外科医生或其他用户的手势)，其可由处理器602解释为用户与虚拟目标的尝试互动或预期互动。处理器602可以识别真实环境中的物体，例如通过处理使用相机606接收的信息。
例如在外科手术期间，AR显示608可以(例如在允许通过增强现实显示查看手术区域的同时在手术区域内)呈现与被患者的解剖学方面隐藏的实体特征相对应的虚拟特征。虚拟特征可以具有与实体特征的第一实体位置或方位相对应的虚拟位置或方位。例如，实体特征可以包括软组织，并且虚拟特征可以包括虚拟软组织，其可以叠置在患者的解剖学方面上。外科手术可包括(例如，全部或部分)膝关节置换术。虚拟软组织可包括在外科手术期间放置模板时要避开的一个或多个韧带，例如ACL、PCL、MCL或LCL。在一个示例中，可以在术前(例如使用X射线、MRI或超声)确定实体特征(例如，韧带)相对于解剖学方面的相对实体位置或方位。
在一个示例中，虚拟特征的虚拟位置或方位可以包括与实体特征的第一实体位置或方位之间的偏移。该偏移可以包括与(来自)增强现实显示的预定距离、从增强现实显示到解剖学方面的相对距离等。
在一个示例中，实体特征是锯片，虚拟特征是虚拟锯片，并且解剖学方面是患者的骨骼。锯片可以在执行切割时被骨骼(例如胫骨平台)隐藏，并且虚拟锯片可以显示为叠加在胫骨平台上以允许虚拟查看锯片的隐藏部分。在一个示例中，AR显示608可以显示锯片的切割完成位置的虚拟指示。AR显示608可以显示隐藏的实体特征正在接近或已越过阈值安全区域的警告。实体特征可以是切割工具(例如，骨钻，锉刀，铰刀)，并且虚拟特征可以是切割工具的虚拟表达。
相机606可以检测解剖学方面或实体特征的移动。处理器602可用于使虚拟特征移动，以使得虚拟特征的虚拟位置和方位对应于实体特征的第二实体位置和方位。可以响应于检测到的解剖学方面或实体特征的移动来执行使虚拟特征移动。扬声器612可用于播放隐藏的实体特征正在接近或已越过阈值安全区域的声音警告。
AR显示608(例如在外科手术期间)可以(例如在允许通过AR显示608查看手术区域的同时在手术区域内的计划位置处)投射术前计划的一方面的虚拟表达。在一个示例中，术前计划的该方面可以包括试选装置或植入物的虚拟表达。手术部件可包括试选装置或植入物。AR显示608可以呈现间隙厚度(例如伸展-弯曲间隙厚度)的虚拟表达。试选装置可以包括用于跟踪试选装置的方位的激光标记或其他标记。AR显示608可以投射建议的承载厚度选项，例如基于已知的切除或术前计划的切除，或试选装置或植入物的位置。在一个示例中，该方面可以包括虚拟引导装置。虚拟引导装置可包括漏斗或圆锥或漏斗形圆锥，例如以用于销钉放置。漏斗形圆锥可以朝向骨骼(例如股骨)上的销钉点(例如，参考位置)变窄。
相机606可以捕获手术区域内的手术部件的图像。相机606可以检测例如来自外科医生的手势(或捕获一系列图像并将一系列图像发送至处理器602以检测手势)。该手势可以改变术前计划、移动虚拟部件、播放或暂停视频、改变手术计划的下一步骤、添加或减去虚拟部件等。处理器602可用于将从捕获的图像得来的手术区域内的手术部件的位置与另一位置(例如术前计划内的计划位置)进行比较。处理器602可以输出例如用于在AR显示608上显示的比较结果。
在一个示例中，响应于由处理器608输出的比较结果，AR显示608可以呈现该结果的视觉指示。扬声器612可以(例如响应于由处理器602输出的比较结果)播放该结果的声音警报或指示。触觉控制器614可以(例如响应于由处理器602输出的比较结果)引起振动以指示该结果。在一个示例中，术前计划包括运动范围，术前计划的所述方面的虚拟表达包括虚拟运动范围视觉效果，并且手术部件包括要移动通过该运动范围的患者肢体。
在一个示例中，术前计划的所述方面包括植入物的虚拟表达，并且手术部件可以是该植入物。为了将手术部件的位置与计划位置进行比较，处理器602可以确定手术部件和虚拟表达之间的重叠程度。比较结果可包括重叠程度。在一个示例中，例如响应于确定重叠程度高于阈值，AR显示608可以以诸如绿色的颜色投射虚拟表达。在另一示例中，例如响应于确定重叠程度低于阈值，AR显示可以以不同的颜色(例如红色)投射虚拟表达。
图7示出了根据一些实施方式的在外科手术期间使用增强现实装置来呈现隐藏特征的技术700的流程图。技术700包括操作702，以在允许通过增强现实显示查看手术区域的同时在手术区域内呈现与被患者的解剖学方面隐藏的实体特征相对应的虚拟特征。可以使用AR装置的AR显示来呈现虚拟特征。虚拟特征可以具有与实体特征的第一实体位置或方位相对应的虚拟位置或方位。
在一个示例中，呈现虚拟特征包括在从实体特征的第一实体位置或方位偏移的、虚拟特征的虚拟位置或方位处呈现虚拟特征。在另一个示例中，呈现虚拟特征包括呈现叠置在患者的解剖学方面上的软组织的虚拟表达。虚拟特征可以在全膝关节置换术或部分膝关节置换术(或肩关节替换或髋关节置换术)期间呈现。可以在AR显示中呈现一个或多个虚拟韧带，以允许外科医生当在外科手术期间放置模板、试选装置、植入物时或者当切除组织(例如移除骨骼)时避开实际韧带。技术700可以包括(例如术前使用X射线或MRI)确定实体特征相对于解剖学方面的相对实体位置和方位。呈现虚拟特征可包括呈现对应于锯片的虚拟锯片，并且其中解剖学方面是患者的骨骼。AR显示可以显示锯片的切割完成位置的虚拟指示。技术700可以包括使用AR显示显示隐藏的实体特征正在接近或已越过阈值安全区域的警告。可以播放声音警告，从而指示隐藏的特征正在接近或已越过阈值安全区域。在一些示例中，显示虚拟特征可以包括参考相邻解剖结构的一部分计算虚拟特征的近似位置，例如基于相邻骨骼的已知位置来近似软组织的位置。在这些示例中，术前成像允许创建围绕关节(例如膝盖)的解剖结构的起始3D模型，其中在起始3D模型中基于相邻骨骼从已知位置的移动而生成这些近似。
技术700包括操作704，以(例如使用传感器)检测解剖学方面或实体特征的移动。技术700包括操作706，以例如利用处理器(例如响应于检测到的解剖学方面或实体特征的移动)使虚拟特征移动，以使得虚拟特征的虚拟位置或方位对应于实体特征的第二实体位置或方位。
图8示出了根据一些实施方式的在外科手术期间使用增强现实装置来投射术前计划的一方面的技术800的流程图。技术800包括操作802，以使用AR显示在允许查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达。在一个示例中，术前计划的该方面包括植入物的虚拟表达。手术部件可以是植入物。当将手术部件的位置与计划位置进行比较时，技术800可以包括确定手术部件和虚拟表达之间的重叠程度，并且其中比较的结果包括该重叠程度。技术800可以包括例如响应于确定重叠程度高于阈值而使用AR显示以第一颜色(例如，绿色)投射虚拟表达。技术800可以包括响应于确定重叠程度低于阈值而使用AR显示以第二颜色(例如，红色)投射虚拟表达。
术前计划可包括一个或多个平面，例如限定关节的解剖学或机械轴线的那些平面。可以在术前确定所述一个或多个平面并在术中使用AR显示显示所述一个或多个平面。在一个示例中，所述一个或多个平面可以用于术中运动范围测试，例如以引导运动范围测试。在一个示例中，术前计划可以包括例如基于一个或多个骨地标进行虚拟肢体对准(例如，机械或解剖学虚拟肢体对准)。
在一个示例中，术前计划的所述方面包括试选装置的虚拟表达，并且其中手术部件是试选装置。技术800可以包括使用增强现实显示呈现伸展或弯曲间隙厚度的虚拟表达。在一个示例中，间隙的变化(例如当承受内翻或外翻负荷时)可以显示为角度或线性测量值。实际试选装置可包括用于跟踪试选装置的方位的激光或其他标记。技术800可以包括使用增强现实显示、基于已知的切除和实际试选装置的位置来投射建议的承载厚度选项。
技术800包括操作804以(例如通过使用传感器)捕获手术区域内的手术部件的图像。技术800包括操作806，以将从捕获的图像得来的手术区域内的手术部件的位置与术前计划内的计划位置进行比较。技术800包括操作808以输出比较结果。
所述方面可以包括虚拟引导装置。虚拟引导装置可包括漏斗、圆锥或漏斗形圆锥，例如以用于放置销钉。漏斗形圆锥可以朝向骨骼(例如股骨或胫骨)上的参考点变窄，以用于将销钉放置在骨骼中。技术800可以包括检测来自外科医生的手势以改变术前计划。在一个示例中，技术800包括例如响应于由处理器输出的比较结果而使用增强现实显示呈现该结果的视觉指示。技术800可以包括例如响应于所输出的比较结果而播放该结果的声音警报或指示。在一个示例中，技术800包括例如响应于所输出的比较结果而引起振动以指示该结果。
图9总体上示出了机器900的框图的示例，在该机器900上，可以根据一些实施方式执行本文所讨论的任何一种或多种技术(例如，方法)。在备选实施方式中，机器900可以作为独立装置操作或者可以连接(例如，联网)至其他机器。在联网部署中，机器900可以作为服务器机器、客户端机器操作，或者在服务器-客户端网络环境中操作。机器900可以是个人计算机(PC)、平板PC、个人数字助理(PDA)、移动电话、网络装置、网络路由器、交换机或桥接器，或能够执行指令(顺序指令或其它形式指令)的任何机器，所述指令指定该机器要采取的动作。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的任何机器集合，例如云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文所述，示例可以包括逻辑或多个组件、模块或类似机制，或者可以对其进行操作。这种机制是能够在操作时执行指定操作的有形实体(例如，硬件)。在一个示例中，硬件可以被特别地配置为执行特定操作(例如，硬连线)。在一个示例中，硬件可以包括包含指令的计算机可读介质和可配置执行单元(例如，晶体管、电路等)，其中所述指令对执行单元进行配置以在操作时执行指定操作。所述配置可以在执行单元或加载机制的指导下进行。因此，当装置操作时，执行单元通信地耦合至计算机可读介质。例如，在操作时，执行单元可以由第一组指令配置以在一个时间点实现第一组特征，并且由第二组指令重新配置以实现第二组特征。
机器(例如，计算机系统)900可包括硬件处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或其任何组合)、主存储器904和静态存储器906，其中的一些或全部可以经由互连链路(例如，总线)908彼此通信。机器900还可以包括显示单元910、字母数字输入装置912(例如，键盘)、和用户界面(UI)导航装置914(例如，鼠标)。在一个示例中，显示单元910、字母数字输入装置912和UI导航装置914可以是触摸屏显示器。显示单元910可以包括护目镜、眼镜或其他AR或VR显示组件。例如，显示单元可以佩戴在用户的头上并且可以向用户提供抬头显示。字母数字输入装置912可以包括虚拟键盘(例如，在VR或AR设置中虚拟地显示的键盘)。
机器900可以另外包括存储装置(例如，驱动单元)916、信号生成装置918(例如，扬声器)、网络接口装置920、以及一个或多个传感器921，例如全球定位系统(GPS)传感器、指南针、加速度计或其他传感器。机器900可以包括输出控制器928，例如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等))连接，以与一个或多个外围装置通信或对其进行控制。
存储装置916可以包括非暂时性的机器可读介质922，在所述机器可读介质922上存储有一组或多组数据结构或指令924(例如，软件)，其体现了本文所述的任何一种或多种技术或功能，或者由本文所述的任何一种或多种技术或功能使用。指令924还可以在由机器900执行期间完全地或至少部分地驻留在主存储器904内、静态存储器906内或硬件处理器902内。在一个示例中，硬件处理器902、主存储器904、静态存储器906或存储装置916之一或任何组合可以构成机器可读媒介(介质)。
虽然机器可读介质922被示为单个介质，但术语“机器可读介质”可包括单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)，其被配置为存储一个或多个指令924。
术语“机器可读介质”可以包括能够存储、编码或携带用于由机器900执行并且致使机器900执行本公开的任何一种或多种技术的指令的任何介质，或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质示例可包括固态存储器以及光学和磁性介质。机器可读介质的特定示例可以包括：非易失性存储器，例如半导体存储器装置(例如，电可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM))和闪存装置；磁盘，例如内部硬盘和可移动磁盘；磁光盘；和CD-ROM和DVD-ROM磁盘。
指令924还可以利用多种传输协议(例如，帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一种通过网络接口装置920在使用传输介质的通信网络926上发送或接收。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、简易老式电话(POTS)网络以及无线数据网络(例如，被称为的电气和电子工程师协会(IEEE)802.11标准系列、被称为的由蓝牙特别兴趣小组发布的个人区域网络标准系列、点对点(P2P)网络等等)。在一个示例中，网络接口装置920可以包括一个或多个物理插口(例如，以太网、数码同轴接口或电话插口)或一个或多个天线，以连接到通信网络926。在一个示例中，网络接口装置920可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一个来进行无线通信。术语“传输介质”应被视为包括能够存储、编码或携带由机器900执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种软件通信。
各种说明和示例
这些非限制性示例中的每一个可以独立存在，或者可以以各种排列组合与一个或多个其他示例组合。
示例1是在外科手术期间使用的增强现实装置，其包括：增强现实显示(显示界面、显示器)，以在允许通过所述增强现实显示查看手术区域的同时在手术区域内呈现与被患者的解剖学方面隐藏的实体(物理)特征相对应的虚拟特征，所述虚拟特征具有与所述实体特征的第一实体位置和方位相对应的虚拟位置和方位；传感器，以检测所述解剖学方面或所述实体特征的移动；以及处理器，以响应于所检测到的所述解剖学方面或所述实体特征的移动而使所述虚拟特征移动，以使得所述虚拟特征的虚拟位置和方位对应于所述实体特征的第二实体位置和方位。
在示例2中，示例1的主题可选地包括，其中所述虚拟特征的虚拟位置和方位包括与所述实体特征的第一实体位置和方位之间的偏移。
在示例3中，示例2的主题可选地包括，其中所述偏移是与所述增强现实显示之间的预定距离。
在示例4中，示例2-3中的任何一个或多个的主题可选地包括，其中所述偏移是从所述增强现实显示到所述解剖学方面的相对距离。
在示例5中，示例1-4中的任何一个或多个的主题可选地包括，其中所述实体特征包括软组织，并且所述虚拟特征包括叠置在患者的解剖学方面上的虚拟软组织。
在示例6中，示例5的主题可选地包括，其中所述外科手术是全膝关节置换术，并且其中所述虚拟软组织包括在所述全膝关节置换术期间放置模板时要避开的韧带。
在示例7中，示例5-6中的任何一个或多个的主题可选地包括，其中所述实体特征相对于所述解剖学方面的相对实体位置和方位在术前使用X射线或MRI确定。
在示例8中，示例1-7中的任何一个或多个的主题可选地包括，其中所述实体特征是锯片，所述虚拟特征是虚拟锯片，并且所述解剖学方面是患者的骨骼。
在示例9中，示例8的主题可选地包括，其中所述锯片在执行切割时隐藏在骨骼的胫骨平台之下。
在示例10中，示例8-9中的任何一个或多个的主题可选地包括，其中所述增强现实显示还显示所述锯片的切割完成位置的虚拟指示。
在示例11中，示例1-10中的任何一个或多个的主题可选地包括，其中所述增强现实显示还显示被隐藏的实体特征正在接近或已越过阈值安全区域的警告。
在示例12中，示例1-11中的任何一个或多个的主题可选地包括扬声器，以播放被隐藏的实体特征正在接近或已越过阈值安全区域的声音警告。
在示例13中，示例1-12中的任何一个或多个的主题可选地包括第二相机，以检测所述手术区域的各个方面，以提高所述虚拟特征的显示精度或提高所述手术区域中的元素(元件)的跟踪精度。
示例14是一种在外科手术期间使用增强现实装置的方法，其包括：使用增强现实装置的增强现实显示在允许通过所述增强现实显示查看手术区域的同时在手术区域内呈现与被患者的解剖学方面隐藏的实体特征相对应的虚拟特征，所述虚拟特征具有与所述实体特征的第一实体位置和方位相对应的虚拟位置和方位；使用传感器检测所述解剖学方面或所述实体特征的移动；以及响应于所检测到的所述解剖学方面或所述实体特征的移动而使用处理器来使所述虚拟特征移动，以使得所述虚拟特征的虚拟位置和方位对应于所述实体特征的第二实体位置和方位。
在示例15中，示例14的主题可选地包括，其中呈现所述虚拟特征包括在从所述实体特征的第一实体位置和方位偏移的、所述虚拟特征的虚拟位置和方位处呈现所述虚拟特征。
在示例16中，示例14-15中的任何一个或多个的主题可选地包括，其中呈现所述虚拟特征包括呈现叠置在患者的解剖学方面上的软组织的虚拟表达。
在示例17中，示例16的主题可选地包括，其中呈现所述虚拟特征包括在全膝关节置换术期间呈现所述虚拟特征并呈现在所述全膝关节置换术期间放置模板时要避开的韧带。
在示例18中，示例16-17中的任何一个或多个的主题可选地包括，在术前使用X射线或MRI确定所述实体特征相对于所述解剖学方面的相对实体位置和方位。
在示例19中，示例14-18中的任何一个或多个的主题可选地包括，其中呈现所述虚拟特征包括呈现对应于锯片的虚拟锯片，并且其中，所述解剖学方面是患者的骨骼。
在示例20中，示例19的主题可选地包括，使用所述增强现实显示显示所述锯片的切割完成位置的虚拟指示。
在示例21中，示例14-20中的任何一个或多个的主题可选地包括，使用所述增强现实显示显示被隐藏的实体特征正在接近或已越过阈值安全区域的警告。
在示例22中，示例14-21中的任何一个或多个的主题可选地包括，播放被隐藏的实体特征正在接近或已越过阈值安全区域的声音警告。
示例23是至少一种机器可读介质，其包括在外科手术期间使用增强现实装置的指令，所述指令当被机器执行时使得所述机器：为了在增强现实显示上显示而在允许通过所述增强现实显示查看手术区域的同时在手术区域内呈现与被患者的解剖学方面隐藏的实体特征相对应的虚拟特征，所述虚拟特征具有与所述实体特征的第一实体位置和方位相对应的虚拟位置和方位；从被传感器捕获的图像中检测所述解剖学方面或所述实体特征的移动；并且响应于所检测到的所述解剖学方面或所述实体特征的移动而使所述虚拟特征移动，以使得所述虚拟特征的虚拟位置和方位对应于所述实体特征的第二实体位置和方位。
在示例24中，示例23的主题可选地包括，其中呈现所述虚拟特征的指令包括在从所述实体特征的第一实体位置和方位偏移的、所述虚拟特征的虚拟位置和方位处呈现所述虚拟特征的指令。
在示例25中，示例23-24中的任何一个或多个的主题可选地包括，其中呈现所述虚拟特征的指令包括呈现叠置在患者的解剖学方面上的软组织的虚拟表达的指令。
在示例26中，示例25的主题可选地包括，其中呈现所述虚拟特征的指令包括在全膝关节置换术期间呈现所述虚拟特征并呈现在所述全膝关节置换术期间放置模板时要避开的韧带的指令。
在示例27中，示例25-26中的任何一个或多个的主题可选地包括，在术前使用X射线或MRI确定所述实体特征相对于所述解剖学方面的相对实体位置和方位的指令。
在示例28中，示例23-27中的任何一个或多个的主题可选地包括，其中呈现所述虚拟特征的指令包括呈现对应于锯片的虚拟锯片的指令，并且其中所述解剖学方面是患者的骨骼。
在示例29中，示例28的主题可选地包括，使用所述增强现实显示显示所述锯片的切割完成位置的虚拟指示的指令。
在示例30中，示例23-29中的任何一个或多个的主题可选地包括，使用所述增强现实显示显示被隐藏的实体特征正在接近或已越过阈值安全区域的警告的指令。
在示例31中，示例23-30中的任何一个或多个的主题可选地包括，播放被隐藏的实体特征正在接近或已越过阈值安全区域的声音警告的指令。
示例32是在外科手术期间使用的增强现实装置，其包括：增强现实显示，以在允许通过所述增强现实显示查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达；传感器，以捕获手术区域内的手术部件的位置和方位信息；和处理器，以：将手术区域内的手术部件的位置与术前计划内的计划位置进行比较；并输出比较结果。
在示例33中，示例32的主题可选地包括，其中术前计划的所述方面包括植入物的虚拟表达，并且其中所述手术部件是所述植入物。
在示例34中，示例33的主题可选地包括，其中，为了将所述手术部件的位置与所述计划位置进行比较，所述处理器将确定所述手术部件与所述虚拟表达之间的重叠程度，并且其中所述比较结果包括所述重叠程度。
在示例35中，示例34的主题可选地包括，其中，响应于确定所述重叠程度高于阈值，所述增强现实显示还将所述虚拟表达投射为绿色；以及响应于确定所述重叠程度低于所述阈值，所述增强现实显示还将所述虚拟表达投射为红色。
在示例36中，示例32-35中的任何一个或多个的主题可选地包括，其中所述术前计划的所述方面包括试选装置的虚拟表达，并且其中所述手术部件是所述试选装置。
在示例37中，示例36的主题可选地包括，其中所述增强现实显示还呈现伸展-弯曲间隙厚度的虚拟表达。
在示例38中，示例36-37中的任何一个或多个的主题可选地包括，其中所述试选装置包括用于跟踪所述试选装置的方位的激光标记。
在示例39中，示例36-38中的任何一个或多个的主题可选地包括，其中所述增强现实显示还基于已知的切除和所述试选装置的位置来投射建议的承载厚度选项。
在示例40中，示例32-39中的任何一个或多个的主题可选地包括，其中所述方面包括虚拟指导装置。
在示例41中，示例40的主题可选地包括，其中所述虚拟引导装置包括用于销钉放置的漏斗形圆锥。
在示例42中，示例41的主题可选地包括，其中所述漏斗形圆锥朝向股骨上的销钉点变窄。
在示例43中，示例32-42中的任何一个或多个的主题可选地包括，其中所述传感器还将检测来自外科医生的手势以改变所述术前计划。
在示例44中，示例32-43中的任何一个或多个的主题可选地包括，其中，响应于由所述处理器输出的所述比较结果，所述增强现实显示还将呈现所述结果的视觉指示。
在示例45中，示例32-44中的任何一个或多个的主题可选地包括扬声器，以响应于由所述处理器输出的所述比较结果而播放所述结果的声音警报或指示。
在示例46中，示例32-45中的任何一个或多个的主题可选地包括触觉控制器，以响应于由所述处理器输出的所述比较结果而引起振动以指示所述结果。
在示例47中，示例32-46中的任何一个或多个的主题可选地包括，其中所述术前计划包括运动范围，所述术前计划的所述方面的虚拟表达包括虚拟运动范围视觉效果，并且所述手术部件包括待移动通过所述运动范围的患者肢体。
在示例48中，示例32-47中的任何一个或多个的主题可选地包括，其中，所述传感器包括相机以捕获所述手术区域内的手术部件的图像。
示例49是一种在外科手术期间使用增强现实装置的方法，其包括：使用所述增强现实装置的增强现实显示、在允许通过所述增强现实显示查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达；使用跟踪装置捕获手术区域内的手术部件的位置和方位；使用处理器将手术区域内的手术部件的位置与所述术前计划内的计划位置进行比较；以及输出比较结果。
在示例50中，示例49的主题可选地包括，其中所述术前计划的所述方面包括植入物的虚拟表达，并且其中所述手术部件是所述植入物，并且其中将所述手术部件的位置与所述计划位置进行比较包括确定所述手术部件和所述虚拟表达之间的重叠程度，并且其中所述比较结果包括所述重叠程度。
在示例51中，示例50的主题可选地包括：响应于确定所述重叠程度高于阈值而使用所述增强现实显示将所述虚拟表达投射为绿色；以及响应于确定所述重叠程度低于所述阈值而使用所述增强现实显示将所述虚拟表达投射为红色。
在示例52中，示例49-51中的任何一个或多个的主题可选地包括，其中所述术前计划的所述方面包括试选装置的虚拟表达，并且其中所述手术部件是所述试选装置。
在示例53中，示例52的主题可选地包括，使用所述增强现实显示呈现伸展或弯曲间隙厚度的虚拟表达。
在示例54中，示例52-53中的任何一个或多个的主题可选地包括，其中所述试选装置包括用于跟踪所述试选装置的方位的激光标记。
在示例55中，示例52-54中的任何一个或多个的主题可选地包括，使用所述增强现实显示基于已知的切除和所述试选装置的位置来投射建议的承载厚度选项。
在示例56中，示例49-55中的任何一个或多个的主题可选地包括，其中所述方面包括虚拟引导装置。
在示例57中，示例56的主题可选地包括，其中所述虚拟引导装置包括用于销钉放置的漏斗形圆锥。
在示例58中，示例57的主题可选地包括，其中所述漏斗形圆锥朝向股骨上的销钉点变窄。
在示例59中，示例49-58中的任何一个或多个的主题可选地包括，检测来自外科医生的手势以改变所述术前计划。
在示例60中，示例49-59中的任何一个或多个的主题可选地包括，响应于由所述处理器输出的所述比较结果而使用所述增强现实显示呈现所述结果的视觉指示。
在示例61中，示例49-60中的任何一个或多个的主题可选地包括，响应于所输出的所述比较结果而播放所述结果的声音警报或指示。
在示例62中，示例49-61中的任何一个或多个的主题可选地包括，响应于所输出的所述比较结果而引起振动以指示所述结果。
示例63是至少一种机器可读介质，其包括在外科手术期间使用增强现实装置的指令，所述指令当被机器执行时使得所述机器：使用所述增强现实装置的增强现实显示在允许通过所述增强现实显示查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达；使用相机捕获手术区域内的手术部件的图像；将从捕获的图像得来的手术区域内的手术部件的位置与所述术前计划内的计划位置进行比较；并输出比较结果。
在示例64中，示例63的主题可选地包括，其中所述术前计划的所述方面包括植入物的虚拟表达，并且其中所述手术部件是植入物，并且其中将所述手术部件的位置与所述计划位置进行比较的指令包括确定所述手术部件和所述虚拟表达之间的重叠程度的指令，并且其中所述比较结果包括所述重叠程度。
在示例65中，示例64的主题可选地包括，响应于确定所述重叠程度高于阈值而使用所述增强现实显示将所述虚拟表达投射成绿色的指令；以及响应于确定所述重叠程度低于所述阈值而使用所述增强现实显示将所述虚拟表达投射成红色的指令。
在示例66中，示例63-65中的任何一个或多个的主题可选地包括，其中所述术前计划的所述方面包括试选装置的虚拟表达，并且其中所述手术部件是所述试选装置。
在示例67中，示例66的主题可选地包括，使用所述增强现实显示呈现伸展或弯曲间隙厚度的虚拟表达的指令。
在示例68中，示例66-67中的任何一个或多个的主题可选地包括，其中所述试选装置包括用于跟踪所述试选装置的方位的激光标记。
在示例69中，示例66-68中的任何一个或多个的主题可选地包括，所述使用增强现实显示基于已知的切除和所述试选装置的位置来投射建议的承载厚度选项的指令。
在示例70中，示例63-69中的任何一个或多个的主题可选地包括，其中所述方面包括虚拟引导装置。
在示例71中，示例70的主题可选地包括，其中所述虚拟引导装置包括用于销钉放置的漏斗形圆锥。
在示例72中，示例71的主题可选地包括，其中所述漏斗形圆锥朝向股骨上的销钉点变窄。
在示例73中，示例63-72中的任何一个或多个的主题可选地包括，检测来自外科医生的手势以改变所述术前计划的指令。
在示例74中，示例63-73中的任何一个或多个的主题可选地包括，响应于由所述处理器输出的所述比较结果而使用所述增强现实显示呈现所述结果的视觉指示的指令。
在示例75中，示例63-74中的任何一个或多个的主题可选地包括，响应于所输出的所述比较结果而播放所述结果的声音警报或指示的指令。
在示例76中，示例63-75中的任何一个或多个的主题可选地包括，响应于所输出的所述比较结果而引起振动以指示所述结果的指令。
本文描述的方法示例可以至少部分地是机器或计算机实施的。一些示例可以包括以可操作的指令编码以将电子装置配置成执行以上示例中所述的方法的计算机可读介质或机器可读介质。这种方法的实施方式可以包括代码，例如微代码、汇编语言代码、更高级语言代码等。这种代码可包括用于执行各种方法的计算机可读指令。所述代码可以形成计算机程序产品的一部分。此外，在一个示例中，所述代码可以例如在执行期间或在其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光碟和数字视频盘)、磁带、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。

Claims (18)

1.一种在外科手术期间使用的增强现实装置，其包括：
增强现实显示，以在允许通过所述增强现实显示查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达；
传感器，以捕获所述手术区域内的手术部件的位置和方位信息；和
处理器，以：
将所述手术区域内的所述手术部件的位置与所述术前计划内的所述计划位置进行比较；并且
输出比较结果。
2.根据权利要求1所述的增强现实装置，其中，所述术前计划的所述方面包括植入物的虚拟表达，并且其中所述手术部件是所述植入物。
3.根据权利要求2所述的增强现实装置，其中，为了将所述手术部件的位置与所述计划位置进行比较，所述处理器将确定所述手术部件与所述虚拟表达之间的重叠程度，并且其中所述比较结果包括所述重叠程度。
4.根据权利要求3所述的增强现实装置，其中，响应于确定所述重叠程度高于阈值，所述增强现实显示还将所述虚拟表达投射为绿色；并且响应于确定所述重叠程度低于所述阈值，所述增强现实显示还将所述虚拟表达投射为红色。
5.根据权利要求1所述的增强现实装置，其中，所述术前计划的所述方面包括试选装置的虚拟表达，并且其中所述手术部件是所述试选装置。
6.根据权利要求5所述的增强现实装置，其中，所述增强现实显示还呈现伸展-弯曲间隙厚度的虚拟表达。
7.根据权利要求5所述的增强现实装置，其中，所述试选装置包括用于跟踪所述试选装置的方位的激光标记。
8.根据权利要求5所述的增强现实装置，其中，所述增强现实显示还基于已知的切除和所述试选装置的位置来投射建议的承载厚度选项。
9.根据权利要求1所述的增强现实装置，其中，所述传感器还检测来自外科医生的手势以改变所述术前计划。
10.根据权利要求1所述的增强现实装置，其中，所述术前计划包括运动范围，所述术前计划的所述方面的所述虚拟表达包括虚拟运动范围视觉效果，并且所述手术部件包括待移动通过所述运动范围的患者肢体。
11.根据权利要求1-10中的任一项所述的增强现实装置，其中，所述传感器包括相机，以捕获所述手术区域内的手术部件的图像。
12.一种在外科手术期间使用增强现实装置的方法，其包括：
使用增强现实装置的增强现实显示，在允许通过所述增强现实显示查看手术区域的同时在手术区域内的计划位置处投射术前计划的一方面的虚拟表达；
使用跟踪装置捕获所述手术区域内的手术部件的位置和方位；
使用处理器将所述手术区域内的所述手术部件的位置与所述术前计划内的所述计划位置进行比较；和
输出比较结果。
13.根据权利要求12所述的方法，其中，所述术前计划的所述方面包括植入物的虚拟表达，并且其中所述手术部件是所述植入物，并且其中将所述手术部件的位置与所述计划位置进行比较包括确定所述手术部件和所述虚拟表达之间的重叠程度，并且其中所述比较结果包括所述重叠程度。
14.根据权利要求13所述的方法，其还包括：响应于确定所述重叠程度高于阈值，而使用所述增强现实显示将所述虚拟表达投射为绿色；以及响应于确定所述重叠程度低于所述阈值，而使用所述增强现实显示将所述虚拟表达投射为红色。
15.根据权利要求12所述的方法，其还包括检测来自外科医生的手势以改变所述术前计划。
16.根据权利要求12所述的方法，其还包括使用相机来捕获所述手术区域内的手术部件的图像。
17.根据权利要求12所述的方法，其中，所述术前计划包括运动范围，所述术前计划的所述方面的所述虚拟表达包括虚拟运动范围视觉效果，并且所述手术部件包括待移动通过所述运动范围的患者肢体。
18.至少一种机器可读介质，其包括用于计算系统的操作的指令，所述指令当被机器执行时使所述机器执行权利要求12-16中的方法中的任一方法的操作。
CN201880016782.4A 2017-03-10 2018-02-28 增强现实支持的膝盖手术 Pending CN110603002A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762469815P 2017-03-10 2017-03-10
US62/469,815 2017-03-10
PCT/US2018/020201 WO2018164909A1 (en) 2017-03-10 2018-02-28 Augmented reality supported knee surgery

Publications (1)

Publication Number Publication Date
CN110603002A true CN110603002A (zh) 2019-12-20

Family

ID=61768426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880016782.4A Pending CN110603002A (zh) 2017-03-10 2018-02-28 增强现实支持的膝盖手术

Country Status (6)

Country Link
US (2) US11103311B2 (zh)
EP (2) EP3592273B1 (zh)
CN (1) CN110603002A (zh)
AU (2) AU2018230901B2 (zh)
CA (1) CA3055244A1 (zh)
WO (1) WO2018164909A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112704474A (zh) * 2020-11-30 2021-04-27 浙江大学医学院附属第一医院 一种用于检测甲状旁腺位置的ar检测眼镜
US11103311B2 (en) 2017-03-10 2021-08-31 Biomet Manufacturing, Llc Augmented reality supported knee surgery
CN113509266A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整
CN114550876A (zh) * 2020-11-18 2022-05-27 台北医学大学 基于增强现实的手术决策支持系统及其方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
EP3628245B1 (en) 2013-10-10 2025-01-29 Stryker European Operations Limited Method for designing and producing a shoulder surgery guide
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP4327769A3 (en) 2016-03-12 2024-08-21 Philipp K. Lang Devices and methods for surgery
ES2992065T3 (es) 2016-08-16 2024-12-09 Insight Medical Systems Inc Sistemas de aumento sensorial en procedimientos médicos
EP3568070B1 (en) 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
EP3596658A1 (en) * 2017-03-13 2020-01-22 Zimmer, Inc. Augmented reality diagnosis guidance
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019245857A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Neural network for diagnosis of shoulder condition
US10665029B2 (en) * 2018-10-10 2020-05-26 Disney Enterprises, Inc. Environmental mapping for augmented reality
AU2019417463B2 (en) * 2018-12-27 2024-10-10 Mako Surgical Corp. Systems and methods for surgical planning using soft tissue attachment points
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
KR20220048973A (ko) 2019-05-29 2022-04-20 스티븐 비. 머피 수술에서 증강 현실을 이용하기 위한 시스템들 및 방법들
US12211151B1 (en) 2019-07-30 2025-01-28 Onpoint Medical, Inc. Systems for optimizing augmented reality displays for surgical procedures
US20210038280A1 (en) * 2019-08-08 2021-02-11 John Pikramenos Electrosurgical generator for optimizing power output
CA3152108A1 (en) * 2019-11-05 2021-05-14 Jeffrey BAIL Surgical virtual reality user interface
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US12272017B2 (en) * 2019-12-20 2025-04-08 Smith & Nephew, Inc. Three-dimensional selective bone matching from two-dimensional image data
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US12295662B2 (en) * 2020-03-20 2025-05-13 The Johns Hopkins University Augmented reality based surgical navigation system
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
WO2022094060A1 (en) 2020-10-30 2022-05-05 Mako Surgical Corp. Robotic surgical system with slingshot prevention
CN116685285A (zh) * 2020-11-30 2023-09-01 直观外科手术操作公司 用于在机器人辅助系统的用户界面中提供合成指示器的系统
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
EP4304490A4 (en) 2021-03-10 2025-04-09 Onpoint Medical, Inc. Augmented Reality Guidance for Imaging Systems and Robotic Surgery
USD1044829S1 (en) 2021-07-29 2024-10-01 Mako Surgical Corp. Display screen or portion thereof with graphical user interface
US12210668B2 (en) * 2021-09-08 2025-01-28 MedCognition, Inc. System and method for performing physical exam on XR-based simulated patients
AU2023221739A1 (en) * 2022-02-16 2024-09-19 Icahn School Of Medicine At Mount Sinai Implant placement guides and methods
WO2024049810A1 (en) * 2022-08-30 2024-03-07 Howmedica Osteonics Corp. Ultrasound-based mixed reality assistance for orthopedic surgeries
US20240197409A1 (en) * 2022-12-20 2024-06-20 Orthosoft Ulc Tool navigation in mixed reality computer-assisted surgery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157887A1 (en) * 2010-12-17 2012-06-21 Richard Tyler Fanson Method and system for aligning a prosthesis during surgery
CN103439981A (zh) * 2013-08-29 2013-12-11 浙江理工大学 基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856324B2 (en) 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US7605826B2 (en) 2001-03-27 2009-10-20 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with depth determining graphics
US7176936B2 (en) 2001-03-27 2007-02-13 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with modulated guiding graphics
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US9681925B2 (en) 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
US7896869B2 (en) 2004-12-29 2011-03-01 Depuy Products, Inc. System and method for ensuring proper medical instrument use in an operating room
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070179626A1 (en) 2005-11-30 2007-08-02 De La Barrera Jose L M Functional joint arthroplasty method
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
WO2007115826A2 (en) 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
FR2917598B1 (fr) 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
CN102341046B (zh) 2009-03-24 2015-12-16 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
EP2452649A1 (en) 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
US9037297B2 (en) 2011-09-15 2015-05-19 Persimmon Technologies Corporation System and method for operation of a robot
US9198714B2 (en) 2012-06-29 2015-12-01 Ethicon Endo-Surgery, Inc. Haptic feedback devices for surgical robot
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
DE102012110190B4 (de) 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
EP2996615B1 (en) 2013-03-13 2019-01-30 Stryker Corporation System for arranging objects in an operating room in preparation for surgical procedures
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9220572B2 (en) 2013-03-14 2015-12-29 Biomet Manufacturing, Llc Method for implanting a hip prosthesis and related system
EP3139843B1 (en) 2014-05-05 2023-08-30 Vicarious Surgical Inc. Virtual reality surgical device
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
GB2534359A (en) 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US10105187B2 (en) 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10092361B2 (en) * 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
WO2017151752A1 (en) 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
EP4327769A3 (en) 2016-03-12 2024-08-21 Philipp K. Lang Devices and methods for surgery
US10813700B2 (en) * 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10806518B2 (en) * 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
WO2018063528A1 (en) 2016-08-16 2018-04-05 Insight Medical Systems, Inc. Systems for sensory augmentation in medical procedures
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
CA3035258C (en) 2016-10-03 2022-03-22 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
EP3375399B1 (en) * 2016-10-05 2022-05-25 NuVasive, Inc. Surgical navigation system
JP6823665B2 (ja) * 2016-10-25 2021-02-03 株式会社 レキシー 手術支援システム
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018164909A1 (en) 2017-03-10 2018-09-13 Biomet Manufacturing, Llc Augmented reality supported knee surgery
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US10390891B2 (en) 2017-06-13 2019-08-27 Biosense Webster (Israel) Ltd. Hologram lens for positioning an orthopedic implant
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
KR20210051141A (ko) 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157887A1 (en) * 2010-12-17 2012-06-21 Richard Tyler Fanson Method and system for aligning a prosthesis during surgery
CN103439981A (zh) * 2013-08-29 2013-12-11 浙江理工大学 基于无标定视觉伺服的激光标记自动跟踪引伸计控制方法
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
WO2017015738A1 (en) * 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11103311B2 (en) 2017-03-10 2021-08-31 Biomet Manufacturing, Llc Augmented reality supported knee surgery
US11903654B2 (en) 2017-03-10 2024-02-20 Biomet Manufacturing, Llc Augmented reality supported knee surgery
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整
US12026837B2 (en) 2020-05-12 2024-07-02 Siemens Healthineers Ag Adapting an augmented and/or virtual reality
CN114550876A (zh) * 2020-11-18 2022-05-27 台北医学大学 基于增强现实的手术决策支持系统及其方法
CN112704474A (zh) * 2020-11-30 2021-04-27 浙江大学医学院附属第一医院 一种用于检测甲状旁腺位置的ar检测眼镜
CN113509266A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
WO2022206408A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备

Also Published As

Publication number Publication date
EP3592273A1 (en) 2020-01-15
US11103311B2 (en) 2021-08-31
AU2018230901A1 (en) 2019-10-03
AU2021201678A1 (en) 2021-04-08
AU2018230901B2 (en) 2020-12-17
EP4278956A2 (en) 2023-11-22
EP4278956A3 (en) 2024-02-21
EP3592273B1 (en) 2023-10-04
EP4278956B1 (en) 2025-02-19
US20210361358A1 (en) 2021-11-25
US11903654B2 (en) 2024-02-20
CA3055244A1 (en) 2018-09-13
WO2018164909A1 (en) 2018-09-13
US20180256256A1 (en) 2018-09-13
AU2021201678B2 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US11903654B2 (en) Augmented reality supported knee surgery
US12127795B2 (en) Augmented reality display for spinal rod shaping and placement
CN111031954B (zh) 用于医疗程序中的感觉增强系统和方法
CN112386302A (zh) 用于无线超声跟踪和通信的超宽带定位
HK1259201B (zh) 用於無線超聲跟踪和通信的超寬帶定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination