[go: up one dir, main page]

CN112190331A - 手术导航信息的确定方法、装置及系统、电子装置 - Google Patents

手术导航信息的确定方法、装置及系统、电子装置 Download PDF

Info

Publication number
CN112190331A
CN112190331A CN202011106421.4A CN202011106421A CN112190331A CN 112190331 A CN112190331 A CN 112190331A CN 202011106421 A CN202011106421 A CN 202011106421A CN 112190331 A CN112190331 A CN 112190331A
Authority
CN
China
Prior art keywords
augmented reality
information
navigation information
surgical instrument
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011106421.4A
Other languages
English (en)
Inventor
申一君
庞博
田梦泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing AK Medical Co Ltd
Original Assignee
Beijing AK Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing AK Medical Co Ltd filed Critical Beijing AK Medical Co Ltd
Priority to CN202011106421.4A priority Critical patent/CN112190331A/zh
Publication of CN112190331A publication Critical patent/CN112190331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种手术导航信息的确定方法、装置及系统、电子装置。其中，该手术导航信息的确定系统，包括：手术端设备，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；远端设备，与上述手术端设备连接，用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息。本发明解决了现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。

Description

手术导航信息的确定方法、装置及系统、电子装置
技术领域
本发明涉及医疗技术领域，具体而言，涉及一种手术导航信息的确定方法、装置及系统、电子装置。
背景技术
相关技术中,手术导航系统一般通过在患者的手术部位附近和手术器械上安装主动或者被动的标记装置，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，并需要在术中对患者手术部位的打点注册，现有的导航处理方式在手术环境下容易限制医生的活动，甚至造成病人的感染，对整个手术产生干扰。
为了使医生能够清晰的了解手术器械相对病人解剖结构的位置,相关技术中普遍采用的导航技术为计算机辅助导航技术，该导航技术存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种手术导航信息的确定方法、装置及系统、电子装置，以至少解决现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
根据本发明实施例的一个方面，提供了一种手术导航信息的确定系统，包括：手术端设备，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；远端设备，与上述手术端设备连接，用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息。
可选的，上述系统还包括：第五代移动通信5G模块，用于建立上述手术端设备和上述远端设备的通信连接，其中，上述手术端设备经上述5G模块发送上述空间位置信息和上述移动轨迹信息至上述远端设备。
可选的，上述手术端设备包括：第一定位模块，设置在上述目标范围内，用于实时获取上述待手术部位的上述空间位置信息；第二定位模块，与上述手术器械连接，用于实时获取上述手术器械的上述移动轨迹信息。
可选的，上述系统还包括：显示辅助模块，与上述第一定位模块和上述第二定位模块连接，用于接收上述空间位置信息和上述移动轨迹信息，并将上述空间位置信息和上述移动轨迹信息发送至上述远端设备。
可选的，上述远端设备包括：图像处理模块，与上述显示辅助模块连接，用于获取上述待手术部位的X光透视图像，并将上述空间位置信息、上述移动轨迹信息与上述X光透视图像进行合成处理，得到上述虚拟图像；以及对上述虚拟图像进行增强现实处理得到增强现实图像，并从上述增强现实图像中选取与上述空间位置信息匹配的上述导航信息；存储器，与上述图像处理模块连接，用于存储上述虚拟图像、上述增强现实图像和上述导航信息。
可选的，上述显示辅助模块，还用于接收上述图像处理模块返回的上述增强现实图像和上述导航信息；上述系统还包括：AR显示端，与上述显示辅助模块连接，用于展示上述增强现实图像和上述导航信息。
根据本发明实施例的另一方面，还提供了一种手术导航信息的确定方法，包括：获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；发送上述空间位置信息和上述移动轨迹信息至远端设备，并接收上述远端设备返回的增强现实图像和上述手术器械的导航信息，其中，上述远端设备用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到上述增强现实图像；以及基于上述增强现实图像确定上述导航信息。
根据本发明实施例的另一方面，还提供了一种手术导航信息的确定方法，包括：接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像；基于上述增强现实图像确定上述手术器械的导航信息；返回上述增强现实图像和上述导航信息至上述手术端设备。
根据本发明实施例的另一方面，还提供了一种手术导航信息的确定装置，包括：获取模块，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；处理模块，用于发送上述空间位置信息和上述移动轨迹信息至远端设备，并接收上述远端设备返回的增强现实图像和上述手术器械的导航信息，其中，上述远端设备用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到上述增强现实图像；以及基于上述增强现实图像确定上述导航信息。
根据本发明实施例的另一方面，还提供了一种手术导航信息的确定装置，包括：接收单元，用于接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；处理单元，用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像；确定单元，用于基于上述增强现实图像确定上述手术器械的导航信息；返回单元，用于返回上述增强现实图像和上述导航信息至上述手术端设备。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行上述的手术导航信息的确定方法。
根据本发明实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序被设置为运行时执行上述的手术导航信息的确定方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，其特征在于，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述的手术导航信息的确定方法。
在本发明实施例中，通过手术端设备获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；以及与上述手术端设备连接的远端设备，依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，达到了将导航信息与现实手术场景融合的目的，从而实现了提升导航信息的实用性的技术效果，进而解决了现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种手术导航信息的确定系统的结构示意图；
图2是根据本发明实施例的一种可选的手术导航信息的确定系统的结构示意图；
图3是根据本发明实施例的一种手术导航信息的确定方法的流程图；
图4是根据本发明实施例的另一种手术导航信息的确定方法的流程图；
图5是根据本发明实施例的一种手术导航信息的确定装置的结构示意图；
图6是根据本发明实施例的另一种手术导航信息的确定装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，为方便理解本发明实施例，下面将对本发明中所涉及的部分术语或名词进行解释说明：
增强现实技术(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升预期增强现实的用途将会越来越广。
实施例1
根据本发明实施例，提供了一种手术导航信息的确定系统的实施例，图1是根据本发明实施例的一种手术导航信息的确定系统的结构示意图，如图1所示，上述手术导航信息的确定系统，包括：手术端设备100和远端设备120连接，其中：
手术端设备100，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；远端设备120，与上述手术端设备100连接，用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息。
在本发明实施例中，通过手术端设备获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；以及与上述手术端设备连接的远端设备，依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，达到了将导航信息与现实手术场景融合的目的，从而实现了提升导航信息的实用性的技术效果，进而解决了现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
可选的，上述远端设备可以为远端云服务器，上述手术端设备可以为AR导航系统；上述待手术部位为患者(人体或动物)的待手术部位，例如，待置换假体部位等，上述手术器械可以为任意一种类型的手术器械，具体可以针对待进行的手术对应选择手术器械，对此不再进行赘述，以可以实现本申请实施例为准。
本申请实施例，通过将虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，并通过在手术端设备集成AR显示功能，可以实现虚拟图像与现实图像的精准叠加，防止手术过程中医生在手术导航系统与患者之间的来回切换观察，使医生更专注于手术本身。
在一种可选的实施例中，图2是根据本发明实施例的一种可选的手术导航信息的确定系统的结构示意图，如图2所示，上述系统还包括：第五代移动通信5G模块140，用于建立上述手术端设备和上述远端设备的通信连接，其中，上述手术端设备经上述5G模块发送上述空间位置信息和上述移动轨迹信息至上述远端设备。
在上述可选的实施例中，通过上述5G模块建立手术端设备和远端设备的通信连接，可以将远端云服务器的计算能力负载到本地AR导航系统，优化了本地AR导航系统的不足，使确定的应用于手术场景中的导航信息更加精准。
并且，本申请实施例中，通过上述5G模块建立手术端设备和远端设备的通信连接，还可以有效降低AR导航系统的反应延迟，为手术场景中的手术器械在执行手术操作时提供实时的导航信息。
在一种可选的实施例中，上述手术端设备包括：第一定位模块，设置在上述目标范围内，用于实时获取上述待手术部位的上述空间位置信息；第二定位模块，与上述手术器械连接，用于实时获取上述手术器械的上述移动轨迹信息。
在上述可选的实施例中，可以但不限于在患者的手术部位附近和手术器械上安装主动或者被动的定位模块,并采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器,利用发出的信号对患者的骨骼空间位置信息，并对手术器械的位置及运动轨迹进行跟踪得到移动轨迹信息。
在一种可选的实施例中，仍如图2所示，上述系统还包括：显示辅助模块130，与上述手术端设备100连接(即分别与上述第一定位模块和上述第二定位模块连接)，用于接收上述空间位置信息和上述移动轨迹信息，并将上述空间位置信息和上述移动轨迹信息发送至上述远端设备120(即显示辅助模块130经5G模块140发送至上述远端设备120)。
可选的，上述显示辅助模块主要用于处理上述空间位置信息和上述移动轨迹信息，即将接收到的空间位置信息和上述移动轨迹信息发送至上述远端设备；以及接收远端设备返回的增强现实图像和导航信息，并将增强现实图像和导航信息发送至手术端设备中的AR显示端进行展示。
在一种可选的实施例中，如图2所示，上述远端设备120包括：图像处理模块122，与上述显示辅助模块连接，用于获取上述待手术部位的X光透视图像，并将上述空间位置信息、上述移动轨迹信息与上述X光透视图像进行合成处理，得到上述虚拟图像；以及对上述虚拟图像进行增强现实处理得到增强现实图像，并从上述增强现实图像中选取与上述空间位置信息匹配的上述导航信息；存储器124，与上述图像处理模块122连接，用于存储上述虚拟图像、上述增强现实图像和上述导航信息。
可选的，上述图像处理模块，还用于获取待手术部位的X光透视图像，通过将上述空间位置信息、上述移动轨迹信息与上述X光透视图像进行合成处理，还可以在合成处理之后进行渲染得到虚拟图像(即虚拟影像)，对上述虚拟图像进行增强现实处理得到增强现实图像(即AR图像)，再通过路径最优算法，基于待手术部位的空间位置信息和手术器械的移动轨迹信息，确定与上述空间位置信息匹配的上述导航信息。
在一种可选的实施例中，上述显示辅助模块130，还用于接收上述图像处理模块返回的上述增强现实图像和上述导航信息；仍如图2所示，上述手术端设备包括：AR显示端150，与上述显示辅助模块130连接，用于展示上述增强现实图像和上述导航信息。
在本申请实施例中，通过在手术端设备集成AR显示端以实现AR显示功能，可以实现虚拟图像与现实图像的精准叠加显示，防止手术过程中医生在手术导航系统与患者之间的来回切换观察，使医生更专注于手术本身。
作为另一种可选的实施例，上述图像处理模块还可以用于对虚拟图像进行渲染处理生成虚拟画面文件，并将该虚拟画面文件通过5G模块传送给显示辅助模块，以供在手术端设备中的AR显示端进行展示。
可选的，上述图像处理模块包括：至少一个云渲染服务器和渲染节点机，其中，上述云渲染服务器用于将待渲染文件进行分割，形成一个或多个子文件，并分配给渲染节点机，渲染节点机用于对分割后的子任务进行处理，生成画面子文件，并将子文件回传到云渲染服务器，该云渲染服务器再将各渲染节点机渲染完成后的子文件进行合并处理。
需要说明的是，本申请中的图1中所示手术导航信息的确定系统的具体结构仅是示意，在具体应用时，本申请中的手术导航信息的确定系统可以比图1所示的手术导航信息的确定系统具有多或少的结构。
实施例2
根据本发明实施例，提供了一种手术导航信息的确定方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本发明实施例的一种手术导航信息的确定方法的流程图，如图3所示，该方法包括如下步骤：
步骤S102，获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；
步骤S104，发送上述空间位置信息和上述移动轨迹信息至远端设备，并接收上述远端设备返回的增强现实图像和上述手术器械的导航信息，其中，上述远端设备用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到上述增强现实图像；以及基于上述增强现实图像确定上述导航信息。
在本发明实施例中，通过手术端设备获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；以及与上述手术端设备连接的远端设备，依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，达到了将导航信息与现实手术场景融合的目的，从而实现了提升导航信息的实用性的技术效果，进而解决了现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
可选的，上述远端设备可以为远端云服务器，上述手术端设备可以为AR导航系统；上述待手术部位为患者(人体或动物)的待手术部位，例如，待置换假体部位等，上述手术器械可以为任意一种类型的手术器械，具体可以针对待进行的手术对应选择手术器械，对此不再进行赘述，以可以实现本申请实施例为准。
本申请实施例，通过将虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，并通过在手术端设备集成AR显示功能，可以实现虚拟图像与现实图像的精准叠加，防止手术过程中医生在手术导航系统与患者之间的来回切换观察，使医生更专注于手术本身。
根据本发明实施例，提供了另一种手术导航信息的确定方法的实施例，图4是根据本发明实施例的另一种手术导航信息的确定方法的流程图，如图4所示，该方法包括如下步骤：
步骤S202，接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；
步骤S204，依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像；
步骤S206，基于上述增强现实图像确定上述手术器械的导航信息；
步骤S208，返回上述增强现实图像和上述导航信息至上述手术端设备。
在本发明实施例中，通过手术端设备获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；以及与上述手术端设备连接的远端设备，依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，达到了将导航信息与现实手术场景融合的目的，从而实现了提升导航信息的实用性的技术效果，进而解决了现有技术中的手术导航方案存在导航信息与手术场景相分离，导致导航信息不易于理解的技术问题。
可选的，上述远端设备可以为远端云服务器，上述手术端设备可以为AR导航系统；上述待手术部位为患者(人体或动物)的待手术部位，例如，待置换假体部位等，上述手术器械可以为任意一种类型的手术器械，具体可以针对待进行的手术对应选择手术器械，对此不再进行赘述，以可以实现本申请实施例为准。
本申请实施例，通过将虚拟图像进行增强现实处理得到增强现实图像，以及基于上述增强现实图像确定上述手术器械的导航信息，并通过在手术端设备集成AR显示功能，可以实现虚拟图像与现实图像的精准叠加，防止手术过程中医生在手术导航系统与患者之间的来回切换观察，使医生更专注于手术本身。
需要说明的是，本实施例中的任意一种可选的或优选的手术导航信息的确定方法，均可以在上述实施例1所提供的手术导航信息的确定系统中执行或实现。
此外，仍需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
实施例3
根据本发明实施例，还提供了一种用于实施上述手术导航信息的确定方法的装置实施例，图5是根据本发明实施例的一种手术导航信息的确定装置的结构示意图，如图5所示，上述手术导航信息的确定装置，包括：获取模块400和处理模块420，其中：
获取模块400，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；处理模块420，用于发送上述空间位置信息和上述移动轨迹信息至远端设备，并接收上述远端设备返回的增强现实图像和上述手术器械的导航信息，其中，上述远端设备用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到上述增强现实图像；以及基于上述增强现实图像确定上述导航信息。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述获取模块400和处理模块420对应于实施例2中的步骤S102至步骤S104，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
根据本发明实施例，还提供了另一种用于实施上述手术导航信息的确定方法的装置实施例，图6是根据本发明实施例的另一种手术导航信息的确定装置的结构示意图，如图6所示，上述手术导航信息的确定装置，包括：接收单元500、处理单元520、确定单元540和返回单元560，其中：
接收单元500，用于接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；处理单元520，用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像；确定单元540，用于基于上述增强现实图像确定上述手术器械的导航信息；返回单元560，用于返回上述增强现实图像和上述导航信息至上述手术端设备。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述接收单元500、处理单元520、确定单元540和返回单元560对应于实施例2中的步骤S202至步骤S208，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1和2中的相关描述，此处不再赘述。
上述的手术导航信息的确定装置还可以包括处理器和存储器，上述获取模块400、处理模块420、接收单元500、处理单元520、确定单元540和返回单元560等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本申请实施例，还提供了一种非易失性存储介质实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种手术导航信息的确定方法。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；发送上述空间位置信息和上述移动轨迹信息至远端设备，并接收上述远端设备返回的增强现实图像和上述手术器械的导航信息，其中，上述远端设备用于依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到上述增强现实图像；以及基于上述增强现实图像确定上述导航信息。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，上述手术器械位于包含上述待手术部位的目标范围内；依据上述空间位置信息和上述移动轨迹信息确定虚拟图像，并对上述虚拟图像进行增强现实处理得到增强现实图像；基于上述增强现实图像确定上述手术器械的导航信息；返回上述增强现实图像和上述导航信息至上述手术端设备。
根据本申请实施例，还提供了一种处理器实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种手术导航信息的确定方法。
本申请实施例提供了一种电子装置，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任意一种的手术导航信息的确定方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述任意一种的手术导航信息的确定方法步骤的程序。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种手术导航信息的确定系统，其特征在于，包括：
手术端设备，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，所述手术器械位于包含所述待手术部位的目标范围内；
远端设备，与所述手术端设备连接，用于依据所述空间位置信息和所述移动轨迹信息确定虚拟图像，并对所述虚拟图像进行增强现实处理得到增强现实图像，以及基于所述增强现实图像确定所述手术器械的导航信息。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
第五代移动通信5G模块，用于建立所述手术端设备和所述远端设备的通信连接，其中，所述手术端设备经所述5G模块发送所述空间位置信息和所述移动轨迹信息至所述远端设备。
3.根据权利要求1所述的系统，其特征在于，所述手术端设备包括：
第一定位模块，设置在所述目标范围内，用于实时获取所述待手术部位的所述空间位置信息；
第二定位模块，与所述手术器械连接，用于实时获取所述手术器械的所述移动轨迹信息。
4.根据权利要求3所述的系统，其特征在于，所述系统还包括：
显示辅助模块，与所述第一定位模块和所述第二定位模块连接，用于接收所述空间位置信息和所述移动轨迹信息，并将所述空间位置信息和所述移动轨迹信息发送至所述远端设备。
5.根据权利要求4所述的系统，其特征在于，所述远端设备包括：
图像处理模块，与所述显示辅助模块连接，用于获取所述待手术部位的X光透视图像，并将所述空间位置信息、所述移动轨迹信息与所述X光透视图像进行合成处理，得到所述虚拟图像；以及对所述虚拟图像进行增强现实处理得到增强现实图像，并从所述增强现实图像中选取与所述空间位置信息匹配的所述导航信息；
存储器，与所述图像处理模块连接，用于存储所述虚拟图像、所述增强现实图像和所述导航信息。
6.根据权利要求5所述的系统，其特征在于，所述显示辅助模块，还用于接收所述图像处理模块返回的所述增强现实图像和所述导航信息；
所述系统还包括：AR显示端，与所述显示辅助模块连接，用于展示所述增强现实图像和所述导航信息。
7.一种手术导航信息的确定方法，其特征在于，包括：
获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，所述手术器械位于包含所述待手术部位的目标范围内；
发送所述空间位置信息和所述移动轨迹信息至远端设备，并接收所述远端设备返回的增强现实图像和所述手术器械的导航信息，其中，所述远端设备用于依据所述空间位置信息和所述移动轨迹信息确定虚拟图像，并对所述虚拟图像进行增强现实处理得到所述增强现实图像；以及基于所述增强现实图像确定所述导航信息。
8.一种手术导航信息的确定方法，其特征在于，包括：
接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，所述手术器械位于包含所述待手术部位的目标范围内；
依据所述空间位置信息和所述移动轨迹信息确定虚拟图像，并对所述虚拟图像进行增强现实处理得到增强现实图像；
基于所述增强现实图像确定所述手术器械的导航信息；
返回所述增强现实图像和所述导航信息至所述手术端设备。
9.一种手术导航信息的确定装置，其特征在于，包括：
获取模块，用于获取待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，所述手术器械位于包含所述待手术部位的目标范围内；
处理模块，用于发送所述空间位置信息和所述移动轨迹信息至远端设备，并接收所述远端设备返回的增强现实图像和所述手术器械的导航信息，其中，所述远端设备用于依据所述空间位置信息和所述移动轨迹信息确定虚拟图像，并对所述虚拟图像进行增强现实处理得到所述增强现实图像；以及基于所述增强现实图像确定所述导航信息。
10.一种手术导航信息的确定装置，其特征在于，包括：
接收单元，用于接收来自手术端设备的待手术部位的空间位置信息和手术器械的移动轨迹信息，其中，所述手术器械位于包含所述待手术部位的目标范围内；
处理单元，用于依据所述空间位置信息和所述移动轨迹信息确定虚拟图像，并对所述虚拟图像进行增强现实处理得到增强现实图像；
确定单元，用于基于所述增强现实图像确定所述手术器械的导航信息；
返回单元，用于返回所述增强现实图像和所述导航信息至所述手术端设备。
11.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求7或8所述的手术导航信息的确定方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行权利要求7或8所述的手术导航信息的确定方法。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求7或8所述的手术导航信息的确定方法。
CN202011106421.4A 2020-10-15 2020-10-15 手术导航信息的确定方法、装置及系统、电子装置 Pending CN112190331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011106421.4A CN112190331A (zh) 2020-10-15 2020-10-15 手术导航信息的确定方法、装置及系统、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011106421.4A CN112190331A (zh) 2020-10-15 2020-10-15 手术导航信息的确定方法、装置及系统、电子装置

Publications (1)

Publication Number Publication Date
CN112190331A true CN112190331A (zh) 2021-01-08

Family

ID=74009202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011106421.4A Pending CN112190331A (zh) 2020-10-15 2020-10-15 手术导航信息的确定方法、装置及系统、电子装置

Country Status (1)

Country Link
CN (1) CN112190331A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
CN118502584A (zh) * 2024-04-30 2024-08-16 广州影华科技有限公司 一种三自由度机构与ar设备的协同信息交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
US20180293802A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US20190053855A1 (en) * 2017-08-15 2019-02-21 Holo Surgical Inc. Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation
CN109730771A (zh) * 2019-03-19 2019-05-10 安徽紫薇帝星数字科技有限公司 一种基于ar技术的手术导航系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
US20180293802A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US20190053855A1 (en) * 2017-08-15 2019-02-21 Holo Surgical Inc. Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN109730771A (zh) * 2019-03-19 2019-05-10 安徽紫薇帝星数字科技有限公司 一种基于ar技术的手术导航系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113509265A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种动态位置识别提示系统及其方法
CN118502584A (zh) * 2024-04-30 2024-08-16 广州影华科技有限公司 一种三自由度机构与ar设备的协同信息交互方法及系统
CN118502584B (zh) * 2024-04-30 2025-03-14 广州影华科技有限公司 一种三自由度机构与ar设备的协同信息交互方法及系统

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
US11025889B2 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US11734876B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
EP1883052B1 (en) Generating images combining real and virtual images
JP3992629B2 (ja) 画像生成システム、画像生成装置、画像生成方法
CN107223270B (zh) 一种显示数据处理方法及装置
CN110365964A (zh) 增强现实的图像处理
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN103678837A (zh) 一种确定目标区域处理余量的方法和装置
CN112190331A (zh) 手术导航信息的确定方法、装置及系统、电子装置
US20250014712A1 (en) Image acquisition visuals for augmented reality
CN109730771A (zh) 一种基于ar技术的手术导航系统
CN112165629B (zh) 智能直播方法、可穿戴设备及智能直播系统
CN116823905A (zh) 图像配准方法、电子设备以及计算机可读存储介质
CN113242398A (zh) 一种三维标注的音视频通话方法和系统
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
CN116665874A (zh) 基于智能机器人互联网医院远程问诊系统的辅助诊疗方法
KR102582349B1 (ko) 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법
CN110495900B (zh) 影像显示方法、装置、设备和存储介质
EP3655919A1 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US20180336965A1 (en) Medical communication system and medical device
CN111476768B (zh) 图像配准方法、装置、路径规划方法、装置、系统及介质
CN113763467B (zh) 图像处理方法、装置、计算设备及介质
EP4336459A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108