[go: up one dir, main page]

CN112263331B - 一种体内医疗器械视觉呈现系统及方法 - Google Patents

一种体内医疗器械视觉呈现系统及方法 Download PDF

Info

Publication number
CN112263331B
CN112263331B CN202011188144.6A CN202011188144A CN112263331B CN 112263331 B CN112263331 B CN 112263331B CN 202011188144 A CN202011188144 A CN 202011188144A CN 112263331 B CN112263331 B CN 112263331B
Authority
CN
China
Prior art keywords
optical fiber
sensing optical
curve
acquisition module
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011188144.6A
Other languages
English (en)
Other versions
CN112263331A (zh
Inventor
宋新华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chuyun Kairui Management Consulting Co ltd
Original Assignee
Shanghai Chuyun Kairui Management Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chuyun Kairui Management Consulting Co ltd filed Critical Shanghai Chuyun Kairui Management Consulting Co ltd
Priority to CN202011188144.6A priority Critical patent/CN112263331B/zh
Publication of CN112263331A publication Critical patent/CN112263331A/zh
Application granted granted Critical
Publication of CN112263331B publication Critical patent/CN112263331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种体内医疗器械视觉呈现系统及方法，其系统包括传感光纤，传感光纤上设定有第一定位标记；形态感知装置；头戴显示装置，头戴显示装置上设定有第二定位标记；形态感知装置包括：第一获取模块，用于分别获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标；第二获取模块，用于获取整根传感光纤相对于第二获取模块的总形态曲线；计算模块，用于获取传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，并分别输出图像信号给左眼镜片和右眼镜片。该方案能够直观反映内窥镜、手术机器人等医疗器械在人体内的位置，从而有利于手术的进行。

Description

一种体内医疗器械视觉呈现系统及方法
技术领域
本发明涉及医疗技术领域，尤指一种体内医疗器械视觉呈现系统及方法。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，是一个具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内，利用内窥镜可以看到X射线不能显示的病变。在进行医疗手术时，如进行内窥镜手术或机器人手术时，为了保证手术的精准性，需要了解或手术机器人在人体内的位置、弯折形状等。
形态感知技术能够反映医疗器械在人体内的形状，该技术能够将医疗器械的形状呈现在一个空洞的虚拟背景中，显示在二维显示器上，但该方法不能呈现内窥镜等医疗器械的空间结构；因此，出现一种体内医疗器械视觉呈现系统及方法系统可以利用事前螺旋CT生成的3D图像，并且使用形状感知系统精确测量出内窥镜等医疗器械的3D形状，将二者叠在在同一个显示图像中进行显示，从而呈现内窥镜等医疗器械在人体内的空间结构。
但是，现有技术获得的内窥镜、手术机器人等医疗器械在人体内的3D图像都是呈现在显示器上，无法直观地反映医疗器械在人体内的位置，因此，需要一种能够直观反映内窥镜、手术机器人等医疗器械在人体内位置的视觉呈现方法，从而有利于手术的进行。
发明内容
本发明的目的是提供一种体内医疗器械视觉呈现系统及方法，能够直观反映内窥镜、手术机器人等医疗器械在人体内的位置，从而有利于手术的进行。
本发明提供的技术方案如下：
本发明提供一种体内医疗器械视觉呈现系统，包括：传感光纤，嵌入医疗器械的柔性插入部，且所述传感光纤上设定有第一定位标记；
形态感知装置；
头戴显示装置，所述头戴显示装置上设定有第二定位标记；
其中，所述形态感知装置包括：
第一获取模块，用于分别获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标；
第二获取模块，用于获取整根所述传感光纤相对于所述第二获取模块的总形态曲线；
计算模块，用于根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线，并用于根据所述第一空间位置坐标和所述第二空间位置坐标的位置差，计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线，以及用于根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差，获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线；
计算模块分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像，并分别输出图像信号给所述左眼镜片和所述右眼镜片。
本方案通过在连接内窥镜、手术机器人等医疗器械的传感光纤上设定第一定位标记，在用于图像显示的头戴显示装置上设定第二定位标记，使得能够通过形态感知装置的第一获取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标，同时，通过第二获取模块能够获得整根传感光纤相对于第二获取模块的总形态曲线，根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对于第一获取模块的第一形态曲线，根据第一空间位置坐标和第二空间位置坐标的位置差，能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线，再根据头戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差，能够获得传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，对第三形态曲线和第四形态曲线进行渲染，能够使左眼镜片和右眼镜片上显示传感光纤的立体图像，从而使得医生在戴上头戴显示装置后，能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置，有利于手术的进行。
进一步地，所述第二获取模块包括光纤传感器和解调系统，
所述光纤传感器用于实时检测各个所述传感光纤上每一截面的应力分布，
所述解调系统用于根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向，并用于根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布，以及用于根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述解调系统的总形态曲线。
通过检测传感光纤上的应力分布，能够根据传感光纤上每一截面的应力分布计算传感光纤的曲率和偏转方向，再根据曲率和偏转方向能够计算获得传感光纤的切向量在长度上的分布，最后根据传感光纤的切向量在长度上的分布，便能够计算获得传感光纤任意位置相对于调系统的总形态曲线。
进一步地，所述第二获取模块还用于获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标；
所述计算模块通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正，获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
值得注意的是，总形态曲线是相对于第二获取模块的解调系统的，并不是相对于第一获取模块的，若第一获取模块与第二获取模块的位置相同，则可直接调用，若不同，则需要对总形态曲线进行矫正。具体的，可以通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤任意长度处相对于第一获取模块的第一形态曲线。
进一步地，所述计算模块先通过所述第一空间位置坐标和所述第三空间位置坐标的位置差计算获得所述第一获取模块的坐标系与所述第二获取模块的坐标系之间的变换矩阵和平移向量，再通过所述变换矩阵、所述平移向量和所述总形态曲线获得所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
具体的，设第一空间位置坐标为x1(s0),y1(s0),z1(s0)，其中s0是第一定位标记在整根光纤上的长度位置，总形态曲线为x0(s),y0(s),z0(s)，其中s是光纤的长度，则可以通过
Figure BDA0002752000640000041
进行表示，计算出变换矩阵R和平移向量t，之后便能获得传感光纤任意长度处相对于第一获取模块的第一形态曲线。
进一步地，所述第一获取模块为深度摄像头，且所述深度摄像头与所述形态感知装置的主机刚性连接。
为了保证显示的精度，深度摄像头需固定不动，在本方案中，将深度摄像头与形态感知装置的主机刚性连接，在其它实施例中，还可以将深度摄像头固定在其它位置处。
进一步地，所述第一定位标记和所述第二定位标记为一组发射或反射可见光或红外光的几何图形小点构成的标记，所述第一定位标记的分布具有至少一个可分辨的轴方向，所述第二定位标记的分布具有至少两个可分辨的轴方向。
进一步地，所述传感光纤为MCF多芯光纤，包括至少三根螺旋分布在外侧的纤芯，以及一根贯穿在中心的纤芯。
另外，本发明提供一种基于上述体内医疗器械视觉呈现系统的视觉呈现方法，包括步骤：
在连接医疗器械的传感光纤上设定第一定位标记，在头戴显示装置上设定第二定位标记；
实时获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标；
实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线；
根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线；
根据所述第一空间位置坐标和所述第二空间位置坐标的位置差，计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线；
根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差，获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线；
分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像，并分别输出图像信号给所述左眼镜片和所述右眼镜片。
通过在连接内窥镜、手术机器人等医疗器械的传感光纤上设定第一定位标记，在用于图像显示的头戴显示装置上设定第二定位标记，使得能够通过形态感知装置的第一获取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标，同时，通过第二获取模块能够获得整根传感光纤相对于第二获取模块的总形态曲线，根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对于第一获取模块的第一形态曲线，根据第一空间位置坐标和第二空间位置坐标的位置差，能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线，再根据头戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差，能够获得传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，对第三形态曲线和第四形态曲线进行渲染，能够使左眼镜片和右眼镜片上显示传感光纤的立体图像，从而使得医生在戴上头戴显示装置后，能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置，有利于手术的进行。
进一步地，所述的实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线，具体包括步骤：
实时检测各个所述传感光纤上每一截面的应力分布；
根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向；
根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布；
根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述第二获取模块的总形态曲线。
进一步地，所述的根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线，具体包括：
获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标；
通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正，获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
值得注意的是，总形态曲线是相对于第二获取模块的解调系统的，并不是相对于第一获取模块的，若第一获取模块与第二获取模块的位置相同，则可直接调用，若不同，则需要对总形态曲线进行矫正。具体的，可以通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤任意长度处相对于第一获取模块的第一形态曲线。
具体的，设第一空间位置坐标为x1(s0),y1(s0),z1(s0)，其中s0是第一定位标记在整根光纤上的长度位置，总形态曲线为x0(s),y0(s),z0(s)，其中s是光纤的长度，则可以通过
Figure BDA0002752000640000071
进行表示，计算出变换矩阵R和平移向量t，之后便能获得传感光纤任意长度处相对于第一获取模块的第一形态曲线。
根据本发明提供的一种体内医疗器械视觉呈现系统及方法，本方案通过在连接内窥镜、手术机器人等医疗器械的传感光纤上设定第一定位标记，在用于图像显示的头戴显示装置上设定第二定位标记，使得能够通过形态感知装置的第一获取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标，同时，通过第二获取模块能够获得整根传感光纤相对于第二获取模块的总形态曲线，根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对于第一获取模块的第一形态曲线，根据第一空间位置坐标和第二空间位置坐标的位置差，能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线，再根据头戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差，能够获得传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，对第三形态曲线和第四形态曲线进行渲染，能够使左眼镜片和右眼镜片上显示传感光纤的立体图像，从而使得医生在戴上头戴显示装置后，能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置，有利于手术的进行。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对本方案的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明实施例的传感光纤连接结构示意图；
图2是本发明实施例的头戴显示装置显示结构示意图；
图3是本发明实施例的形态感知装置结构示意图；
图4是本发明实施例的整体流程示意图。
图中标号：1-传感光纤；2-形态感知装置；21-第一获取模块；22-第二获取模块；23-计算模块；3-头戴显示装置；4-第一定位标记；5-第二定位标记。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
实施例1
本发明的一个实施例，如图1至图3所示，本发明提供一种体内医疗器械视觉呈现系统，包括传感光纤1、形态感知装置2和头戴显示装置3。
传感光纤1嵌入医疗器械的柔性插入部，且传感光纤1上设定有第一定位标记4；头戴显示装置3头戴显示装置上设定有第二定位标记5，头戴显示装置3上设置有左眼镜片和右眼镜片，左眼镜片和右眼镜片与第二定位标记5的位置固定。
优选的，第一定位标记4和第二定位标记5为一组发射或反射可见光或红外光的几何图形小点构成的标记，第一定位标记4的分布具有至少一个可分辨的轴方向，第二定位标记5的分布具有至少两个可分辨的轴方向。
优选的，传感光纤1为MCF多芯光纤，包括至少三根螺旋分布在外侧的纤芯，以及一根贯穿在中心的纤芯。
其中，形态感知装置2包括第一获取模块21、第二获取模块22和计算模块23，计算模块23为通用的计算模块。
第一获取模块21用于分别获取第一定位标记4和第二定位标记5相对于第一获取模块21的第一空间位置坐标和第二空间位置坐标。
优选的，第一获取模块21为深度摄像头，且深度摄像头与形态感知装置2的主机刚性连接。
为了保证显示的精度，深度摄像头需固定不动，在本方案中，将深度摄像头与形态感知装置2的主机刚性连接，在其它实施例中，还可以将深度摄像头固定在其它位置处。
第二获取模块22用于获取整根传感光纤1相对于第二获取模块22的总形态曲线。
计算模块23用于根据第一空间位置坐标和总形态曲线计算传感光纤1任意长度处相对于第一获取模块21的第一形态曲线，并用于根据第一空间位置坐标和第二空间位置坐标的位置差，计算传感光纤1任意长度处相对于第二定位标记5的第二形态曲线，以及用于根据头戴显示装置3的左眼镜片和右眼镜片分别与第二定位标记5的位置差，获取传感光纤1任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线；同时，计算模块23分别通过第三形态曲线和第四形态曲线渲染传感光纤1的立体图像，并分别输出图像信号给左眼镜片和右眼镜片。
本方案通过在连接内窥镜、手术机器人等医疗器械的传感光纤1上设定第一定位标记4，在用于图像显示的头戴显示装置3上设定第二定位标记5，使得能够通过形态感知装置2的第一获取模块21获取第一定位标记4和第二定位标记5相对于第一获取模块21的第一空间位置坐标和第二空间位置坐标，同时，通过第二获取模块22能够获得整根传感光纤1相对于第二获取模块22的总形态曲线，根据第一空间位置坐标和总形态曲线能够计算获得传感光纤1任意长度处相对于第一获取模块21的第一形态曲线，根据第一空间位置坐标和第二空间位置坐标的位置差，能够计算获得传感光纤1任意长度处相对于第二定位标记5的第二形态曲线，再根据头戴显示装置3的左眼镜片和右眼镜片分别与第二定位标记2的位置差，能够获得传感光纤1任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，对第三形态曲线和第四形态曲线进行渲染，能够使左眼镜片和右眼镜片上显示传感光纤1的立体图像，从而使得医生在戴上头戴显示装置3后，能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置，有利于手术的进行。
实施例2
本发明的一个实施例，在实施例1的基础上，第二获取模块22包括光纤传感器和解调系统。
光纤传感器用于实时检测各个传感光纤1上每一截面的应力分布，解调系统用于根据各个传感光纤上每一截面的应力分布计算传感光纤的曲率和偏转方向，并用于根据传感光纤的曲率和偏转方向计算获得传感光纤的切向量在长度上的分布，以及用于根据传感光纤的切向量在长度上的分布计算传感光纤任意位置相对于解调系统的总形态曲线。
通过检测传感光纤1上的应力分布，能够根据传感光纤上每一截面的应力分布计算传感光纤的曲率和偏转方向，再根据曲率和偏转方向能够计算获得传感光纤的切向量在长度上的分布，最后根据传感光纤的切向量在长度上的分布，便能够计算获得传感光纤任意位置相对于调系统的总形态曲线。
实施例3
本发明的一个实施例，在实施例1或2的基础上，第二获取模块22还用于获取第一定位标记4相对于第二获取模块22的第三空间位置坐标。
计算模块23通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤1任意长度处相对于第一获取模块21的第一形态曲线。
值得注意的是，总形态曲线是相对于第二获取模块22的解调系统的，并不是相对于第一获取模块21的，若第一获取模块21与第二获取模块22的位置相同，则可直接调用，若不同，则需要对总形态曲线进行矫正。具体的，可以通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤1任意长度处相对于第一获取模块21的第一形态曲线。
优选的，计算模块23先通过第一空间位置坐标和第三空间位置坐标的位置差计算获得第一获取模块21的坐标系与第二获取模块22的坐标系之间的变换矩阵和平移向量，再通过变换矩阵、平移向量和总形态曲线获得传感光纤1任意长度处相对于第一获取模块21的第一形态曲线。
具体的，设第一空间位置坐标为x1(s0),y1(s0),z1(s0)，其中s0是第一定位标记在整根光纤上的长度位置，总形态曲线为x0(s),y0(s),z0(s)，其中s是光纤的长度，则可以通过
Figure BDA0002752000640000111
进行表示，计算出变换矩阵R和平移向量t，之后便能获得传感光纤1任意长度处相对于第一获取模块21的第一形态曲线。
实施例4
本发明的一个实施例，如图4所示，在上述任一实施例的基础上，本发明还提供一种体内医疗器械视觉呈现方法，包括步骤：
S1、在连接医疗器械的传感光纤上设定第一定位标记，在头戴显示装置上设定第二定位标记。
S2、实时获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标。
S3、实时获取整根传感光纤相对于第二获取模块的总形态曲线。
S4、根据第一空间位置坐标和总形态曲线计算传感光纤任意长度处相对于第一获取模块的第一形态曲线。
S5、根据第一空间位置坐标和第二空间位置坐标的位置差，计算传感光纤任意长度处相对于第二定位标记的第二形态曲线。
S6、根据头戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差，获取传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线。
S7、分别通过第三形态曲线和第四形态曲线渲染传感光纤的立体图像，并分别输出图像信号给左眼镜片和右眼镜片。
通过在连接内窥镜、手术机器人等医疗器械的传感光纤上设定第一定位标记，在用于图像显示的头戴显示装置上设定第二定位标记，使得能够通过形态感知装置的第一获取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标，同时，通过第二获取模块能够获得整根传感光纤相对于第二获取模块的总形态曲线，根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对于第一获取模块的第一形态曲线，根据第一空间位置坐标和第二空间位置坐标的位置差，能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线，再根据头戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差，能够获得传感光纤任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线，对第三形态曲线和第四形态曲线进行渲染，能够使左眼镜片和右眼镜片上显示传感光纤的立体图像，从而使得医生在戴上头戴显示装置并将视野移到患者身上后，能够使镜片中的影像与患者体内实际的传感光纤的空间结构重合，进而直观的看到内窥镜、手术机器人等医疗器械在人体内的位置，有利于手术的进行。
实施例5
本发明的一个实施例，在实施例4的基础上，实时获取整根传感光纤相对于第二获取模块的总形态曲线，具体包括步骤：
S31、实时检测各个传感光纤上每一截面的应力分布。
S32、根据各个传感光纤上每一截面的应力分布计算传感光纤的曲率和偏转方向。
S33、根据传感光纤的曲率和偏转方向计算获得传感光纤的切向量在长度上的分布。
S34、根据传感光纤的切向量在长度上的分布计算传感光纤任意位置相对于第二获取模块的总形态曲线。
优选的，根据第一空间位置坐标和总形态曲线计算传感光纤任意长度处相对于第一获取模块的第一形态曲线，具体包括：
S41、获取第一定位标记相对于第二获取模块的第三空间位置坐标。
S42、通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤任意长度处相对于第一获取模块的第一形态曲线。
值得注意的是，总形态曲线是相对于第二获取模块的解调系统的，并不是相对于第一获取模块的，若第一获取模块与第二获取模块的位置相同，则可直接调用，若不同，则需要对总形态曲线进行矫正。具体的，可以通过第一空间位置坐标和第三空间位置坐标的位置差对总形态曲线进行矫正，获取传感光纤任意长度处相对于第一获取模块的第一形态曲线。
具体的，设第一空间位置坐标为x1(s0),y1(s0),z1(s0)，其中s0是第一定位标记在整根光纤上的长度位置，总形态曲线为x0(s),y0(s),z0(s)，其中s是光纤的长度，则可以通过
Figure BDA0002752000640000141
进行表示，计算出变换矩阵R和平移向量t，之后便能获得传感光纤任意长度处相对于第一获取模块的第一形态曲线。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种体内医疗器械视觉呈现系统，其特征在于，包括：
传感光纤，嵌入医疗器械的柔性插入部，且所述传感光纤上设定有第一定位标记；
形态感知装置；
头戴显示装置，所述头戴显示装置上设定有第二定位标记；
其中，所述形态感知装置包括：
第一获取模块，用于分别获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标；
第二获取模块，用于获取整根所述传感光纤相对于所述第二获取模块的总形态曲线；
计算模块，用于根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线，并用于根据所述第一空间位置坐标和所述第二空间位置坐标的位置差，计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线，以及用于根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差，获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线；
计算模块分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像，并分别输出图像信号给所述左眼镜片和所述右眼镜片。
2.根据权利要求1所述的一种体内医疗器械视觉呈现系统，其特征在于：所述第二获取模块包括光纤传感器和解调系统，
所述光纤传感器用于实时检测各个所述传感光纤上每一截面的应力分布，
所述解调系统用于根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向，并用于根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布，以及用于根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述解调系统的总形态曲线。
3.根据权利要求1所述的一种体内医疗器械视觉呈现系统，其特征在于：所述第二获取模块还用于获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标；
所述计算模块通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正，获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
4.根据权利要求3所述的一种体内医疗器械视觉呈现系统，其特征在于：所述计算模块先通过所述第一空间位置坐标和所述第三空间位置坐标的位置差计算获得所述第一获取模块的坐标系与所述第二获取模块的坐标系之间的变换矩阵和平移向量，再通过所述变换矩阵、所述平移向量和所述总形态曲线获得所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
5.根据权利要求1所述的一种体内医疗器械视觉呈现系统，其特征在于：所述第一获取模块为深度摄像头，且所述深度摄像头与所述形态感知装置的主机刚性连接。
6.根据权利要求1所述的一种体内医疗器械视觉呈现系统，其特征在于：所述第一定位标记和所述第二定位标记为一组发射或反射可见光或红外光的几何图形小点构成的标记，所述第一定位标记的分布具有至少一个可分辨的轴方向，所述第二定位标记的分布具有至少两个可分辨的轴方向。
7.根据权利要求1所述的一种体内医疗器械视觉呈现系统，其特征在于：所述传感光纤为MCF多芯光纤，包括至少三根螺旋分布在外侧的纤芯，以及一根贯穿在中心的纤芯。
8.一种基于权利要求1-7任一所述的体内医疗器械视觉呈现系统的视觉呈现方法，其特征在于，包括步骤：
在连接医疗器械的传感光纤上设定第一定位标记，在头戴显示装置上设定第二定位标记；
实时获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标；
实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线；
根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线；
根据所述第一空间位置坐标和所述第二空间位置坐标的位置差，计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线；
根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差，获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线；
分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像，并分别输出图像信号给所述左眼镜片和所述右眼镜片。
9.根据权利要求8所述的视觉呈现方法，其特征在于，所述的实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线，具体包括步骤：
实时检测各个所述传感光纤上每一截面的应力分布；
根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向；
根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布；
根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述第二获取模块的总形态曲线。
10.根据权利要求8所述的视觉呈现方法，其特征在于，所述的根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线，具体包括：
获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标；
通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正，获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
CN202011188144.6A 2020-10-30 2020-10-30 一种体内医疗器械视觉呈现系统及方法 Active CN112263331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188144.6A CN112263331B (zh) 2020-10-30 2020-10-30 一种体内医疗器械视觉呈现系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188144.6A CN112263331B (zh) 2020-10-30 2020-10-30 一种体内医疗器械视觉呈现系统及方法

Publications (2)

Publication Number Publication Date
CN112263331A CN112263331A (zh) 2021-01-26
CN112263331B true CN112263331B (zh) 2022-04-05

Family

ID=74345420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188144.6A Active CN112263331B (zh) 2020-10-30 2020-10-30 一种体内医疗器械视觉呈现系统及方法

Country Status (1)

Country Link
CN (1) CN112263331B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113349929B (zh) * 2021-05-21 2022-11-11 清华大学 用于髓内钉远端锁定孔的空间定位系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1225454A2 (de) * 2001-01-03 2002-07-24 Carl Zeiss Verfahren und Vorrichtung zum Festlegen eines Ortes
CN102753092A (zh) * 2010-02-09 2012-10-24 皇家飞利浦电子股份有限公司 用于使用光学位置感测进行成像和处置的装置、系统和方法
CN111265299A (zh) * 2020-02-19 2020-06-12 上海理工大学 基于光纤形状传感的手术导航方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201578365U (zh) * 2009-12-31 2010-09-15 杨晓峰 一种肿瘤外科术中荧光导航系统
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US10042598B2 (en) * 2013-07-16 2018-08-07 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
US11278354B2 (en) * 2015-09-10 2022-03-22 Intuitive Surgical Operations, Inc. Systems and methods for using tracking in image-guided medical procedure
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1225454A2 (de) * 2001-01-03 2002-07-24 Carl Zeiss Verfahren und Vorrichtung zum Festlegen eines Ortes
CN102753092A (zh) * 2010-02-09 2012-10-24 皇家飞利浦电子股份有限公司 用于使用光学位置感测进行成像和处置的装置、系统和方法
CN111265299A (zh) * 2020-02-19 2020-06-12 上海理工大学 基于光纤形状传感的手术导航方法

Also Published As

Publication number Publication date
CN112263331A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
EP3942521B1 (en) Augmented reality headset for medical imaging
EP3380034B1 (en) Navigation, tracking and guiding system for the positioning of operatory instruments within the body of a patient
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
CN101455554B (zh) 内窥镜系统
US9636188B2 (en) System and method for 3-D tracking of surgical instrument in relation to patient body
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
WO2015037340A1 (ja) 画像処理装置、画像処理方法、プログラム
JPWO2008093517A1 (ja) 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
CN101904770A (zh) 一种基于光学增强现实技术的手术导航系统及方法
CN107249427A (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
CN114365214A (zh) 叠合虚拟影像于即时影像的系统与方法
JP2014064721A (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
CN112263331B (zh) 一种体内医疗器械视觉呈现系统及方法
ES2994436T3 (en) Surgical navigation system having improved instrument tracking and navigation method
US20140253685A1 (en) Medical apparatus
Ha et al. Comparative study on electromagnetic tracking and fiber Bragg grating-based catheter shape sensing
EP3944254A1 (en) System for displaying an augmented reality and method for generating an augmented reality
JP3780146B2 (ja) 手術ナビゲーション装置
Cui et al. Using a bi-prism endoscopic system for three-dimensional measurement
CN220735375U (zh) 内窥镜及其头端件
JP2017185212A (ja) 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置
EP4406502A1 (en) System and method for visual image guidance during a medical procedure
JP6687877B2 (ja) 撮像装置及びそれを用いた内視鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant