CN115227392B - 颅骨微孔的测量系统 - Google Patents
颅骨微孔的测量系统 Download PDFInfo
- Publication number
- CN115227392B CN115227392B CN202210646459.3A CN202210646459A CN115227392B CN 115227392 B CN115227392 B CN 115227392B CN 202210646459 A CN202210646459 A CN 202210646459A CN 115227392 B CN115227392 B CN 115227392B
- Authority
- CN
- China
- Prior art keywords
- skull
- camera
- implantation
- micropore
- center position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003625 skull Anatomy 0.000 title claims abstract description 192
- 238000002513 implantation Methods 0.000 claims abstract description 71
- 238000005259 measurement Methods 0.000 claims abstract description 45
- 239000007943 implant Substances 0.000 claims description 63
- 230000033001 locomotion Effects 0.000 claims description 49
- 238000005553 drilling Methods 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 238000001356 surgical procedure Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
- A61B2018/00321—Head or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
- A61B2018/00565—Bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Otolaryngology (AREA)
- Robotics (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供一种颅骨微孔的测量系统，涉及手术机器人技术领域，包括双目视觉系统和植入系统；所述双目视觉系统，用于确定至少一个植入微孔在基准相机坐标系中的参考表面中心位置，并将所述至少一个植入微孔的参考表面中心位置发送至所述植入系统；所述植入系统，用于获取所述至少一个植入微孔在颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量，并基于所述至少一个植入微孔的所述参考表面中心位置、所述至少一个植入微孔的所述第一表面中心位置和颅骨孔道方向向量，确定所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。本发明实现了对颅骨微孔的测量。
Description
技术领域
本发明涉及手术机器人技术领域，尤其涉及一种颅骨微孔的测量系统。
背景技术
侵入式脑机接口需要将柔性电极植入大脑的目标脑区，以采集大脑神经元的电信号和对大脑神经元产生电刺激。相比于基于颅窗的柔性电极植入手术，基于颅骨微孔通道的柔性电极植入手术所带来的创伤更小。颅骨微孔的直径在百微米级，单个微孔可以植入一根柔性电极，如果需要植入多根柔性电极，则需要利用激光技术在颅骨上打穿多个微孔，形成微孔阵列。
在柔性电极植入前，首先需要精确测量各个微孔的表面中心位置与颅骨孔道的轴线方向；然后才能将植入针沿着颅骨孔道植入脑组织。微孔的表面中心位置可以从外界观测到，但由于颅骨孔道在颅骨组织内部，无法从外界直接观测，所以颅骨孔道的轴线方向的测量，是一个难以解决的问题。
因此，现在亟需一种颅骨微孔的测量系统来解决上述问题。
发明内容
针对现有技术中的问题，本发明实施例提供一种颅骨微孔的测量系统。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种颅骨微孔的测量系统，包括双目视觉系统和植入系统；
所述双目视觉系统，用于确定至少一个植入微孔在基准相机坐标系中的参考表面中心位置，并将所述至少一个植入微孔的参考表面中心位置发送至所述植入系统；
所述植入系统，用于获取所述至少一个植入微孔在颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量，并基于所述至少一个植入微孔的所述参考表面中心位置、所述至少一个植入微孔的所述第一表面中心位置和颅骨孔道方向向量，确定所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。
根据本发明提供的颅骨微孔的测量系统，所述植入系统，还用于基于所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量控制针状工具将柔性电极植入至每个植入微孔中。
根据本发明提供的颅骨微孔的测量系统，还包括激光打孔系统和植入手术规划系统；
所述植入手术规划系统，用于生成所述目标颅骨上激光打孔的空间规划信息，并将所述空间规划信息发送至所述激光打孔系统和所述植入系统；所述空间规划信息包括每个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量；
所述激光打孔系统，用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量在目标颅骨上进行打孔，得到所述目标颅骨上的多个植入微孔。
根据本发明提供的颅骨微孔的测量系统，所述激光打孔系统，具体用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量，控制打孔激光束穿过所述目标颅骨上每个植入微孔的第一表面中心位置，且控制所述打孔激光束的方向与每个植入微孔的颅骨孔道方向平行，得到所述目标颅骨上的多个植入微孔。
根据本发明提供的颅骨微孔的测量系统，所述双目视觉系统包括运动平台、以及设置在所述运动平台上的第一相机和第二相机，所述第一相机和所述第二相机上均安装有显微镜头；
所述第一相机的光轴和所述第二相机的光轴形成夹角，且所述第一相机的显微镜头靠近所述第二相机的显微镜头，以使所述第一相机和所述第二相机具有共同视野的夹角。
根据本发明提供的颅骨微孔的测量系统，所述运动平台，用于调整所述第一相机和所述第二相机的位置，使得目标植入微孔进入所述第一相机和所述第二相机的共同视野，并获取所述运动平台的当前位置；
所述第一相机，用于采集所述目标颅骨上的所述目标植入微孔的第一图像，并将所述第一图像发送至所述运动平台；
所述第二相机，用于采集所述目标颅骨上的所述目标植入微孔的第二图像，并将所述第二图像发送至所述运动平台；
所述运动平台，还用于基于所述运动平台的当前位置、所述第一图像和所述第二图像确定所述目标植入微孔在所述基准相机坐标系中的参考表面中心位置。
根据本发明提供的颅骨微孔的测量系统，所述运动平台，具体用于基于所述第一图像确定所述目标植入微孔在所述第一图像中的第一表面中心坐标，基于所述第二图像确定所述目标植入微孔在所述第二图像中的第二表面中心坐标；
所述运动平台，还具体用于基于所述第一表面中心坐标、所述第二表面中心坐标、所述第一相机的参数和所述第二相机的参数确定所述目标植入微孔在当前相机坐标系中的第二表面中心位置，并基于所述第二表面中心位置、所述运动平台到第一相机之间的第一旋转变换矩阵、以及所述运动平台的当前位置确定所述目标植入微孔在所述基准相机坐标系中的参考表面中心位置；所述基准相机坐标系为在所述运动平台位于基准位置时以所述第一相机的光心或者所述第二相机的光心作为原点的坐标系，所述当前相机坐标系为所述第一相机和所述第二相机移动后对应的坐标系。
根据本发明提供的颅骨微孔的测量系统，所述植入系统，具体用于基于所述至少一个植入微孔的所述参考表面中心位置和所述至少一个植入微孔的所述第一表面中心位置，确定所述颅骨坐标系到所述基准相机坐标系的第二旋转变换矩阵和平移向量；
所述植入系统，还具体用于基于所述第二旋转变换矩阵和所述平移向量，对所述至少一个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量进行坐标变换，得到目标颅骨上的所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。
根据本发明提供的颅骨微孔的测量系统，所述植入系统，还具体用于获取所述针状工具的针尖轴线在所述基准相机坐标系中的方向向量；
所述植入系统，还具体用于基于第三旋转变换矩阵、所述方向向量和所述实际颅骨孔道方向向量，控制所述针状工具进行旋转，使得所述针状工具的轴线与对应植入微孔的实际颅骨孔道方向平行，并控制所述针状工具的末端位置，使所述柔性电极穿过对应植入微孔的实际表面中心位置；所述第三旋转变换矩阵为所述基准相机坐标系到所述植入系统的坐标系的旋转变换矩阵。
根据本发明提供的颅骨微孔的测量系统，所述激光打孔系统，还用于在所述目标颅骨上设置多个非植入微孔；所述非植入微孔未穿透所述目标颅骨的骨层。
本发明实施例的提供颅骨微孔的测量系统，双目视觉系统将确定的至少一个植入微孔在基准相机坐标系中的参考表面中心位置发送至植入系统，由植入系统基于至少一个植入微孔在基准相机坐标系中的参考表面中心位置、获取的至少一个植入微孔的第一表面中心位置和颅骨孔道方向向量，确定至少一个植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。可知，本发明可基于植入微孔在颅骨坐标系中的表面中心位置和颅骨孔道方向向量、以及植入微孔在基准相机坐标系中的参考表面中心位置，确定植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量，从而实现了对颅骨微孔的测量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的颅骨微孔的测量系统的结构示意图之一；
图2是本发明提供的颅骨微孔的测量系统的结构示意图之二；
图3是本发明提供的双目视觉系统的结构示意图；
图4是本发明提供的植入系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的颅骨微孔的测量系统的结构示意图之一，如图1所示，该颅骨微孔的测量系统包括双目视觉系统11和植入系统12。
所述双目视觉系统11，用于确定至少一个植入微孔在基准相机坐标系中的参考表面中心位置，并将所述至少一个植入微孔的参考表面中心位置发送至所述植入系统12；
所述植入系统12，用于获取所述至少一个植入微孔在颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量，并基于所述至少一个植入微孔的所述参考表面中心位置、所述至少一个植入微孔的所述第一表面中心位置和颅骨孔道方向向量，确定所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。
其中，基准相机坐标系是以双目视觉系统11中相机的光心作为原点的坐标系，颅骨坐标系是以目标颅骨所在位置建立的坐标系。
示例地，双目视觉系统11可以依次确定微孔阵列中M个植入微孔在基准相机坐标系中的参考表面中心位置Pi(i＝1,2,…,M)，其中，Pi表示第i个植入微孔在基准相机坐标系中的参考表面中心位置，M≤N，M≥3，N为微孔阵列中植入微孔的数量；在确定微孔阵列中M个植入微孔在基准相机坐标系中的参考表面中心位置时，将M个植入微孔在基准相机坐标系中的参考表面中心位置Pi(i＝1,2,…,M)发送给植入系统12。
植入系统12用于接收植入手术规划系统发送的N个植入微孔在颅骨坐标系中的第一表面中心位置Hi和颅骨孔道方向向量Di，并获取对应的M个植入微孔在颅骨坐标系中的第一表面中心位置Hi，然后利用M个植入微孔的参考表面中心位置Pi(i＝1,2,…,M)、对应的M个植入微孔的第一表面中心位置Hi和颅骨孔道方向向量Di确定对应的M个植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量，M个植入微孔的实际表面中心位置和实际颅骨孔道方向向量用于保证植入工具(例如，植入针)可以顺利穿过植入微孔。
本发明实施例提供的颅骨微孔的测量系统，双目视觉系统将确定的至少一个植入微孔在基准相机坐标系中的参考表面中心位置发送至植入系统，由植入系统基于至少一个植入微孔在基准相机坐标系中的参考表面中心位置、获取的至少一个植入微孔的第一表面中心位置和颅骨孔道方向向量，确定至少一个植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。可知，本发明可基于植入微孔在颅骨坐标系中的表面中心位置和颅骨孔道方向向量、以及植入微孔在基准相机坐标系中的参考表面中心位置，确定植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量，从而实现了对颅骨微孔的测量。
可选地，所述植入系统12，还用于基于所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量控制针状工具将柔性电极植入至每个植入微孔中。
示例地，植入系统12在确定M个植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量时，就可以基于M个植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量控制针状工具将柔性电极植入至每个植入微孔中，从而实现了颅骨微孔的植入操作。
可选地，图2是本发明提供的颅骨微孔的测量系统的结构示意图之二，如图2所示，该颅骨微孔的测量系统还包括激光打孔系统13和植入手术规划系统14；
所述植入手术规划系统14，用于生成所述目标颅骨上激光打孔的空间规划信息，并将所述空间规划信息发送至所述激光打孔系统13和所述植入系统12；所述空间规划信息包括每个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量；
所述激光打孔系统13，用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量在目标颅骨上进行打孔，得到所述目标颅骨上的多个植入微孔。
其中，可以将目标颅骨上指定的第一个植入微孔的表面中心位置作为颅骨坐标系的原点。
示例地，空间规划信息包括N个植入微孔在颅骨坐标系中的第一表面中心位置Hi(i＝1,2,…,N)和颅骨孔道方向向量Di(i＝1,2,…,N)，N个植入微孔组成微孔阵列，其中，N≥3，第一表面中心位置Hi表示第i个植入微孔在目标颅骨表面的轮廓中心的三维位置，颅骨孔道方向向量Di表示第i个微孔在目标颅骨骨层中形成的颅骨孔道的三维方向，颅骨孔道可以为圆柱状；植入手术规划系统14可以将N个植入微孔在颅骨坐标系中的第一表面中心位置Hi(i＝1,2,…,N)和颅骨孔道方向向量Di(i＝1,2,…,N)通过传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol，TCP/IP)等通讯方式发送给激光打孔系统13和植入系统12。
具体地，所述激光打孔系统13，具体用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量，控制打孔激光束穿过所述目标颅骨上每个植入微孔的第一表面中心位置，且控制所述打孔激光束的方向与每个植入微孔的颅骨孔道方向平行，得到所述目标颅骨上的多个植入微孔。
示例地，激光打孔系统13可以按照接收到的N个植入微孔在颅骨坐标系中的第一表面中心位置Hi(i＝1,2,…,N)和颅骨孔道方向向量Di(i＝1,2,…,N)，在目标颅骨上进行打孔。针对第i个微孔，打孔激光束在颅骨坐标系中的5自由度(三个方向的自由度、俯仰自由度和偏摆自由度)位姿由第一表面中心位置Hi与颅骨孔道方向向量Di确定，即打孔激光束应经过第一表面中心位置Hi位置，且打孔激光束的方向与颅骨孔道方向向量Di指示的方向平行。最终，在目标颅骨上形成N≥3个植入微孔，然后将目标颅骨转移到植入系统12中。例如，采用打孔激光束在目标颅骨上打出100微米-500微米的植入微孔，目标颅骨表面孔洞形状可以为圆形或椭圆形，有利于对目标颅骨表面孔洞中心进行定位。
需要说明的是，上述N个植入微孔在目标颅骨上的位置不能共线，应具有一定的间隔，使N个植入微孔的空间分布较大，有利于保障最终的位姿测量精度。
本发明提供的颅骨微孔的测量系统，激光打孔系统和植入系统可以从植入手术规划系统中读取目标颅骨上激光打孔的空间规划信息，且激光打孔系统可以基于目标颅骨上激光打孔的空间规划信息在目标颅骨上打孔，植入系统可以基于目标颅骨上激光打孔的空间规划信息确定植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量，使得植入手术规划系统为激光打孔系统和植入系统提供了空间规划信息获取的便捷性。
可选地，图3是本发明提供的双目视觉系统的结构示意图，如图3所示，该双目视觉系统包括运动平台31、以及设置在所述运动平台31上的第一相机32和第二相机33，所述第一相机32和所述第二相机33上均安装有显微镜头；
所述第一相机32的光轴和所述第二相机33的光轴形成夹角，且所述第一相机32的显微镜头靠近所述第二相机33的显微镜头，以使所述第一相机32和所述第二相机33具有共同视野的夹角。
优选地，第一相机32的光轴和第二相机33的光轴形成的夹角可以为45度。
示例地，如图3所示，第一相机32和第二相机33安装在同一个运动平台31上，该运动平台31采用三个电动滑台构成，且每个电动滑台的运动轴相互垂直，使得三个电动滑台的运动轴形成XYZ正交坐标系，从而使得由三个电动滑台组成的运动平台31的三维平移运动可以改变第一相机32和第二相机33的三维位置。
需要说明的是，电动滑台可以为精密电动滑台，每个精密电动滑台的运动分辨率可以为1微米。
需要说明的是，在使用双目视觉系统11之前，还需要对安装在运动平台31上的第一相机32和第二相机33的内参数和外参数进行标定，并对第一相机32与运动平台31的相对位姿、第二相机33和运动平台31的相对位姿进行标定。其中，内参数包括放大倍率和焦距等参数，外参数包括相机(第一相机32或第二相机33)与运动平台31的相对位姿等参数；其中，相机与运动平台31的相对位姿包括运动平台31坐标系到相机之间的旋转变换矩阵、两个相机之间的旋转变换矩阵和平移向量等；当运动平台31处于设定零点位置时，将此时第一相机32的光心或者第二相机33的光心作为基准相机坐标系的原点。
可选地，所述运动平台31，用于调整所述第一相机32和所述第二相机33的位置，使得目标植入微孔进入所述第一相机32和所述第二相机33的共同视野，并获取所述运动平台31的当前位置；
所述第一相机32，用于采集所述目标颅骨上的所述目标植入微孔的第一图像，并将所述第一图像发送至所述运动平台31；
所述第二相机33，用于采集所述目标颅骨上的所述目标植入微孔的第二图像，并将所述第二图像发送至所述运动平台31；
所述运动平台31，还用于基于所述运动平台31的当前位置、所述第一图像和所述第二图像确定所述目标植入微孔在所述基准相机坐标系中的参考表面中心位置。
示例地，以目标植入微孔为第i个植入微孔为例，如图3所示，利用运动平台31移动第一相机32和第二相机33，使得微孔阵列中的第i个植入微孔进入第一相机32和第二相机33的共同视野，由第一相机32捕捉包含第i个植入微孔的第一图像，由第二相机33捕捉包含第i个植入微孔的第二图像，同时读取运动平台31的当前位置PMi，使得运动平台31基于运动平台31的当前位置PMi、第一图像和第二图像来确定目标植入微孔在基准相机坐标系中的参考表面中心位置。
具体地，所述运动平台31，具体用于基于所述第一图像确定所述目标植入微孔在所述第一图像中的第一表面中心坐标，基于所述第二图像确定所述目标植入微孔在所述第二图像中的第二表面中心坐标；
所述运动平台31，还具体用于基于所述第一表面中心坐标、所述第二表面中心坐标、所述第一相机32的参数和所述第二相机33的参数确定所述目标植入微孔在当前相机坐标系中的第二表面中心位置，并基于所述第二表面中心位置、所述运动平台31到第一相机32之间的第一旋转变换矩阵、以及所述运动平台31的当前位置确定所述目标植入微孔在所述基准相机坐标系中的参考表面中心位置；所述基准相机坐标系为在所述运动平台31位于基准位置时以所述第一相机32的光心或者所述第二相机33的光心作为原点的坐标系，所述当前相机坐标系为所述第一相机32和所述第二相机33移动后对应的坐标系。
其中，运动平台31位于基准位置是指运动平台31位于预先设定的基准位置。
示例地，运动平台31在获取到第一图像和第二图像时，对第一图像和第二图像分别进行图像处理和特征提取，得到第一图像中的第i个植入微孔的第一表面中心坐标p1和第二图像中的第i个植入微孔的第二表面中心坐标p2，具体地，可以将第一图像和第二图像分别输入至基于卷积神经网络的分割模型中，得到该分割模型输出的第一图像对应的第i个植入微孔的前景图，以及第二图像对应的第i个植入微孔的前景图；然后收集第一图像对应的第i个植入微孔的前景图中的有效像素，并对所有有效像素的坐标求均值，得到第一表面中心坐标p1，收集第二图像对应的第i个植入微孔的前景图中的有效像素，并对所有有效像素的坐标求均值，得到第二表面中心坐标p2。
进一步地，在得到第一表面中心坐标p1和第二表面中心坐标p2时，可以基于第一表面中心坐标p1、第二表面中心坐标p2、第一相机32的参数(内参数和外参数)和第二相机33的参数(内参数和外参数)，利用双目视觉三维位置测量算法计算第i个植入微孔在当前相机坐标系中的第二表面中心位置PCi，该第二表面中心位置PCi为三维坐标位置，然后计算第i个植入微孔在基准相机坐标系中的参考表面中心位置Pi＝PCi-RM·PMi，其中，RM表示运动平台坐标系到基准相机坐标系之间的旋转变换矩阵；重复上述步骤，直至完成对M个植入微孔的测量，最终获得了基准相机坐标系中M个植入微孔的参考表面中心位置{Pi}(i＝1,2,…,M)。
需要说明的是，双目视觉三维位置测量算法的计算过程可参考现有技术，本发明在此不再赘述。
需要说明的是，分割模型可以基于包含植入微孔的图像样本训练得到，具体训练过程可以为将图像样本输入至初始分割模型中，得到初始分割模型输出的微孔图像，然后基于微孔图像中微孔的位置与标注的微孔的真实位置构建损失函数，基于损失函数对初始分割模型的参数进行优化，直至达到收敛条件，得到上述分割模型。
本发明提供的颅骨微孔的测量系统，运动平台基于第一相机捕捉的第一图像和第二相机捕捉的第二图像确定对应植入微孔在基准相机坐标系中的参考表面中心位置，该参考表面中心位置为基于相机捕捉的图像为目标颅骨规划的表面中心位置，便于植入系统利用为目标颅骨规划的表面中心位置计算得到目标颅骨的实际表面中心位置。
可选地，所述植入系统12，具体用于基于所述至少一个植入微孔的所述参考表面中心位置和所述至少一个植入微孔的所述第一表面中心位置，确定所述颅骨坐标系到所述基准相机坐标系的第二旋转变换矩阵和平移向量；
所述植入系统12，还具体用于基于所述第二旋转变换矩阵和所述平移向量，对所述至少一个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量进行坐标变换，得到目标颅骨上的所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。
示例地，植入系统12利用运动平台31获得的基准相机坐标系中M个植入微孔的参考表面中心位置{Pi}(i＝1,2,…,M)和M个植入微孔对应的第一表面中心位置Hi，求解颅骨坐标系到基准相机坐标系的第二旋转变换矩阵RS和平移向量tS。具体地，可以基于基准相机坐标系中M个植入微孔的参考表面中心位置{Pi}(i＝1,2,…,M)、M个植入微孔对应的第一表面中心位置Hi、颅骨坐标系到基准相机坐标系的第二旋转变换矩阵RS和平移向量tS构建如下公式(1)所示的目标优化函数，利用最小二乘法求解目标优化函数，使得目标优化函数的值的误差最小，并得到最优的第二旋转变换矩阵RS和平移向量tS。
在得到的第二旋转变换矩阵RS和平移向量tS时，基于第二旋转变换矩阵RS和平移向量tS，对第一表面中心位置Hi与颅骨孔道方向向量Di进行坐标变换，得到目标颅骨上的M个植入微孔在基准相机坐标系中的实际表面中心位置Xi＝RS·Hi+tS和实际颅骨孔道方向向量Vi＝RS·Di，M个植入微孔的实际表面中心位置Xi和实际颅骨孔道方向向量Vi可用于植入系统12的位姿控制，实现植入工具经过植入微孔中心、沿着颅骨孔道方向穿过颅骨骨层，从而进入颅腔内脑组织中。
本发明提供的颅骨微孔的测量系统，植入系统可以基于颅骨坐标系到基准相机坐标系的第二旋转变换矩阵和平移向量，对植入微孔在颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量进行坐标变换，最终得到植入微孔在基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。无需额外的导航定位设备，仅通过双目视觉系统中运动平台对第一相机和第二相机的移动后捕捉的第一图像和第二图像实现对植入微孔的测量，从而简化了测量系统的结构。
可选地，所述植入系统12，还具体用于获取所述针状工具的针尖轴线在所述基准相机坐标系中的方向向量；
所述植入系统12，还具体用于基于第三旋转变换矩阵、所述方向向量和所述实际颅骨孔道方向向量，控制所述针状工具进行旋转，使得所述针状工具的轴线与对应植入微孔的实际颅骨孔道方向平行，并控制所述针状工具的末端位置，使所述柔性电极穿过对应植入微孔的实际表面中心位置；所述第三旋转变换矩阵为所述基准相机坐标系到所述植入系统12的坐标系的旋转变换矩阵。
示例地，植入系统12在得到M个植入微孔在基准相机坐标系中的实际表面中心位置Xi和实际颅骨孔道方向向量Vi时，采用针状工具带着柔性电极穿过植入微孔进入颅腔脑组织。在将柔性电极植入第i个植入微孔前，采用双目视觉系统11测量针状工具的针尖轴线在基准相机坐标系中的方向向量VN，进一步计算VN与Vi的夹角θi，以及VN与Vi形成的平面的法向量Φi。已知基准相机坐标系到植入系统12的坐标系的第三旋转变换矩阵RI，在植入系统12的坐标系中以RI·Φi作为转轴、以θi作为转角进行旋转运动，调整针状工具的姿态，从而使针状工具的轴线与第i个植入微孔的实际颅骨孔道方向平行，并控制针状工具的末端位置，使得柔性电极穿过第i个植入微孔的实际表面中心位置，进一步穿过第i个植入微孔的颅骨孔道。图4是本发明提供的植入系统的结构示意图，如图4所示，针状工具与植入微孔对准，使得针状工具将柔性电极植入对准的植入微孔中。
本发明提供的颅骨微孔的测量系统，植入系统12可以基于M个植入微孔在基准相机坐标系中的实际表面中心位置Xi和实际颅骨孔道方向向量Vi控制针状工具的位姿，最终使得针状工具将柔性电极植入每个植入微孔，提高了植入柔性电极的准确度。
可选地，所述激光打孔系统13，还用于在所述目标颅骨上设置多个非植入微孔；所述非植入微孔未穿透所述目标颅骨的骨层。
其中，非植入微孔也在颅骨表面形成洞口，但非植入微孔的孔道没有穿透颅骨骨层，非植入微孔的作用是起到增加测量点和提高测量精度的作用。
本发明提供的颅骨微孔的测量系统，将颅骨微孔的激光打孔与植入两个过程进行协同，在激光打孔阶段，获得了微孔阵列的空间规划信息；在柔性电极植入阶段，无需额外的导航定位设备，仅通过可移动的双目视觉系统对各个植入微孔的位置测量，即可获得目标颅骨上各个植入微孔的实际颅骨孔道方向向量对应的实际孔道方向，这些方向被应用于保证植入工具可以顺利穿过微孔。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种颅骨微孔的测量系统，其特征在于，包括双目视觉系统和植入系统；
所述双目视觉系统，用于确定至少一个植入微孔在基准相机坐标系中的参考表面中心位置，并将所述至少一个植入微孔的参考表面中心位置发送至所述植入系统；
所述植入系统，用于获取所述至少一个植入微孔在颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量，并基于所述至少一个植入微孔的所述参考表面中心位置、所述至少一个植入微孔的所述第一表面中心位置和颅骨孔道方向向量，确定所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量；
所述双目视觉系统包括运动平台、以及设置在所述运动平台上的第一相机和第二相机，所述第一相机和所述第二相机上均安装有显微镜头；
所述第一相机的光轴和所述第二相机的光轴形成夹角，且所述第一相机的显微镜头靠近所述第二相机的显微镜头，以使所述第一相机和所述第二相机具有共同视野的夹角；
所述运动平台，用于调整所述第一相机和所述第二相机的位置，使得目标植入微孔进入所述第一相机和所述第二相机的共同视野，并获取所述运动平台的当前位置；
所述第一相机，用于采集目标颅骨上的所述目标植入微孔的第一图像，并将所述第一图像发送至所述运动平台；
所述第二相机，用于采集所述目标颅骨上的所述目标植入微孔的第二图像，并将所述第二图像发送至所述运动平台；
所述运动平台，还用于基于所述第一图像确定所述目标植入微孔在所述第一图像中的第一表面中心坐标，基于所述第二图像确定所述目标植入微孔在所述第二图像中的第二表面中心坐标；
所述运动平台，还具体用于基于所述第一表面中心坐标、所述第二表面中心坐标、所述第一相机的参数和所述第二相机的参数确定所述目标植入微孔在当前相机坐标系中的第二表面中心位置，并基于所述第二表面中心位置、所述运动平台到第一相机之间的第一旋转变换矩阵、以及所述运动平台的当前位置确定所述目标植入微孔在所述基准相机坐标系中的参考表面中心位置；所述基准相机坐标系为在所述运动平台位于基准位置时以所述第一相机的光心或者所述第二相机的光心作为原点的坐标系，所述当前相机坐标系为所述第一相机和所述第二相机移动后对应的坐标系。
2.根据权利要求1所述的颅骨微孔的测量系统，其特征在于，
所述植入系统，还用于基于所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量控制针状工具将柔性电极植入至每个植入微孔中。
3.根据权利要求1所述的颅骨微孔的测量系统，其特征在于，还包括激光打孔系统和植入手术规划系统；
所述植入手术规划系统，用于生成目标颅骨上激光打孔的空间规划信息，并将所述空间规划信息发送至所述激光打孔系统和所述植入系统；所述空间规划信息包括每个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量；
所述激光打孔系统，用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量在目标颅骨上进行打孔，得到所述目标颅骨上的多个植入微孔。
4.根据权利要求3所述的颅骨微孔的测量系统，其特征在于，
所述激光打孔系统，具体用于基于每个植入微孔的第一表面中心位置和颅骨孔道方向向量，控制打孔激光束穿过所述目标颅骨上每个植入微孔的第一表面中心位置，且控制所述打孔激光束的方向与每个植入微孔的颅骨孔道方向平行，得到所述目标颅骨上的多个植入微孔。
5.根据权利要求2所述的颅骨微孔的测量系统，其特征在于，
所述植入系统，具体用于基于所述至少一个植入微孔的所述参考表面中心位置和所述至少一个植入微孔的所述第一表面中心位置，确定所述颅骨坐标系到所述基准相机坐标系的第二旋转变换矩阵和平移向量；
所述植入系统，还具体用于基于所述第二旋转变换矩阵和所述平移向量，对所述至少一个植入微孔在所述颅骨坐标系中的第一表面中心位置和颅骨孔道方向向量进行坐标变换，得到目标颅骨上的所述至少一个植入微孔在所述基准相机坐标系中的实际表面中心位置和实际颅骨孔道方向向量。
6.根据权利要求5所述的颅骨微孔的测量系统，其特征在于，
所述植入系统，还具体用于获取所述针状工具的针尖轴线在所述基准相机坐标系中的方向向量；
所述植入系统，还具体用于基于第三旋转变换矩阵、所述方向向量和所述实际颅骨孔道方向向量，控制所述针状工具进行旋转，使得所述针状工具的轴线与对应植入微孔的实际颅骨孔道方向平行，并控制所述针状工具的末端位置，使所述柔性电极穿过对应植入微孔的实际表面中心位置；所述第三旋转变换矩阵为所述基准相机坐标系到所述植入系统的坐标系的旋转变换矩阵。
7.根据权利要求3所述的颅骨微孔的测量系统，其特征在于，
所述激光打孔系统，还用于在所述目标颅骨上设置多个非植入微孔；所述非植入微孔未穿透所述目标颅骨的骨层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646459.3A CN115227392B (zh) | 2022-06-08 | 2022-06-08 | 颅骨微孔的测量系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646459.3A CN115227392B (zh) | 2022-06-08 | 2022-06-08 | 颅骨微孔的测量系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115227392A CN115227392A (zh) | 2022-10-25 |
| CN115227392B true CN115227392B (zh) | 2023-10-31 |
Family
ID=83669212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210646459.3A Active CN115227392B (zh) | 2022-06-08 | 2022-06-08 | 颅骨微孔的测量系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115227392B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117982212B (zh) * | 2024-04-03 | 2024-06-21 | 北京智冉医疗科技有限公司 | 电极植入设备和电极植入方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262345A (zh) * | 2011-06-21 | 2011-11-30 | 李�杰 | 可转视角双镜头三维摄像机方法及装置 |
| CN103209656A (zh) * | 2010-09-10 | 2013-07-17 | 约翰霍普金斯大学 | 配准过的表面下解剖部的可视化 |
| CN105848606A (zh) * | 2015-08-24 | 2016-08-10 | 深圳市鑫君特智能医疗器械有限公司 | 一种智能骨科手术系统 |
| CN109745119A (zh) * | 2017-11-06 | 2019-05-14 | 艾博纽诺股份公司 | 用于校准和测量用于脑神经导航仪的目标点的装置和方法 |
| CN111265301A (zh) * | 2018-12-04 | 2020-06-12 | 格罗伯斯医疗有限公司 | 钻具引导固定装置、颅骨插入固定装置及相关方法和机器人系统 |
| CN112155737A (zh) * | 2020-10-16 | 2021-01-01 | 华志微创医疗科技（北京）有限公司 | 一种在颅内植入探测装置的系统和方法 |
| CN113100939A (zh) * | 2021-04-06 | 2021-07-13 | 德智鸿(上海)机器人有限责任公司 | 骨科手术导航方法、装置、计算机设备、系统和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2920567C (en) * | 2007-02-01 | 2019-03-05 | Ravish V. Patwardhan | Surgical navigation system for guiding an access member |
| WO2010089420A2 (en) * | 2010-05-17 | 2010-08-12 | Phonak Ag | Implantable hearing aid and system and method for implanting the same |
-
2022
- 2022-06-08 CN CN202210646459.3A patent/CN115227392B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103209656A (zh) * | 2010-09-10 | 2013-07-17 | 约翰霍普金斯大学 | 配准过的表面下解剖部的可视化 |
| CN102262345A (zh) * | 2011-06-21 | 2011-11-30 | 李�杰 | 可转视角双镜头三维摄像机方法及装置 |
| CN105848606A (zh) * | 2015-08-24 | 2016-08-10 | 深圳市鑫君特智能医疗器械有限公司 | 一种智能骨科手术系统 |
| CN109745119A (zh) * | 2017-11-06 | 2019-05-14 | 艾博纽诺股份公司 | 用于校准和测量用于脑神经导航仪的目标点的装置和方法 |
| CN111265301A (zh) * | 2018-12-04 | 2020-06-12 | 格罗伯斯医疗有限公司 | 钻具引导固定装置、颅骨插入固定装置及相关方法和机器人系统 |
| CN112155737A (zh) * | 2020-10-16 | 2021-01-01 | 华志微创医疗科技（北京）有限公司 | 一种在颅内植入探测装置的系统和方法 |
| CN113100939A (zh) * | 2021-04-06 | 2021-07-13 | 德智鸿(上海)机器人有限责任公司 | 骨科手术导航方法、装置、计算机设备、系统和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 用于引导机器人定位的汇聚式双目视觉算法实现;刘红帝等;机械工程学报;第58卷(第14期);161-169页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115227392A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111012506B (zh) | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 | |
| CN114041875A (zh) | 一种一体式手术定位导航系统 | |
| CN109464196A (zh) | 采用结构光影像配准的手术导航系统及配准信号采集方法 | |
| CN115227392B (zh) | 颅骨微孔的测量系统 | |
| CN111633643A (zh) | 一种基于tcp坐标系下平移运动的旋转矩阵标定方法 | |
| CN101301220A (zh) | 内镜操作手术机器人穿刺孔定位装置及定位方法 | |
| CN109773686B (zh) | 一种用于机器人装配的点激光线标定方法及系统 | |
| CN113870329B (zh) | 一种用于手术导航的医学影像配准系统及方法 | |
| CN104771189B (zh) | 三维头颅图像对正方法及装置 | |
| JP3041599B2 (ja) | 座標出し光学式観察装置および位置情報蓄積方法 | |
| CN117838319A (zh) | 一种手术机械臂内窥镜动态追踪方法 | |
| CN113580141B (zh) | 一种6轴机械臂位姿求解方法 | |
| CN115100145A (zh) | 视觉空间调整方法和可读存储介质 | |
| CN114224489A (zh) | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 | |
| CN114067646A (zh) | 一种穿刺手术机器人可视化仿真示教系统 | |
| CN113799127A (zh) | 光学双目定位系统下六自由度机械臂无标定位姿定位方法 | |
| WO2025035495A1 (zh) | 基于光学和电磁定位及卡尔曼滤波的骨针位置跟踪方法 | |
| CN213491591U (zh) | 一种用于x射线图像引导系统中的校准模体 | |
| CN115542530B (zh) | 微小目标的位置对准方法和装置 | |
| CN113855240A (zh) | 一种基于磁导航的医学影像配准系统和方法 | |
| CN114388320A (zh) | 坐标链接系统和坐标链接方法 | |
| CN117338422B (zh) | 空间注册及运动学解算机器人控制方法、系统及装置 | |
| CN115281681B (zh) | 柔性电极植入方法、柔性电极植入装置和电子设备 | |
| CN115641382B (zh) | 正交型立体视觉结构的外参数标定方法 | |
| US12259537B2 (en) | Method for operating a microscopy system, and microscopy system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |