[go: up one dir, main page]

KR102274167B1 - 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템 - Google Patents

로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템 Download PDF

Info

Publication number
KR102274167B1
KR102274167B1 KR1020190109922A KR20190109922A KR102274167B1 KR 102274167 B1 KR102274167 B1 KR 102274167B1 KR 1020190109922 A KR1020190109922 A KR 1020190109922A KR 20190109922 A KR20190109922 A KR 20190109922A KR 102274167 B1 KR102274167 B1 KR 102274167B1
Authority
KR
South Korea
Prior art keywords
robot
posture
surgical
operable
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190109922A
Other languages
English (en)
Other versions
KR20210029322A (ko
Inventor
김봉오
김수종
김근영
한용희
임흥순
Original Assignee
큐렉소 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 큐렉소 주식회사 filed Critical 큐렉소 주식회사
Priority to KR1020190109922A priority Critical patent/KR102274167B1/ko
Priority to JP2022513627A priority patent/JP7341567B2/ja
Priority to US17/640,509 priority patent/US11666392B2/en
Priority to EP20860074.2A priority patent/EP4026509A4/en
Priority to CN202080062005.0A priority patent/CN114364333B/zh
Priority to PCT/KR2020/011895 priority patent/WO2021045546A2/ko
Publication of KR20210029322A publication Critical patent/KR20210029322A/ko
Application granted granted Critical
Publication of KR102274167B1 publication Critical patent/KR102274167B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools for implanting artificial joints
    • A61F2/4603—Special tools for implanting artificial joints for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/461—Special tools for implanting artificial joints for insertion or extraction of endoprosthetic joints or of accessories thereof of knees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3916—Bone tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools for implanting artificial joints
    • A61F2002/4632—Special tools for implanting artificial joints using computer-controlled surgery, e.g. robotic surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Transplantation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템에 관한 것으로, 본 발명에 따른 위한 로봇의 위치 가이드 장치는, 수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 대상체 정합부; 수술 로봇에 부착된 로봇 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 로봇 정합부; 및 상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 영역 확인부를 포함한다. 이를 통해, 로봇이 수술 가능한 위치 및 자세로 이동하도록 가이드함으로써, 수술 중단의 위험을 최소화할 수 있다.

Description

로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템{ROBOT POSITIONING GUIDE APPARAUTUS, METHOD THEROF AND SYSTEM COMPRISING THE SAME}
본 발명은 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템에 관한 것으로, 더욱 상세하게는, 수술 대상체와 로봇의 위치 및 자세에 따른 수술 가능 영역을 도출하여 수술 대상체와 로봇의 위치 및 자세를 가이드할 수 있는 장치, 방법 및 시스템에 관한 것이다.
최근 의학 기술의 발달로 로봇과 컴퓨터 시스템을 이용한 내비게이션 수술이 활발히 도입되고 있으며, 인공 관절 수술 분야에서도 이러한 수술이 적용되고 있다.
무릎 관절의 경우, 외상이나 여러 가지 감염, 질환에 의한 통증 및 행동 장애가 오면 정형외과적 수술을 통해 관절 전체나 부분에 치환술을 사용하여 치료를 하며, 이중 약 10~30%의 환자들은 무릎 내측 조인트의 마모가 오게 되어 무릎관절 부분치환수술을 시행한다.
이러한 정형외과 관절 수술에 쓰이는 로봇 중에서는 전 수술 과정을 자동으로 수행하는 로봇이 있으며, 이러한 수술로봇은 미리 계획된 경로를 따라 사람의 개입 없이 자동으로 뼈를 절삭해낸다.
종래 정형외과 수술로봇을 이용한 무릎 관절 수술을 진행 시, 미리 수술 경로를 결정하고, 수술 대상체에 광학식 마커를 장착하고, 광학센서로 광학식 마커의 위치와 자세를 트래킹하여, 수술 경로에 따라 환자 위치와 로봇의 위치를 모니터링하여 수술을 진행한다.
한편, 수술 로봇의 위치와 자세 또는 뼈의 위치와 자세에 따라서 수술 경로가 로봇의 암의 엔드이펙터가 도달할 수 없는 영역에 있거나, 이동 경로에 따라 이동 중에 로봇 기구학적으로 에러가 발생할 수도 있다.
그런데, 로봇의 수술 가능 영역은 로봇의 위치 설정에 따른 시작 지점이 결정되어야 알 수 있으므로, 수술 도중에 로봇이 요구되는 수술 위치에 도달할 수 없어 수술이 중단되는 문제가 발생할 수 있다.
대한민국 특허공개공보 제2010-0023086호(2010.03.04)
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 수술 이전에 로봇이 수술 경로를 따라 수술 가능한 위치와 자세에 있는지 여부를 확인할 수 있는 시스템 및 방법을 제공하는 것에 목적이 있다.
또한, 본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 로봇이 수술 가능한 영역에 위치하도록 위치와 자세를 가이드할 수 있는 시스템 및 방법을 제공하는 것에 목적이 있다.
또한, 본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 로봇이 수술 가능한 위치영역과 자세영역에 수술 대상체가 위치하도록 위치 및 자세를 가이드할 수 있는 시스템 및 방법을 제공하는 것에 목적이 있다.
상기와 같은 목적을 달성하기 위한 로봇의 위치 가이드 장치는, 수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 대상체 정합부; 수술 로봇에 부착된 로봇 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 로봇 정합부; 및 상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 영역 확인부를 포함한다.
상기와 같은 목적을 달성하기 위한 로봇의 위치 가이드 방법은 수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 단계; 수술 로봇에 부착된 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계; 상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계; 및 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하여 영상으로 표시하는 단계를 포함한다.
상기와 같은 목적을 달성하기 위한 로봇의 위치 가이드 시스템은, 수술 로봇에 부착한 로봇 마커와 상기 수술 대상체에 부착된 대상체 마커의 위치와 자세를 추적하기 위한 추적기; 수술 전 획득한 수술 대상체에 관한 수술대상영상을 저장하는 메모리부; 상기 수술대상영상에 기초하여 상기 수술 대상체에 부착된 상기 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 대상체 정합부; 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 로봇 정합부; 상기 추적기에 의해 획득된 상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 영역 확인부; 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하는 GUI 생성부; 및 상기 가이드정보를 영상으로 표시하는 디스플레이부를 포함한다.
이상에서 설명된 바와 같이, 본 발명에 따르면, 수술 대상체의 위치와 자세가 수술 로봇의 수술 가능 영역에 속하는지 여부를 알 수 있다. 또한, 본 발명에 따르면, 로봇을 수술 가능한 위치 및 자세로 이동하도록 가이드함으로써, 수술 중단의 위험을 최소화할 수 있다. 또한, 본 발명에 따르면, 로봇이 수술 가능한 자세로 수술 대상체의 자세를 알려줌으로써 수술을 원활하게 진행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇의 위치 가이드 시스템을 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 위치 가이드 장치의 제어블록도이다.
도 3은 본 발명의 일 실시예에 따른 수술 대상체 정합부의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 로봇 정합부의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 수술 영역 확인부의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 GUI 생성부가 생성한 가이드정보의 일 예를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 로봇 위치 가이드 장치에 의한 위치 가이드 방법을 설명하기 위한 흐름도이다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하기로 한다. 다만 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하에서는 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 로봇의 위치 가이드 시스템 및 장치에 관해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 위치 가이드 시스템을 개략적으로 도시한 것이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇의 위치 가이드 시스템은 수술 대상체(1, 2)에 부착된 대상체 마커(10, 20), 수술 로봇(30), 추적기(40), 및 위치 가이드 장치(100)를 포함한다.
수술 대상체(1, 2)는 수술의 대상을 의미하는 것으로, 본 발명의 실시예에서는 수술 대상체가 대퇴골(1)(Femur)과 경골(2)(Tibia)의 무릎관절로서, 대상체 마커(10, 20)는 대퇴골(1)과 경골(2)에 각각 부착된 것을 일 예로 설명한다.
수술 로봇(30)은 관절 수술을 위한 것으로 로봇 베이스와 암을 포함하고, 암의 엔드이펙터에 절삭 도구가 위치할 수 있다. 수술 로봇(30)의 베이스에는 로봇 마커(31)가 부착된다.
대상체 마커(10, 20)와 로봇 마커(31)는 광학식 마커가 사용될 수 있으며, 중심점을 기준으로 서로 다른 방향의 가지 형태의 바(bar) 3개 또는 4개가 형성되고, 바의 단부에는 각각 고반사의 볼마커가 형성될 수 있다.
추적기(40)는 수술 로봇(30)에 부착한 로봇 마커(31)와 수술 대상체에 부착된 대상체 마커(10, 20)의 위치와 자세를 추적하기 위한 것으로, 3차원 공간 좌표상의 마커의 위치 및 자세를 감지하여, 후술할 위치 가이드 장치(100)로 전달한다. 본 발명의 실시예에서 추적기(40)는 광학 추적 시스템(Optical Tracking System, OTS)으로 구현된 것을 일 예로 설명한다.
위치 가이드 장치(100)는 추적기(40)로부터 입력되는 신호를 수신하여 수술 대상체 정합과 수술 로봇(30)의 정합을 수행하고, 수술 대상체와 수술 로봇(30)의 수술 가능 영역 간의 위치/자세에 관한 상관관계를 도출하여 수술 로봇(30)의 위치를 가이드하기 위한 것으로, 도 1에 도시된 바와 같이, 컴퓨터(프로세서)와 디스플레이를 포함하여 구현될 수 있다. 도 1에서는 위치 가이드 장치(100)가 수술 로봇(30)에 분리되어 별도의 장치로 구현되는 것으로 도시하였으나, 경우에 따라서는 위치 가이드 장치의 컴퓨터(프로세서)는 수술 로봇(30) 내에 설치되고, 위치 가이드 장치의 디스플레이는 추적기(40)에 연결되어 함께 설치될 수도 있다. 이 경우, 수술 로봇(30)은 추적기(40)와 연결되어 마커들의 위치/자세정보를 수신하고, 이를 처리하여 디스플레이로 제공한다.
도 2는 본 발명의 일 실시예에 따른 위치 가이드 장치(100)의 제어블록도이다. 도 2를 참조하면, 본 발명의 일 실시예에 다른 위치 가이드 장치(100)는 신호수신부(110), 사용자 입력부(120), 디스플레이부(130), 메모리부(140) 및 제어부(150)를 포함한다.
신호수신부(110)는 외부로부터 신호를 수신하기 위한 것으로, 예컨대, 외부 기기와의 연결을 위한 HDMI(High Definition Multimedia Interface) 커넥터(11), 디-서브(D-sub) 커넥터, 또는 인터넷 망을 비롯한 유/무선 네트워크와 연결하기 위한 통신모듈을 포함할 수 있다. 신호수신부(110)는 추적기(40)와 수술 로봇(30)과의 연동을 위한 유무선 통신모듈을 포함할 수 있다.
사용자 입력부(120)는 사용자로부터 명령을 수신하여 후술할 제어부(150)로 전달하기 위한 것으로, 키보드, 마우스, 버튼 등의 다양한 입력수단을 포함할 수 있다.
디스플레이부(130)는 영상을 화면에 표시하기 위한 것으로, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널 등으로 구현될 수 있다.
메모리부(140)는 위치 가이드 장치(100)의 다양한 OS, 미들웨어, 플랫폼, 및 각종 어플케이션을 저장할 수 있으며, 프로그램 코드 및 신호처리된 영상신호, 음성 신호 및 데이터를 저장할 수 있다. 메모리부(140)는 수술 전 획득한 수술 대상체에 관한 수술대상영상, 예컨대 환자 CT 영상 등을 저장한다.
제어부(150)는 사용자 입력부(120)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 위치 가이드 장치(100)의 전반적인 제어를 담당한다. 제어부(150)는 신호 처리 및 제어를 위한 프로그램 코드 및 프로그램을 실행하는 프로세서를 포함하여 구현될 수 있다. 제어부(150)는 신호수신부(110)를 통해 추적기(40)로부터 수신되는 위치/자세 정보를 이용하여 영상 정합 및 위치 추적을 수행하고, 수술 대상체와 수술 로봇(30)의 수술 가능 영역과의 관계를 도출하여 사용자에게 수술 로봇(30)의 위치와 자세를 가이드하기 위한 가이드정보를 제공한다.
도 2를 참조하면, 제어부(150)는 수술 대상체 정합부(151), 로봇 정합부(153), 수술 영역 확인부(155), 및 GUI 생성부(157)를 포함한다.
수술 대상체 정합부(151)는 영상정합을 통해 수술 대상체에 부착된 대상체 마커(10, 20)(bone marker)와 수술 대상체 간의 위치/자세에 관한 상관관계를 도출한다. 수술 대상체에 대상체 마커(10, 20)를 부착한 후, 프로브(probe)를 이용하여 수술 대상체 및 대상체 마커(10, 20)의 위치 및 자세를 인식시킨다. 수술 대상체 정합부(151)는 추적기(40)를 통해 프로브가 지시한 위치 및 자세에 관한 광학영상을 수신하고, 메모리부(140)에 기 저장된 환자의 3D 데이터, 예컨대 CT 영상과 정합을 수행하여 대상체 마커(10, 20)와 수술 대상체 간의 위치/자세에 관한 상관관계를 도출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 수술 대상체 정합부(151)의 동작을 설명하기 위한 도면이다. 도 3을 참조하면, 수술 대상체는 대퇴골(1)과 경골(2)의 무릎관절이고 대상체 마커(10, 20)는 대퇴골(1)과 경골(2)에 부착되어 있다.
도 3에서 FIC는 대퇴골(1)의 임플란트 원점(Femur Implant Origin, FTO)을 기준으로 하는 좌표계를 의미하고, FMC는 대퇴골의 대상체 마커(10, 20)의 좌표계를 의미한다. 수술 대상체 정합부(151)는 영상정합을 통해 대퇴골 마커(10)의 위치와 대퇴골의 임플란트 원점(FIO) 간의 위치 및 자세에 관한 상관관계, 예컨대 대퇴골 마커(10)에 대한 대퇴골 임플란트 원점의 좌표변환관계로서 변환행렬(FTFI)을 도출할 수 있다. 이에 의해, 추적기(40)로부터 대퇴골 마커(10)의 위치와 자세정보를 획득하고, 획득한 대퇴골의 위치와 자세정보에 수술 대상체 정합부(151)에서 도출한 변환행렬(FTFI)을 곱하여 대퇴골의 임플란트 위치와 자세를 도출할 수 있다.
도 3에서 TIC는 경골(2)의 임플란트 원점(TIO)을 기준으로 하는 좌표계를 의미하고, TMC는 경골마커(20)의 좌표계를 의미한다. 동일한 방법으로, 수술 대상체 정합부(151)는 영상정합을 통해 경골(2)에 부착된 경골마커(20)에 대한 경골임플란트 원점(Tibia Implant Origin, TIO)의 위치/자세의 상관관계, 예컨대, 좌표변환관계인 변환행렬(TTTI)을 도출한다. 이에 의해, 추적기(40)로부터 경골마커(20)에 관한 위치와 자세정보를 획득하고, 경골마커(20)의 위치와 자세정보에 수술 대상체 정합부(151)에서 도출한 변환행렬(TTTI)을 곱하여 경골(2)의 임플란트 위치와 자세를 도출할 수 있다.
여기서, 수술 대상체인 대퇴골(1)과 경골(2)의 임플란트 위치 및 자세는 임플란트 원점을 기준으로 한 수술 경로를 포함하는 위치 및 자세를 의미한다. 본 명세서에서 '수술 대상체'는 대퇴골과 경골 등 수술대상의 광의적인 의미로도 사용되고, 임플란트 원점의 위치 및 자세 또는 임플란트 원점을 기준으로 한 수술 경로를 포함하는 임플란트 수술 부위를 나타내는 협의의 의미로도 사용된다.
로봇 정합부(153)는 수술 로봇(30)에 설치된 로봇 마커(31)와 수술 로봇(30) 간의 위치 및 자세에 관한 상관관계를 도출하고, 로봇 마커(31)와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출한다.
도 4는 본 발명의 일 실시예에 따른 로봇 정합부(153)의 동작을 설명하기 위한 도면이다. 도 4를 참조하면, RC는 로봇 좌표 원점(Robot Coordinate Origin, RO)을 기준으로 하는 로봇 기준 좌표계이고, WSC는 수술 로봇(30)의 수술 가능 영역 원점(WS)의 좌표계를 의미하며, RMC는 로봇 마커(31)의 좌표계를 의미한다. 수술 로봇(30)의 수술 가능 영역(WS)은 수술 로봇(30)의 위치와 자세에 의해 결정되는 영역으로서, 수술 로봇(30)과 수술 가능 영역 간의 위치/자세의 상관관계는 로봇 좌표계 원점으로부터 미리 정의되어 있으며, 예컨대 로봇 좌표계 원점에 대한 수술가능영역의 좌표변환관계로서 변환행렬(ROTWS)값을 갖는다.
여기서, 수술 가능 영역은 수술 로봇의 위치 및 자세정보에 기초하여 산출되는 미리 정의된 영역으로서, 수술 가능 자세 영역과 수술 가능 위치 영역을 갖는다. 수술 가능 위치 영역은 수술 가능 영역의 원점을 기준으로 일정 거리 또는 일정 볼륨을 갖도록 정의된 공간 영역을 의미하며, 수술 가능 위치 영역은 로봇의 자세에 기초하여 결정된다. 예컨대, 수술 가능 영역의 원점은 로봇의 위치로부터 미리 정의된 위치로 산출되고, 수술 가능 위치 영역은 이로부터 일정 볼륨을 갖는 영역으로 설정된다. 또한, 수술 가능 영역의 원점의 자세는 로봇 베이스의 자세와 동일한 것으로 설정되고, 수술 가능 자세 영역은 원점의 자세(즉, 로봇 베이스의 자세)로부터 수술 가능 자세 범위를 고려하여 일정 자세 범위로 설정될 수 있다. 예컨대, 수술 가능 영역은 로봇 암에 장착되는 수술 툴의 가능한 위치 및 자세 영역으로서, 로봇 베이스를 기준으로 정의될 수 있다.
로봇 정합부(153)는 정합을 통해 로봇 마커(31)와 수술 로봇(30)의 원점 간의 위치관계 즉, 좌표변환관계인 변환행렬(RMTRO)을 도출한다. 로봇 정합부(153)는 추적기(40)를 통해 수술 로봇(30)의 위치와 로봇 마커(31)의 위치를 등록하고 그 상관관계를 도출할 수 있다. 로봇 정합부(153)는 로봇의 암에 마커를 부착하고, 로봇 암을 움직이면서 마커의 위치 및 자세를 추적기(40)를 통해 추적함으로써 로봇 베이스의 위치/자세와 로봇 마커(31)의 위치/자세 간의 상관관계인 변환행렬(RMTRO)를 도출할 수 있다.
로봇 정합부(153)는 로봇 마커(31)에 대한 로봇 좌표 원점의 변환행렬(RMTRO)과 수술 로봇(30)의 원점에 대한 수술 가능 영역의 변환행렬(ROTWS)에 기초하여 로봇 마커(31)와 수술 가능 영역 간의 위치/자세의 상관관계를 도출한다. 이를 수식으로 나타내면 다음과 같다.
[수학식 1]
Figure 112019091466910-pat00001
(여기서, RMTWS는 로봇 마커(31)에 대한 수술 가능 영역의 변환행렬을 의미하고, RMTRO는 로봇 마커(31)에 관한 수술 로봇(30)의 원점의 변환행렬을 의미하며, ROTWS는 수술 로봇(30)의 원점에 관한 수술 가능 영역의 변환행렬을 의미한다.)
이에 의해, 추적기(40)로부터 로봇 마커(31)의 위치와 자세정보를 획득하고, 로봇 마커(31)의 위치와 자세정보에 로봇 정합부(153)에서 도출한 변환행렬(RMTWS)을 곱하여 로봇의 수술 가능 영역의 원점의 위치 및 자세를 도출할 수 있다. 수술 가능 영역의 원점의 위치 및 자세로부터 수술 가능 위치 영역과 자세 영역을 도출한다. 전술한 바와 같이, 수술 가능 영역은 수술 가능 영역의 원점으로부터 일정 볼륨을 갖도록 정의된 수술 가능 위치 영역과 수술 로봇(30)의 자세에 따른 수술 가능 자세 영역을 의미하는 것으로, 수술 로봇(30)의 위치나 자세에 의해 결정될 수 있다.
수술 영역 확인부(155)는 대상체 마커(10, 20)와 로봇 마커(31)의 위치 및 자세정보에 기초하여 수술 대상체와 상기 수술 가능 영역 간의 위치/자세에 관한 상관관계를 도출한다.
도 5는 본 발명의 일 실시예에 따른 수술 영역 확인부(155)의 동작을 설명하기 위한 도면이다.
위치 가이드 장치(100)는 대퇴골(1)과 경골(2)에 부착된 대상체 마커(10, 20)와 수술 로봇(30)의 베이스에 설치된 로봇 마커(31)에 관한 위치 및 자세정보를 추적기(40)를 통해 획득하고, 이를 이용하여 수술 로봇(30)의 수술 가능 영역과 수술 대상체의 위치/자세에 상관관계를 확인한다.
수술 영역 확인부(155)는 추적기(40)로부터 로봇 마커(31)와 대상체 마커(10, 20)의 위치 및 자세 정보를 획득한다. 도 5에서 OTC는 추적기(40)의 좌표계를 의미하며, RMC는 로봇 마커(31)의 좌표계, FMC는 대퇴골 마커(10)의 좌표계, TMC는 경골마커(20)의 좌표계를 의미한다. 추적기(40)로부터 획득되는 마커의 위치/자세정보는 모두 추적기(40) 좌표계를 기준으로 하여 획득한 값으로서, 추적기(40)의 좌표계와 로봇 마커(31) 및 대상체 마커(10, 20)의 좌표계 변환관계(OTSTRM, OTSTTM, OTSTFM)에 기초하여 로봇 마커(31)와 대상체 마커(10, 20)의 위치가 추적기(40) 좌표계를 기준으로 변환될 수 있다.
수술 영역 확인부(155)는 추적기(40) 좌표계를 기준으로 변환된 대퇴골 마커(10)의 위치 및 자세정보에, 전술한 수술 대상체 정합부(151)에서 산출한 대퇴골 마커(10)에 대한 대퇴골 임플란트 원점의 상관관계인 변환행렬(FTFI)을 곱하여 추적기(40) 좌표계를 기준으로 한 대퇴골의 위치와 자세를 도출한다.
동일한 방법으로, 수술 영역 확인부(155)는 추적기(40) 좌표계를 기준으로 변환된 경골마커(20)의 위치 및 자세정보에, 전술한 수술 대상체 정합부(151)에서 산출한 경골마커(20)에 대한 경골임플란트 원점의 상관관계인 변환행렬(TTTI)을 곱하여 추적기(40) 좌표계를 기준으로 한 경골의 위치와 자세를 도출한다.
수술 영역 확인부(155)는 추적기(40) 좌표계를 기준으로 변환된 로봇 마커(31)의 위치 및 자세정보에, 전술한 로봇 정합부(153)에서 산출한 로봇 마커(31)에 대한 수술 가능 영역의 상관관계인 변환행렬(RMTWS)을 곱하여 추적기(40) 좌표계를 기준으로 한 수술 가능 영역의 원점의 위치(수술 가능 위치 영역) 및 자세(수술 가능 자세 영역)을 도출한다.
대퇴골과 경골의 위치/자세, 수술 가능 영역의 위치/자세는 모두 추적기(40)의 좌표계를 기준으로 한 값으로, 수술 영역 확인부(155)는 이 값들을 기초로 대퇴골과 경골와 수술 가능 영역 간의 위치/자세에 관한 상관관계를 도출할 수 있다. 도 5를 참조하면, 수술 영역 확인부(155)는 수술 가능 영역에 관한 대퇴골과 경골의 위치 및 자세의 상관관계, 예컨대 위치변환관계인 변환행렬(WSTFIC, WSTTIC)을 도출한다.
도 3 내지 도 5에서 대퇴골의 원점과 경골의 임플란트 원점은 수술 경로 즉, 절삭경로의 원점을 의미한다. 수술경로는 수술전에 미리 계획되는 것으로, 대퇴골과 경골의 절삭범위나 임플란트의 종류 등에 따라 달리 설정될 수 있다. 수술 경로, 예컨대 절삭경로에 관한 정보는 미리 저장되지만, 수술경로에 따른 임플란트 원점의 위치와 자세는 수술 대상체와 수술 로봇(30)의 위치/자세에 따라 상대적으로 정의된다.
위와 같은 과정을 통해, 본 발명에서는 수술 로봇(30)의 위치/자세에 따른 수술 가능 영역과 수술 대상체의 위치/자세에 따른 수술경로, 예컨대 수술 경로의 원점의 위치/자세를 산출하고 이들의 상관관계를 산출한다.
GUI 생성부(157)는 수술 대상체의 위치 및 자세와 수술 가능 위치 영역과 자세 영역 간의 상관관계에 관한 가이드정보를 그래픽으로 생성한다. 도 6은 본 발명의 일 실시예에 따른 GUI 생성부(157)가 생성한 가이드정보의 일 예를 도시한 것이다. 도 6을 참조하면, 가이드정보는 수술 대상체의 자세가 수술 가능 자세 영역에 속하는지 여부를 나타내는 제1 메뉴화면(201)과, 상기 수술 대상체의 위치가 수술 가능 위치 영역에 속하는지 여부를 나타내는 제2 메뉴화면(202), 및 수술 로봇의 이동 방향을 제시하는 제3 메뉴화면(203)을 포함한다. 또한, 가이드정보는 제2 메뉴화면에서와 같이 수술 대상체의 위치와 수술 가능 영역 간의 이격 거리 정보를 시각적으로 나타낼 수 있다.
제1 메뉴화면(201)을 보면, 수술 대상체의 자세(회전각도)가 수술 가능 자세 영역에 속했는지 그래픽적으로 보여준다. 제1 메뉴화면(201)에서 점(201a)은 현재의 대퇴골과 경골의 자세(회전각도)를 나타내고 색상으로 표현된 바(201b)는 수술 가능 자세 영역을 나타낸다. 따라서, 사용자는 대퇴골과 경골의 자세(회전각도)를 나타내는 점(201a)이 수술 가능 자세 영역을 나타내는 색상 바(201b) 안에 있는지 밖에 있는지 여부를 확인하면서, 수술 대상체의 자세 또는 수술 로봇(30)의 자세를 수술 가능 자세에 속하도록 적절히 조정할 수 있다. 제1 메뉴화면(201)에 도시된 바와 같이, 수술 대상체의 자세는 3 X축, Y축, Z축에 관한 회전각도로서, Angle1, Angle2, Angle3 3개의 자세로 각각 표시된다.
제2 메뉴화면(202)를 보면, 수술 대상체의 위치와 수술 가능 영역(WS)의 위치관계가 도시되어 있다. 위치관계는 전면이나 평면 등 다양한 위치에서 바라본 위치 관계를 도시하여, 수술 가능 영역에 수술 대상체가 위치하도록 수술 로봇(30)을 이동시킬 수 있도록 가이드한다. 전술한 바와 같이, 수술 대상체의 위치는 수술 대상체의 임플란트 원점뿐만 아니라, 미리 계획된 수술 경로에 기초하여 수술 대상체에서 상기 수술 경로의 원점을 기준으로 수술 경로에 포함되는 영역을 포함하여 표현되는 것이 바람직하다.
제3 메뉴화면(203)은 수술 대상체와 로봇의 이동방향을 도식화하여 표현하고 있으며, 현재의 수술 대상체의 위치와 로봇의 위치관계에 기초하여 로봇의 이동방향을 전후좌우 화살표를 활성화하는 방식으로 표시해줄 수 있다. 사용자는 제3 메뉴화면에서 시각적으로 제시하는 로봇의 전후좌우 화살표의 이동방향에 따라 수술 로봇(30)을 이동시킴으로써 수술 대상체가 수술 가능 영역에 속하도록 가이드할 수 있다.
여기서, 수술 가능 영역과 대상체의 위치 및 자세의 상관관계는 로봇의 좌표계를 기준으로 표현될 수 있다.
이와 같이, 본 발명은 수술 로봇(30)의 위치/자세에 따른 수술 가능 영역(예, 수술 가능 위치 영역, 수술 가능 자세 영역)과 수술 대상체의 위치/자세에 따른 수술 경로의 위치/자세의 상관치관계정보를 그래픽적으로 표시함으로써, 사용자가 수술 대상체의 실제 수술 작업 영역(예, 수술 경로)이 수술 가능 영역 내에 위치되도록 수술 대상체와 수술 로봇(30)의 위치 및 자세를 조정하도록 가이드해준다.
도 7은 본 발명의 일 실시예에 따른 로봇 위치 가이드 장치(100)에 의한 위치 가이드 방법을 설명하기 위한 흐름도이다. 전술한 실시예와 중복되는 설명은 생략하기로 하다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 로봇의 위치 가이드 방법은 먼저 프로브를 이용하여 대상체 마커(10, 20)와 수술 대상체의 위치를 인식하는 과정을 통해, 수술전에 미리 획득한 환자의 CT 영상과 정합을 수행한다(S10). 이와 같은 정합 과정을 통해 대상체 마커(10, 20)와 수술 대상체 간의 상관관계를 도출한다(S11). 또한, 로봇 마커(31)와 수술 로봇(30)의 정합과정을 통해, 로봇 마커(31)와 수술 로봇(30) 간의 상관관계를 도출한다(S12). 그리고, 수술 로봇(30)의 위치/자세에 의해 미리 정의된 수술 가능 영역과의 상관관계를 이용하여, 로봇 마커(31)와 수술 가능 영역과의 상관관계를 도출한다(S13).
추적기(40)를 통해 대상체 마커(10, 20) 및 로봇 마커(31)의 위치 및 자세를 획득하고(S14), 전술한 정합과정에서 산출한 대상체 마커(10, 20)와 수술 대상체의 위치 및 자세의 상관관계, 및 로봇 마커(31)와 수술 가능 영역 간의 위치 및 자세의 상관관계를 이용하여 수술 대상체의 위치/자세와 수술 가능 영역과의 위치 및 자세의 상관관계를 도출한다(S15).
GUI 생성부(157)는 산출한 상관관계를 수술 로봇(30)(또는 수술 대상체)의 위치 및 자세를 가이드하는 가이드정보로 생성하고(S16), 디스플레이부(130)는 가이드정보를 영상으로 표시한다(S17).
만약, 수술 로봇(30)의 위치/자세 또는 수술 대상체의 위치/자세가 조정되는 경우(S18), 로봇의 위치 가이드 장치(100)는 추적기(40)를 통해 변경된 대상체 마커(10, 20) 또는 로봇 마커(31)의 위치/자세 정보를 수신하여 전술한 S14~S17 단계를 수행하여 변경된 위치/자세에 따른 가이드정보를 다시 생성하여 표시한다(S17).
다른 실시예에 따르면, 전술한 도 7에서 로봇 정합과정(S12~S14)은 수술 대상체 정합과정(S10, S11)보다 먼저 수행될 수도 있다.
이러한 과정을 통해 수술 대상체의 위치/자세가 수술 가능 영역 안에 속하게 되는 것을 확인한 후에 안전하게 수술을 시작할 수 있다. 이와 같이, 본 발명에 따르면, 수술 로봇(30)이 수술 가능한 위치 및 자세로 이동하도록 가이드함으로써, 수술 중단의 위험을 최소화할 수 있다. 전술한 실시예에서는 로봇의 수술 가능 영역(위치영역, 자세영역)과 수술 대상체 간의 위치/자세의 상관관계를 도출하여 이를 시각적으로 표시하는 것으로 설명하였으나, 다른 실시예에 따르면 로봇의 위치/자세와 수술 대상체의 위치/자세의 상관관계를 도출하여 이를 시각적으로 표시할 수도 있다.
수술 가능 영역은 로봇의 위치 및 자세에 따라 결정되는 영역이므로, 전술한 실시예와 동일한 변환과정을 통해 로봇의 위치/자세와 수술 대상체의 위치/자세의 상관관계를 도출할 수 있다. 예를 들어, 수술 가능 영역 대신에 로봇 베이스의 위치 및 자세를 도출하고, 수술 대상체의 위치/자세에 따른 수술 가능한 로봇 베이스 위치/자세 영역과 현재 로봇의 위치/자세를 도시함으로써 사용자가 목표 위치로 로봇을 이동하도록 가이드 할 수 있다.

Claims (12)

  1. 로봇의 위치 가이드 장치에 있어서,
    수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 대상체 정합부;
    수술 로봇에 부착된 로봇 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 로봇 정합부;
    상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 영역 확인부;
    상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하는 GUI 생성부; 및
    상기 가이드정보를 영상으로 표시하는 디스플레이부를 포함하고;
    상기 수술 가능 영역은 수술 가능 자세 영역과 수술 가능 위치 영역을 포함하고;
    상기 가이드정보는 상기 수술 대상체의 자세가 수술 가능 자세 영역에 속하는지 여부를 나타내는 제1 메뉴화면과, 상기 수술 대상체의 위치가 수술 가능 위치 영역에 속하는지 여부를 나타내는 제2 메뉴화면을 포함하는 것을 특징으로 하는 로봇의 위치 가이드 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 가이드정보는 상기 수술 대상체의 위치와 상기 수술 가능 영역 간의 이격 거리 정보를 포함하는 것을 특징으로 하는 로봇의 위치 가이드 장치.
  4. 삭제
  5. 제3항에 있어서,
    상기 제2 메뉴화면에서 상기 수술 대상체의 위치는, 상기 수술 대상체에 관해 미리 계획된 수술 경로에 기초하여, 상기 수술 대상체에서 상기 수술 경로의 원점을 기준으로 상기 수술 경로에 포함되는 영역을 포함하여 표현되는 것을 특징으로 하는 로봇의 위치 가이드 장치.
  6. 제5항에 있어서,
    상기 수술 가능 영역은 상기 수술 로봇의 위치 및 자세정보에 기초하여 산출되고;
    상기 수술 가능 위치 영역은 수술 가능 영역의 원점을 기준으로 일정한 볼륨을 갖도록 형성되며, 상기 수술 가능 자세 영역은 상기 로봇의 자세에 기초하여 결정되는 것을 특징으로 하는 로봇의 위치 가이드 장치.
  7. 로봇의 위치 가이드 시스템에 있어서,
    수술 로봇에 부착한 로봇 마커와 수술 대상체에 부착된 대상체 마커의 위치와 자세를 추적하기 위한 추적기;
    수술 전 획득한 수술 대상체에 관한 수술대상영상을 저장하는 메모리부;
    상기 수술대상영상에 기초하여 상기 수술 대상체에 부착된 상기 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 대상체 정합부;
    상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 로봇 정합부;
    상기 추적기에 의해 획득된 상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 수술 영역 확인부;
    상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하는 GUI 생성부; 및
    상기 가이드정보를 영상으로 표시하는 디스플레이부를 포함하고;
    상기 수술 가능 영역은 수술 가능 자세 영역과 수술 가능 위치 영역을 포함하고;
    상기 가이드정보는 상기 수술 대상체의 자세가 수술 가능 자세 영역에 속하는지 여부를 나타내는 제1 메뉴화면과, 상기 수술 대상체의 위치가 수술 가능 위치 영역에 속하는지 여부를 나타내는 제2 메뉴화면을 포함하는 것을 특징으로 하는 로봇의 위치 가이드 시스템.
  8. 로봇의 위치 가이드 방법에 있어서,
    수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 단계;
    수술 로봇에 부착된 로봇 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계;
    상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계; 및
    상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하여 영상으로 표시하는 단계를 포함하고;
    상기 수술 가능 영역은 수술 가능 자세 영역과 수술 가능 위치 영역을 포함하고;
    상기 가이드정보는 상기 수술 대상체의 자세가 수술 가능 자세 영역에 속하는지 여부를 나타내는 제1 메뉴화면과, 상기 수술 대상체의 위치가 수술 가능 위치 영역에 속하는지 여부를 나타내는 제2 메뉴화면을 포함하는 로봇의 위치 가이드 방법.
  9. 로봇의 위치 가이드 방법에 있어서,
    수술 로봇에 부착된 로봇 마커를 포함하는 영상에 기초하여 상기 로봇 마커와 상기 수술 로봇 간의 위치 및 자세에 관한 상관관계를 도출하고, 상기 로봇 마커와 기 설정된 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계;
    수술 대상체에 부착된 대상체 마커를 포함하는 영상을 수술 전 수술 대상체에 관한 수술대상영상과 정합하여 상기 수술 대상체에 부착된 대상체 마커와 상기 수술 대상체 간의 위치 및 자세에 관한 상관관계를 도출하는 단계;
    상기 대상체 마커와 상기 로봇 마커의 위치 및 자세정보에 기초하여 상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세에 관한 상관관계를 도출하는 단계; 및
    상기 수술 대상체와 상기 수술 가능 영역 간의 위치 및 자세의 상관관계에 관한 가이드정보를 그래픽으로 생성하여 영상으로 표시하는 단계를 포함하고;
    상기 수술 가능 영역은 수술 가능 자세 영역과 수술 가능 위치 영역을 포함하고;
    상기 가이드정보는 상기 수술 대상체의 자세가 수술 가능 자세 영역에 속하는지 여부를 나타내는 제1 메뉴화면과, 상기 수술 대상체의 위치가 수술 가능 위치 영역에 속하는지 여부를 나타내는 제2 메뉴화면을 포함하는 로봇의 위치 가이드 방법.
  10. 삭제
  11. 제8항 또는 제9항에 있어서,
    상기 제2 메뉴화면에서 상기 수술 대상체의 위치는, 상기 수술 대상체에 관해 미리 계획된 수술 경로에 기초하여, 상기 수술 대상체에서 상기 수술 경로의 원점을 기준으로 상기 수술 경로에 포함되는 영역을 포함하여 표현되는 것을 특징으로 하는 로봇의 위치 가이드 방법.
  12. 제8항 또는 제9항에 있어서,
    상기 수술 가능 영역은, 상기 수술 로봇의 위치 및 자세정보에 기초하여 산출되고;
    상기 수술 가능 위치 영역은 수술 가능 영역의 원점을 기준으로 일정한 볼륨을 갖도록 형성되며, 상기 수술 가능 자세 영역은 상기 로봇의 자세에 기초하여 결정되는 것을 특징으로 하는 로봇의 위치 가이드 방법.
KR1020190109922A 2019-09-05 2019-09-05 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템 Active KR102274167B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190109922A KR102274167B1 (ko) 2019-09-05 2019-09-05 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
JP2022513627A JP7341567B2 (ja) 2019-09-05 2020-09-03 ロボットの位置ガイド装置、及びそれを含むシステム
US17/640,509 US11666392B2 (en) 2019-09-05 2020-09-03 Device for guiding position of robot, method therefor, and system including the same
EP20860074.2A EP4026509A4 (en) 2019-09-05 2020-09-03 ROBOT POSITION GUIDANCE DEVICE, ASSOCIATED METHOD AND SYSTEM COMPRISING THE SAME
CN202080062005.0A CN114364333B (zh) 2019-09-05 2020-09-03 用于引导机器人位置的装置、方法和包括该装置的系统
PCT/KR2020/011895 WO2021045546A2 (ko) 2019-09-05 2020-09-03 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190109922A KR102274167B1 (ko) 2019-09-05 2019-09-05 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템

Publications (2)

Publication Number Publication Date
KR20210029322A KR20210029322A (ko) 2021-03-16
KR102274167B1 true KR102274167B1 (ko) 2021-07-12

Family

ID=74852140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190109922A Active KR102274167B1 (ko) 2019-09-05 2019-09-05 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템

Country Status (6)

Country Link
US (1) US11666392B2 (ko)
EP (1) EP4026509A4 (ko)
JP (1) JP7341567B2 (ko)
KR (1) KR102274167B1 (ko)
CN (1) CN114364333B (ko)
WO (1) WO2021045546A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024128704A1 (ko) * 2022-12-12 2024-06-20 큐렉소 주식회사 수술로봇의 수술 가능 영역 생성 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301863B1 (ko) * 2020-02-12 2021-09-16 큐렉소 주식회사 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
CN115697239A (zh) * 2020-06-03 2023-02-03 柯惠Lp公司 外科机器人系统用户界面
TWI790181B (zh) * 2022-08-03 2023-01-11 國立陽明交通大學 手術機器人系統
KR20240041681A (ko) * 2022-09-23 2024-04-01 큐렉소 주식회사 수술 로봇의 절삭 경로 플래닝 장치 및 그 방법
KR20240142083A (ko) * 2023-03-21 2024-09-30 주식회사 코렌텍 수술 보조 로보틱 시스템 및 그를 통한 자세제어 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
EP3470040B1 (en) * 2005-02-22 2022-03-16 Mako Surgical Corp. Haptic guidance system and method
US8311611B2 (en) 2007-04-24 2012-11-13 Medtronic, Inc. Method for performing multiple registrations in a navigated procedure
KR100998182B1 (ko) 2008-08-21 2010-12-03 (주)미래컴퍼니 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법
KR102274277B1 (ko) * 2013-03-13 2021-07-08 스트리커 코포레이션 수술 절차들을 위한 준비시 수술실에 대상들을 배치하는 시스템
WO2014198796A1 (en) * 2013-06-11 2014-12-18 Minmaxmedical System for positioning a surgical device
DE102014219477B4 (de) * 2014-09-25 2018-06-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Chirurgierobotersystem
KR102296451B1 (ko) 2014-12-08 2021-09-06 큐렉소 주식회사 중재시술 로봇용 공간정합 시스템
WO2017117369A1 (en) * 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
KR20180113512A (ko) * 2016-02-26 2018-10-16 씽크 써지컬, 인크. 로봇의 사용자 위치설정을 안내하는 방법 및 시스템
CN110786819B (zh) * 2016-03-30 2022-07-26 索尼公司 手术成像系统
KR101817438B1 (ko) * 2016-09-13 2018-01-11 재단법인대구경북과학기술원 고관절 전치환술을 위한 수술 항법 시스템
WO2018112028A1 (en) * 2016-12-16 2018-06-21 Mako Surgical Corp. Techniques for detecting errors or loss of accuracy in a surgical robotic system
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
CA3076625A1 (en) * 2017-09-27 2019-04-04 Virtual Incision Corporation Robotic surgical devices with tracking camera technology and related systems and methods
US11154369B2 (en) * 2018-01-24 2021-10-26 Think Surgical, Inc. Environmental mapping for robotic assisted surgery
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool
IL281716B2 (en) * 2018-09-27 2025-05-01 Quantum Surgical A medical robot that includes automatic positioning devices
US11986246B2 (en) * 2019-06-25 2024-05-21 Think Surgical, Inc. Method to determine bone placement in a robot workspace
WO2021257681A1 (en) * 2020-06-19 2021-12-23 Smith & Nephew, Inc. Robotic arm positioning and movement control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024128704A1 (ko) * 2022-12-12 2024-06-20 큐렉소 주식회사 수술로봇의 수술 가능 영역 생성 장치 및 방법

Also Published As

Publication number Publication date
EP4026509A4 (en) 2023-08-30
WO2021045546A2 (ko) 2021-03-11
CN114364333A (zh) 2022-04-15
JP7341567B2 (ja) 2023-09-11
JP2022545743A (ja) 2022-10-28
US20220265364A1 (en) 2022-08-25
KR20210029322A (ko) 2021-03-16
CN114364333B (zh) 2024-08-20
WO2021045546A3 (ko) 2021-04-29
US11666392B2 (en) 2023-06-06
EP4026509A2 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
KR102274167B1 (ko) 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
US11844574B2 (en) Patient-specific preoperative planning simulation techniques
US11850010B2 (en) Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
KR102488295B1 (ko) 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
KR102794946B1 (ko) 가상 객체에 의해 정의된 타깃 부위에서 환자에게 수술을 수행하기 위한 시스템 및 방법
US20210052348A1 (en) An Augmented Reality Surgical Guidance System
US20200246081A1 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP2001390B1 (en) System for 3-d tracking of surgical instrument in relation to patient body
US20220061921A1 (en) Surgical object tracking template generation for computer assisted navigation during surgical procedure
JP2016512084A (ja) 仮想制約境界を確立するシステム及び方法
EP3200719B1 (en) Determining a configuration of a medical robotic arm
JP2023512006A (ja) 関節置換ロボット手術情報の提供装置及び提供方法
KR102274175B1 (ko) 수술 내비게이션 장치 및 그 방법
KR20210103028A (ko) 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
US11232861B1 (en) Systems and methods for displaying predetermined information for clinical use
US20240197409A1 (en) Tool navigation in mixed reality computer-assisted surgery
US20250032133A1 (en) Computer-assisted navigation of lock hole in implant
Heinrich et al. A novel Registration Method for Optical See-Through Augmented Realty Devices and Optical Tracking Data

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190905

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210204

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210628

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210701

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210702

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240731

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250701

Start annual number: 5

End annual number: 5