[go: up one dir, main page]

KR101647467B1 - 증강현실을 이용한 외과 수술용 3d 안경 시스템 - Google Patents

증강현실을 이용한 외과 수술용 3d 안경 시스템 Download PDF

Info

Publication number
KR101647467B1
KR101647467B1 KR1020150079598A KR20150079598A KR101647467B1 KR 101647467 B1 KR101647467 B1 KR 101647467B1 KR 1020150079598 A KR1020150079598 A KR 1020150079598A KR 20150079598 A KR20150079598 A KR 20150079598A KR 101647467 B1 KR101647467 B1 KR 101647467B1
Authority
KR
South Korea
Prior art keywords
modeling
image
human body
position information
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150079598A
Other languages
English (en)
Inventor
김현성
황규민
윤홍원
Original Assignee
주식회사 메드릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메드릭스 filed Critical 주식회사 메드릭스
Priority to KR1020150079598A priority Critical patent/KR101647467B1/ko
Priority to PCT/KR2016/005868 priority patent/WO2016195401A1/ko
Application granted granted Critical
Publication of KR101647467B1 publication Critical patent/KR101647467B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부; 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부; 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부; 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및 안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하는 증강현실을 이용한 외과 수술용 3D 안경 시스템에 관한 것으로서, 인체 내부의 3D 모델, 인체에 삽입되는 수술 대상물 및 수술기구의 3D 모델을 3D 영상용 안경에 증강현실 영상으로 제공하는 것을 목적으로 한다.

Description

증강현실을 이용한 외과 수술용 3D 안경 시스템{3D SURGICAL GLASSES SYSTEM USING AUGMENTED REALITY}
본 발명은 증강현실을 이용한 외과 수술용 3D 안경 시스템에 관한 것으로, 더욱 상세하게는 증강현실 기능을 제공하는 3D 영상용 안경을 이용한 외과 수술용 3D 안경 시스템에 관한 것이다.
종래 전통적인 수술의 경우 환부의 절개를 통해 병변 부위를 육안으로 확인하며 수술하는데, 절개 부위의 시야를 확보하는 과정에서 근육 및 조직에 손상이 갈 뿐만 아니라 환자에게도 상당한 고통을 주며 수술 후 회복에도 상당한 시간을 필요로 한다.
이를 해결하기 위한 MIS(Minimally Invasive Surgery) 수술로서 C-arm(Portable X-ray)을 지속적으로 가동하여 임플란트 및 수술기구가 원하는 방향과 위치로 삽입되는지 확인하면서 수술하는 방법이 있으나, 수술 시 X-ray를 여러 차례 조사해야 하므로, 집도의 및 수술방 인력이 방사선에 노출되어 질병이 발생하는 문제가 있다.
또한, 최근의 발전된 기술로서는 3D CT(Computed Tomography) 영상을 수술방 모니터에 출력하여 수술시 이를 보면서 수술하는 방법인 3D surgical navigation system이 있다. 3D surgical navigation system의 경우는 수술 시 의사가 모니터를 통해 출력되는 3D CT 영상을 수시로 참고해야 하며, 수술실 장비의 구성이 복잡하고 수술설비 비용이 적지 않게 드는 문제가 있다.
상기의 수술 방법을 개선하기 위해서 최근에는 증강현실 기법을 접목하고 있다.
증강현실(Augmented Reality)이란 컴퓨터가 만들어낸 컴퓨터그래픽(CG)을 실세계와 공존시켜 마치 컴퓨터그래픽이 실세계에 존재하는 것처럼 느낄 수 있도록 하는 기술이다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 즉, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로 주로 HMD를 사용한다.
HMD란 Head Mounted Display의 약자로써 말 그대로 머리에 쓰는 디스플레이를 말하는 것으로서, 광학 기반(optical-based) HMD와 비디오 기반(video-based) HMD로 구분할 수 있다.
광학 기반 HMD는 실세계 영상을 편집 없이 바로 사용자에게 투영한다. 여기에 컴퓨터에 의해 생성된 가상 세계 영상이 합성된다. 광학 기반 HMD는 컴퓨터 시스템에 전달된 머리의 위치, 방향 정보를 이용해 부가정보를 생성하고, 반투과성 HMD에 부가 정보가 실환경 영상과 결합되어 표현된다.
비디오 기반 HMD의 경우 광학 기반 HMD와의 가장 큰 차이는 카메라가 존재한다는 점이다. 해당 HMD는 카메라를 통하여 실세계 영상을 취득한다. 이렇게 취득한 영상과 컴퓨터에 의해 생성된 가상 영상을 조합하여 합쳐진 영상을 HMD를 통해 사용자에게 표시한다.
공개특허 제2014-0112207호(증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템)는 환자에게 수술 동작을 수행하는 슬레이브 시스템, 상기 슬레이브 시스템의 수술 동작을 제어하는 마스터 시스템, 환자 신체 내부에 대한 가상 영상을 생성하는 영상 시스템 및 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함하는 증강현실 영상 표시 시스템에 관한 것이다.
공개특허 제2014-0112207호는 환자의 신체 또는 인체의 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하기 위해 카메라를 이용하고 있는데, 이 방법에 의하는 경우 HMD는 실세계 영상과 가상 영상을 혼합하는 과정에서 생길 수 있는 사용자 움직임에 대한 혼합 영상의 변화를 쫓아가지 못하는 지연현상이 발생할 수 있으며, 또한 카메라에 의한 calibration 문제에 대해서도 해결해야 하는 등의 많은 문제를 가지고 있다.
상기한 문제점을 해결하기 위한 것으로 본 발명은 환부의 절개를 최소화 할 수 있는 MIS 수술을 가능하게 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
또한, 인체 내부의 3D 모델, 인체에 삽입되는 수술 대상물인 임플란트 및 임플란트를 시술하는데 사용되는 수술기구의 3D 모델을 3D 영상용 안경에 증강현실 영상으로 제공할 수 있는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
또한, 3D 영상용 안경은 인체 내부 또는 피부 겉표면에 장착된 세 개 이상의 센서에서 위치정보를 수신하고, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점 각각을 센서의 각 위치에 일치시킴으로써 신체 내부에 대한 3D 모델링을 안경을 통해 투영되는 인체의 실제 영상에 정확히 일치시켜 표시할 수 있는 증강현실을 이용한 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
상기와 같이 본 발명은 종래의 비디오 기반 HMD를 이용하여 증강현실을 구현하는 경우 카메라를 통해 실세계 영상을 취득함으로 인해 실세계 영상과 가상 영상을 혼합하는 과정에서 발생하는 지연현상 및 카메라에 의한 calibration 문제를 해결하기 위한 것으로서, 환자의 실제 영상을 그대로 투영하는 광학 기반 HMD를 이용하며, 환자의 신체에 부착한 마커의 위치 및 크기 등을 카메라가 촬영한 영상정보에서 추출하는 방식이 아닌 인체 내부 또는 표면에 장착된 세 개 이상의 센서로부터 무선으로 위치정보를 수신하는 방식을 이용함으로써, 환자의 인체 내부 또는 표면에 장착된 센서에서 수신되는 위치정보를 이용하여 3D 안경알을 통해 그대로 투영되는 환자의 실영상에 인체 내부의 3D 모델링을 정확히 중첩시켜 증강현실 영상을 표현하는 외과 수술용 3D 안경 시스템을 제공하는데 목적이 있다.
상기한 목적을 달성하기 위한 본 발명은 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부; 상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부; 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부; 상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및 안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함한다.
또한, 상기 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 센서 위치정보를 전송하고, 상기 3D 모델링 저장 및 전송부는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경으로 전송할 수 있다.
또한, 상기 3D 모델링 저장 및 전송부는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있으며, 상기 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 상기 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경으로 전송할 수 있다.
또한, 상기 환부 기준점 센서부는 피부 겉표면에 부착되거나, 인체 내부에 삽입되어 장착될 수 있다.
또한, 상기 3D 영상용 안경은 광학 기반 HMD(Head Mounted Display)일 수 있다.
또한, 상기 3D 영상용 안경은 상기 3D 모델링 저장 및 전송부에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 상기 환부 기준점 센서부에서 전송되는 세 개 이상의 센서 위치정보를 수신하는 수신부; 상기 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장하는 저장부; 상기 저장부에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성하는 증강현실 영상생성부; 상기 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시하는 증강현실 영상표시부; 인체의 실제 영상을 촬영하는 카메라; 및 상기 카메라에서 촬영된 인체의 실제 영상과 증강현실 영상표시부에 표시되는 증강현실 영상을 합성하여 디스플레이장치로 전송하는 송신부;를 포함할 수 있다.
또한, 상기 3D 모델링 저장 및 전송부에서 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 전송하고, 상기 3D 영상용 안경은 저장부에 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 저장 후 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시할 수 있다.
또한, 상기 3D 영상용 안경에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 상기 3D 영상용 안경으로부터 수신하여 표시함으로써 3D 영상용 안경과 동일한 영상을 표시하는 디스플레이장치를 더 포함할 수 있다.
또한, 상기 신체 내부에 대한 3D 모델링은 3D CT(Computed Tomography) 데이터를 이용하여 생성될 수 있다.
또한, 상기 세 개 이상의 기준점은 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정될 수 있다.
또한, 상기 수술 대상물은 임플란트일 수 있다.
본 발명에 의하면, 3D 영상용 안경에 인체 내부의 3D 모델, 수술 대상물 및 수술기구의 3D 모델을 증강현실 영상으로 중첩하여 표시함으로써 환부의 절개를 최소화 하면서 동맥과 신경줄 같은 중요부위의 위치를 정확하게 파악하면서 수술이 가능하다.
또한, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착된 각각의 센서로부터 위치정보를 수신한 후 각각의 센서위치에 인체 내부에 대한 3D 모델링 생성시 설정된 세 개 이상의 기준점을 일치시켜 인체 내부에 대한 3D 모델링을 표시함으로써, 3D 영상용 안경을 통해 투영되는 인체의 실제 영상에 신체 내부에 대한 3D 모델링을 정확하게 중첩하여 표시할 수 있다.
또한, 인체 내부에 삽입된 수술 대상물 및 수술기구의 3D 모델링을 미리 생성하여 가지고 있으며, 수술 대상물(임플란트) 및 수술기구에서 전송되는 위치신호를 이용함으로써 수술 대상물 및 수술기구의 3D 모델링도 인체의 실제 영상에 정확하게 중첩하여 표시할 수 있다.
상기와 같이 본 발명에 의하면, 환자의 실영상을 3D 안경알을 통해 그대로 투영하는 광학 기반의 HMD를 이용하고, 환자의 인체 내부 또는 표면에 장착되는 센서로부터 3D 안경에 무선으로 수신되는 세 개 이상의 위치정보를 이용함으로써, 3D 안경알을 통해 그대로 투영되는 환자의 실영상에 인체 내부의 3D 모델링을 정확히 중첩시킬 수 있어, 종래의 기술에서 발생하는 지연현상 및 카메라에 의한 calibration 등의 문제를 말끔히 해결할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템의 블록도.
도 2는 3D 영상용 안경의 블록도.
도 3은 본 발명의 증강현실을 이용한 외과 수술용 3D 안경 시스템이 적용된 예시도.
도 4a는 인체의 겉표면에 부착된 환부 기준점 센서의 예시도.
도 4b는 인체 내부에 장착된 환부 기준점 센서의 예시도.
도 5는 인체 내부 척추뼈의 3D 모델링과 수술기구의 3D 모델링을 3D 영상용 안경을 통해 증강현실 영상으로 표시하는 모습을 나타낸 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대한 한정하려고 하는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하, 본 발명에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템의 구성을 첨부된 도면을 통해 상세하게 설명하면 다음과 같다.
도 1 내지 도 5를 참조하면, 본 발명에 의한 증강현실을 이용한 외과 수술용 3D 안경 시스템(100)은 제1센서부(10), 제2센서부(20), 3D 모델링 저장 및 전송부(30), 환부 기준점 센서부(40) 및 3D 영상용 안경(50)을 포함하고, 디스플레이장치(60)를 더 포함할 수 있다.
제1센서부(10)는 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송한다. 바람직하게는, 수술 대상물은 척추 수술 시 사용되는 임플란트를 말한다.
제2센서부(20)는 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송한다.
3D 모델링 저장 및 전송부(30)는 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경(50)으로 전송하고, 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 수술의가 착용하고 있는 3D 영상용 안경(50)으로 전송한다.
제1센서부(10) 및 제2센서부(20)는 각각 세 개 이상의 센서를 포함할 수 있다. 즉, 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 있으며, 수술 대상물 및 수술기구가 인체 내에서 이동할 때 주기적으로 위치정보를 전송하고, 3D 모델링 저장 및 전송부(30)는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송한다.
구체적으로, 3D 모델링 저장 및 전송부(30)는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있다. 별도의 3D 모델링 변환 프로그램을 이용하여 수술 대상물과 수술기구에 대한 3D 모델을 생성하여 저장부에 저장하고 있으며, 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송할 수 있다. 제1위치정보는 수술 대상물에 부착되는 세 개 이상의 센서가 전송하는 위치를 말하며, 제2위치정보는 수술기구에 부착되는 세 개 이상의 센서가 전송하는 위치를 말한다. 각각 세 개 이상의 센서가 전송하는 위치를 이용함으로써 수술 대상물 및 수술기구 3D 모델링의 정확한 위치 및 자세를 3D 영상용 안경(50)으로 전송할 수 있다.
환부 기준점 센서부(40)는 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송한다.
도 4a를 참조하면, 환부 기준점 센서부(40)가 세 개의 센서로 구성되고, 피부 겉표면에 부착되어 있으며, 도 4b를 참조하면, 환부 기준점 센서부(40)가 세 개의 센서로 구성되고, 인체 내부에 삽입되어 장착되어 있다. 환부 기준점 센서부(40)가 세 개의 센서로 구성된 것을 보여주고 있으나, 이에 한정되지 않으며 세 개 이상이면 무방하다. 세 개 이상으로 구성되어야 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 각각의 센서 위치에 일치시킴으로써 정확한 위치에 인체 내부에 대한 3D 모델링을 표현할 수 있다.
상기에서 설명하고 있는 수술 대상물에 부착된 세 개 이상의 센서가 전송하는 위치, 수술기구에 부착된 세 개 이상의 센서가 전송하는 위치, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점 및 피부의 겉표면 또는 인체 내부에 삽입되어 장착된 세 개 이상의 센서가 전송하는 위치 정보는 x, y, z의 3차원 위치좌표를 말한다.
처음에 신체 내부에 세 개 이상의 센서를 장착할 때 C-arm(Portable X-ray)을 이용하여 인체 내부에 장착되는 세 개 이상의 센서 위치를 확인하면서 장착한다. C-arm 을 이용하여 인체 내에 장착되는 각각의 센서 위치를 확인함으로써, 인체 내부에 대한 3D 모델링에 사전에 설정된 세 개 이상의 기준점과 동일한 위치에 장착이 가능하다. 환자의 피부 겉표면 또는 인체 내부에 장착되어 위치정보를 전송하는 센서(환부 기준점 센서부)는 종래 기술과 차별화되는 중요한 특징이다. 본 발명의 위치정보를 전송하는 센서는 종래 기술과 달리 환자의 신체 겉표면에 장착되는 마커와 다르며, 종래와 같이 마커를 카메라로 촬영하여 촬영된 영상에서 마커를 추출하는 방식이 아니다.
즉, 본 발명은 환자에 장착된 센서로부터 무선으로 전송되는 세 개 이상의 위치정보를 수신하고, 세 개 이상의 위치정보를 기준으로 하여 인체 내부에 대한 3D 모델링에 사전에 설정된 세 개 이상의 기준점을 일치시킴으로써 인체 내부에 대한 3D 모델링을 3D 영상용 안경(50)을 통해 투영되는 환자의 실영상에 정확히 일치시키는 것이 핵심이다. 이러한 방식에 의해 종래 기술의 문제점인 사용자의 움직임에 대한 혼합 영상의 변화를 쫓아가지 못하는 지연현상 및 카메라에 의한 calibration 등의 문제를 해결할 수 있는 것이다.
인체 내부에 대한 3D 모델링은 수술 전에 촬영된 3D CT(Computed Tomography) 데이터를 가지고 별도의 3D 모델링 변환 프로그램을 이용하여 생성한다.
3D 영상용 안경(50)은 안경알을 통해 투영된 인체의 실제 영상에 3D 모델링 저장 및 전송부(30)로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시한다.
세 개 이상의 기준점은 별도의 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정하는 것이 바람직하다.
본 발명의 3D 영상용 안경(50)은 시선이 향하는 곳이 다 보이는 광학 기반 HMD를 이용하는 것이 바람직하다. 광학 기반 HMD를 이용하는 점은 종래 기술과 다른 또 다른 차이점 중의 하나이다. 광학 기반 HMD를 이용함으로써 3D 영상용 안경(50)에 의사가 바라보는 환자의 실영상이 그대로 투영되어 나타난다. 환자의 영상을 카메라로 촬영하지 않는 점이 종래 발명과 차이가 있는 부분이다.
3D 영상용 안경(50)은 수신부(51), 저장부(52), 증강현실 영상생성부(53), 증강현실 영상표시부(54), 카메라(55) 및 송신부(56)를 포함한다.
수신부(51)는 3D 모델링 저장 및 전송부(30)에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 환부 기준점 센서부(40)에서 전송되는 세 개 이상의 센서 위치정보를 수신한다.
저장부(52)는 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장한다.
증강현실 영상생성부(53)는 저장부(52)에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성한다. 수술 대상물의 제1위치 및 수술기구의 제2위치가 변경될 때 마다 증강현실 영상에 표시되는 수술 대상물 및 수술기구의 위치도 변경될 것이다. 또한, 증강현실 영상생성부(53)는 3D 영상용 안경(50)을 착용한 사용자의 시선 방향 및 환자로부터의 거리가 변화됨에 따라 환부 기준점 센서부(40)에서 무선으로 수신한 세 개 이상의 위치에 인체 내부에 대한 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 정확히 일치시킨 상태에서 인체 내부 3D 모델링의 방향 및 크기(확대/축소)를 조절하여 생성한다.
증강현실 영상표시부(54)는 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시한다.
카메라(55)는 인체의 실제 영상을 촬영한다.
송신부(56)는 카메라(55)에서 촬영된 인체의 실제 영상과 증강현실 영상표시부(54)에 표시되는 증강현실 영상을 합성하여 디스플레이장치(60)로 전송함으로써, 3D 영상용 안경(50)을 착용하지 않은 다른 사람들도 3D 영상용 안경(50)에 나타나는 증강현실 영상과 같은 영상을 볼 수 있다. 카메라(55)는 종래 기술과 달리 인체의 실제 영상을 촬영하고 그 위에 인체 내부의 3D 모델링을 중첩하여 3D 영상용 안경(50)에 표시하기 위한 용도가 아니다. 단지, 디스플레이장치(60)로 인체의 실영상과 증강현실 영상을 합성하여 전송하기 위한 용도이다. 결국, 카메라(55)에서 촬영한 영상은 의사가 3D 영상용 안경(50)을 이용하여 수술 시에는 전혀 사용되지 않는다.
디스플레이장치(60)는 3D 영상용 안경(50)에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 3D 영상용 안경(50)으로부터 수신하여 표시함으로써 3D 영상용 안경(50)과 동일한 영상을 표시한다.
도 5를 참조하면, 3D 영상용 안경(50)의 증강현실 영상표시부(54)를 통해 인체 내부의 척추뼈(V)와 인체 내에 삽입되는 수술기구의 3D 모델링이 증강현실 영상으로 표현된 것을 보여준다.
도 3을 참조하면, 인체에 삽입되는 수술 대상물(임플란트)과 수술기구에 부착된 센서부(10, 20)에서 3D 모델링 저장 및 전송부(30)로 위치정보를 무선으로 전송한다(①). 3D 모델링 저장 및 전송부(30)는 컴퓨터 또는 의료용 서버를 이용하여 구축될 수 있다. 3D 모델링 저장 및 전송부(30)는 세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링, 수신한 위치에 해당하는 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경(50)에 무선으로 전송한다(②). 인체의 내부에 장착되거나, 피부 겉표면에 부착되는 환부 기준점 센서부(40)는 세 개 이상의 센서 위치정보를 3D 영상용 안경(50)에 무선으로 전송한다(③). 마지막으로, 3D 영상용 안경(50)에 표시되는 증강현실 영상은 디스플레이장치(60)로도 전송될 수 있다(④).
도 3에서 보는 바와 같이, 본 발명은 의사가 수술할 때 별도의 카메라에 의해 촬영된 영상이 제공되는 모니터를 보면서 수술하는 방식이 아니며, 의사가 착용한 3D 영상용 안경(50)에서 카메라로 환자의 영상을 촬영하는 방식도 아니다. 즉, 본 발명은 3D 영상용 안경(50)에 환자의 모습이 안경알을 통해 그대로 투영되는 방식을 이용하며, 그대로 투영되는 환자의 실제 모습에 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 것이다.
한편, 3D 모델링 저장 및 전송부(30)에서 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경(50)으로 전송하고, 3D 영상용 안경(50)은 저장부(52)에 제1위치정보와 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보와 해당하는 지점의 수술기구의 3D 모델링을 저장 후 인체에 장착된 세 개 이상의 센서(40) 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시할 수 있다.
3D 모델링 저장 및 전송부(30)에서 수술 대상물의 3D 모델링 및 위치를 수신하고 수술기구의 3D 모델링 및 위치를 수신하면, 인체에 장착된 세 개 이상의 센서, 즉 환부 기준점 센서부(40)의 위치를 기준으로 해당하는 위치에 수술 대상물 및 수술기구의 3D 모델링을 중첩적으로 표시하는 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 인체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착된 각각의 센서로부터 위치정보를 수신한 후 각각의 센서위치에 인체 내부에 대한 3D 모델링 생성시 설정된 세 개 이상의 기준점을 일치시켜 인체 내부에 대한 3D 모델링을 표시함으로써, 3D 영상용 안경을 통해 투영되는 인체의 실제 영상에 신체 내부에 대한 3D 모델링을 정확하게 중첩하여 표시할 수 있다.
10: 제1센서부 20: 제2센서부
30: 3D 모델링 저장 및 전송부 40: 환부 기준점 센서부
50: 3D 영상용 안경 51: 수신부
52: 저장부 53: 증강현실 영상생성부
54: 증강현실 영상표시부 55: 카메라
56: 송신부 60: 디스플레이장치
100: 증강현실을 이용한 외과 수술용 3D 안경 시스템

Claims (11)

  1. 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부;
    상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부;
    세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부;
    상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및
    안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하되,
    상기 3D 영상용 안경은
    상기 3D 모델링 저장 및 전송부에서 전송되는 신체 내부에 대한 3D 모델링, 수술 대상물의 3D 모델링, 수술기구의 3D 모델링을 수신하고, 상기 환부 기준점 센서부에서 전송되는 세 개 이상의 센서 위치정보를 수신하는 수신부;
    상기 수신한 신체 내부에 대한 3D 모델링 및 인체에 장착되는 세 개 이상의 센서 위치정보를 저장하는 저장부;
    상기 저장부에 저장된 세 개 이상의 센서 위치에 신체 내부 3D 모델링에 설정되어 있는 세 개 이상의 기준점을 각각 일치시키고, 추가적으로 제1위치에 수술 대상물의 3D 모델링을 위치시키고, 제2위치에는 수술기구의 3D 모델링을 위치시켜 증강현실 영상을 생성하는 증강현실 영상생성부;
    상기 생성된 증강현실 영상을 안경을 통해 투영된 인체의 실제 영상에 중첩하여 표시하는 증강현실 영상표시부;
    인체의 실제 영상을 촬영하는 카메라; 및
    상기 카메라에서 촬영된 인체의 실제 영상과 증강현실 영상표시부에 표시되는 증강현실 영상을 합성하여 디스플레이장치로 전송하는 송신부;를 포함하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  2. 제1항에 있어서,
    상기 수술 대상물 및 수술기구에는 각각 세 개 이상의 센서가 부착되어 센서 위치정보를 전송하고,
    상기 3D 모델링 저장 및 전송부는 수신한 센서 위치정보에 대응하는 지점의 수술 대상물 및 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  3. 제1항에 있어서,
    상기 3D 모델링 저장 및 전송부는 시술하고자 하는 수술 대상물과 수술기구에 대한 3D 모델링을 미리 저장하고 있으며, 상기 제1위치정보의 변화에 따른 해당 위치 수술 대상물의 3D 모델링 및 상기 제2위치정보의 변화에 따른 해당 위치 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  4. 제1항에 있어서,
    상기 환부 기준점 센서부는 피부 겉표면에 부착되거나, 인체 내부에 삽입되어 장착되는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  5. 제1항에 있어서,
    상기 3D 영상용 안경은 광학 기반 HMD(Head Mounted Display)인 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  6. 삭제
  7. 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부;
    상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부;
    세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부;
    상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및
    안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하되,
    상기 3D 모델링 저장 및 전송부에서 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링, 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 전송하고,
    상기 3D 영상용 안경은 저장부에 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 저장 후 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 제1위치에 수술 대상물의 3D 모델링을 중첩하여 표시하고, 제2위치에 수술기구의 3D 모델링을 중첩하여 표시하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  8. 제1항에 있어서,
    상기 3D 영상용 안경에 투영되는 인체의 실제 영상 및 이에 중첩하여 표시되는 3D 모델링을 상기 3D 영상용 안경으로부터 수신하여 표시함으로써 3D 영상용 안경과 동일한 영상을 표시하는 디스플레이장치를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  9. 제1항에 있어서,
    상기 신체 내부에 대한 3D 모델링은 3D CT(Computed Tomography) 데이터를 이용하여 생성된 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  10. 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부;
    상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부;
    세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부;
    상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및
    안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하되,
    상기 세 개 이상의 기준점은 3D 모델링 변환프로그램에 의해 생성된 신체 내부에 대한 3D 모델링에서 수술 대상물이 삽입되는 지점 부근에 설정되는 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
  11. 인체에 삽입되는 수술 대상물에 부착되어 제1위치정보를 전송하는 제1센서부;
    상기 수술 대상물을 인체에 시술하는데 사용되는 수술기구에 부착되어 제2위치정보를 전송하는 제2센서부;
    세 개 이상의 기준점이 설정된 신체 내부에 대한 3D 모델링을 3D 영상용 안경으로 전송하고, 상기 제1위치정보에 해당하는 지점의 수술 대상물의 3D 모델링 및 제2위치정보에 해당하는 지점의 수술기구의 3D 모델링을 3D 영상용 안경으로 전송하는 3D 모델링 저장 및 전송부;
    상기 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점과 동일한 위치의 인체에 동일한 개수로 장착되어 각각의 센서 위치정보를 전송하는 환부 기준점 센서부; 및
    안경알을 통해 투영된 인체의 실제 영상에 상기 3D 모델링 저장 및 전송부로부터 수신한 신체 내부에 대한 3D 모델링을 중첩하여 표시하고, 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하되, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점을 상기 동일한 개수의 센서 위치에 각각 일치시킴으로써, 상기 인체에 장착된 세 개 이상의 센서 위치를 기준으로 신체 내부에 대한 3D 모델링을 중첩하여 증강현실 영상을 표시하는 3D 영상용 안경;을 포함하되,
    상기 수술 대상물은 임플란트인 것을 특징으로 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템.
KR1020150079598A 2015-06-05 2015-06-05 증강현실을 이용한 외과 수술용 3d 안경 시스템 Active KR101647467B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150079598A KR101647467B1 (ko) 2015-06-05 2015-06-05 증강현실을 이용한 외과 수술용 3d 안경 시스템
PCT/KR2016/005868 WO2016195401A1 (ko) 2015-06-05 2016-06-02 증강현실을 이용한 외과 수술용 3d 안경 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079598A KR101647467B1 (ko) 2015-06-05 2015-06-05 증강현실을 이용한 외과 수술용 3d 안경 시스템

Publications (1)

Publication Number Publication Date
KR101647467B1 true KR101647467B1 (ko) 2016-08-11

Family

ID=56714292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079598A Active KR101647467B1 (ko) 2015-06-05 2015-06-05 증강현실을 이용한 외과 수술용 3d 안경 시스템

Country Status (2)

Country Link
KR (1) KR101647467B1 (ko)
WO (1) WO2016195401A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844175B1 (ko) 2017-01-04 2018-03-30 건양대학교산학협력단 증강현실을 이용한 운동치료 보조시스템
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
WO2019031658A1 (ko) * 2017-08-11 2019-02-14 서울대학교병원 치아교정용 가이드 시스템 및 이를 이용한 치아교정 가이드 방법
WO2019074169A1 (ko) * 2017-10-11 2019-04-18 주식회사 카이비전 움직임감지 증강현실 글라스
KR20190041048A (ko) * 2017-10-11 2019-04-22 주식회사 카이비전 움직임감지 증강현실 글라스
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR20200068239A (ko) * 2018-12-05 2020-06-15 주식회사 피치랩 증강현실장치를 이용하여 비침습뇌자극용 자극기를 위치시키는 방법
KR102175066B1 (ko) * 2019-10-15 2020-11-05 주식회사 메디씽큐 머리에 착용하는 의료용 3d 디스플레이 장치 및 이를 이용한 3d 디스플레이 방법
WO2020231157A1 (ko) * 2019-05-16 2020-11-19 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2021112312A1 (ko) * 2019-12-06 2021-06-10 서울대학교산학협력단 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR20220056702A (ko) 2020-10-28 2022-05-06 재단법인대구경북과학기술원 증강 현실 장치 및 증강 현실 장치의 동작 방법
KR20220133626A (ko) * 2021-03-25 2022-10-05 한상범 모발 이식용 모발 추출기
WO2024089564A1 (en) * 2022-10-28 2024-05-02 Covidien Lp Sensor-guided robotic surgery

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
WO2017160651A1 (en) 2016-03-12 2017-09-21 Lang Philipp K Devices and methods for surgery
CA3049662A1 (en) 2017-01-16 2018-07-19 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
CN110199357B (zh) 2017-01-17 2023-07-14 皇家飞利浦有限公司 提供背景叠加的增强现实介入系统
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
KR102099415B1 (ko) * 2018-02-23 2020-04-09 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US12211151B1 (en) 2019-07-30 2025-01-28 Onpoint Medical, Inc. Systems for optimizing augmented reality displays for surgical procedures
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080027256A (ko) * 2005-05-16 2008-03-26 인튜어티브 서지컬 인코포레이티드 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
KR20090093877A (ko) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 가상 터치 스크린을 갖는 위치추적 시스템
KR20130135476A (ko) * 2012-06-01 2013-12-11 의료법인 우리들의료재단 수술 유도영상 시스템 및 그 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598774B1 (ko) * 2009-10-01 2016-03-02 (주)미래컴퍼니 수술용 영상 처리 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080027256A (ko) * 2005-05-16 2008-03-26 인튜어티브 서지컬 인코포레이티드 최소침습 로봇수술 동안 센서 및/또는 카메라로부터 도출된데이터와의 융합에 의한 3차원 툴 추적을 수행하기 위한방법 및 시스템
KR20090093877A (ko) * 2008-02-29 2009-09-02 바이오센스 웹스터 인코포레이티드 가상 터치 스크린을 갖는 위치추적 시스템
KR20130135476A (ko) * 2012-06-01 2013-12-11 의료법인 우리들의료재단 수술 유도영상 시스템 및 그 방법
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844175B1 (ko) 2017-01-04 2018-03-30 건양대학교산학협력단 증강현실을 이용한 운동치료 보조시스템
WO2019031658A1 (ko) * 2017-08-11 2019-02-14 서울대학교병원 치아교정용 가이드 시스템 및 이를 이용한 치아교정 가이드 방법
WO2019074169A1 (ko) * 2017-10-11 2019-04-18 주식회사 카이비전 움직임감지 증강현실 글라스
KR20190041048A (ko) * 2017-10-11 2019-04-22 주식회사 카이비전 움직임감지 증강현실 글라스
KR102133219B1 (ko) * 2017-10-11 2020-07-14 주식회사 카이비전 움직임감지 증강현실 글라스
KR102056930B1 (ko) * 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR101898088B1 (ko) * 2017-12-27 2018-09-12 주식회사 버넥트 객체 추적기반의 프레임 영역 녹화 및 재생기술이 적용된 증강현실 시스템
KR20200068239A (ko) * 2018-12-05 2020-06-15 주식회사 피치랩 증강현실장치를 이용하여 비침습뇌자극용 자극기를 위치시키는 방법
KR102186551B1 (ko) * 2018-12-05 2020-12-03 주식회사 피치랩 증강현실장치를 이용하여 비침습뇌자극용 자극기를 위치시키는 방법
KR20200132174A (ko) * 2019-05-16 2020-11-25 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2020231157A1 (ko) * 2019-05-16 2020-11-19 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
KR102313319B1 (ko) * 2019-05-16 2021-10-15 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
KR102175066B1 (ko) * 2019-10-15 2020-11-05 주식회사 메디씽큐 머리에 착용하는 의료용 3d 디스플레이 장치 및 이를 이용한 3d 디스플레이 방법
WO2021112312A1 (ko) * 2019-12-06 2021-06-10 서울대학교산학협력단 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR102458276B1 (ko) 2020-06-18 2022-10-25 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR20220056702A (ko) 2020-10-28 2022-05-06 재단법인대구경북과학기술원 증강 현실 장치 및 증강 현실 장치의 동작 방법
KR20220133626A (ko) * 2021-03-25 2022-10-05 한상범 모발 이식용 모발 추출기
KR102539312B1 (ko) * 2021-03-25 2023-06-01 한상범 모발 이식용 모발 추출기
WO2024089564A1 (en) * 2022-10-28 2024-05-02 Covidien Lp Sensor-guided robotic surgery

Also Published As

Publication number Publication date
WO2016195401A1 (ko) 2016-12-08

Similar Documents

Publication Publication Date Title
KR101647467B1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
US12336771B2 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US12010285B2 (en) Augmented reality guidance for spinal surgery with stereoscopic displays
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
US11510750B2 (en) Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN109758230B (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
Chen et al. Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
US12053247B1 (en) System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
JP2020518423A (ja) 手術ナビゲーションシステム
JP2020511239A (ja) ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
CN111329553A (zh) 用于手术的装置与方法
CN110169821B (zh) 一种图像处理方法、装置及系统
CN107182200A (zh) 微创手术导航系统
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
Zhang et al. 3D augmented reality based orthopaedic interventions
Harders et al. Multimodal augmented reality in medicine
Zhang et al. From AR to AI: augmentation technology for intelligent surgery and medical treatments
Sauer et al. Augmented reality
KR20230013487A (ko) 3차원 수술계획 증강현실을 이용한 골절 수술 지원 시스템
De Mauro et al. Intraoperative navigation system for image guided surgery
Eck et al. Display technologies
CANGELOSI Image-Guided Surgery and Augmented Reality in Orthopaedic Surgery: a perspective on reducing Iatrogenic Nerve Damage in Elbow

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150605

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160520

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160708

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20160722

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160804

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160804

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200730

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220630

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240717

Start annual number: 9

End annual number: 9