[go: up one dir, main page]

KR102460821B1 - 증강 현실 장치 및 증강 현실 장치의 동작 방법 - Google Patents

증강 현실 장치 및 증강 현실 장치의 동작 방법 Download PDF

Info

Publication number
KR102460821B1
KR102460821B1 KR1020200141524A KR20200141524A KR102460821B1 KR 102460821 B1 KR102460821 B1 KR 102460821B1 KR 1020200141524 A KR1020200141524 A KR 1020200141524A KR 20200141524 A KR20200141524 A KR 20200141524A KR 102460821 B1 KR102460821 B1 KR 102460821B1
Authority
KR
South Korea
Prior art keywords
hmd
pattern
relationship
user
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200141524A
Other languages
English (en)
Other versions
KR20220056702A (ko
Inventor
이현기
최현석
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200141524A priority Critical patent/KR102460821B1/ko
Publication of KR20220056702A publication Critical patent/KR20220056702A/ko
Application granted granted Critical
Publication of KR102460821B1 publication Critical patent/KR102460821B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 장치 및 증강 현실 장치의 동작 방법이 개시된다. 증강 현실 장치는 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서가, 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 패턴 장치와 사용자의 눈 간의 제1 위치 관계를 산출하고, 마커가 배치된 공간 좌표계 정보에 기반하여 마커를 추적하는 위치 추적 장치와 마커가 표시하는 장치 간의 제2 위치 관계를 획득하고, 제1 위치 관계 및 제2 위치 관계에 기반하여, 사용자의 눈과 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하도록 구성될 수 있다.

Description

증강 현실 장치 및 증강 현실 장치의 동작 방법{AUGMENTED REALITY APPARATUS AND METHOD FOR OPERATING AUGMENTED REALITY APPARATUS}
본 발명은 사용자의 눈과 HMD(Head Mounted Display) 간의 캘리브레이션(calibration)을 통해, 사용자의 눈과 HMD 간의 위치 관계를 정확하게 산출하는 기술에 관한 것이다.
수술용 내비게이션 또는 진단 장비에서 환자의 상태를 직관적으로 확인하기 위한 방법으로, 증강현실의 도입이 이루어지고 있다. 직관적인 증강현실 구현에 있어서 예컨대, Head Mounted Display(HMD)의 사용이 보편화되고 있다.
가상현실(VR: Virtual Reality)과 달리 증강현실을 통해 객체(예컨대, 환자의 특정 부위)에 관한 가상의 장면(예컨대, CT/MR 또는 3D 복원된 객체의 가상 모델)이 객체(예컨대, 환자)와 오버레이(overlay)되기 위해서는 HMD와 객체 간의 캘리브레이션 외에, 사용자의 눈과 HMD 간의 캘리브레이션이 필요하다.
또한, 사용자마다 사용자의 눈과 HMD 간의 거리가 상이할 수 있으며, 이로 인해 객체와 가상의 장면 간의 오버레이 정도가 상이하게 되어, 사용자별로 맞춤형 캘리브레이션 수행이 요구될 수 있다.
선행기술(등록특허 제10-1647467호)에는 증강현실을 이용한 수술용 3D 안경을 개시하고 있으나, 사용자의 눈과 HMD 간의 캘리브레이션하는 구성을 개시하고 있지 않다.
따라서, 사용자의 눈과 HMD 간의 캘리브레이션을 통해, HMD를 이용한 증강현실을 정확하게 구현할 수 있는 기술이 필요하다.
선행기술: 한국 등록특허공보 등록특허 제10-1647467호(2016.08.04 등록)
본 발명의 일실시예는, 사용자의 눈과 HMD 간의 캘리브레이션을 통해, 사용자의 눈과 HMD 간의 위치 관계를 정확하게 산출하는 것을 목적으로 한다.
본 발명의 일실시예는, 사용자의 눈과 HMD 간의 위치 관계에 기초하여, HMD를 통해 사용자가 바라보는 객체와 사용자의 눈 간의 위치 관계를 산출하고, 이에 기반하여 가상 객체 이미지를 HMD의 프로젝트 화면에 투영하도록 함으로써, 가상 객체 이미지가 객체에 정확하게 오버레이되도록 하고, 사용자별로 맞춤형 증강현실을 구현할 수 있게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 사용자의 눈과 HMD 간의 위치 관계와 함께, 객체와 위치 추적 장치 간의 위치 관계 및 위치 추적 장치와 HMD 간의 위치 관계에 기초하여, 객체와 사용자의 눈 간의 위치 관계를 산출하되, 기설정된 시간이 경과하거나, 또는 객체가 기설정된 간격 이상 이동하는 경우, 객체와 위치 추적 장치 간의 위치 관계 및 위치 추적 장치와 HMD 간의 위치 관계를 업데이트 함으로써, 객체와 사용자의 눈 간의 위치 관계를 실시간 업데이트하는 것을 목적으로 한다.
본 발명의 일실시예는, 사용자의 눈과 HMD 간의 캘리브레이션을 통해, 사용자의 눈과 HMD 간의 위치 관계를 정확하게 산출하고, 이에 기초하여 가상 객체 이미지가 객체에 정확하게 오버레이되도록 객체 이미지를 HMD의 프로젝트 화면에 투영할 수 있게 하는 증강 현실 장치 및 증강 현실 장치의 동작 방법일 수 있다.
본 발명의 일실시예는, 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서가, 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 패턴 장치와 사용자의 눈 간의 제1 위치 관계를 산출하고, 마커가 배치된 공간 좌표계 정보에 기반하여 마커를 추적하는 위치 추적 장치와 마커가 표시하는 장치 간의 제2 위치 관계를 획득하고, 제1 위치 관계 및 제2 위치 관계에 기반하여, 사용자의 눈과 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하도록 구성되는, 증강 현실 장치일 수 있다.
또한, 본 발명의 일실시예는, 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 패턴 장치와 사용자의 눈 간의 제1 위치 관계를 산출하는 단계와, 마커가 배치된 공간 좌표계 정보에 기반하여 마커를 추적하는 위치 추적 장치와 마커가 표시하는 장치 간의 제2 위치 관계를 획득하는 단계와, 제1 위치 관계 및 제2 위치 관계에 기반하여, 사용자의 눈과 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하는 단계를 포함하는, 증강 현실 장치의 동작 방법일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 의하면, 사용자의 눈과 HMD 간의 캘리브레이션을 통해, 사용자의 눈과 HMD 간의 위치 관계를 정확하게 산출할 수 있다.
본 발명의 실시예들에 의하면, 사용자의 눈과 HMD 간의 위치 관계에 기초하여, HMD를 통해 사용자가 바라보는 객체와 사용자의 눈 간의 위치 관계를 산출하고, 이에 기반하여 가상 객체 이미지를 HMD의 프로젝트 화면에 투영하도록 함으로써, 가상 객체 이미지가 객체에 정확하게 오버레이되도록 하고, 사용자별로 맞춤형 증강현실을 구현할 수 있다.
본 발명의 실시예들에 의하면, 사용자의 눈과 HMD 간의 위치 관계와 함께, 객체와 위치 추적 장치 간의 위치 관계 및 위치 추적 장치와 HMD 간의 위치 관계에 기초하여, 객체와 사용자의 눈 간의 위치 관계를 산출하되, 기설정된 시간이 경과하거나, 또는 객체가 기설정된 간격 이상 이동하는 경우, 객체와 위치 추적 장치 간의 위치 관계 및 위치 추적 장치와 HMD 간의 위치 관계를 업데이트 함으로써, 객체와 사용자의 눈 간의 위치 관계를 실시간 업데이트할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강현실 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 증강현실 시스템 내 패턴 장치의 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 증강현실 장치에서 패턴 장치와 사용자의 눈 간의 위치 관계를 산출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 증강현실 장치에서 산출하는 시야각을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 증강현실 시스템의 다른 구성을 개략적으로 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 증강현실 시스템에서의 증강현실 구현 일례를 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 증강현실 시스템에서 사용되는 동차변환 행렬을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 증강 현실 장치의 동작 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명에서 사용하는 용어 '마커'는 마킹하는 장치로서, 마커가 표시하는 장치(또는, 객체) 상에 배치될 수 있다. 예를 들어, 마커는 장치에 물리적, 화학적 또는 전자기적인 방식으로 부착되어 배치될 수 있다.
마커는 마커가 배치된 장치(또는, 객체)의 위치 정보(예컨대, 위치, 방향)을 포함하는 신호를 전달하기 위하여 사용되는 구성을 의미할 수 있다. 여기서, 신호는 광 신호(예컨대, 적외선)일 수 있다.
본 발명에서 사용하는 A 구성과 B 구성의 위치 관계는 동차변환 행렬인 'H'로 표현될 수 있다. 예를 들어, HMD(에 배치된 마커)를 'HMD' 구성으로, 위치 추적 장치를 'T' 구성으로 나타낸다면, HMD와 위치 추적 장치 사이의 위치 관계는
Figure 112020114938417-pat00001
로 표현될 수 있다. 여기서, 위치 관계를 나타내는 'H'의 하한은 레퍼런스를 의미한다. 즉, HMD('HMD' 구성)와 위치 추적 장치('T' 구성) 사이의 위치 관계인
Figure 112020114938417-pat00002
는 HMD('HMD' 구성)의 위치를 기준으로 하는 위치 추적 장치('T' 구성)의 상대적인 위치를 나타낼 수 있다.
위치 관계에 사용되는 동차변환 행렬인 'H'는 [수학식 1]의 형태일 수 있다.
Figure 112020114938417-pat00003
여기서, R은 회전 행렬(Rotation matrix)이고, t는 이동 벡터(translation vector)이다.
즉, 동차변환 행렬은 회전 행렬(R, 좌측의 3x3 행렬)과 이동 벡터(t, 우측 3x1 행렬)로 구성될 수 있다. 여기서, 회전행렬(R)은 x-y-z 오일러(Euler) 행렬로 표현될 수 있다.
본 발명의 증강 현실 장치는 위치 관계 대상이 되는 제1 지점의 좌표(x, y, z )와 제2 지점의 좌표(x, y, z)에 기초하여, R, t를 산출할 수 있다. 예컨대, 증강 현실 장치는 HMD(에 배치된 마커)의 좌표와 위치 추적 장치의 좌표에 기초하여 HMD와 위치 추적 장치 간의 위치 관계를 산출할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강현실 시스템의 구성을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 시스템(100)은 HMD(Head Mounted Display)(110), 패턴 장치(120), 위치 추적 장치(130) 및 증강 현실 장치(140)를 포함할 수 있다. 여기서, HMD(110), 패턴 장치(120) 및 위치 추적 장치(130)는 기설정된 간격 이내에 배치될 수 있다.
HMD(110)는 사용자에 의해 착용되어, 객체(예컨대, 환자의 특정 부위)에 대한 증강현실을 구현하는데 활용될 수 있다.
HMD(110)는 복수의 마커(marker)가 배치될 수 있으며, 복수의 마커를 통해 위치 추적 장치(130)에서 발생된 신호를 반사시킬 수 있다.
패턴 장치(120)는 복수의 마커가 배치될 수 있으며, 복수의 마커를 통해 위치 추적 장치(130)에서 발생된 신호를 반사시킬 수 있다. 또한, 패턴 장치(120)는 기설정된 패턴을 제공할 수 있으며, 기설정된 패턴 내 기설정된 복수의 지점에 대해 3차원 좌표를 설정할 수 있다. 이때, 패턴 장치(120)는 패턴 내 기설정된 복수의 지점에 대한 3차원 좌표를 증강 현실 장치(140)에 전송할 수 있다.
패턴 장치(120)는 예컨대, 도 2에 도시된 바와 같이 측면에 위치 추적이 가능하도록 복수의 마커(예컨대, 3개 이상의 마커)(121)가 배치될 수 있다. 또한, 패턴 장치(120)는 예컨대, 체스판 형태의 패턴(123)을 제공할 수 있으며, 패턴에 포함되는 사각형의 코너 부분에 해당하는 각 지점(X1, X2,…, Xn)에 대해 3차원 좌표를 설정할 수 있다. 이때, 패턴 장치(120)는 복수의 마커의 좌표계{P}를 기준으로, 상기 각 지점에 대해 3차원 좌표를 설정할 수 있다.
위치 추적 장치(130)는 HMD(110) 및 패턴 장치(120)에 각각 배치된 복수의 마커를 추적할 수 있다. 이를테면 위치 추적 장치(130)는 마커로부터 반사된 광 신호를 이용하여 마커를 추적할 수 있다. 위치 추적 장치(130)는 광 신호를 출력하는 발광 소자(예를 들어 LED)를 포함할 수 있다. 위치 추적 장치(130)는 복수의 마커부터 반사된 광 신호를 감지하는 광 센서를 포함할 수 있다.
위치 추적 장치(130)는 마커가 표시하는 장치로 신호를 발생하고, 신호를 수신한 장치로부터 반사된 신호를 수신할 수 있다.
구체적으로, 위치 추적 장치(130)는 신호를 발생시킬 수 있으며, 신호를 수신한 HMD(110) 및 패턴 장치(120) 중 적어도 하나로부터 반사된 신호를 수신할 수 있다. 이때, 위치 추적 장치(130)는 수신된 신호(예컨대, HMD(110)의 위치 정보를 포함하는 신호, 패턴 장치(120)의 위치 정보를 포함하는 신호)를 위치 추적 장치(130)의 위치 정보(예컨대, 위치, 방향)와 함께, 증강 현실 장치(140)에 전송할 수 있으나, 이에 한정되지 않고 증강 현실 장치(140)에 위치 추적 장치(130)의 위치 정보가 존재하는 경우, 상기 수신된 신호만을 증강 현실 장치(140)에 전송할 수 있다.
위치 추적 장치(130)는 장치로부터 반사된 신호(장치의 위치 정보를 포함하는 신호)를 증강 현실 장치(140)에 제공함으로써, 증강 현실 장치(140)에서 상기 신호에 기초하여 위치 추적 장치(130)와 장치 간의 위치 관계를 산출하도록 하거나, 또는 반사된 신호에 기초하여 위치 추적 장치(130)와 장치 간의 위치 관계를 산출한 후, 증강 현실 장치(140)에 제공할 수 있다.
증강 현실 장치(140)는 하나 이상의 프로세서를 포함하고, 프로세서를 통해 사용자의 눈과 사용자가 착용한 HMD 간의 위치 관계(
Figure 112020114938417-pat00004
)를 산출할 수 있다. 이로써, 증강 현실 장치(140)는 추후 객체에 대한 증강 현실 구현시, 사용자의 눈과 HMD 간의 위치 관계에 기초하여 사용자의 눈과 객체 간의 위치 관계를 산출하도록 함에 따라, 사용자의 눈과 객체 간의 위치 관계에 기초하여 가상 객체 이미지가 객체에 정확하게 오버레이되도록 하는 환경을 마련할 수 있다.
사용자의 눈과 HMD(110) 간의 위치 관계를 산출하기 위해 먼저, 증강 현실 장치(140) 내 프로세서는 HMD의 프로젝트 화면과 기준 위치(설정된 위치)에 배치된 패턴 장치(120)의 패턴 간의 투영 관계에 기반하여, 패턴 장치(120)와 사용자의 눈 간의 제1 위치 관계(
Figure 112020114938417-pat00005
)를 산출할 수 있다. 이때, 증강 현실 장치(140) 내 프로세서는 패턴 장치(120)에서 제공하는 기설정된 패턴이 HMD(110)의 프로젝트 화면에 표시되고, HMD(110)의 프로젝트 화면에서 패턴의 기설정된 지점이 선택되면, 선택된 지점에 대한 프로젝트 화면에서의 2차원 좌표 및 선택된 지점에 대한 패턴의 3차원 좌표 간의 매핑 관계에 기초하여, 상기 투영 관계를 산출할 수 있다. 여기서, 선택된 지점에 대한 패턴의 3차원 좌표는 패턴 장치(120)에 배치된 마커의 공간 좌표계에서의 선택된 지점의 좌표를 나타낼 수 있다.
이때, 패턴은 프로젝트 화면에서의 2차원 좌표 및 패턴 장치(120)에서 설정된 3차원 좌표 간의 매핑 관계에 기초하여 눈 보정을 수행하기 위한 캘리브레이션 패턴을 포함할 수 있다.
또한, 증강 현실 장치(140) 내 프로세서는 복수의 마커가 배치된 공간 좌표계 정보에 기반하여 복수의 마커를 추적하는 위치 추적 장치(130)와 복수의 마커가 표시하는 장치(예컨대, 패턴 장치, HMD) 간의 제2 위치 관계를 획득할 수 있다. 이때, 증강 현실 장치(140) 내 프로세서는 복수 개의 마커로부터 반사된 신호에 기반하여 위치 추적 장치(130)와 복수 개의 마커가 표시하는 장치 간의 제2 위치 관계를 산출할 수 있다. 증강 현실 장치(140) 내 프로세서는 복수 개의 마커로부터 반사된 신호와 위치 추적 장치(130)의 위치 정보를 위치 추적 장치(130)로부터 수신하고, 수신된 신호와 위치 추적 장치(130)의 위치 정보에 기초하여 제2 위치 관계를 산출하거나, 또는 위치 추적 장치(130)에 의해 산출된 제2 위치 관계를 위치 추적 장치(130)로부터 수신할 수 있다.
여기서, 마커가 표시하는 장치는 패턴 장치(120)를 포함할 수 있으며, 증강 현실 장치(140) 내 프로세서는 제2 위치 관계로서, 패턴 장치(120)와 위치 추적 장치(130) 간의 패턴_추적 위치 관계(
Figure 112020114938417-pat00006
)를 산출할 수 있다. 구체적으로, 증강 현실 장치(140) 내 프로세서는 위치 추적 장치(130)에서 발생된 신호가 패턴 장치(120)에 배치된 복수의 마커에 의해 반사되어 위치 추적 장치(130)에 수신되면, 위치 추적 장치(130)로부터 상기 신호를 수신하고, 상기 수신된 신호로부터 패턴 장치(120)의 위치 정보를 추출하며, 패턴 장치(120)의 위치 정보와 위치 추적 장치(130)의 위치 정보에 기초하여, 패턴 장치(120)와 위치 추적 장치(130) 간의 패턴_추적 위치 관계(
Figure 112020114938417-pat00007
)를 산출할 수 있다.
마커가 표시하는 장치는 HMD(110)를 더 포함할 수 있으며, 증강 현실 장치(140) 내 프로세서는 제2 위치 관계로서, 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00008
)를 더 산출할 수 있다. 구체적으로, 증강 현실 장치(140) 내 프로세서는 위치 추적 장치(130)에서 발생된 신호가 HMD(110)에 배치된 복수의 마커에 의해 반사되어 위치 추적 장치(130)에 수신되면, 위치 추적 장치(130)로부터 상기 신호를 수신하고, 상기 수신된 신호로부터 HMD(110)의 위치 정보를 추출하며, 위치 추적 장치(130)의 위치 정보와 HMD(110)의 위치 정보에 기초하여, 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00009
)를 산출할 수 있다.
이후, 증강 현실 장치(140) 내 프로세서는 패턴 장치(120)와 사용자의 눈 간의 제1 위치 관계(
Figure 112020114938417-pat00010
), 제2 위치 관계(패턴 장치(120)와 위치 추적 장치(130) 간의 패턴_추적 위치 관계(
Figure 112020114938417-pat00011
), 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00012
))에 기초하여, 사용자의 눈과 HMD(110) 간의 제3 위치 관계(
Figure 112020114938417-pat00013
)를 산출할 수 있다. 이때, 증강 현실 장치(140) 내 프로세서는 [수학식 2]에 의해, 사용자의 눈과 HMD(110) 간의 제1 위치 관계를 산출할 수 있다.
Figure 112020114938417-pat00014
여기서,
Figure 112020114938417-pat00015
는 패턴 장치(120)와 사용자의 눈 간의 제1 위치 관계를 의미하고,
Figure 112020114938417-pat00016
는 패턴 장치(120)와 위치 추적 장치(130) 간의 패턴_추적 위치 관계를 의미하며,
Figure 112020114938417-pat00017
는 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계를 의미할 수 있다.
실시예에서, 증강현실 시스템(100)은 양측 눈 각각에 대한 캘리브레이션을 지원할 수 있으며, 이를 위해 증강 현실 장치(140) 내 프로세서는 패턴 장치(120)와 사용자의 우측 눈 간의 위치 관계(
Figure 112020114938417-pat00018
) 및 패턴 장치(120)와 사용자의 좌측 눈 간의 위치 관계(
Figure 112020114938417-pat00019
)를 산출하고, 패턴 장치(120)와 사용자의 우측 눈 간의 위치 관계 및 패턴 장치(120)와 사용자의 좌측 눈 간의 위치 관계에 각각 기초하여, 사용자의 우측 눈과 HMD(110) 간의 위치 관계(
Figure 112020114938417-pat00020
) 및 사용자의 좌측 눈과 HMD(110) 간의 위치 관계(
Figure 112020114938417-pat00021
)를 산출할 수 있다.
도 3은 본 발명의 일실시예에 따른 증강현실 장치에서 패턴 장치와 사용자의 눈 간의 위치 관계를 산출하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 사용자는 HMD(310)의 프로젝트 화면(렌즈)과 패턴 장치에서 제공하는 기설정된 패턴(예컨대, 체스판 형태의 패턴)을 겹쳐서 바라볼 수 있다.
이때, 증강현실 장치(도시하지 않음)는 HMD(310)의 프로젝트 화면에서 표시되는 패턴의 기설정된 지점이 선택되면, 선택된 지점에 대한 프로젝트 화면에서의 2차원 좌표 및 선택된 지점에 대한 패턴의 3차원 좌표 간의 매핑 관계에 기초하여, HMD(310)의 프로젝트 화면과 패턴 장치의 패턴 간의 투영 관계를 산출하고, 패턴 장치와 사용자의 눈 간의 위치 관계(
Figure 112020114938417-pat00022
)를 산출할 수 있다.
이를 위해, 먼저 사용자는 예컨대, 입력 장치(예컨대, 마우스, 조이스틱 등)을 이용하여 HMD(310)의 프로젝트 화면에 표시되는 패턴의 기설정된 지점(예컨대, 패턴에 포함되는 사각형의 코너 부분)을 클릭할 수 있다. 여기서, HMD(310)는 예컨대, 무선 통신으로 연결된 입력 장치로부터 패턴 내 지점이 선택되면, 선택된 지점의 2차원 좌표(xi)를 증강현실 장치에 전송할 수 있다.
HMD(310)로부터 패턴 내 선택된 지점의 2차원 좌표(xi)를 수신한 증강현실 장치는 패턴 내 선택된 지점의 2차원 좌표(xi)와 패턴 장치로부터 수신한 패턴 내 해당 지점의 3차원 좌표(Xi) 간의 투영 관계에 기초하여 패턴 장치와 사용자의 눈 간의 위치 관계를 산출할 수 있다. 여기서, 선택된 지점의 2차원 좌표(xi)와 코너 부분(예컨대, 코너점)의 3차원 좌표(Xi)는 1:1로 매칭될 수 있다.
선택된 지점의 2차원 좌표(xi)와 선택된 지점의 3차원 좌표(Xi) 간의 투영 관계는 [수학식 3]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00023
여기서, K는 intrinsic matrix이고, R은 좌표 프레임(coordinate frame) {O}와 {P}의 rotation이며, t는 translation 관계이다. 이때, {O}는 사람의 눈이 중심인 좌표계이고, {P}는 패턴의 마커 좌표계이다. {O}는 우측 눈일 경우, {O1}이고, 좌측 눈일 경우, {O2}일 수 있다.
실시예에서, 증강현실 장치는 이미 공지된 Zhang의 방법(Zhang, Zhengyou. "A flexible new technique for camera calibration."　IEEE Transactions on pattern analysis and machine intelligence　22.11 (2000))에 개시된 카메라 캘리브레이션 기법을 사용하여, [수학식 3]을 계산할 수 있으며, 그 결과 intrinsic parameters(K), extrinsic parameters(R, t)를 획득할 수 있다.
증강현실 장치는 획득한 R, t를 상기 [수학식 1]의 형태의 동차변환 행렬(Homogeneous transformation matrix)로 구성하고, 구성된 동차변환 행렬로부터 패턴 장치와 사용자의 눈 간의 위치 관계([R|t]=
Figure 112020114938417-pat00024
)를 산출할 수 있다.
또한, 상기 [수학식 3]을 통해 획득된 K는 [수학식 4]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00025
K는 초점거리(focal length: f)와 주점(principal point: cx, cy)으로 구성될 수 있다.
또한, 증강현실 장치는 f를 이용해 사용자의 시야각을 계산할 수 있다. f는 일반적으로 픽셀(pixel) 단위이다.
시야각(θ)은 도 4에 도시된 바와 같이, 시야의 범위와 그 각도를 의미하는 것으로, [수학식 5]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00026
여기서, f는 HMD의 프로젝트 화면과 사용자의 눈 간의 초점거리이고, h는 HMD의 프로젝트 화면의 세로 해상도이다.
즉, 증강현실 장치는 HMD(310)의 프로젝트 화면과 패턴 장치의 패턴 간의 투영 관계에 기초하여 HMD(310)의 프로젝트 화면에 대한 사용자의 시야각을 산출할 수 있다.
일 예에서, 증강현실 장치는 산출된 사용자의 시야각 정보에 기반하여 HMD(310)의 프로젝트 화면의 시야각을 조정할 수 있다.
실시예에서, 증강현실 장치는 양측 눈 각각에 대한 캘리브레이션 지원을 위해, [수학식 3]에 기초하여 사용자의 우측 눈에 관련한 R1, t1 및 좌측 눈 관련한 R2, t2를 각각 획득하고, R1, t1 및 R2, t2를 [수학식 1]에 각각 적용하여, 패턴 장치와 사용자의 우측 눈 간의 위치 관계(
Figure 112020114938417-pat00027
) 및 패턴 장치와 사용자의 좌측 눈 간의 위치 관계(
Figure 112020114938417-pat00028
)를 산출할 수 있다.
도 5는 본 발명의 일실시예에 따른 증강현실 시스템의 다른 구성을 개략적으로 도시한 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 증강현실 시스템(500)은 HMD(110), 객체(520), 위치 추적 장치(130) 및 증강 현실 장치(140)를 포함할 수 있다. 증강현실 시스템(500)의 기본적인 구성은 도 1을 참조하여 설명한 증강현실 시스템(100)의 구성과 동일하므로, 그 내용은 생략한다.
다만, 증강현실 시스템(500)은 패턴 장치 대신에 객체(예컨대, 환자의 목 또는 머리)(520)를 포함할 수 있으며, 객체(520)를 중심으로 증강 현실 구현 과정을 설명한다.
증강 현실 장치(140) 내 프로세서는 사용자의 눈과 사용자가 착용한 HMD 간의 제3 위치 관계(
Figure 112020114938417-pat00029
)에 기초하여 HMD를 통해 사용자가 바라보는 객체에 대한 사용자의 눈의 제4 위치 관계(
Figure 112020114938417-pat00030
)를 산출할 수 있다. 여기서, 사용자의 눈과 HMD 간의 제3 위치 관계는 도 1을 참조하여 설명한 바와 같이, 증강현실 시스템(100) 내 증강 현실 장치(140)에 의해 미리 산출될 수 있다.
구체적으로, 증강 현실 장치(140) 내 프로세서는 사용자의 눈과 HMD(110) 간의 제3 위치 관계(
Figure 112020114938417-pat00031
)와 함께, 객체(520)와 위치 추적 장치(130) 간의 객체_추적 위치 관계(
Figure 112020114938417-pat00032
)(예컨대, 도 1에서 산출된 패턴_추적 위치 관계(
Figure 112020114938417-pat00033
)), 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00034
)에 기초하여, 객체(520)와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00035
)를 산출할 수 있다. 이때, 증강 현실 장치(140) 내 프로세서는 [수학식 6]에 의해, 객체(520)와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00036
)를 산출할 수 있다.
Figure 112020114938417-pat00037
여기서,
Figure 112020114938417-pat00038
는 객체(520)와 위치 추적 장치(130) 간의 객체_추적 위치 관계이고,
Figure 112020114938417-pat00039
는 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계이며,
Figure 112020114938417-pat00040
는 사용자의 눈과 HMD(110) 간의 제3 위치 관계이다.
증강 현실 장치(140) 내 프로세서는 객체와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00041
)에 기반하여 가상 객체 이미지를 HMD(110)의 프로젝트 화면에 투영함으로써, HMD(110)와 객체 간의 거리(또는, 위치 관계에 기반하여, 가상 객체 이미지를 투영하는 기존의 방법과 달리, HMD(110)를 통해 사용자가 바라보는 객체에 가상 객체 이미지가 정확하게 오버레이되도록 한다. 여기서, 가상 객체 이미지는 촬영 수단(예컨대, CT, MR)을 통해 객체를 촬영한 영상일 수 있다. 사용자는 객체에 정확하게 오버레이된 가상 객체 이미지에 기초하여 객체의 내부를 직관적으로 파악하고, 객체 수술이 필요할 경우 보다 용이하게 실시할 수 있다.
예컨대, 객체가 환자의 머리일 경우, 사용자는 HMD(110)를 통해 사용자가 바라보는 환자의 머리(예컨대, 외부에서 보이는 두피를 포함한 머리 형태)에 정확하게 오버레이된 환자의 머리의 가상 객체 이미지(예컨대, 환자의 머리 내 두개골의 가상 객체 이미지)를 볼 수 있다. 이에 따라 사용자는 환자의 머리 수술시 정확한 부위 절개 등을 용이하게 수행할 수 있다.
또한, 증강 현실 장치(140) 내 프로세서는 사용자의 눈과 객체 간의 제4 위치 관계를 산출한 시점을 기준으로 기설정된 시간이 경과하거나, 또는 객체(또는, 사용자)가 기설정된 간격 이상 이동하는 것으로 확인됨에 기초하여, 제2 위치 관계(즉, 객체(520)와 위치 추적 장치(130) 간의 객체_추적 위치 관계(
Figure 112020114938417-pat00042
), 위치 추적 장치(130)와 HMD(110) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00043
))를 업데이트하고, 업데이트된 제2 위치 관계 및 사용자의 눈과 HMD(110) 간의 제3 위치 관계(
Figure 112020114938417-pat00044
)에 기초하여 업데이트된 제4 위치 관계를 산출할 수 있다. 이로써, 증강 현실 장치(140)는 시간의 흐름 또는 사용자와 객체 간의 거리 변화에 무관하게, 객체와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00045
)를 산출함으로써, HMD(110)를 통해 사용자가 바라보는 객체에 가상 객체 이미지가 항상 정확하게 오버레이되도록 한다.
도 6은 본 발명의 일실시예에 따른 증강현실 시스템에서의 증강현실 구현 일례를 설명하기 위한 도면이다.
도 6을 참조하면, 증강현실 시스템은 HMD(610), 객체(630)(예컨대, 환자의 목), 위치 추적 장치(도시하지 않음) 및 증강 현실 장치(도시하지 않음)를 포함할 수 있다.
증강 현실 장치는 사용자의 눈과 HMD(610) 간의 위치 관계(
Figure 112020114938417-pat00046
), 객체(630)와 위치 추적 장치 간의 객체_추적 위치 관계(
Figure 112020114938417-pat00047
), 위치 추적 장치와 HMD(610) 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00048
)에 기초하여, 객체(630)와 사용자의 눈 간의 위치 관계(
Figure 112020114938417-pat00049
)를 산출할 수 있다.
증강 현실 장치는 객체(630)와 사용자의 눈 간의 위치 관계(
Figure 112020114938417-pat00050
)에 기반하여 가상 객체 이미지(640)(예컨대, 3D 오브젝트)를 HMD(610)의 프로젝트 화면에 투영함으로써, HMD(610)를 통해 사용자가 바라보는 객체(630)에 가상 객체 이미지(640)가 오버레이되도록 한다. 이때, 증강 현실 장치는 객체(630)와 사용자의 눈 간의 위치 관계에 기초하여 가상 공간을 생성하고, 가상 공간에서 사용자의 눈에 대응하는 위치에 가상 카메라의 위치를 선정하며, 선정된 가상 카메라의 위치에서 가상 객체 이미지(640)를 HMD(610)의 프로젝트 화면에 투영함으로써, 증강 현실을 구현할 수 있다.
이하, 본 발명의 일실시예에 따른 증강현실 시스템에서 사용하는 동차변환 행렬에 대해 자세히 설명한다.
동차변환 행렬에 포함되는 회전 행렬(Rotation matrix)에 대해, x축을 기준으로 회전했을 때의 회전 변환(Rx(θ)), y축을 기준으로 회전했을 때의 회전 변환(Ry(θ)) 및 z축을 기준으로 회전했을 때의 회전 변환(Rz(θ))은 [수학식 7]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00051
x, y, z축 모두에 관한 변환은 [수학식 8]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00052
예컨대, 임의의 지점에 대해, z축으로 30도 회전 후 y축으로 -45도 회전하는 회전 행렬을 적용한 결과, 임의의 지점은 도 7a에 도시된 바와 같이, 회전할 수 있다.
또한, 임의의 지점에 대해, z축으로 30도 회전 후 y축으로 -45도 회전하는 회전 행렬과 함께, x축으로 50, y축으로 30, z축으로 10을 갖는 이동 벡터가 포함된 동차변환 행렬을 적용한 결과, 임의의 지점은 도 7b에 도시된 바와 같이, 회전하면서 이동할 수 있다.
이때, 동차변환 행렬은 [수학식 9]에 의해 나타낼 수 있다.
Figure 112020114938417-pat00053
여기서, 동차변환 행렬에 이동 벡터가 포함된 경우, 임의의 지점에 대해 이동 벡터가 먼저 수행되어 임의의 지점을 이동시키고, 이후 회전 행렬이 수행되어 상기 이동된 임의의 지점을 회전시킬 수 있다.
도 8은 본 발명의 일실시예에 따른 증강 현실 장치의 동작 방법을 도시한 흐름도이다.
도 8을 참조하면, 단계 S810에서, 증강 현실 장치는 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 패턴 장치와 사용자의 눈 간의 제1 위치 관계를 산출할 수 있다.
여기서, 증강 현실 장치는 패턴이 HMD의 프로젝트 화면에 표시되고, HMD의 프로젝트 화면에서 패턴의 기설정된 지점이 선택되면, 선택된 지점에 대한 프로젝트 화면에서의 2차원 좌표 및 선택된 지점에 대한 패턴의 3차원 좌표 간의 매핑 관계에 기초하여 투영 관계를 산출할 수 있다.
단계 S820에서, 증강 현실 장치는 복수의 마커가 배치된 공간 좌표계 정보에 기반하여 복수의 마커를 추적하는 위치 추적 장치와 마커가 표시하는 장치 간의 제2 위치 관계를 획득할 수 있다. 이때, 증강 현실 장치는 복수 개의 마커로부터 반사된 신호에 기반하여 위치 추적 장치와 복수 개의 마커가 표시하는 장치 간의 제2 위치 관계를 산출할 수 있다.
여기서, 마커가 표시하는 장치는 패턴 장치를 포함할 수 있으며, 증강 현실 장치는 제2 위치 관계로서, 패턴 장치와 위치 추적 장치 간의 패턴_추적 위치 관계(
Figure 112020114938417-pat00054
)를 산출할 수 있다. 구체적으로, 증강 현실 장치는 위치 추적 장치에서 발생된 신호가 패턴 장치에 배치된 복수의 마커에 의해 반사되어 위치 추적 장치에 수신되면, 위치 추적 장치로부터 상기 신호를 수신하고, 상기 수신된 신호로부터 패턴 장치의 위치 정보를 추출하며, 패턴 장치의 위치 정보와 위치 추적 장치의 위치 정보에 기초하여, 패턴 장치와 위치 추적 장치 간의 패턴_추적 위치 관계(
Figure 112020114938417-pat00055
)를 산출할 수 있다.
마커가 표시하는 장치는 HMD를 더 포함할 수 있으며, 증강 현실 장치는 제2 위치 관계로서, 위치 추적 장치와 HMD 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00056
)를 더 산출할 수 있다. 구체적으로, 증강 현실 장치는 위치 추적 장치에서 발생된 신호가 HMD에 배치된 복수의 마커에 의해 반사되어 위치 추적 장치에 수신되면, 위치 추적 장치로부터 상기 신호를 수신하고, 상기 수신된 신호로부터 HMD의 위치 정보를 추출하며, 위치 추적 장치의 위치 정보와 HMD의 위치 정보에 기초하여, 위치 추적 장치와 HMD 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00057
)를 산출할 수 있다.
단계 S830에서, 증강 현실 장치는 제1 위치 관계 및 제2 위치 관계에 기반하여, 사용자의 눈과 사용자가 착용한 HMD 간의 제3 위치 관계를 산출할 수 있다.
단계 S840에서, 증강 현실 장치는 제3 위치 관계에 기반하여 HMD를 통해 사용자가 바라보는 객체에 대한 사용자의 눈의 제4 위치 관계(
Figure 112020114938417-pat00058
)를 산출할 수 있다.
구체적으로, 증강 현실 장치는 사용자의 눈과 HMD 간의 제3 위치 관계(
Figure 112020114938417-pat00059
)와 함께, 객체와 위치 추적 장치 간의 객체_추적 위치 관계(
Figure 112020114938417-pat00060
)(예컨대, 패턴_추적 위치 관계(
Figure 112020114938417-pat00061
)), 위치 추적 장치와 HMD 간의 추적_HMD 위치 관계(
Figure 112020114938417-pat00062
)에 기초하여, 객체와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00063
)를 산출할 수 있다.
단계 S850에서, 증강 현실 장치는 제4 위치 관계에 기반하여 가상 객체 이미지를 HMD의 프로젝트 화면에 투영함으로써, HMD를 통해 사용자가 바라보는 객체에 가상 객체 이미지가 정확하게 오버레이되도록 함으로써, 사용자로 하여금, 객체의 내부를 직관적으로 파악하고, 객체 수술이 필요할 경우 보다 용이하게 실시할 수 있게 한다. 여기서, 가상 객체 이미지는 촬영 수단(예컨대, CT, MR)을 통해 객체를 촬영한 영상일 수 있다.
이후, 증강 현실 장치는 제4 위치 관계를 산출한 시점을 기준으로 기설정된 시간이 경과하거나, 또는 상기 객체가 기설정된 간격 이상 이동하는 것으로 확인됨에 기초하여, 제2 위치 관계를 업데이트하고, 업데이트된 제2 위치 관계 및 제3 위치 관계에 기초하여 업데이트된 제4 위치 관계를 산출할 수 있다. 이로써, 증강 현실 장치는 시간의 흐름 또는 사용자와 객체 간의 거리 변화에 무관하게, 객체와 사용자의 눈 간의 제4 위치 관계(
Figure 112020114938417-pat00064
)를 정확하게 산출할 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 증강현실 시스템 110: HMD
120: 패턴 장치 130: 위치 추적 장치
140: 증강 현실 장치

Claims (18)

  1. 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    사용자가 착용한 HMD(Head Mounted Display)의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계를 산출하고,
    마커가 배치된 공간 좌표계 정보에 기반하여 상기 마커를 추적하는 위치 추적 장치와 상기 마커가 표시하는 장치 간의 제2 위치 관계를 획득하고,
    상기 제1 위치 관계 및 상기 제2 위치 관계에 기반하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하도록 구성되고,
    상기 마커가 표시하는 장치는 상기 패턴 장치를 포함하고,
    상기 제2 위치 관계는 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계를 포함하되,
    상기 마커가 표시하는 장치는 상기 HMD를 더 포함하고,
    상기 제2 위치 관계는 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계를 더 포함하며,
    상기 하나 이상의 프로세서는,
    아래 수학식 1을 통해, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계(
    Figure 112022042447885-pat00074
    )와, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계(
    Figure 112022042447885-pat00075
    ) 및 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계(
    Figure 112022042447885-pat00076
    )를 포함하는 제2 위치 관계에 기초하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계(
    Figure 112022042447885-pat00077
    )를 산출하는,
    증강 현실 장치.
    [수학식 1]
    Figure 112022042447885-pat00078

  2. 제1항에 있어서,
    상기 프로세서는,
    상기 패턴이 상기 HMD의 프로젝트 화면에 표시되고, 상기 HMD의 프로젝트 화면에서 상기 패턴의 기설정된 지점이 선택되면, 상기 선택된 지점에 대한 상기 프로젝트 화면에서의 2차원 좌표 및 상기 선택된 지점에 대한 상기 패턴의 3차원 좌표 간의 매핑 관계에 기초하여 상기 투영 관계를 산출하도록 더 구성되는,
    증강 현실 장치.
  3. 제2항에 있어서,
    상기 패턴은 체스판 형태이고,
    상기 지점은 상기 패턴에 포함되는 사각형의 코너 부분을 포함하는,
    증강 현실 장치.
  4. 제1항에 있어서,
    상기 마커는 복수 개이고,
    상기 프로세서는,
    상기 복수 개의 마커로부터 반사된 신호에 기반하여 상기 위치 추적 장치와 상기 복수 개의 마커가 표시하는 장치 간의 제2 위치 관계를 산출하도록 구성되는,
    증강 현실 장치.
  5. 삭제
  6. 삭제
  7. 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    사용자가 착용한 HMD(Head Mounted Display)의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계를 산출하고,
    마커가 배치된 공간 좌표계 정보에 기반하여 상기 마커를 추적하는 위치 추적 장치와 상기 마커가 표시하는 장치 간의 제2 위치 관계를 획득하고,
    상기 제1 위치 관계 및 상기 제2 위치 관계에 기반하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하고,
    상기 제3 위치 관계에 기반하여 상기 HMD를 통해 상기 사용자가 바라보는 객체에 대한 상기 사용자의 눈의 제4 위치 관계를 산출하고,
    상기 제4 위치 관계를 산출한 시점을 기준으로 기설정된 시간이 경과하거나, 또는 상기 객체가 기설정된 간격 이상 이동하는 것으로 확인됨에 기초하여, 상기 제2 위치 관계를 업데이트하고, 업데이트된 상기 제2 위치 관계 및 상기 제3 위치 관계에 기초하여 업데이트된 상기 제4 위치 관계를 산출하도록 구성되며,
    상기 마커가 표시하는 장치는 상기 패턴 장치를 포함하고,
    상기 제2 위치 관계는 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계를 포함하되,
    상기 마커가 표시하는 장치는 상기 HMD를 더 포함하고,
    상기 제2 위치 관계는 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계를 더 포함하며,
    상기 하나 이상의 프로세서는,
    아래 수학식 1을 통해, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계(
    Figure 112022042447885-pat00079
    )와, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계(
    Figure 112022042447885-pat00080
    ) 및 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계(
    Figure 112022042447885-pat00081
    )를 포함하는 제2 위치 관계에 기초하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계(
    Figure 112022042447885-pat00082
    )를 산출하는,
    증강 현실 장치.
    [수학식 1]
    Figure 112022042447885-pat00083

  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제4 위치 관계에 기반하여 가상 객체 이미지를 상기 HMD의 프로젝트 화면에 투영하도록 더 구성되는,
    증강 현실 장치.
  9. 삭제
  10. 제1항 또는 제7항에 있어서,
    상기 프로세서는,
    상기 투영 관계에 기초하여 상기 HMD의 프로젝트 화면에 대한 상기 사용자의 시야각을 산출하도록 더 구성되는,
    증강 현실 장치.
  11. 제1항 또는 제7항에 있어서,
    상기 제3 위치 관계는,
    상기 사용자의 눈과 상기 HMD 간의 위치 변환에 대한 회전 행렬 및 이동 벡터를 포함하는 동차변환 행렬로 표현되는,
    증강 현실 장치.
  12. 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계를 산출하는 단계;
    마커가 배치된 공간 좌표계 정보에 기반하여 상기 마커를 추적하는 위치 추적 장치와 상기 마커가 표시하는 장치 간의 제2 위치 관계를 획득하는 단계; 및
    상기 제1 위치 관계 및 상기 제2 위치 관계에 기반하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하는 단계를 포함하고,
    상기 마커가 표시하는 장치는 상기 패턴 장치를 포함하고,
    상기 제2 위치 관계를 획득하는 단계는,
    상기 제2 위치 관계로서, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계를 획득하는 단계를 포함하되,
    상기 마커가 표시하는 장치는 상기 HMD를 더 포함하고,
    상기 제2 위치 관계를 획득하는 단계는,
    상기 제2 위치 관계로서, 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계를 획득하는 단계를 더 포함하며,
    상기 제3 위치 관계를 산출하는 단계는,
    아래 수학식 1을 통해, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계(
    Figure 112022042447885-pat00084
    )와, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계(
    Figure 112022042447885-pat00085
    ) 및 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계(
    Figure 112022042447885-pat00086
    )를 포함하는 제2 위치 관계에 기초하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계(
    Figure 112022042447885-pat00087
    )를 산출하는 단계를 포함하는,
    증강 현실 장치의 동작 방법.
    [수학식 1]
    Figure 112022042447885-pat00088

  13. 제12항에 있어서,
    상기 패턴이 상기 HMD의 프로젝트 화면에 표시되고, 상기 HMD의 프로젝트 화면에서 상기 패턴의 기설정된 지점이 선택되면, 상기 선택된 지점에 대한 상기 프로젝트 화면에서의 2차원 좌표 및 상기 선택된 지점에 대한 상기 패턴의 3차원 좌표 간의 매핑 관계에 기초하여 상기 투영 관계를 산출하는 단계를 더 포함하는,
    증강 현실 장치의 동작 방법.
  14. 제12항에 있어서,
    상기 마커는 복수 개이고,
    상기 제2 위치 관계를 획득하는 단계는,
    상기 복수 개의 마커로부터 반사된 신호에 기반하여 상기 위치 추적 장치와 상기 복수 개의 마커가 표시하는 장치 간의 제2 위치 관계를 산출하는 단계를 더 포함하는,
    증강 현실 장치의 동작 방법.
  15. 삭제
  16. 사용자가 착용한 HMD의 프로젝트 화면과 기준 위치에 배치된 패턴 장치의 패턴 간의 투영 관계에 기반하여, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계를 산출하는 단계;
    마커가 배치된 공간 좌표계 정보에 기반하여 상기 마커를 추적하는 위치 추적 장치와 상기 마커가 표시하는 장치 간의 제2 위치 관계를 획득하는 단계;
    상기 제1 위치 관계 및 상기 제2 위치 관계에 기반하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계를 산출하는 단계;
    상기 제3 위치 관계에 기반하여 상기 HMD를 통해 상기 사용자가 바라보는 객체에 대한 상기 사용자의 눈의 제4 위치 관계를 산출하는 단계;
    상기 제4 위치 관계를 산출한 시점을 기준으로 기설정된 시간이 경과하거나, 또는 상기 객체가 기설정된 간격 이상 이동하는 것으로 확인됨에 기초하여, 상기 제2 위치 관계를 업데이트하는 단계; 및
    업데이트된 상기 제2 위치 관계 및 상기 제3 위치 관계에 기초하여 업데이트된 상기 제4 위치 관계를 산출하는 단계를 포함하며,
    상기 마커가 표시하는 장치는 상기 패턴 장치를 포함하고,
    상기 제2 위치 관계를 획득하는 단계는,
    상기 제2 위치 관계로서, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계를 획득하는 단계를 포함하되,
    상기 마커가 표시하는 장치는 상기 HMD를 더 포함하고,
    상기 제2 위치 관계를 획득하는 단계는,
    상기 제2 위치 관계로서, 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계를 획득하는 단계를 더 포함하며,
    상기 제3 위치 관계를 산출하는 단계는,
    아래 수학식 1을 통해, 상기 패턴 장치와 상기 사용자의 눈 간의 제1 위치 관계(
    Figure 112022042447885-pat00089
    )와, 상기 패턴 장치와 상기 위치 추적 장치 간의 패턴_추적 위치 관계(
    Figure 112022042447885-pat00090
    ) 및 상기 위치 추적 장치와 상기 HMD 간의 추적_HMD 위치 관계(
    Figure 112022042447885-pat00091
    )를 포함하는 제2 위치 관계에 기초하여, 상기 사용자의 눈과 상기 사용자가 착용한 HMD 간의 제3 위치 관계(
    Figure 112022042447885-pat00092
    )를 산출하는 단계를 포함하는,
    증강 현실 장치의 동작 방법.
    [수학식 1]
    Figure 112022042447885-pat00093

  17. 제16항에 있어서,
    상기 제4 위치 관계에 기반하여 가상 객체 이미지를 상기 HMD의 프로젝트 화면에 투영하는 단계를 더 포함하는,
    증강 현실 장치의 동작 방법.
  18. 삭제
KR1020200141524A 2020-10-28 2020-10-28 증강 현실 장치 및 증강 현실 장치의 동작 방법 Active KR102460821B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200141524A KR102460821B1 (ko) 2020-10-28 2020-10-28 증강 현실 장치 및 증강 현실 장치의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200141524A KR102460821B1 (ko) 2020-10-28 2020-10-28 증강 현실 장치 및 증강 현실 장치의 동작 방법

Publications (2)

Publication Number Publication Date
KR20220056702A KR20220056702A (ko) 2022-05-06
KR102460821B1 true KR102460821B1 (ko) 2022-10-28

Family

ID=81584543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200141524A Active KR102460821B1 (ko) 2020-10-28 2020-10-28 증강 현실 장치 및 증강 현실 장치의 동작 방법

Country Status (1)

Country Link
KR (1) KR102460821B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647467B1 (ko) 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
KR20180075099A (ko) * 2016-12-26 2018-07-04 주식회사 팝스라인 Hmd 장치 및 그의 제어 방법

Also Published As

Publication number Publication date
KR20220056702A (ko) 2022-05-06

Similar Documents

Publication Publication Date Title
US11759261B2 (en) Augmented reality pre-registration
US12197637B2 (en) Medical augmented reality navigation
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11025889B2 (en) Systems and methods for determining three dimensional measurements in telemedicine application
JP7189939B2 (ja) 手術ナビゲーションシステム
US12178520B2 (en) Model registration system and method
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US10359916B2 (en) Virtual object display device, method, program, and system
EP2153794B1 (en) System for and method of visualizing an interior of a body
US20170315364A1 (en) Virtual object display device, method, program, and system
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
JP2019177134A (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
KR102582154B1 (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
US20240390102A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
US12053243B2 (en) Positioning and navigation system for surgery and operating method thereof
KR102460821B1 (ko) 증강 현실 장치 및 증강 현실 장치의 동작 방법
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
EP3655919A1 (en) Systems and methods for determining three dimensional measurements in telemedicine application
US20240331329A1 (en) Method and system for superimposing two-dimensional (2d) images over deformed surfaces
US20240074813A1 (en) Medical imaging system and method
Bianchi Exploration of augmented reality technology for surgical training simulators

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201028

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210830

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220316

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220926

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221026

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221026

End annual number: 3

Start annual number: 1

PG1601 Publication of registration