KR20220005958A

KR20220005958A - 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법

Info

Publication number: KR20220005958A
Application number: KR1020200108795A
Authority: KR
Inventors: 신성환; 고재우; 구본곤; 김도윤; 윤상호; 이규근
Original assignee: 삼성전자주식회사
Priority date: 2020-07-07
Filing date: 2020-08-27
Publication date: 2022-01-14
Also published as: EP4171028A1; EP4171028A4; WO2022010152A1; US20250164824A1; US20230176401A1; US12235523B2

Abstract

사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법이 제공된다. 증강 현실 장치가 사용자의 시선에 기초하여 시선 추적 센서 캘리브레이션을 수행하는 방법은, 기설정된 크기의 적어도 하나의 제1 문자를 웨이브 가이드를 통해 출력하는 단계; 상기 적어도 하나의 제1 문자에 대응하는 사용자의 적어도 하나의 제1 입력을 획득하는 단계; 상기 적어도 하나의 제1 입력이 획득될 때의 상기 시선 추적 센서를 통해 검출된 적어도 하나의 제1 시선 정보를 획득하는 단계; 상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하는 단계; 및 상기 증강 현실 장치의 가변 초점 렌즈의 굴절력을 제1 굴절력으로 결정하는 단계; 를 포함한다.

Description

사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법 {DEVICE AND METHOD FOR CORRECTING USER’S EYESIGHT AND PERFORMING CALIBRATION}

본 개시는 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는 사용자에 대한 시력 교정 및 시선 추적 센서의 캘리브레이션을 함께 수행하는 디바이스 및 방법에 관한 것이다.

증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다. 증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 시스루(see-through) 형태의 웨이브 가이드를 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다. 이러한 증강 현실 장치에 대한 연구가 활발히 진행됨에 따라 다양한 형태의 착용형 장치들이 출시되거나 출시가 예고 되고 있다.

증강 현실 장치를 사용하는 사용자들 중에서 안경으로 시력을 교정하여 생활하는 사용자는 도수 클립과 같은 추가적인 수단을 이용할 필요가 있다. 하지만 도수 클립의 불편함으로 인해 가변 초점 렌즈를 이용하여 저시력자들의 시력 교정 기능을 구비한 증강 현실 장치가 연구되고 있다.

한편, 안경 형태의 증강 현실 장치는 시선 추적 센서를 이용하여 사용자의 시선을 추적하고, 사용자 시선이 향하는 방향을 정확히 센싱하기 위하여 시선 추적 센서의 캘리브레이션 과정이 필요하다. 이를 위하여 증강 현실 장치는 웨이브 가이드를 통해 기 설정된 복수의 위치들에 복수의 포인트들을 가상 이미지로 표시하고, 복수의 포인트들에 대한 사용자의 정확한 시선 정보를 획득할 필요가 있다.

이에 따라, 사용자의 시력 교정을 위한 가변 초점 렌즈의 굴절력을 결정하고 시선 추적 센서 캘리브레이션을 효율적으로 수행하기 위한 기술이 요구되고 있다.

본 개시의 일 실시예는, 사용자의 시선을 추적하기 위한 시선 추적 센서를 캘리브레이션하는 과정에서 미리 설정된 크기의 문자를 이용하여 사용자의 시력 교정을 위한 가변 초점 렌즈의 굴절력 검출을 함께 수행하는 증강 현실 장치 및 방법을 제공할 수 있다.

또한, 본 개시의 일 실시예는, 시선 추적 센서 캘리브레이션 과정에서 검출된 증강 현실 장치의 가변 초점 렌즈의 굴절력을 적용하여 사용자의 시력을 교정할 수 있는 증강 현실 장치 및 방법을 제공할 수 있다.

또한, 본 개시의 일 실시예는, 사용자의 시력을 측정하고 시선 추적 센서 캘리브레이션을 할 수 있는 증강 현실 장치 및 방법을 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은 미리 설정된 크기의 적어도 하나의 제1 문자를 웨이브 가이드를 통해 출력하는 단계; 상기 적어도 하나의 제1 문자에 대한 적어도 하나의 제1 입력을 획득하는 단계; 상기 적어도 하나의 제1 입력이 획득될 때의 상기 증강 현실 장치의 시선 추적 센서를 통해 검출된 적어도 하나의 제1 시선 정보를 획득하는 단계; 상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 증강 현실 장치의 가변 초점 렌즈의 굴절력을 제1 굴절력으로 결정하는 단계; 를 포함하는, 증강 현실 장치의 가변 초점 렌즈의 굴절력을 변경하는 방법을 제공할 수 있다.

또한, 본 개시의 제2 측면은, 광학 엔진 및 웨이브 가이드를 포함하는 영상 출력부; 상기 사용자의 시선을 추적하는 시선 추적 센서; 가변 초점 렌즈부; 하나 이상의 명령어들을 저장하는 메모리; 및 상기 하나 이상의 명령어들을 실행하여, 상기 영상 출력부의 광학 엔진을 제어하여, 상기 미리 설정된 크기의 적어도 하나의 제1 문자를 상기 웨이브 가이드를 통해 출력하고, 상기 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 입력을 획득하고, 상기 시선 추적 센서를 제어하여, 상기 적어도 하나의 제1 입력이 획득될 때의 상기 시선 추적 센서를 통해 검출된 적어도 하나의 제1 시선 정보를 획득하고, 상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하고, 상기 비교 결과에 기초하여, 상기 가변 초점 렌즈부의 굴절력을 제1 굴절력으로 결정하는 프로세서;를 포함하는, 증강 현실 장치를 제공할 수 있다.

또한, 본 개시의 제3 측면은 제1 측면의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1a는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하기 위한 시선 추적 센서 캘리브레이션 과정에서 사용자 시력 교정을 위한 가변 초점 렌즈의 굴절력검출을 수행하는 예시를 나타내는 도면이다.
도 1b는 본 개시의 일 실시예에 따른 시선 추적 센서 캘리브레이션 및 종래의 시선 추적 센서 캘리브레이션을 비교하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 따른 가변 초점 렌즈부를 포함하는 증강 현실 장치의 예시를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 가변 초점 렌즈부의 굴절력이 변경되는 예시를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 낮은 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 보통인 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 높은 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일실시예에 따른 증강 현실 장치가 가변 초점 렌즈부의 굴절력을 변경하기 전에 사용자의 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 방법의 흐름도이다.
도 9는 본 개시의 일실시예에 따른 증강 현실 장치가 가변 초점 렌즈부의 굴절력을 변경한 이후에 사용자의 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 방법의 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.

아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.

한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.

따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 웨이브 가이드(waveguide)를 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 웨이브 가이드를 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.

또한, 본 개시에서, 시선 추적 센서 캘리브레이션은, 사용자마다 다른 눈의 위치, 크기 또는 양쪽 눈 간의 거리 등에 따라 사용자의 시선이 향하는 방향에 따른 시선 추적 센서 데이터 획득을 위한 동작일 수 있다. 또는 시선 추적 센서 캘리브레이션은 사용자의 시선이 향하는 증강 현실 장치의 웨이브 가이드 상의 위치를 정확히 설정하기 위한 동작으로서, 예를 들어, 사용자의 눈동자로부터의 시선 방향에 관련된 시선 정보를 증강 현실 장치의 웨이브 가이드 상의 특정 위치를 나타내는 좌표 값과 맵핑하는 동작을 포함할 수 있다. 시선 추적 센서 캘리브레이션에 의해, 사용자가 실제로 바라보는 웨이브 가이드 상의 지점과 디바이스에서 사용자가 바라보는 것으로 인식한 웨이브 가이드 상의 지점이 일치될 수 있다.

본 개시에서, 굴절률(refractive index)는 진공에 비하여 매질 내에서 광속(luminous flux)이 줄어드는 정도를 의미한다.

본 개시에서, 굴절력(refractive power)는 렌즈의 곡면에 의해 광선 또는 광 경로의 방향을 바꾸는 힘을 의미한다. 굴절력은 초점 거리의 역수이고, 굴절력의 단위는 m-1 또는 디옵터(Diopter)(D)이다. 굴절력의 부호는 볼록 렌즈(convex lens)의 경우 양(positive, +)이고, 오목 렌즈(concave lens)의 경우 음(negative, -)이다.

또한, 본 개시에서, 사용자의 시선 정보는 사용자의 시선에 관련된 정보로서, 예를 들어, 사용자의 동공의 위치, 동공의 중심점 좌표, 사용자의 홍채의 위치, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1a는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하기 위한 시선 추적 센서 캘리브레이션 과정에서 사용자 시력 교정을 위한 가변 초점 렌즈의 굴절력 검출을 수행하는 예시를 나타내는 도면이다.

도 1a를 참조하면, 증강 현실 장치(1000)는 사용자에 대한 가변 초점 렌즈의 굴절력을 검출하는데 이용되는 문자들의 크기를 시선 추적 센서 캘리브레이션을 위해 충분히 작은 일정한 크기의 문자들을 타겟으로 하여 시선 추적 센서 캘리브레이션을 함께 수행할 수 있다.

증강 현실 장치(1000)는 가상의 시력 측정판에 적어도 하나의 미리 설정된 크기의 문자를 표시하여 사용자의 응답 입력을 수신하고, 사용자가 정답을 말한 문자의 표시 위치 및 정답을 말할 때의 시선 추적 센서에서 검출된 사용자의 시선 방향 및 시선 정보들을 저장할 수 있다. 시선 추적 센서 캘리브레이션과 시력 교정에 필요한 가변 초점 렌즈의 굴절력 검출을 함께 하기 위해서는 응시점 분포가 좁은 영역에 분포될 수 있도록 문자를 충분히 작게 디스플레이할 필요가 있으며, 이에 따라, 증강 현실 장치(1000)는 사용자에 대한 가변 초점 렌즈의 굴절력을 결정하기 위해 디스플레이되는 문자의 크기를 시선 추적 센서 캘리브레이션을 수행하기 위해 필요한 크기로 설정할 수 있다. 증강 현실 장치(1000)는 표시된 문자에 대한 사용자의 응답의 정답 여부에 기초하여 증강 현실 장치(1000)의 가변 초점 렌즈의 굴절력을 변경하고, 변경된 굴절력의 값(디옵터)을 저장할 수 있다.

또한, 도 1b를 참조하면, 식별 번호 10에서와 같이, 종래의 시선 추적 센서 캘리브레이션 방법은 복수의 포인트를 표시하고 각각의 포인트들을 사용자가 보고 있다고 판단될 때의 시선 추적 센서를 통해 검출된 응시점 분포를 이용하여 시선 추적 센서 캘리브레이션 과정을 수행할 수 있다. 하지만, 식별 번호 20에서와 같이 본 개시의 일 실시예에 따른 시선 추적 센서 캘리브레이션 방법은 미리 설정된 작은 크기의 문자가 시선 추적 센서 캘리브레이션을 위한 위치들에 표시될 수 있다. 이 때, 표시되는 문자들의 크기는 종래의 시선 추적 센서 캘리브레이션 방법에서 표시되는 포인트들의 크기에 대응되도록 하여 응시점 분포를 획득할 수 있다. 이에 따라, 본 개시의 일 실시예에 따른 시선 추적 센서 캘리브레이션에 의할 경우, 표시되는 문자들에 대한 사용자 응답 입력과 비교를 통해 사용자의 시력도 측정하면서 시선 추적 센서 캘리브레이션을 수행할 수 있게 되며, 시력을 측정하는 사용자의 시선이 문자에 집중되어 시선 추적 센서의 캘리브레이션이 더욱 효과적으로 수행될 수 있게 된다.

예를 들어, 증강 현실 장치(1000)는 복수의 문자들을 순차적으로 표시하면서 사용자의 응답 입력들을 순차적으로 수신할 수 있으며, 사용자의 응답 입력들 각각에 대하여 정답 여부를 판단할 수 있다. 이 경우, 증강 현실 장치(1000)는 사용자가 오답인 응답을 한 이후에 문자를 표시하기 이전에 가변 초점 렌즈의 굴절력을 변경할 수 있다. 예를 들어, 가변 초점 렌즈의 굴절력이 -1.0D일 때 표시된 첫 번째 문자에 대하여 사용자가 오답을 응답한 경우에, 증강 현실 장치(1000)는 가변 초점 렌즈의 굴절력을 -2.0D로 변경하고 두 번째 문자를 표시할 수 있다.

또는, 예를 들어, 증강 현실 장치(1000)는 복수의 문자들을 순차적으로 표시하면서 사용자의 응답 입력들을 순차적으로 수신할 수 있으며, 증강 현실 장치(1000)는 표시된 문자에 대한 사용자의 응답들의 정답률에 기초하여 증강 현실 장치(1000)의 가변 초점 렌즈의 굴절력을 변경할 수 있다. 예를 들어, 가변 초점 렌즈의 굴절력이 -1.0D일 때 표시된 첫 번째 문자, 두 번째 문자 및 세 번째 문자에 대하여 사용자가 응답들을 입력한 경우에, 증강 현실 장치(1000)는 사용자의 응답들의 정답률에 기초하여 가변 초점 렌즈의 굴절력을 -2.0D으로 변경하고 네 번째 문자를 표시할 수 있다.

또한, 가변 초점 렌즈의 굴절력이 변경된 이후에, 증강 현실 장치(1000)는 가상의 시력 측정판에 시력 측정을 위한 적어도 하나의 문자를 표시하여 사용자의 응답 입력을 수신하고, 사용자가 정답을 말한 문자의 표시 위치 및 정답을 말할 때의 시선 방향을 저장할 수 있다. 증강 현실 장치(1000)는 표시된 문자들에 대한 사용자의 응답들의 정답률에 기초하여 증강 현실 장치(1000)의 가변 초점 렌즈의 굴절력을 추가로 변경할 수 있으며, 변경된 굴절력의 값을 저장할 수 있다. 또한, 증강 현실 장치(1000)는 저장된 문자 표시 위치들 및 시선 방향들을 이용하여, 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있으며, 사용자 시력 교정을 위한 가변 초점 렌즈의 굴절력을 검출할 수 있다.

증강 현실 장치(1000)는 시선 추적 센서 캘리브레이션을 위해 충분히 작은 크기의 문자들을 타겟으로 하여 시력 측정을 수행하여 사용자의 응답의 정답 여부에 따라 사용자에 대한 가변 초점 렌즈의 굴절력을 효과적으로 변경할 수 있게 된다.

증강 현실 장치(1000)는 증강 현실(Augmented Reality)을 표현할 수 있는 장치로서, 예를 들어, 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄할 수 있다.

도 2는 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.

도 2를 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(1000)는 사용자 입력부(1100), 마이크(1200), 영상 출력부(1300), 가변 초점 렌즈부(1350), 카메라 모듈(1400), 시선 추적 센서(1500), 통신 인터페이스(1600), 저장부(1700) 및 프로세서(1800)를 포함할 수 있다. 또한, 영상 출력부(1300)는 광학 엔진(1310) 및 웨이브 가이드(1320)를 포함할 수 있다.

사용자 입력부(1100)는, 사용자가 증강 현실 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 사용자 입력부(1100)는 증강 현실 장치(1000)를 이용한 사용자의 시력 측정 및 시선 추적 센서 캘리브레이션을 위한 사용자 입력을 수신할 수 있다. 시선 추적 센서 캘리브레이션은, 사용자의 시선이 향하는 증강 현실 장치의 웨이브 가이드 상의 위치를 정확히 설정하기 위한 동작으로서, 예를 들어, 사용자의 눈동자로부터의 시선 방향과 증강 현실 장치의 웨이브 가이드 상의 특정 위치 간의 매핑 관계를 교정하는 동작일 수 있다

마이크(1200)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(1200)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 마이크(1200)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. 마이크(1200)는 증강 현실 장치(1000)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다. 마이크(1200)는 후술할 영상 출력부(1300)를 통해 표시되는 문자를 읽는 사용자의 음성 입력을 수신할 수 있다.

영상 출력부(1300)는 증강 현실 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 영상 출력부(1300)는, 증강 현실 장치(1000)의 주변을 촬영하기 위한 사용자 인터페이스 및 증강 현실 장치(1000) 주변의 촬영된 이미지를 기반으로 제공되는 서비스에 관련된 정보를 나타낼 수 있다.

일 실시 예에 의하면, 영상 출력부(1300)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 영상 출력부(1300)는 광학 엔진(1310) 및 웨이브 가이드(1320)을 포함할 수 있다. 광학 엔진(1310)은 표시하고자 하는 가상 이미지의 광을 웨이브 가이드(1320)를 향하여 투사할 수 있다. 광학 엔진(1310)은 광원 및 화상 패널을 포함할 수 있다. 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.

또한, 광학 엔진(1310)으로부터 웨이브 가이드(1320)에게 투사된 가상 이미지는 전반사(total reflection) 원리로 웨이브 가이드(1320) 내에서 반사될 수 있다. 웨이브 가이드(1320)에 투사된 가상 이미지는 복수의 영역에 형성된 회절 격자에 의해 광 경로가 변경되어 최종적으로 사용자의 눈으로 가상 이미지가 출력될 수 있다. 웨이브 가이드(1320)는 가상 이미지의 광 경로를 변경하는 도광판과 같은 기능을 수행할 수 있다.

웨이브 가이드(1320)는 사용자가 디바이스(1000)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(1320)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(1320)는 광학 엔진(1310)의 출사면에 마주하여 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다. 일 실시 예에서, 웨이브 가이드(1320)는 투명 재질로 형성됨에 따라, 사용자는 웨이브 가이드(1320)를 통해 전반사된 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드(1320)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 영상 출력부(1300)는 웨이브 가이드(1320)을 통해 가상 이미지를 출력함으로써, 증강 현실(argumented reality) 영상을 제공할 수 있다.

가변 초점 렌즈부(1350)는 사용자의 시력을 교정하기 위해 증강 현실 장치(1000)에 장착될 수 있다. 가변 초점 렌즈부(1350)는 사용자의 눈을 마주보도록 웨이브 가이드(1320)과 중첩되게 배열될 수 있다. 가변 초점 렌즈부(1350)는 일반적으로 액체 렌즈 또는 액정 렌즈로 구현될 수 있으며, 예를 들어, 플렉시블한 플라스틱 막(flexible plastic membrane)이 투명한 유체(transparent fluid)를 감싸는 형태의 액체 렌즈로 구현될 수 있다. 가변 초점 렌즈부(1350)에 가해지는 전기적 신호에 따라 가변 초점 렌즈부(1350) 내의 유체가 이동함으로써, 가변 초점 렌즈부(1350)의 굴절력이 변경될 수 있다. 다른 예로, 가변 초점 렌즈부(1350)는 투명한 액정(Liquid crystal)층 양면에 투명한 전극을 설치하는 형태의 액정 렌즈로도 구현될 수 있다. 투명한 전극에 가해지는 전기적 신호에 따라 액정층 내의 액정의 배열이 변경됨으로써, 가변 초점 렌즈를 통과하는 광의 경로가 변경되고 이에 따라 가변 초점 렌즈부(1350)의 굴절력이 변경될 수 있다. 예를 들어, 가변 초점 렌즈부(1350)의 굴절력이 디옵터 값(예를 들어,…-3D,-2D,-1D,0,1D,2D,3D…)에 대응되도록, 전극에 인가되는 전기적 신호 또는 전압값이 미리 설정될 수 있으며, 전기적 신호 또는 전압이 전극에 인가되면 대응되는 디옵터의 굴절력이 가변 초점 렌즈부(1350)에 적용될 수 있다. 하지만, 이에 제한되지 않으며, 예를 들어, 가변 초점 렌즈부(1350)의 굴절력이 연속적인 값으로 변경될 수 있도록 전극에 인가되는 전기적 신호 또는 전압 값이 미리 설정될 수도 있다. 일반적으로 렌즈의 굴절력이 높을수록 렌즈의 초점 거리가 짧아질 수 있다. 증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 가변 초점 렌즈부(1350)는 좌측 가변 초점 렌즈 및 우측 가변 초점 렌즈를 포함할 수 있다.

카메라 모듈(1400)은 증강 현실 장치(1000)의 주변을 촬영할 수 있다. 카메라 모듈(1400)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1800) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라 모듈(1400)은, 예를 들어, 회전 가능한 RGB 카메라 모듈 또는 복수의 뎁스 카메라 모듈 중 적어도 하나를 포함할 수 있으나, 이에 제한되지 않는다.

시선 추적 센서(1500)는 증강 현실 장치(1000)를 착용한 사용자의 시선을 추적할 수 있다. 시선 추적 센서(1500)는 사용자의 눈을 향하는 방향으로 설치될 수 있으며, 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.

시선 추적 센서(1500)는, 예를 들어, IR 스캐너 또는 이미지 센서 중 적어도 하나를 포함할 수 있으며, 증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 복수의 시선 추적 센서가 증강 현실 장치(1000)의 좌측 웨이브 가이드(1320L) 및 우측 웨이브 가이드(1320R) 주변에서 사용자의 눈을 향하여 각각 배치될 수 있다.

시선 추적 센서(1500)는 사용자 눈의 시선에 관련된 데이터를 검출할 수 있다. 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보가 생성될 수 있다. 시선 정보는 사용자의 시선에 관련된 정보로서, 예를 들어, 사용자의 눈의 동공의 위치, 동공의 중심점 좌표, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있다. 사용자의 시선 방향은, 예를 들어, 사용자의 동공의 중심점으로부터 사용자가 응시하는 곳을 향하는 시선의 방향일 수 있다.

시선 추적 센서(1500)는, 사용자의 눈(왼쪽 눈 또는 오른쪽 눈)에 광을 제공하고, 사용자의 눈으로부터 반사된 광량을 감지할 수 있다. 또한, 감지된 광량에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등이 검출될 수 있다.

또는, 시선 추적 센서(1500)는, 사용자의 눈에 광을 제공하고, 사용자의 눈을 촬영할 수 있다. 또한, 촬영된 사용자의 눈 영상에 기초하여, 사용자의 눈의 시선 방향, 사용자 눈의 동공 위치, 동공의 중심점 좌표 등이 검출될 수 있다.

일 실시 예에 따라, 시선 추적 센서(1500)는 미리 정해진 시간 간격으로 증강 현실 장치(1000)를 착용 중인 사용자의 눈을 센싱할 수 있다.

통신 인터페이스(1600)는 증강 현실 장치(1000) 주변을 촬영하여 획득되는 이미지를 기반으로 서비스를 받기 위한 데이터를 외부 디바이스(미도시) 및 서버(미도시)와 송수신할 수 있다.

저장부(1700)는 후술할 프로세서(1800)에 의해 실행될 프로그램을 저장할 수 있고, 증강 현실 장치(1000)로 입력되거나 증강 현실 장치(1000)로부터 출력되는 데이터를 저장할 수 있다.

저장부(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

저장부(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 측정 제어 모듈(1710), 시력 산출 모듈(1720), 캘리브레이션 모듈(1730) 및 초점 변경 모듈(1740)을 포함할 수 있다.

프로세서(1800)는 증강 현실 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1800)는, 저장부(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 마이크(1200), 영상 출력부(1300), 가변 초점 렌즈부(1350), 카메라 모듈(1400), 시선 추적 센서(1500), 통신 인터페이스(1600) 및 저장부(1700) 등을 전반적으로 제어할 수 있다.

프로세서(1800)는 저장부(1700)에 저장된 측정 제어 모듈(1710)을 실행함으로써, 증강 현실 장치(1000)의 가변 초점 렌즈부(1350)의 굴절력을 변경하여 사용자의 시력을 교정하면서 사용자의 시선 추적을 위한 시선 추적 센서 캘리브레이션을 위한 동작들을 수행할 수 있다.

프로세서(1800)는 측정 제어 모듈(1710)을 실행함으로써, 가변 초점 렌즈부(1350)의 굴절력을 검출하기 위한 적어도 하나의 문자를 영상 출력부(1300)의 웨이브 가이드(1320) 상에 순차적으로 표시하고, 표시된 문자를 읽은 사용자의 적어도 하나의 응답 입력을 순차적으로 수신할 수 있다.

프로세서(1800)는, 사용자에 대한 가변 초점 렌즈부(1350)의 굴절력을 결정하고 시선 추적 센서 캘리브레이션을 수행하기 위하여, 기설정된 교정 시력에 대응되는 일정한 크기의 적어도 하나의 제1 문자를 영상 출력부(1300)의 웨이브 가이드(1320) 상의 적어도 하나의 제1 위치에 순차적으로 표시하고, 표시된 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 음성 입력을 순차적으로 수신할 수 있다. 제1 문자는 시선 추적 센서 캘리브레이션을 수행할 수 있도록 응시점 분포가 충분히 좁은 크기의 문자일 수 있다. 예를 들어, 제1 문자는, 사용자의 교정 시력이 1.0이 되도록 하기 위하여, 교정 시력 1.0에 대응되는 크기를 가질 수 있다. 교정 시력은 소정의 굴절력이 적용된 렌즈를 착용한 사용자의 시력일 수 있다. 예를 들어, 프로세서(1800)는 교정 시력에 대응되는 일정한 크기의 제1 문자가 사용자의 시력 측정을 위해 미리 설정된 깊이로 무작위 순서에 따라 디스플레이되도록 할 수 있다. 증강 현실 장치(1000)는 사용자의 시력이 교정 시력 1.0이 되도록 하기 위하여 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있으며, 이를 위하여 교정 시력 1.0을 측정할 수 있도록 제1 문자의 크기 및 제1 문자의 깊이를 설정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시력 측정을 위한 기설정된 깊이에 기설정된 크기의 제1 문자가 표시되도록 할 수 있으며, 이에 따라, 증강 현실 장치(1000)는 사용자가 기설정된 깊이에 표시된 기설정된 크기의 제1 문자를 관측할 수 있도록 할 수 있다.

프로세서(1800)는 증강 현실 장치(1000)를 착용한 사용자의 교정 시력이 1.0이 되도록 하기 위하여, 가변 초점 렌즈부(1350)의 굴절력을 변경하면서 시선 추적 센서 캘리브레이션을 수행하기 위한 동작을 실행할 수 있다. 예를 들어, 프로세서(1800)는 교정 시력 1.0에 대응되는 크기의 제1 문자 ‘A’를 웨이브 가이드(1320) 상의 복수의 제1 위치들 중 하나에 표시하고 제1 문자 ‘A’를 읽는 사용자의 제1 음성 입력을 수신한 이후에, 교정 시력 1.0에 대응되는 크기의 제1 문자 ‘1’을 웨이브 가이드(1320) 상의 복수의 제1 위치들 중 다른 하나에 표시하고 문자 ‘1’을 읽는 사용자의 제1 음성 입력을 수신할 수 있다. 또한, 프로세서(1800)는 다른 제1 문자들을 웨이브 가이드(1320) 상에 순차적으로 더 표시하고 표시된 다른 제1 문자들에 대한 사용자의 제1 음성 입력들을 순차적으로 수신할 수 있다. 이 경우, 프로세서(1300)는 제1 문자 ‘A’ 및 제1 문자 ‘1’이 기설정된 시력 측정 거리에 표시될 수 있도록, 제1 문자 ‘A’ 및 제1 문자 ‘1’의 깊이(depth) 값을 결정할 수 있다. 시력 측정 거리는 사용자의 시력을 측정하기 위한 거리로서, 사용자의 눈과 가상의 시력 측정판 사이의 거리일 수 있다.

이 경우, 시선 추적 센서 캘리브레이션을 위한 웨이브 가이드(1320) 상의 복수의 표시 위치들에 대하여 사용자의 시선 방향들이 고르게 저장될 수 있도록, 제1 문자들이 표시되는 제1 위치들이 결정될 수 있다. 예를 들어, 제1 문자들이 표시되는 제1 위치로서, 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 기설정된 위치들이 순차적으로 선택될 수 있다. 증강 현실 장치(1000)가 사용자의 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 위치들은 증강 현실 장치(1000)의 제조 시에 미리 설정될 수 있으나, 이에 제한되지 않는다.

일 실시예에 따르면, 프로세서(1800)는 시선 추적 센서(1500)를 제어함으로써 사용자의 시선 방향을 추적할 수 있다. 프로세서(1800)는 적어도 하나의 제1 음성 입력들이 수신될 때 시선 추적 센서(1500)를 통해 사용자의 적어도 하나의 제1 시선 정보를 검출할 수 있다. 프로세서(1800)는 웨이브 가이드(1320) 상에 표시된 제1 문자에 대한 사용자의 제1 음성 입력이 마이크(1200)를 통해 수신된 때의 사용자의 제1 시선 정보를 검출할 수 있다. 프로세서(1800)는, 예를 들어, 시선 추적 센서(1500)를 통해 사용자의 시선 정보를 지속적으로 검출할 수 있으며, 마이크(1200)를 통해 사용자의 제1 음성 입력이 수신됨이 감지되면, 제1 음성 입력이 수신된 때 검출된 사용자의 시선 정보를 이용하여 제1 시선 방향을 획득할 수 있다. 이 경우, 예를 들어, 웨이브 가이드(1320) 상에 시선 추적 센서 캘리브레이션을 위한 문자가 표시됨에 따라, 사용자의 시선 방향을 모니터링하는 동작이 개시될 수 있으나, 이에 제한되지 않는다.

음성 입력이 수신된 때의 사용자의 시선 방향은, 예를 들어, 마이크(1200)를 통해 사용자의 음성 입력이 수신됨이 감지된 시점 전/후의 소정의 임계 시간 동안의 사용자의 시선 방향일 수 있으나, 이에 제한되지 않는다.

프로세서(1800)는, 측정 제어 모듈(1710)을 실행함으로써, 웨이브 가이드(1320) 상에 표시되는 적어도 하나의 제1 문자를, 적어도 하나의 제1 문자를 읽는 사용자의 적어도 하나의 제1 음성 입력에 대응되는 적어도 하나의 문자와 비교할 수 있다. 프로세서(1800)는 STT 기능을 이용하여 제1 음성 입력으로부터 제1 음성 입력에 대응되는 문자를 식별할 수 있다. 예를 들어, 프로세서(1800)는 복수의 제1 문자들과, 복수의 제1 문자들을 읽는 사용자의 제1 음성 입력들에 대응되는 문자들이 동일한지를 판단할 수 있다. 또한, 프로세서(1800)는 복수의 제1 문자들과, 복수의 제1 문자들을 읽는 사용자의 제1 음성 입력들에 대응되는 문자들이 동일한지에 관한 제1 정답률을 산출할 수 있다.

프로세서(1800)는 제1 정답률이 소정 임계치 이상인 경우에, 정답인 제1 음성이 입력된 때의 사용자의 제1 시선 방향을, 정답인 제1 음성 입력에 대응되는 제1 문자의 표시 위치와 함께 저장할 수 있다. 저장된 제1 시선 방향 및 저장된 제1 문자의 표시 위치는 사용자의 시선 추적 센서 캘리브레이션을 위해 이용될 수 있다. 또는, 프로세서(1800)는 제1 정답률이 소정 임계치보다 작은 경우에, 검출된 제1 시선 방향들을 무시할 수 있다. 상기에서는, 제1 정답률이 소정 임계치보다 작은 경우에 제1 시선 방향들을 무시하는 것으로 설명하였지만, 이에 제한되지 않는다. 제1 정답률이 소정 임계치보다 작은 경우에도 제1 시선 방향들이 시선 추적 센서 캘리브레이션을 위해 이용될 수도 있다.

또는, 예를 들어, 프로세서(1800)는 하나의 제1 문자를 표시하고, 표시된 제1 문자를 읽는 사용자의 제1 음성 입력에 대응되는 문자가 동일한 지 여부를 판단할 수 있다. 이 경우, 프로세서(1800)는 사용자의 제1 음성 입력이 정답인 경우에, 정답인 제1 음성이 입력된 때의 사용자의 제1 시선 방향을 정답인 제1 음성 입력에 대응되는 제1 문자의 표시 위치와 함께 저장할 수 있다. 상기에서는, 사용자의 제1 음성 입력이 정답인 경우에만, 제1 시선 방향을 제1 음성 입력에 대응되는 제1 문자의 표시 위치와 저장하는 것으로 설명하였지만, 이에 제한되지 않는다. 사용자의 제1 음성 입력이 오답인 경우에도, 제1 시선 방향이 오답인 제1 음성 입력에 대응되는 제1 문자의 표시 위치와 함께 저장될 수도 있다.

일 실시예에 따르면, 프로세서(1800)는, 초점 변경 모듈(1740)을 실행함으로써, 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다. 프로세서(1800)는 초점 변경 모듈(1740)을 실행함으로써 전기적 신호를 가변 초점 렌즈부(1350)로 인가할 수 있으며, 인가된 전기적 신호에 의해 가변 초점 렌즈부(1350)의 굴절력이 변경될 수 있다.

프로세서(1800)는 제1 정답률에 기초하여 증강 현실 장치(1000)의 가변 초점 렌즈부(1350)의 굴절력을 제1 굴절력으로 변경할 수 있다. 예를 들어, 제1 정답률이 낮은 경우에는 가변 초점 렌즈부(1350)의 굴절력을 많이 변경할 수 있으며, 제1 정답률이 큰 경우에는 가변 초점 렌즈부(1350)의 굴절력을 적게 변경할 수 있다. 여기에서 굴절력을 많이 변경한다는 것은 디옵터 단계 변경 정도가 크다는 것을 의미하고 굴절력을 적게 변경한다는 것은 디옵터 단계 변경 정도가 작다는 것을 의미한다. 또한, 예를 들어, 프로세서(1800)는, 사용자의 시력을 고려하여 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다. 또한, 프로세서(1800)는 제1 정답률이 소정 임계치보다 큰 경우에, 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정하고 저장할 수 있다.

또는, 예를 들어, 프로세서(1800)는 하나의 제1 문자를 표시하고, 제1 문자에 대한 사용자의 제1 응답 입력이 오답인 경우에, 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다. 또한, 예를 들어, 프로세서(1800)는 제1 문자에 대하여 사용자가 정답을 입력한 경우에, 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정하고 저장할 수 있다.

일 실시예에 따르면, 가변 초점 렌즈부(1350)의 굴절력이 제1 굴절력으로 변경된 이후에, 프로세서(1800)는 측정 제어 모듈(1710)을 실행함으로써, 적어도 하나의 제2 문자를 웨이브 가이드(1320) 상의 적어도 하나의 제2 위치에 순차적으로 표시하고, 표시된 적어도 하나의 제2 문자에 대한 사용자의 적어도 하나의 제2 음성 입력을 순차적으로 수신할 수 있다. 제2 문자는 제1 문자와 동일한 크기 및 동일한 깊이로 웨이브 가이드(1320) 상에 표시될 수 있다. 또한, 시선 추적 센서 캘리브레이션을 위해 제2 문자가 표시되는 제2 위치는, 제1 문자가 표시되는 제1 위치와 마찬가지로, 시선 추적 센서 캘리브레이션을 위해 필요한 위치들 중에서 선택될 수 있다.

예를 들어, 프로세서(1800)는 굴절력 검출 및 시선 추적 센서 캘리브레이션을 위하여 미리 설정된 일정한 크기의 랜덤한 제2 문자들을 사용자의 시력 측정을 위해 미리 설정된 깊이로 순차적으로 디스플레이할 수 있다. 예를 들어, 프로세서(1800)는 교정 시력 1.0에 대응되는 크기의 제2 문자 ‘B’를 웨이브 가이드(1320) 상의 복수의 제2 위치들 중 하나에 표시하고, 제2 문자 ‘B’를 읽는 사용자의 제2 음성 입력을 수신한 이후에, 교정 시력 1.0에 대응되는 크기의 제2 문자 ‘2’를 웨이브 가이드(1320) 상의 복수의 제2 위치들 중 다른 하나에 표시하고 문자 ‘2’을 읽는 사용자의 제2 음성 입력을 수신할 수 있다. 또한, 프로세서(1800)는 다른 제2 문자들을 웨이브 가이드(1320) 상에 순차적으로 더 표시하고 표시된 다른 제2 문자들에 대한 사용자의 제2 음성 입력들을 수신할 수 있다.

이 경우, 시선 추적 센서 캘리브레이션을 위한 웨이브 가이드(1320) 상의 복수의 표시 위치들에 대하여 사용자의 제2 시선 방향들이 고르게 확보될 수 있도록, 제2 문자들이 표시되는 제2 위치들이 결정될 수 있다. 프로세서(1800)가 제2 문자를 표시하는 제2 위치는, 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 위치들 중에서, 캘리브레이션을 위한 데이터가 충분히 확보되지 않았다고 판단되는 위치일 수 있다. 예를 들어, 문자들이 특정 위치에서 사용자에 의해 소정 회수 이상 정확히 읽혔다고 판단되는 경우에, 프로세서(1800)는 해당 위치에서 캘리브레이션을 위한 데이터가 충분히 확보되었다고 판단할 수 있으나, 이에 제한되지 않는다.

또한, 예를 들어, 프로세서(1800)는 시선 추적 센서 캘리브레이션을 위한 웨이브 가이드(1320) 상의 복수의 제2 위치들 중에서, 저장된 사용자의 제1 시선 방향들에 대응되지 않는 제2 위치들에 제2 문자들을 우선하여 표시할 수 있다.

일 실시예에 따르면, 프로세서(1800)는 시선 추적 센서(1500)를 제어함으로써 제2 음성 입력이 수신될 때의 사용자의 제2 시선 방향을 검출할 수 있다. 프로세서(1800)는 웨이브 가이드(1320) 상에 표시된 제2 문자에 대한 사용자의 제2 음성 입력이 마이크(1200)를 통해 수신된 때의 사용자의 제2 시선 방향을 검출할 수 있다. 프로세서(1800)는, 예를 들어, 시선 추적 센서(1500)를 통해 사용자의 시선 방향을 모니터링할 수 있으며, 마이크(1200)를 통해 사용자의 제2 음성 입력이 수신됨이 감지되면, 모니터링된 시선 방향들 중에서 제2 음성 입력이 수신된 때의 사용자의 제2 시선 방향을 추출할 수 있다. 예를 들어, 프로세서(1800)는 IR 스캐너 또는 이미지 센서 중 적어도 하나를 포함하는 시선 추적 센서(1500)를 이용하여 사용자의 시선 방향을 모니터링함으로써 사용자의 시선 방향에 관련된 시선 정보를 생성할 수 있다. 이 경우, 프로세서(1800)는 사용자의 시선 방향을 모니터링하기 위하여, 예를 들어, 미리 정해진 시간 간격으로 증강 현실 장치(1000)를 착용한 사용자의 눈을 센싱할 수 있으나, 이에 제한되지 않는다. 또한, 사용자의 시선 방향에 관련된 시선 정보 중에서, 마이크(1200)를 통해 사용자의 제2 음성 입력이 수신된 때의 사용자의 제2 시선 방향을 나타내는 데이터를 추출할 수 있다.

프로세서(1800)는, 측정 제어 모듈(1710)을 실행함으로써, 웨이브 가이드(1320) 상에 표시된 적어도 하나의 제2 문자를, 적어도 하나의 제2 문자를 읽는 사용자의 적어도 하나의 제2 음성 입력에 대응되는 적어도 하나의 문자와 비교할 수 있다.

예를 들어, 프로세서(1800)는 복수의 제2 문자들과, 복수의 제2 문자들을 읽는 사용자의 제2 음성 입력들에 대응되는 문자들이 동일한지를 판단할 수 있다. 또한, 프로세서(1800)는 복수의 제2 문자들과, 복수의 제2 문자들을 읽는 사용자의 제2 음성 입력들에 대응되는 문자들이 동일한지에 관한 제2 정답률을 산출할 수 있다. 또한, 예를 들어, 프로세서(1800)는 제2 정답률이 소정 임계치 이상인 경우에, 정답인 제2 음성 입력이 수신된 때의 사용자의 제2 시선 방향을, 정답인 제2 음성 입력에 대응되는 제2 문자의 표시 위치와 함께 저장할 수 있다. 저장된 제2 시선 방향 및 저장된 제2 문자의 표시 위치는 사용자의 시선 추적 센서 캘리브레이션을 위해 이용될 수 있다.

예를 들어, 프로세서(1800)는 제2 문자와, 제2 문자들을 읽는 사용자의 제2 음성 입력에 대응되는 문자가 동일한지 여부를 판단할 수 있다. 또한, 예를 들어, 프로세서(1800)는 제2 문자와, 제2 문자들을 읽는 사용자의 제2 음성 입력에 대응되는 문자가 동일한 경우에, 제2 음성 입력이 수신된 때의 사용자의 제2 시선 방향을 제2 문자의 표시 위치와 함께 시선 추적 센서 캘리브레이션을 위하여 저장할 수 있다.

상기에서는, 사용자의 제2 음성 입력이 정답인 경우에만, 제2 시선 방향을 제2 음성 입력에 대응되는 제2 문자의 표시 위치와 저장하는 것으로 설명하였지만, 이에 제한되지 않는다. 사용자의 제2 음성 입력이 오답인 경우에도, 제2 시선 방향이 오답인 제2 음성 입력에 대응되는 제1 문자의 표시 위치와 함께 저장될 수도 있다.

프로세서(1800)는, 초점 변경 모듈(1740)을 실행함으로써, 가변 초점 렌즈부(1350)의 굴절력을 제2 굴절력으로 변경할 수 있다. 예를 들어, 제2 정답률이 소정 임계치 이하인 경우에는 가변 초점 렌즈부(1350)의 굴절력을 많이 변경할 수 있으며, 제2 정답률이 소정 임계치 이상인 경우에는 가변 초점 렌즈부(1350)의 굴절력을 적게 변경할 수 있다. 굴절력이 많이 변경됨으로써 가변 초점 렌즈부(1350)의 디옵터 단계가 크게 변경되며, 굴절력이 적게 변경됨으로써 가변 초점 렌즈부(1350)의 디옵터 단계가 작게 변경될 수 있다. 또한, 예를 들어, 프로세서(1800)는, 사용자의 시력을 고려하여 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다.

또는, 예를 들어, 프로세서(1800)는 가변 초점 렌즈부(1350)의 굴절력을 변경하기 위하여, 하나의 제2 문자를 표시하고, 표시된 제2 문자를 읽는 사용자의 제2 음성 입력을 수신할 수 있다. 이 경우, 프로세서(1800)는 제2 문자와, 제2 문자들을 읽는 사용자의 제2 음성 입력에 대응되는 문자가 동일하지 않은 경우에, 가변 초점 렌즈부(1350)의 굴절력을 추가로 변경할 수 있다.

일 실시예에 따르면, 프로세서(1800)는 시력 산출 모듈(1720)을 실행함으로써, 사용자의 시력을 산출할 수 있다. 프로세서(1800)는 가변 초점 렌즈부(1350)의 굴절력을 확정할 수 있다. 예를 들어, 제2 정답률이 90% 이상인 경우에, 프로세서(1800)는 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정할 수 있다.

만약, 제2 정답률이 가변 초점 렌즈부(1350)의 굴절력을 확정할 정도로 크지 않은 경우에는, 프로세서(1800)는 가변 초점 렌즈부(1350)의 굴절력을 변경하고, 문자들을 표시하여 사용자의 음성 입력들을 수신하고 사용자의 시선 방향을 검출하고, 수신된 음성 입력들의 정답률을 식별하고 시선 추적 센서 캘리브레이션을 수행하는 동작들을 반복할 수 있다.

또는, 예를 들어, 프로세서(1800)는 굴절력을 확정하기 위한 사용자 입력에 기초하여 사용자에 대한 가변 초점 렌즈부(1350)의 굴절력을 결정할 수 있다.

또한, 프로세서(1800)는 결정된 굴절력에 대응되는 사용자의 시력을 식별할 수 있다. 이 경우, 프로세서(1800)는 렌즈의 굴절력에 대응되는 사용자의 시력을 나타내는 테이블을 이용하여, 결정된 굴절력에 대응되는 사용자의 시력을 식별할 수 있다. 일반적으로 시력 교정을 위한 굴절력과 시력은 아래의 표 1과 같은 대응 관계를 가지나 이에 한정되는 것은 아니다.

나안 시력	가변 초점 렌즈의 굴절력 (디옵터)
0.05	-6.0
0.1	-3.0
0.15	-2.5
0.2	-2.0
0.3	-1.5
0.4	-1.25
0.5	-1.0
0.6	-0.75
0.7	-0.5
0.8	-0.5

일 실시예에 따르면, 프로세서(1800)는 캘리브레이션 모듈(1730)을 실행함으로써 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있다. 예를 들어, 프로세서(1800)는 저장된 제1 시선 방향들에 관한 시선 정보 및 저장된 제1 문자의 표시 위치들, 및 저장된 제2 시선 방향들에 관한 시선 정보 및 저장된 제2 문자의 표시 위치들을 이용하여 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있다. 이 경우, 예를 들어, 가변 초점 렌즈부(1350)의 굴절력이 변경된 이후에 저장된 표시 위치 및 시선 방향이 시선 추적 센서 캘리브레이션을 위하여 우선적으로 이용될 수 있으나, 이에 제한되지 않는다.

사용자에 대한 시선 추적 센서 캘리브레이션이 수행됨에 따라, 사용자의 시선 방향에 관련된 시선 정보가, 웨이브 가이드(1320) 상의 사용자의 응시 위치를 나타내는 좌표 값과 맵핑되어 캘리브레이션 값으로 저장될 수 있다. 예를 들어, 사용자의 시선 방향에 관련된 시선 정보는 사용자의 응시 위치를 나타내는 좌표 값과 맵핑되어 테이블 형태로 저장될 수 있다.

이에 따라, 증강 현실 장치(1000)는, 가변 초점 렌즈부(1350)의 굴절력을 조절하여 사용자의 시력을 교정하면서, 작은 크기의 문자를 정확히 바라보는 사용자의 시선 방향에 기초하여 증강 현실 장치(1000)의 시선 추적 센서 캘리브레이션을 효과적으로 수행할 수 있게 된다.

한편, 일 실시예에 따르면, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션이 수행되기 이전에, 프로세서(1800)는 사용자의 시력 값을 입력하는 사용자 입력을 수신할 수 있다. 이 경우, 프로세서(1800)는 사용자의 시력 값을 입력받기 위한 GUI를 웨이브 가이드(1320) 상에 표시할 수 있다. 이 경우, 프로세서(1800)는 GUI를 통해 사용자로부터 시력 값을 입력받고, 입력된 시력 값에 기초하여 가변 초점 렌즈부(1350)의 굴절력을 미리 변경할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는, 가변 초점 렌즈부(1350)의 굴절력이 변경된 이후에, 웨이브 가이드(1320)를 통해 제1 문자 또는 제2 문자를 디스플레이하면서 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 수행할 수 있다.

도 3은 본 개시의 일 실시예에 따른 가변 초점 렌즈부(1350)를 포함하는 증강 현실 장치의 예시를 나타내는 도면이다. 도 2의 증강 현실 장치(1000)는, 예를 들어, 도 3과 같은 안경형 몸체를 포함하는 안경형 디스플레이 장치로 구현될 수 있으나, 이에 제한되지 않는다.

도 3를 참조하면, 증강 현실 장치(1000)는 안경형 디스플레이 장치로서 사용자가 착용할 수 있도록 구성된 안경형 몸체를 포함할 수 있다.

안경형 몸체는 프레임(110) 및 안경다리들(190)을 포함할 수 있으며, 안경다리들(190)은 프레임(110)의 양 단부(end pieces)(113)에 각각 연결될 수 있다.

또한, 프레임(110)에는 가변 초점 렌즈부(1350) 및 웨이브 가이드(1320)가 위치할 수 있다. 가변 초점 렌즈부(1350)는 좌안용 가변 초점 렌즈부(1350L) 및 우안용 가변 초점 렌즈부(1350R)를 포함할 수 있다. 또한, 웨이브 가이드(1320)는 투사된 광을 입력 영역에서 입력받고 입력된 광의 적어도 일부를 출력 영역에서 출력하도록 구성될 수 있다. 이러한 웨이브 가이드(1320)는 좌안용 웨이브 가이드(1320L) 및 우안용 웨이브 가이드(1320R)를 포함할 수 있다.

좌안용 가변 초점 렌즈부(1350L) 및 좌안용 웨이브 가이드(1320L)가 사용자의 좌안에 대응되는 위치에 배치될 수 있으며, 우안용 가변 초점 렌즈부(1350R) 및 우안용 웨이브 가이드(1320R)가 사용자의 우안에 대응되는 위치에 배치될 수 있다. 예를 들어, 좌안용 가변 초점 렌즈부(1350L)와 좌안용 웨이브 가이드(1320L)가 서로 부착되거나, 우안용 가변 초점 렌즈부(1350R) 및 우안용 웨이브 가이드(1320R)가 서로 부착될 수 있으나, 이에 제한되지 않는다.

또한, 화상을 담은 광을 투사하는 프로젝터의 광학 엔진(1310)은 좌안용 광학 엔진(1310L) 및 우안용 광학 엔진(1310R)을 포함할 수 있다. 좌안용 광학 엔진(1310L) 및 우안용 광학 엔진(1320R)은 프레임(110)의 양 단부(113)에 위치할 수 있다. 광학 엔진(1310)으로부터 출사된 광은 웨이브 가이드(1320)을 통해 표시될 수 있다.

시선 추적 센서(1500)는 증강 현실 장치(1000)의 렌즈의 테두리 부분에 배치될 수 있으며, 예를 들어, 사용자의 눈을 향해 광을 제공하는 광원 모듈 및 제공된 광을 수신하는 광 센서를 포함할 수 있다. 광원 모듈은 광의 방향을 미리 정해진 시간 간격으로 변경하면서 사용자의 눈 영역을 향해 광을 제공 할 수 있다. 예를 들어, 광원 모듈로부터 제공되는 광(예컨대, 적외선(IR) 광)은, 미리 정해진 패턴(예컨대, 종 방향의 직선 또는 횡 방향의 직선)으로 사용자의 눈을 향해 투사될 수 있다. 시선 추적 센서(1500)는 광 센서를 이용하여, 사용자의 눈 영역에서 반사되는 광량의 변화량에 기초하여 사용자 눈의 각막 영역, 동공 영역을 식별함으로써 사용자의 눈의 시선을 추적할 수 있다.

도 4a는 본 개시의 일 실시예에 따른 가변 초점 렌즈부(1350)의 굴절력이 변경되는 예시를 나타내는 도면이다.

도 4a를 참조하면, 도 3 의 가변 초점 렌즈부(1350)는, 예를 들어, 배열 각도가 변경되는 액정 분자들(612)을 포함하는 액정층(610)을 가지도록 구현될 수 있다. 가변 초점 렌즈부(1350)의 액정 층(610)은 특정 위상 프로파일을 갖도록 변조된 제어 전압이 전극(30)에 인가됨에 따라, 활성 영역 내의 특정 위치에 배치되는 액정 분자들(612)의 배열 각도가 변경될 수 있다. 액정 층(610)의 특정 영역에 배치된 액정 분자들(612)의 배열 각도가 변경됨에 따라, 액정 분자들(612)을 통과하는 광의 굴절률이 변경될 수 있다. 광의 굴절률이 변경되면, 가변 초점 렌즈부(1350)의 굴절력이 변경되고, 따라서 가변 초점 렌즈부(1350)를 투과하는 광의 경로가 바뀜으로써 버전스(vergence)가 변경될 수 있다. 버전스는 가변 초점 렌즈부(1350)를 투과하는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)이다. 버전스는 가변 초점 렌즈부(1350)의 굴절력에 따라 조절될 수 있다.

도 4b는 본 개시의 일 실시예에 따른 가변 초점 렌즈부(1350)의 굴절력이 변경되는 예시를 나타내는 도면이다.

도 4b를 참조하면, 도 3의 가변 초점 렌즈부(1350)는 전기적 신호에 따라 이동하는 유체(40)를 포함하는 액체 렌즈로 구현될 수 있다. 가변 초점 렌즈부(1350)는 전기적 신호에 따라 이동하는 유체(40), 및 유체(40)를 저장하는 하우징(42)을 포함할 수 있다. 이에 따라, 증강 현실 장치(1000)는 전기적 신호를 이용하여 가변 초점 렌즈부(1350)의 하우징(42) 내에 저장된 유체(40)의 양을 조절함으로써, 가변 초점 렌즈부(1350)의 형태를 오목 렌즈의 형태 또는 볼록 렌즈의 형태로 변경할 수 있으며, 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다.

도 5 내지 도 7에서는 도 2의 증강 현실 장치(1000)가 사용자 입력의 정답률에 따라 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 설명하기로 한다.

도 5는 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 사용자의 음성 입력의 정답률이 낮은 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.

도 5를 참조하면, 증강 현실 장치(1000)는 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(50) 상의 상이한 위치들에 문자 ‘B’ (52), 문자 ‘0’ (54) 및 문자 ‘E’ (56)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(50) 상에 표시된 문자 ‘B’ (52), 문자 ‘E’ (54) 및 문자 ‘O’ (56)는, 도 5에서와 같이, 시력이 좋지 않은 사용자에게는 심하게 흐릿하게 보일 수 있다. 이에 따라, 증강 현실 장치(1000)는 문자 ‘B’ (52)를 표시한 이후에, “안 보여요”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘E’ (54)를 표시하고 “8입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘O’ (56)을 표시하고 “6입니다”라는 사용자의 음성 입력을 수신할 수 있다.

증강 현실 장치(1000)는 “안 보여요”라는 음성 입력을 식별하고, 문자 ‘O’와 문자’8’을 비교하고, 문자 ‘E’와 문자 ‘6’을 비교할 수 있다. 또한, 증강 현실 장치(1000)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 0%임을 식별하고 가변 초점 렌즈부(1350)의 굴절력을 ‘0 D’에서 ‘-2 D’로 변경할 수 있다. 또한, 증강 현실 장치(1000)는 정답률이 0%이므로 시선 추적 센서 캘리브레이션을 위하여 이용될 시선 정보가 없다고 판단할 수 있다.

도 5에서는 3개의 문자를 순차적으로 표시하고 이에 대한 사용자의 음성 입력들을 수신한 이후에 가변 초점 렌즈부(1350)의 굴절력을 변경하는 것으로 설명되었지만, 표시되는 문자의 개수는 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(1000)는 1개의 문자를 표시하고 이에 대한 사용자의 음성 입력을 수신한 이후에, 사용자의 음성 입력의 정답 여부를 판단할 수 있다. 또한, 증강 현실 장치(1000)는 사용자가 오답을 입력한 경우에, 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다.

도 6은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 사용자의 음성 입력의 정답률이 보통인 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.

도 6을 참조하면, 증강 현실 장치(1000)는 가변 초점 렌즈부(1350)의 굴절력이 ‘-2 D’로 변경된 이후에, 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(60) 상의 상이한 위치들에 문자 ‘B’ (62), 문자 ‘E’ (64) 및 문자 ‘O’ (66)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(60)은 시력 측정판(50)과 동일할 수 있다. 또한, 시력 측정판(60) 상에 표시된 문자 ‘B’ (62), 문자 ‘E’ (64) 및 문자 ‘0’ (66)는, 도 6에서와 같이, 사용자에게 적당히 흐릿하게 보일 수 있다. 이에 따라, 증강 현실 장치(1000)는 문자 ‘B’ (62)를 표시한 이후에, “8입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘E’ (64)를 표시하고 “6입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘0’ (66)을 표시하고 “O입니다”라는 사용자의 음성 입력을 수신할 수 있다.

증강 현실 장치(1000)는 문자 ‘B’와 음성 입력 ’8’을 비교하고, 문자 ‘E’와 음성 입력 ’6’을 비교하고, 문자 ‘O’와 음성 입력 ‘0’을 비교할 수 있다. 또한, 증강 현실 장치(1000)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 33.3%임을 식별하고 가변 초점 렌즈부(1350)의 굴절력을 “-2 D”에서 “-3 D”으로 변경할 수 있다. 또한, 증강 현실 장치(1000)는 정답률이 33.3%이므로, 사용자가 정답을 입력한 문자 ‘0’ (66)의 표시 위치 및 문자 ‘0’ (66)를 읽는 음성을 입력한 때의 사용자의 시선 정보를 시선 추적 센서 캘리브레이션을 위하여 메모리(1700)에 저장할 수 있다.

도 6에서는 3개의 문자를 순차적으로 표시하고 이에 대한 사용자의 음성 입력들을 수신한 이후에 가변 초점 렌즈부(1350)의 굴절력을 추가로 변경하는 것으로 설명되었지만, 표시되는 문자의 개수는 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(1000)는 1개의 문자를 표시하고 이에 대한 사용자의 음성 입력을 수신한 이후에, 사용자의 음성 입력의 정답 여부를 판단할 수 있다. 또한, 증강 현실 장치(1000)는 사용자가 오답을 입력한 경우에, 가변 초점 렌즈부(1350)의 굴절력을 추가로 변경할 수 있다.

도 7은 본 개시의 일 실시예에 따른 증강 현실 장치(1000)가 사용자의 음성 입력의 정답률이 높은 경우에, 사용자의 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 예시를 나타내는 도면이다.

도 7을 참조하면, 증강 현실 장치(1000)는, 도 6에서와 같이 가변 초점 렌즈부(1350)의 굴절력이 ‘-3 D’으로 변경된 이후에, 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(70) 상의 상이한 위치들에 문자 ‘B’ (72), 문자 ‘O’ (74) 및 문자 ‘E’ (76)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(70)은 시력 측정판(50)과 동일할 수 있다. 또한, 시력 측정판(70) 상에 표시된 문자 ‘B’ (72), 문자 ‘O’ (74) 및 문자 ‘E’ (76)는, 도 7에서와 같이, 사용자에게 선명하게 보일 수 있다. 증강 현실 장치(1000)는 문자 ‘B’ (72)를 표시한 이후에, “B입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘O’ (74)를 표시하고 “O입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(1000)는 문자 ‘E’ (76)을 표시하고 “E입니다”라는 사용자의 음성 입력을 수신할 수 있다.

증강 현실 장치(1000)는 문자 ‘B’와 음성 입력 ’B’를 비교하고, 문자 ‘O’와 음성 입력 ’O’를 비교하고, 문자 ‘E’와 음성 입력 ‘E’를 비교할 수 있다. 또한, 증강 현실 장치(1000)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 100%임을 식별하고 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정할 수 있다. 또한, 증강 현실 장치(1000)는 정답률이 100%이므로, 사용자가 정답을 입력한 문자 ‘B’ (72), 문자 ‘O’ (74) 및 문자 ‘E’ (76)의 표시 위치들 및 문자 ‘B’ (72), 문자 ‘O’ (74) 및 문자 ‘E’ (76)를 읽는 음성들을 입력한 때의 사용자의 시선 정보를 시선 추적 센서 캘리브레이션을 위하여 메모리(1700)에 저장할 수 있다.

도 7에서는 3개의 문자를 순차적으로 표시하고 이에 대한 사용자의 음성 입력들을 수신한 이후에 가변 초점 렌즈부(1350)의 굴절력을 추가로 변경하는 것으로 설명되었지만, 표시되는 문자의 개수는 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(1000)는 1개의 문자를 표시하고 이에 대한 사용자의 음성 입력을 수신한 이후에, 사용자의 음성 입력의 정답 여부를 판단할 수 있다. 또한, 증강 현실 장치(1000)는 사용자가 정답을 입력한 경우에, 가변 초점 렌즈부(1350)의 굴절력을 사용자에 대한 굴절력으로 결정하고 결정된 굴절력의 값을 저장할 수 있다. 또는, 증강 현실 장치(1000)는 사용자가 오답을 입력한 경우에, 가변 초점 렌즈부(1350)의 굴절력을 추가로 변경할 수 있다.

이후에 증강 현실 장치(1000)는 시선 추적 센서 캘리브레이션을 위해 저장된 데이터를 이용하여, 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있다. 도 5 내지 도 7에서는, 사용자의 음성 입력이 정답인 경우에 사용자의 시선 정보를 시선 추적 센서 캘리브레이션을 위해 저장하는 것으로 설명되었지만, 이에 제한되지 않는다. 예를 들어, 사용자가 표시된 문자에 대한 오답을 입력하는 경우에도, 사용자가 시력 측정을 위해 표시된 문자를 정확히 응시하면서 음성을 발화하였다고 볼 수 있으며, 나아가 표시된 문자는 시선 캘리브레이션을 위해 충분히 작은 크기로 표시되므로, 사용자의 음성 입력이 오답인 경우에도 사용자의 시선 정보가 시선 추적 센서 캘리브레이션을 위해 저장될 수도 있다.

도 5 내지 도 7에서는, 특정 굴절력에서 문자들을 3개씩 표시하는 것으로 설명되었지만 이에 제한되지 않는다. 시선 추적 센서 캘리브레이션을 위한 시선 정보가 충분히 저장되었는 지를 고려하여 문자들의 표시 개수가 상이하게 설정될 수 있다. 예를 들어, 시선 추적 센서 캘리브레이션을 위한 시선 정보가 부족한 경우에, 증강 현실 장치(1000)는 도 5 내지 도 7에서 보다 더 많은 문자들을 표시할 수 있다.

또한, 도 5 및 도 6에서의 굴절력의 변경 정도와 상이하게 가변 초점 렌즈부(1350)의 굴절력이 변경될 수 있다. 이 경우, 사용자의 정답률에 기초하여 가변 초점 렌즈부(1350)의 굴절력을 어느 정도 변경할 지가 다양하게 설정될 수 있다. 예를 들어, 사용자의 정답률이 낮은 경우에, 증강 현실 장치(1000)는 가변 초점 렌즈부(1350)의 굴절력을 많이 변경함으로써 사용자의 시력 교정을 위한 굴절력의 변경 횟수를 줄일 수 있다. 예를 들어, 사용자의 정답률이 높은 경우에, 증강 현실 장치(1000)는 가변 초점 렌즈부(1350)의 굴절력을 적게 변경함으로써, 사용자의 시력을 세밀하게 교정할 수 있다.

도 8은 본 개시의 일실시예에 따른 증강 현실 장치가 가변 초점 렌즈부의 굴절력을 변경하기 전에 사용자의 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 방법의 흐름도이다.

동작 S800에서 증강 현실 장치(1000)는 시력 교정 및 시선 추적 센서 캘리브레이션을 개시할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 사용자에 대한 시력 교정 및 시선 추적 센서 캘리브레이션을 함께 수행하기 위하여, 사용자에 대한 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 GUI를 제공할 수 있다. GUI의 가상 이미지는 광원 엔진(1310)으로부터 웨이브 가이드(1320)를 향하여 투사될 수 있으며, 웨이브 가이드(1720)로 투사된 GUI의 가상 이미지는 전반사(total reflection) 원리로 웨이브 가이드(1320) 내에서 반사될 수 있다. 웨이브 가이드(1320)에 투사된 GUI의 가상 이미지는 복수의 영역에 형성된 회절 격자에 의해 광 경로가 변경되어 최종적으로 사용자의 눈을 향하여 GUI의 가상 이미지가 출력될 수 있다. 사용자에 대한 시력 교정은 사용자에 대한 가변 초점 렌즈부(1350)의 굴절력을 결정하는 동작일 수 있다. 증강 현실 장치(1000)는 GUI를 통한 사용자 입력에 따라 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 개시할 수 있다. 예를 들어, 증강 현실 장치(1000)는 GUI를 통한 사용자 입력에 기초하여 사용자를 식별하고, 식별된 사용자에 대한 시력 교정 및 시선 추적 센서 캘리브레이션을 개시할 수 있다.

동작 S810 에서 증강 현실 장치(1000)의 프로세서(1800)는 기설정된 크기의 적어도 하나의 제1 문자를 영상 출력부(1300)를 통해 출력하고 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 음성 입력을 마이크(1200)를 통해 획득할 수 있다.

증강 현실 장치(1000)의 프로세서(1800)는 기설정된 크기의 적어도 하나의 제1 문자를 웨이브 가이드(1320) 상의 적어도 하나의 제1 위치에 순차적으로 표시하고 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 음성 입력을 순차적으로 수신할 수 있다.

이 경우, 웨이브 가이드(1320) 상에서 시선 추적 센서 캘리브레이션을 위해 필요하다고 설정된 복수의 표시 위치들에 대하여 사용자의 시선 정보들이 고르게 획득될 수 있도록, 제1 문자가 표시되는 제1 위치가 결정될 수 있다. 예를 들어, 제1 문자가 표시되는 제1 위치로서, 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 기설정된 위치들이 순차적으로 선택될 수 있다. 증강 현실 장치(1000)가 사용자의 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 위치들은 증강 현실 장치(1000)의 제조 시에 미리 설정될 수 있으나, 이에 제한되지 않는다.

동작 S820에서 증강 현실 장치(1000)의 프로세서(1800)는 제1 음성 입력이 획득될 때의 제1 시선 정보를 획득할 수 있다. 증강 현실 장치(1000)는 영상 출력부(1300)를 통해 표시된 제1 문자에 대한 사용자의 제1 음성 입력이 마이크(1200)를 통해 수신된 때의 사용자의 제1 시선 정보를 획득할 수 있다. 사용자의 시선 정보는 사용자의 시선에 관련된 정보로서, 예를 들어, 사용자의 동공의 위치, 동공의 중심점 좌표, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다. 증강 현실 장치(1000)는, 예를 들어, 시선 추적 센서(1500)를 통해 사용자의 시선 방향을 모니터링할 수 있으며, 마이크(1200)를 통해 사용자의 제1 음성 입력이 수신됨이 감지되면, 모니터링된 시선 정보들 중에서 제1 음성 입력이 수신된 때의 사용자의 제1 시선 정보를 획득할 수 있다. 이 경우, 예를 들어, 웨이브 가이드(1320) 상에 시선 추적 센서 캘리브레이션을 위한 문자가 표시됨에 따라, 사용자의 시선 방향을 모니터링하는 동작이 개시될 수 있으나, 이에 제한되지 않는다.

또한, 획득된 제1 시선 정보에 기초하여 사용자의 제1 시선 방향이 식별될 수 있다. 음성 입력이 수신된 때의 사용자의 시선 방향은, 예를 들어, 마이크(1200)를 통해 사용자의 음성 입력이 수신됨이 감지된 시점 전/후의 소정의 임계 시간 동안의 사용자의 시선 방향일 수 있으나, 이에 제한되지 않는다.

동작 S830에서 증강 현실 장치(1000)의 프로세서(1800)는 표시된 적어도 하나의 제1 문자 및 적어도 하나의 제1 음성 입력을 비교할 수 있다. 증강 현실 장치(1000)는 영상 출력부(1300)를 통해 표시된 적어도 하나의 제1 문자를, 적어도 하나의 제1 문자를 읽는 사용자의 적어도 하나의 제1 음성 입력에 대응되는 적어도 하나의 문자와 비교할 수 있다. 증강 현실 장치(1000)는 STT 기능을 이용하여 제1 음성 입력들로부터 제1 음성 입력에 대응되는 문자를 식별할 수 있다.

예를 들어, 복수 개의 제1 문자가 표시된 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 복수의 제1 문자들과, 복수의 제1 문자들을 읽는 사용자의 제1 음성 입력들에 대응되는 문자들이 동일한지를 판단할 수 있다. 또한, 증강 현실 장치(1000)의 프로세서(1800)는 복수의 제1 문자들과, 복수의 제1 문자들을 읽는 사용자의 제1 음성 입력들에 대응되는 문자들이 동일한지에 관한 제1 정답률을 산출할 수 있다.

예를 들어, 하나의 제1 문자가 표시된 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 제1 문자와, 제1 문자를 읽는 사용자의 제1 음성 입력에 대응되는 문자가 동일한지를 판단할 수 있다.

동작 S840에서 증강 현실 장치(1000)의 프로세서(1800)는 표시된 제1 문자 및 제1 음성 입력의 비교 결과에 기초하여, 가변 초점 렌즈부(1350)의 굴절력을 제1 굴절력으로 결정할 수 있다.

예를 들어, 증강 현실 장치(1000)의 프로세서(1800)는 제1 정답률에 기초하여 증강 현실 장치(1000)의 가변 초점 렌즈부(1350)의 굴절력을 결정하고, 가변 초점 렌즈부(1350)의 굴절력을 변경할 수 있다. 예를 들어, 제1 정답률이 낮은 경우에는 가변 초점 렌즈부(1350)의 굴절력을 많이 변경할 수 있으며, 제1 정답률이 큰 경우에는 가변 초점 렌즈부(1350)의 굴절력을 적게 변경할 수 있다.

또는, 예를 들어, 증강 현실 장치(1000)의 프로세서(1800)가 마이크(1200)를 통하여 하나의 제1 문자에 대한 하나의 제1 음성 입력을 수신한 경우에, 증강 현실 장치(1000)는 제1 음성 입력이 오답이면, 가변 초점 렌즈부(1350)의 굴절력을 제1 굴절력으로 변경할 수 있다.

또한, 증강 현실 장치(1000)의 프로세서(1800)는 제1 굴절력을 사용자에 대한 가변 초점 렌즈부(1350)의 굴절력으로 저장할 수 있다. 예를 들어, 증강 현실 장치(1000)의 프로세서(1800)는 제1 굴절력에 대응되는 디옵터 값을 저장할 수 있다.

동작 S850에서 증강 현실 장치(1000)의 프로세서(1800)는 제1 시선 정보에 기초하여, 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000) 의 프로세서(1800)는 사용자의 시선이 향하는 증강 현실 장치(1000)의 웨이브 가이드(1320) 상의 위치를 정확히 설정하기 위하여, 정답인 제1 음성 입력이 입력된 때의 사용자의 제1 시선 방향에 관련된 시선 정보를, 정답인 제1 음성 입력에 대응되는 제1 문자의 표시 위치를 나타내는 좌표 값과 맵핑할 수 있다. 시선 추적 센서 캘리브레이션에 의해, 사용자가 실제로 바라보는 웨이브 가이드(1320) 상의 지점과 디바이스에서 사용자가 바라보는 것으로 인식한 웨이브 가이드(1320) 상의 지점이 일치될 수 있다.

사용자에 대한 시력 교정 또는 시선 추적 센서 캘리브레이션이 충분히 수행되지 않은 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 시력 교정 및 시선 추적 센서 캘리브레이션을 위한 동작을 추가로 수행할 수 있다. 사용자에 대한 시력 교정 또는 시선 추적 센서 캘리브레이션이 충분히 수행되지 않은 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 동작 S850을 수행하지 않고 후술할 도 9의 동작들을 수행할 수 있다. 사용자에 대한 시선 추적 센서 캘리브레이션이 충분히 수행되지 않은 경우는, 예를 들어, 웨이브 가이드(1320) 상의 시선 추적 센서 캘리브레이션을 위한 기설정된 복수의 위치들 중에서, 사용자의 시선 정보가 매핑되지 않은 위치가 존재하는 경우를 포함할 수 있으나, 이에 제한되지 않는다.

도 9는 본 개시의 일실시예에 따른 증강 현실 장치가 가변 초점 렌즈부의 굴절력을 변경한 이후에 사용자의 시선 추적 센서 캘리브레이션을 위한 동작을 수행하는 방법의 흐름도이다.

동작 S910에서 증강 현실 장치(1000)의 프로세서(1800)는, 가변 초점 렌즈의 굴절력이 제1 굴절력으로 변경된 이후에, 적어도 하나의 제2 문자를 영상 출력부(1300)를 통해 출력하고 적어도 하나의 제2 음성 입력을 마이크(1200)를 통하여 순차적으로 획득할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는, 가변 초점 렌즈의 굴절력이 제1 굴절력으로 변경된 이후에, 적어도 하나의 제2 문자를 웨이브 가이드(1320) 상의 적어도 하나의 제2 위치에 순차적으로 표시하고 적어도 하나의 제2 음성 입력을 순차적으로 획득할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 기설정된 크기의 적어도 하나의 제2 문자를 웨이브 가이드(1320) 상의 적어도 하나의 제2 위치에 순차적으로 표시하고, 표시된 적어도 하나의 제2 문자에 대한 사용자의 적어도 하나의 제2 음성 입력을 순차적으로 수신할 수 있다. 제2 문자는 제1 문자와 동일한 크기 및 동일한 깊이로 웨이브 가이드(1320) 상에 표시될 수 있다. 또한, 시선 추적 센서 캘리브레이션을 위해 제2 문자가 표시되는 제2 위치는, 제1 문자가 표시되는 제1 위치와 마찬가지로, 시선 추적 센서 캘리브레이션을 위해 필요한 기설정된 위치들 중에서 선택될 수 있다.

예를 들어, 증강 현실 장치(1000)의 프로세서(1800)는 시력 교정 및 시선 추적 센서 캘리브레이션을 위하여 미리 설정된 일정한 크기의 랜덤한 제2 문자를 사용자의 시력 측정을 위해 미리 설정된 깊이로 디스플레이할 수 있다. 이 경우, 웨이브 가이드(1320) 상에서 시선 추적 센서 캘리브레이션을 위해 미리 설정된 복수의 표시 위치들에 대하여 사용자의 제2 시선 정보가 고르게 획득될 수 있도록, 제2 문자가 표시되는 제2 위치가 결정될 수 있다. 증강 현실 장치(1000)가 제2 문자를 표시하는 제2 위치는, 시선 추적 센서 캘리브레이션을 위하여 필요로 하는 웨이브 가이드(1320) 상의 기설정된 위치들 중에서, 캘리브레이션 모듈(1730)을 통한 캘리브레이션이 충분히 수행되지 않았다고 판단되는 위치일 수 있다. 예를 들어, 문자들이 특정 위치에서 사용자에 의해 소정 회수 이상 정확히 읽혔다고 판단되는 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 해당 위치에서 캘리브레이션이 충분히 수행되었다고 판단할 수 있으나, 이에 제한되지 않는다.

동작 S920에서 증강 현실 장치(1000)의 프로세서(1800)는 제2 음성 입력이 획득될 때의 사용자의 제2 시선 정보를 획득할 수 있다. 증강 현실 장치(1000)는 웨이브 가이드(1320)에 표시된 제2 문자에 대한 사용자의 제2 음성 입력이 마이크(1200)를 통해 수신된 때의 사용자의 제2 시선 정보를 검출할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는, 예를 들어, 시선 추적 센서(1500)를 통해 사용자의 시선 방향을 모니터링할 수 있으며, 마이크(1200)를 통해 사용자의 제2 음성 입력이 수신됨이 감지되면, 모니터링된 시선 방향들 중에서 제2 음성 입력이 수신된 때의 사용자의 제2 시선 방향을 추출할 수 있다.

동작 S930에서 증강 현실 장치(1000)의 프로세서(1800)는 표시된 적어도 하나의 제2 문자 및 적어도 하나의 제2 음성 입력을 비교할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 STT 기능을 이용하여 제2 음성 입력으로부터 제2 음성 입력에 대응되는 문자를 식별할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 적어도 하나의 제2 문자와, 적어도 하나의 제2 문자를 읽는 사용자의 적어도 하나의 제2 음성 입력에 대응되는 적어도 하나의 문자가 동일한지를 판단할 수 있다.

예를 들어, 복수 개의 제2 문자가 표시된 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 복수의 제2 문자들과, 복수의 제2 문자들을 읽는 사용자의 제2 음성 입력들에 대응되는 문자들이 동일한지에 관한 제2 정답률을 산출할 수 있다.

예를 들어, 하나의 제2 문자가 표시된 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 제2 문자와, 제2 문자를 읽는 사용자의 제1 음성 입력에 대응되는 문자가 동일한지를 판단할 수 있다.

동작 S940에서 증강 현실 장치(1000)의 프로세서(1800)는 표시된 적어도 하나의 제2 문자 및 적어도 하나의 제2 음성 입력의 비교 결과에 기초하여, 가변 초점 렌즈부(1350)의 굴절력을 제2 굴절력으로 결정할 수 있다. 또한, 증강 현실 장치(1000)의 프로세서(1800)는 제2 굴절력을 사용자에 대한 가변 초점 렌즈부(1350)의 굴절력으로 저장할 수 있다. 예를 들어, 증강 현실 장치(1000)의 프로세서(1800)는 제2 굴절력에 대응되는 디옵터 값을 저장할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 가변 초점 렌즈부(1350)의 굴절력을 제2 굴절력으로 변경할 수 있다.

동작 S950에서 증강 현실 장치(1000)의 프로세서(1800)는 제1 시선 정보 및 제2 시선 정보에 기초하여, 사용자에 대한 시선 추적 센서 캘리브레이션을 수행할 수 있다. 증강 현실 장치(1000)의 프로세서(1800)는 정답인 제1 음성 입력이 입력된 때의 사용자의 제1 시선 정보를, 정답인 제1 음성 입력에 대응되는 제1 문자의 표시 위치를 나타내는 좌표 값과 맵핑하고, 정답인 제2 음성 입력이 입력된 때의 사용자의 제2 시선 정보를, 정답인 제2 음성 입력에 대응되는 제2 문자의 표시 위치를 나타내는 좌표 값과 맵핑할 수 있다.

만약, 사용자에 대한 시선 교정 및 시선 추적 센서 캘리브레이션이 충분히 수행되지 않은 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 사용자의 시력을 교정하고 사용자에 대한 시선 추적 센서 캘리브레이션을 위한 동작을 반복하여 수행할 수 있다.

한편, 증강 현실 장치(1000)의 프로세서(1800)는 시력 산출 모듈(1720)을 실행함으로써, 사용자의 시력을 산출할 수 있다. 예를 들어, 제2 정답률이 소정 임계치 이상인 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 가변 초점 렌즈부(1350)의 굴절력을 확정할 수 있다. 예를 들어, 제2 정답률이 90% 이상인 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정할 수 있다. 또는, 예를 들어, 표시된 문자에 대한 음성 입력이 정답인 경우에, 증강 현실 장치(1000)의 프로세서(1800)는 가변 초점 렌즈부(1350)의 현재 굴절력을 사용자에 대한 굴절력으로 결정할 수 있다.

또한, 증강 현실 장치(1000)의 프로세서(1800)는 결정된 굴절력에 대응되는 사용자의 시력을 식별할 수 있다. 이 경우, 사용자의 시력 값에 대응되는 렌즈의 굴절력 값을 나타내는 테이블을 이용하여, 사용자의 시력이 식별될 수 있다.

본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.

또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims

증강 현실 장치의 가변 초점 렌즈의 굴절력을 변경하는 방법에 있어서,
미리 설정된 크기의 적어도 하나의 제1 문자를 상기 증강 현실 장치의 웨이브 가이드를 통해 출력하는 단계;
상기 적어도 하나의 제1 문자에 대한 적어도 하나의 제1 입력을 획득하는 단계;
상기 적어도 하나의 제1 입력이 획득될 때의 상기 증강 현실 장치의 시선 추적 센서를 통해 검출된 적어도 하나의 제1 시선 정보를 획득하는 단계;
상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하는 단계; 및
상기 비교 결과에 기초하여, 상기 증강 현실 장치의 가변 초점 렌즈의 굴절력을 제1 굴절력으로 결정하는 단계;
를 포함하는, 방법.
제1 항에 있어서,
상기 적어도 하나의 제1 시선 정보에 기초하여, 상기 시선 추적 센서 캘리브레이션을 수행하는 단계;
를 더 포함하는, 방법.
제2 항에 있어서,
상기 가변 초점 렌즈의 굴절력이 제1 굴절력으로 변경된 이후에, 상기 미리 설정된 크기의 적어도 하나의 제2 문자를 상기 웨이브 가이드를 통해 출력하는 단계;
상기 적어도 하나의 제2 문자에 대한 상기 사용자의 적어도 하나의 제2 입력을 획득하는 단계;
상기 적어도 하나의 제2 입력이 획득될 때의 상기 시선 추적 센서를 통해 검출된 적어도 하나의 제2 시선 정보를 획득하는 단계;
상기 적어도 하나의 제2 문자 및 상기 적어도 하나의 제2 입력을 비교하는 단계; 및
상기 적어도 하나의 제2 문자 및 상기 적어도 하나의 제2 입력의 비교 결과에 기초하여, 상기 증강 현실 장치의 가변 초점 렌즈의 굴절력을 제2 굴절력으로 결정하는 단계;
를 더 포함하며,
상기 시선 추적 센서 캘리브레이션을 수행하는 단계는, 상기 적어도 하나의 제1 시선 정보 및 상기 적어도 하나의 제2 시선 정보에 기초하여, 상기 시선 추적 센서 캘리브레이션을 수행하는 것인, 방법.
제3 항에 있어서,
상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제2 문자는, 기 설정된 교정 시력에 대응되는 크기를 가지며, 상기 사용자의 시력 측정을 위한 기 설정된 깊이(depth)로 표시되는 것인, 방법.
제2 항에 있어서,
상기 적어도 하나의 제1 문자는 상기 웨이브 가이드 상의 적어도 하나의 제1 위치에 표시되며,
상기 적어도 하나의 제1 위치는, 상기 시선 추적 센서 캘리브레이션을 위하여 미리 설정된 상기 웨이브 가이드 상의 복수의 위치들 중 적어도 하나인 것인, 방법.
제1 항에 있어서,
상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하는 단계는, 상기 적어도 하나의 제1 문자와 상기 적어도 하나의 제1 입력에 대응되는 적어도 하나의 문자를 비교하는 단계를 포함하는 것인, 방법.
제1 항에 있어서,
상기 가변 초점 렌즈의 굴절력은, 상기 가변 초점 렌즈 내의 LC 입자(Liquid Crystal molecules)들의 배열을 변경시킴으로써 변경되는 것인, 방법.
제1 항에 있어서,
상기 사용자의 시력 정보를 획득하는 단계;
상기 획득된 시력 정보에 기초하여 상기 증강 현실 장치의 가변 초점 렌즈의 굴절력을 미리 변경하는 단계;
를 더 포함하며,
상기 적어도 하나의 제1 문자를 표시하는 단계는, 상기 가변 초점 렌즈의 굴절력이 미리 변경된 이후에, 상기 적어도 하나의 제1 문자를 표시하는 것인, 방법.
제3 항에 있어서,
상기 제1 시선 정보는, 대응되는 제1 문자의 표시 위치와 함께 상기 시선 추적 센서 캘리브레이션을 위하여 저장되며, 상기 제2 시선 정보는, 대응되는 제2 문자의 표시 위치와 함께 상기 시선 추적 센서 캘리브레이션을 위하여 저장되는 것인, 방법.
제1 항에 있어서,
상기 제1 시선 정보 및 상기 제2 시선 정보는 상기 증강 현실 장치에서 상기 사용자의 눈을 향하여 배치된 적어도 하나의 시선 추적 센서에 의해 획득되는 것인, 방법.
사용자의 시선에 기초하여 가변 초점 렌즈의 굴절력을 변경하는 증강 현실 장치에 있어서,
광학 엔진 및 웨이브 가이드를 포함하는 영상 출력부;
상기 사용자의 시선을 추적하는 시선 추적 센서;
가변 초점 렌즈부;
하나 이상의 명령어들을 저장하는 메모리; 및
상기 하나 이상의 명령어들을 실행하여,
상기 영상 출력부의 광학 엔진을 제어하여, 상기 미리 설정된 크기의 적어도 하나의 제1 문자를 상기 웨이브 가이드를 통해 출력하고;
상기 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 입력을 획득하고,
상기 시선 추적 센서를 제어하여, 상기 적어도 하나의 제1 입력이 획득될 때의 상기 시선 추적 센서를 통해 검출된 적어도 하나의 제1 시선 정보를 획득하고,
상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하고,
상기 비교 결과에 기초하여, 상기 가변 초점 렌즈부의 굴절력을 제1 굴절력으로 결정하는 프로세서;
를 포함하는, 증강 현실 장치.
제11 항에 있어서,
상기 프로세서는, 상기 하나 이상의 명령어들을 실행하여,
상기 적어도 하나의 제1 시선 정보에 기초하여, 상기 시선 추적 센서 캘리브레이션을 수행하는 것인, 증강 현실 장치.
제12 항에 있어서,
상기 프로세서는, 상기 하나 이상의 명령어들을 실행하여,
상기 가변 초점 렌즈부의 굴절력이 제1 굴절력으로 변경된 이후에, 상기 미리 설정된 크기의 적어도 하나의 제2 문자를 상기 웨이브 가이드를 통해 출력하고,
상기 적어도 하나의 제2 문자에 대한 상기 사용자의 적어도 하나의 제2 입력을 획득하고,
상기 적어도 하나의 제2 입력이 획득될 때의 상기 시선 추적 센서를 통해 검출된 적어도 하나의 제2 시선 정보를 획득하고,
상기 적어도 하나의 제2 문자 및 상기 적어도 하나의 제2 입력을 비교하고,
상기 적어도 하나의 제2 문자 및 상기 적어도 하나의 제2 입력의 비교 결과에 기초하여, 상기 가변 초점 렌즈부의 굴절력을 제2 굴절력으로 결정하고,
상기 제1 시선 정보 및 상기 제2 시선 정보에 기초하여, 상기 시선 추적 센서 캘리브레이션을 수행하는 것인, 증강 현실 장치.
제13 항에 있어서,
상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제2 문자는, 기설정된 교정 시력에 대응되는 크기를 가지며, 상기 사용자의 시력 측정을 위한 기설정된 깊이로 표시되는 것인, 증강 현실 장치.
제12 항에 있어서,
상기 적어도 하나의 제1 문자는 상기 웨이브 가이드 상의 적어도 하나의 제1 위치에 표시되며,
상기 적어도 하나의 제1 위치는, 상기 시선 추적 센서 캘리브레이션을 위하여 미리 설정된 상기 웨이브 가이드 상의 복수의 위치들 중 적어도 하나인 것인, 증강 현실 장치.
제11 항에 있어서,
상기 프로세서는, 상기 하나 이상의 명령어들을 실행하여, 상기 적어도 하나의 제1 문자를 상기 적어도 하나의 제1 입력에 대응되는 적어도 하나의 문자와 비교하는 것인, 증강 현실 장치.
제11 항에 있어서,
상기 프로세서는, 상기 하나 이상의 명령어들을 실행하여, 상기 가변 초점 렌즈 내의 LC 입자(Liquid Crystal molecules)들의 배열을 변경시킴으로써 상기 가변 초점 렌즈부의 상기 굴절력을 변경하는 것인, 증강 현실 장치.
제11 항에 있어서,
상기 프로세서는, 상기 하나 이상의 명령어들을 실행하여,
상기 사용자의 시력 정보를 획득하고,
상기 획득된 시력 정보에 기초하여 상기 가변 초점 렌즈부의 굴절력을 미리 변경하며,
상기 가변 초점 렌즈의 굴절력이 미리 변경된 이후에, 상기 적어도 하나의 제1 문자를 표시하는 것인, 증강 현실 장치.
제13 항에 있어서,
상기 제1 시선 정보는, 대응되는 제1 문자의 표시 위치와 함께 상기 시선 추적 센서 캘리브레이션을 위하여 저장되며, 상기 제2 시선 정보는, 대응되는 제2 문자의 표시 위치와 함께 상기 시선 추적 센서 캘리브레이션을 위하여 저장되는 것인, 증강 현실 장치.
제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.