KR20230007611A - 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법 - Google Patents

Abstract

증강 현실 장치가 사용자의 시력을 측정하는 방법이 제공된다. 방법은, 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계, 결정된 제1 영역에 대응되는 디스플레이 상의 제2 영역을 결정하는 단계, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계, 및 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함할 수 있다.

Description

시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법{AUGMENTED REALITY DEVICE AND METHOD FOR PROVIDING VISION MEASUREMENT AND VISION CORRECTION}

본 개시는 사용자의 시력을 측정하고, 저시력 사용자들에게 교정된 시력을 제공하는 증강 현실 장치 및 방법에 관한 것이다.

증강 현실(augmented reality, AR) 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 물리적 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 현대의 컴퓨팅 및 디스플레이 기술은 증강 현실 경험을 위한 시스템의 개발을 가능하게 하였는데, 증강 현실 경험에서는, 디지털적으로 재 생성된 이미지 또는 그 일부가, 이들이 현실인 것처럼 생각되거나, 또는 현실로서 인식될 수 있는 방식으로 사용자에게 제시될 수 있다.

증강 현실 기술에 대한 관심이 높아짐에 따라, 증강 현실을 구현하는 다양한 기술들에 대한 개발이 활발하게 이루어지고 있다. 특히 스마트 안경 등에서는 투명한 디스플레이를 통해, 현실의 물리적 환경에 대한 이미지를 직접 인식하면서, 배경 이미지 상에 가상 대상체(virtual object)를 오버레이(overlay) 되도록 표시할 수 있다.

한편, 대부분의 증강 현실 장치는 헤드 마운트 디스플레이(head mounted display, HMD)의 형태를 갖는데, 이러한 증강 현실 장치는 시력 교정용 안경을 착용한 상태로 사용하기 불편함이 있다. 시력 교정용 안경을 착용하는 사람의 교정 전 시력은 근시, 원시, 난시, 또는 이들의 조합으로 인해 복합적으로 나타날 수 있다. 시력 교정이 필요한 사용자가 시력 교정용 안경을 착용하지 않고 증강 현실 장치를 사용하는 경우, 현실의 물리적 환경에 대해 이미지를 설명하게 인식할 수 없고, 증강 현실의 몰입도가 떨어진다.

이에 따라, 별도의 안경을 착용하지 않은 사용자에게도 실감나는 증강 현실 서비스를 제공하기 위해, 사용자의 시력을 정확히 측정하고, 시력 교정을 제공하기 위한 기술이 요구된다.

본 개시의 일 실시예는, 사용자의 시력 측정을 위한 가상의 시표(vision chart)가 출력되는 영역을, 현실의 물리적 환경을 고려하여 결정함으로써, 외부 요인에 의한 시력 측정 결과의 오류 발생을 방지할 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.

본 개시의 일 실시예는, 사용자가 가상의 시표를 인식하기 위한 초점거리에 따라 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.

본 개시의 일 실시예는, 측정된 시력에 기초하여 액정렌즈(liquid crystal lens, LC lens) 등의 가변 초점 렌즈의 초점을 제어함으로써, 사용자에게 시력 교정 및 실감나는 증강 현실 서비스를 제공할 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.

본 개시의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 증강 현실 장치가 사용자의 시력을 측정하는 방법은, 증강 현실 장치에 포함된 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계, 증강 현실 장치에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하는 단계, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계, 및 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 사용자의 시력을 측정하는 증강 현실 장치는, 전방 영역을 촬영함으로써 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득하는 외향 카메라, 사용자의 시력 측정을 위한 가상 대상체를 출력하는 출력부, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 사용자 입력부, 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부, 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 획득된 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 출력부에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하고, 결정된 제2 영역에 가상 대상체를 출력하고, 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값을 산출할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.

도 1은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 다른 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 배경 이미지의 깊이 맵에 기초하여, 배경 이미지 상에서 사용자의 시력 측정을 위한 영역을 결정하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 객체 잠금 메커니즘을 이용하여 사용자의 시력 측정을 위한 가상 대상체의 출력 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 유도 지시자를 출력하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치에서 디스플레이되는 가상 대상체의 식별력을 높이기 위한 다양한 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 가상 대상체까지의 초점거리에 기초하여 측정 시력 보상값을 산출하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 장치를 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 가변 초점 렌즈를 제어하여 사용자에게 시력 교정을 제공하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 장치를 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.

본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "~부", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

도 1은 본 개시의 일 실시예에 따른 증강 현실 장치(augmented reality device, AR device)가 사용자의 시력을 측정하는 방법의 개요도이다.

증강 현실 장치(10)는 증강 현실(augmented reality, AR)을 표현할 수 있는 장치로서, 현실에 존재하는 물리적 대상체(physical object) 및 가상 대상체(virtual object)를 포함하는 이미지를 표시할 수 있다.

증강 현실 장치(10)는 예를 들어, 사용자가 안면부에 착용하는 안경 형상의 증강 현실 안경 장치(augmented reality glasses), 두부에 착용하는 헤드 마운트 디스플레이 장치(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 증강 현실 헬멧(augmented reality helmet) 등을 포함할 수 있다. 한편, 증강 현실 장치(10)가 전술한 예시로 한정되는 것은 아니며, 사용자에게 증강 현실 서비스를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다.

도 1을 참조하면, 증강 현실 장치(10)는 현실의 환경에 대한 배경 이미지(110)를 획득할 수 있다. 예를 들어, 배경 이미지(110)는 증강 현실 장치(10)에 포함된 외향 카메라(outward facing camera)를 이용하여 획득할 수 있다.

일 실시예에서, 증강 현실 장치(10)는 배경 이미지(110)에서, 물리적 대상체가 존재하지 않거나, 물리적 대상체의 에지(edge)가 복잡하지 않은 부분을 제1 영역(120)으로 결정할 수 있다. 제1 영역(120)은 배경 이미지(110) 상에서 증강 현실 장치를 사용하고 있는 사용자의 시력 측정을 위한 영역일 수 있다.

증강 현실 장치(10)는, 사용자의 시선 방향을 고려하여, 결정된 제1 영역(120)에 대응되는 제2 영역(140)을 디스플레이(20) 상에서 결정할 수 있다. 결정된 제2 영역(140)에는 사용자의 시력 측정을 위한 가상 대상체(131)를 출력할 수 있다. 예를 들어, 사용자의 시력 측정을 위한 가상 대상체(131)는 문자(text), 그림(picture) 또는 하나 이상의 문자 또는 그림을 포함하는 시력 검사 차트(vision test chart)일 수 있다.

사용자가 증강 현실 장치(10)를 착용하고, 가상 대상체(131)가 표시된 디스플레이(20)를 통해 현실의 환경을 바라볼 때, 사용자는 현실의 환경에 대한 배경 이미지(110) 및 가상 대상체(131)를 포함하는 합성 이미지(130)를 인식할 수 있다. 이 때, 예를 들어, 배경 이미지(110) 상의 제1 영역(120)과 디스플레이(20) 상의 제2 영역(140)이 대응된다고 함은, 합성 이미지(130)에서 제1 영역(120)과 제2 영역(140)이 정확히 오버레이(overlay)된다는 것을 나타낼 수 있다.

본 개시의 일 실시예에 따르면, 배경 이미지(110) 상에서 사용자의 시력 측정을 위한 제1 영역(120)을 결정하고, 증강 현실 장치(10)의 착용시 사용자의 시선 방향에서 제1 영역(120)과 정확히 오버레이 될 디스플레이(20) 상의 제2 영역(140)에 시력 측정을 위한 가상 대상체(131)를 출력한다. 이 경우, 사용자는 가상 대상체(131)가 배경 이미지(110) 상의 제1 영역(120)에 존재하는 것으로 인식할 수 있다.

이와 같이, 사용자의 시력 측정을 위한 가상의 시표(vision chart)가 출력되는 영역을, 현실의 물리적 환경을 고려하여 결정함으로써, 외부 요인에 의한 시력 측정 결과의 오류 발생을 방지할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 가상 대상체(131)를 인식하기 위한 초점거리에 따라 시력 측정 결과를 보상함으로써, 시력 측정의 정확도를 더욱 높일 수 있다. 뿐만 아니라, 높은 정확도로 측정된 사용자의 시력에 기초하여 교정된 시력으로 증강 현실 서비스를 제공할 수 있어, 사용자로 하여금 더욱 실감나는 증강 현실의 체험이 가능하도록 한다.

이하, 사용자의 시력 측정을 위한 가상 대상체를 출력하기 위한 영역을 결정하는 방법, 가상 대상체까지의 초점 거리에 따라 시력 측정 결과를 보상하는 방법, 및 측정된 사용자의 시력에 기초하여 시력 교정을 제공하는 방법 등에 대하여 보다 구체적으로 기술하도록 한다.

도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 흐름도이다.

단계 S210에서, 증강 현실 장치는, 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득할 수 있다. 일 실시예에서, 외향 카메라는 전방 영역을 촬영함으로써 배경 영상을 획득할 수도 있다. 이 경우, 현실 공간 안에서 사용자의 시력 측정을 위한 영역을 결정하기 위해, 특정 시점에서 캡쳐된 이미지를 이용할 수 있다.

단계 S220에서, 증강 현실 장치는, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별할 수 있다. 이미지의 에지를 식별하는 동작은 이미지에 포함된 객체들의 경계선을 인지하는 동작을 나타낼 수 있다. 에지(경계선)는 이미지 안에서 픽셀의 값이 갑자기 변하는 곳을 나타낼 수 있다. 예를 들어, 에지 추출을 위한 알고리즘은 이미지를 미분한 그래디언트(gradient) 벡터의 크기로 판단할 수 있다.

일 실시예에서, 배경 이미지에 포함된 에지를 추출하는 동작에는 소벨 에지 추출법(Sobel edge detection), 프리윗 에지 추출법(Prewitt edge detection), 로버츠 에지 추출법(Roberts edge detection), 컴퍼스 에지 추출법(Compass edge detection), 라플라시안 에지 추출법(Laplacian edge detection), 및 캐니 에지 추출법(Canny edge detection) 등 다양한 에지 추출 알고리즘이 이용될 수 있다.

일 실시예에서, 배경 이미지에서 적어도 하나의 물리적 대상체의 에지를 식별하는 동작은, 배경 이미지 상에서 인접한 픽셀에 걸쳐 강도(intensity)가 기설정된 임계값 이상으로 변하는 부분을 에지로 결정할 수 있다. 예를 들어, 에지는 물리적 대상체의 윤곽 부분에서도 결정될 수 있으나, 물리적 대상체 내의 모양, 패턴, 굴곡 등에 의해 결정될 수도 있다. 예를 들어, 그림이 그려진 액자의 경우, 액자는 하나의 물리적 대상체이지만, 액자 내에 그려진 그림에 따라 많은 에지가 식별될 수 있다. 또한 예를 들어, 배경 이미지 내에서 서로 다른 두 개의 물리적 대상체가 존재하더라도, 두 물체의 색상이 유사하여 두 물체 사이의 경계가 잘 드러나지 않는 경우에는, 에지가 식별되지 않을 수도 있다.

단계 S230에서, 증강 현실 장치는, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정할 수 있다. 일 실시예에서, 증강 현실 장치는, 배경 이미지 상에서 에지가 검출되지 않은 부분을 시력 측정을 위한 제1 영역으로 결정할 수 있다. 일 실시예에서, 에지가 검출되지 않은 부분들 중 가장 넓은 면적을 갖는 부분을 시력 측정을 위한 제1 영역으로 결정할 수도 있다.

일 실시예에서, 에지가 검출되지 않은 부분의 크기가 시력 측정을 위한 가상 대상체를 출력하기에 충분히 크지 않은 경우, 인접한 에지-미검출-영역들 중 에지 강도가 약한 두 개의 영역에 걸쳐 제1 영역을 결정할 수도 있다. 예를 들어, 하늘에 대응되는 이미지 영역과, 바다에 대응되는 이미지 영역 사이에 에지가 식별되더라도, 하늘과 바다 사이의 에지의 강도가 이미지에 포함된 다른 에지들의 강도에 비해 약한 경우, 하늘에 대응되는 이미지 영역 및 바다에 대응되는 이미지 영역에 걸쳐 제1 영역을 결정할 수도 있다.

한편, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 동작은 전술한 예시들에 한정되는 것은 아니며, 다양한 방법에 의해 제1 영역이 결정될 수 있다.

단계 S240에서, 증강 현실 장치는, 결정된 제1 영역에 대응되는 제2 영역을 디스플레이 상에서 결정할 수 있다. 제1 영역은 배경 이미지 상에서의 영역이고, 제2 영역은 디스플레이 상에서의 영역일 수 있다. 일 실시예에서, 제1 영역에 대응되도록 결정된 제2 영역은, 사용자가 증강 현실 장치를 통해 현실 공간을 바라보았을 때, 현실 공간을 촬영한 배경 이미지에 포함되는 제1 영역과 디스플레이 상에서 표시되는 제2 영역이 정확히 오버레이되어 같은 위치에 있는 것으로 인식될 수 있다. 예를 들어, 디스플레이 상의 제2 영역에 표시된 가상 대상체는 증강 현실 장치를 착용한 사용자에게는 현실 공간의 제1 영역에 존재하는 것으로 인식될 수 있다.

일 실시예에서, 제1 영역에 대응되는 제2 영역을 결정하는 동작에는, 증강 현실 장치에 포함된 내향 카메라(inward facing camera) 또는 시선 추적 카메라(eye tracking camera, ET camera)를 통해 획득한 사용자의 시선 방향 정보(gaze direction information)가 이용될 수 있다. 예를 들어, 사용자의 시선 방향 정보를 이용해, 증강 현실 장치를 착용한 사용자가 제1 영역에 정확히 오버레이 된다고 인식하는 영역을 제2 영역으로 결정할 수 있다.

단계 S250에서, 증강 현실 장치는, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체를 출력할 수 있다. 일 실시예에서, 디스플레이는 투명한 재질을 포함할 수 있다. 일 실시예에서 사용자의 시력 측정을 위한 가상 대상체는 하나의 문자(text)거나, 하나의 그림(picture)이거나, 또는 하나 이상의 문자 또는 그림의 조합일 수 있다.

단계 S260에서, 증강 현실 장치는, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득할 수 있다. 일 실시예에서, 사용자 입력 신호는 사용자가 출력된 가상 대상체를 인식함에 따라 입력된 신호일 수 있다. 일 실시예에서, 사용자 입력 신호는 마이크 등의 음성 감지 센서에서 감지된 신호, 터치 센서에서 감지된 신호, 입력 장치를 통해 수신된 신호, 또는 그 밖의 다양한 신호를 포함할 수 있다.

단계 S270에서, 증강 현실 장치는, 획득한 사용자의 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출할 수 있다. 사용자의 시력 측정값은 근시(myopia)의 정도, 원시(hyperopia)의 정도, 및 난시(astigmatism)의 정도에 대한 정보를 포함할 수 있다. 일 실시예에서, 증강 현실 장치는 산출된 사용자의 시력 측정값을 사용자에게 제공할 수도 있다. 산출된 사용자의 시력 측정값은 사용자에게 시력 교정을 제공하는 동작에 이용될 수 있다.

도 3은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력 측정을 위한 가상 대상체(331)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 현실 환경(310)은 다양한 물리적 대상체들을 포함할 수 있다. 일 실시예에서, 사용자는 다양한 물리적 대상체들을 포함하는 현실 환경(310) 내에서 시력 측정을 수행할 수 있다. 증강 현실 장치는 투명한 디스플레이를 포함할 수 있다. 일 실시예에서, 증강 현실 장치를 착용한 사용자는 투명한 디스플레이를 통해 현실 환경(310)을 보면서, 투명한 디스플레이 상에 표시된 가상 대상체(331)를 볼 수 있다.

일 실시예에서, 현실 환경(310) 내의 영역 1(340)에는 하나 이상의 물리적 대상체들이 포함될 수 있다. 예를 들어, 영역 1(340)에는 의자, 책상, 서랍, 및 노트북이 포함될 수 있다. 일 실시예에서, 현실 환경(310) 내의 영역 2(340-1)에는 하나의 물리적 대상체만 포함될 수 있다. 예를 들어, 영역 2(340-1)에는 벽만이 포함될 수 있다.

도 3의 왼쪽 부분을 참조하면, 사용자의 시력 측정을 위한 가상 대상체(331)가 영역 1(340)에 오버레이되어 디스플레이될 경우, 가상 대상체(331)의 인식도가 떨어질 수 있다. 현실 환경(310)에 대응되는 배경 이미지를 에지 분석할 경우, 영역 1(340)에는 많은 양의 에지가 포함될 수 있다. 이와 같이, 에지가 복잡한 영역에 대응되도록 가상 대상체(331)를 디스플레이할 경우, 해당 영역에 포함된 물리적 대상체들로 인해, 가상 대상체(331)의 인식률이 낮아질 수 있다.

도 3의 오른쪽 부분을 참조하면, 사용자의 시력 측정을 위한 가상 대상체(331)가 영역 2(340-1)에 오버레이되어 디스플레이될 경우, 가상 대상체(331)의 인식률이 좋을 수 있다. 현실 환경(310)에 대응되는 배경 이미지를 에지 분석할 경우, 영역 2(340-1)에는 에지가 포함되지 않거나, 적은 양의 에지가 포함될 수 있다. 이와 같이, 에지가 식별되지 않는 영역에 대응되도록 가상 대상체(331)를 디스플레이할 경우, 해당 영역에는 물리적 대상체들이 존재하지 않거나, 사용자의 시야에 영향을 주지 않는 정도로만 존재하므로, 가상 대상체(331)의 인식률이 높아질 수 있다.

시력 측정을 위한 가상 대상체(331)의 인식률은 시력 측정 결과에 영향을 줄 수 있다. 예를 들어, 영역 1(340)과 같이 에지가 복잡한 영역 상에 가상 대상체(331)를 출력할 경우, 사용자가 충분히 읽을 수 있는 문자도 잘못 읽는 경우가 발생할 수 있다. 따라서, 에지가 복잡한 영역 상에 가상 대상체(331)를 출력할 경우, 실제 사용자의 시력보다 시력이 낮게 측정될 수 있다.

본 개시의 일 실시예에 따르면, 시력 측정의 정확성을 위하여, 배경 이미지(310)의 에지 분석 등을 통해, 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 결정된 부분을 시력 측정에 이용할 수 있다.

도 4는 본 개시의 일 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지(411, 412, 413, 414)의 에지를 식별하여, 시력 측정을 위한 가상 대상체(431)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 배경 이미지(410)는 복수의 물리적 대상체 이미지(411, 412, 413, 414)를 포함할 수 있다. 예를 들어, 배경 이미지(410)는 사람 이미지(411), 카메라 이미지(412), 건물 이미지(413), 및 땅 이미지(414)를 포함할 수 있다.

일 실시예에서, 증강 현실 장치는 배경 이미지(410)에서 각각의 물리적 대상체 이미지(411, 412, 413, 414)의 에지(421)를 식별할 수 있다(단계 4a). 일 실시예에서, 증강 현실 장치는 배경 이미지(410)에 포함된 에지(421)를 추출하여 에지 맵(420)을 생성할 수 있다. 에지 맵(420)에는 적어도 하나의 에지(421)가 포함될 수 있다.

일 실시예에서, 배경 이미지(410)에서 물리적 대상체들의 에지(421)를 식별하는 동작에서는, 배경 이미지(410) 상에서, 인접한 픽셀에 걸쳐 강도(intensity)가 기설정된 임계값 이상으로 변하는 부분을 에지로 결정할 수 있다.

일 실시예에서, 특정 물리적 대상체의 이미지에서는 에지가 검출되지 않을 수 있다. 예를 들어, 도 4를 참조하면, 건물 이미지(413)에 대해서는 에지(421)가 검출되지 않을 수 있다. 에지는 인접한 픽셀에 걸쳐 강도가 기설정된 임계값 이상으로 변하는 경우 검출될 수 있다. 일 실시예에서, 건물 이미지(413)에 대응되는 픽셀들은 강도의 차이가 기설정된 임계값보다 작아, 에지(421)가 검출되지 않을 수 있다. 이 경우, 실제 배경 이미지(410) 상에서도 육안 상 건물 외곽의 경계 또는 패턴 구별이 어려울 수 있다. 육안 상 픽셀의 강도 차이를 구별하기 어려운 경우, 해당 부분에 가상 대상체(431)가 표시되더라도, 시력 측정의 오류가 일어날 가능성이 적다. 따라서, 에지 맵(420) 상에서 에지(421)가 존재하지 않는 영역을 사용자의 시력 측정을 위한 제1 영역(430)으로 결정함으로써, 시력 측정의 오류 발생을 방지할 수 있다.

증강 현실 장치는 식별된 에지(420)에 기초하여 배경 이미지(410) 상에서 사용자의 시력 측정을 위한 제1 영역(430)을 결정하고, 결정된 제1 영역(430)에 대응되는 디스플레이(20) 상의 제2 영역을 결정하고, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(431)를 출력할 수 있다(단계 4b).

도 5는 본 개시의 다른 실시예에 따른 배경 이미지(510)에서 적어도 하나의 물리적 대상체 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체(531)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.

일 실시예에서, 에지는 물리적 대상체의 윤곽에 대응되는 부분에서 결정될 수도 있으나, 물리적 대상체 내의 모양, 패턴, 굴곡 등에 의해 결정될 수도 있다. 예를 들어, 그림이 그려진 액자의 경우, 액자는 하나의 물리적 대상체이지만, 액자 내부에 그려진 그림의 패턴에 따라 많은 에지가 식별될 수 있다. 일 실시예에서, 에지는, 배경 이미지(510) 내에서 물리적 대상체의 형태, 위치, 패턴, 색상 등에 의해 결정된 각각의 픽셀들의 값에 기초하여 결정될 수 있다.

단계 5a를 참조하면, 복수의 액자 이미지를 포함하는 배경 이미지(510)에서, 에지는 물리적 대상체인 '액자'의 테두리 및 액자 내부에 그려진 그림에 의해 결정될 수 있다. 일 실시예에서, 복잡한 에지를 포함하는 영역에 가상 대상체(531)를 표시할 경우, 가상 대상체(531)의 인식률이 떨어질 수 있고, 시력 측정 결과에 오류가 발생할 수 있다.

증강 현실 장치는, 결정된 에지들을 포함하는 에지 맵(520)에서, 에지가 포함되지 않은 영역을 식별하고, 이를 시력 측정을 위한 제1 영역(530)으로 결정할 수 있다.

단계 5b에서, 증강 현실 장치는 결정된 제1 영역(530)에 대응되도록 가상 대상체(531-1)의 위치를 조정할 수 있다. 에지가 포함되지 않는 영역에 가상 대상체(531-1)를 표시할 경우, 가상 대상체(531-1)는 사용자의 시력 범위 내에서 용이하게 인식될 수 있고, 정확한 시력 측정이 가능하다.

도 6은 본 개시의 일 실시예에 따른 배경 이미지(610)의 깊이 맵(620)에 기초하여, 배경 이미지(610) 상에서 사용자의 시력 측정을 위한 영역을 결정하는 동작을 설명하기 위한 도면이다.

일 실시예에서, 증강 현실 장치는, 깊이 센서(depth sensor)를 이용하여 배경 이미지(610)의 깊이 맵(620)을 획득하고, 획득된 깊이 맵(620)에 기초하여 배경 이미지(610)에 포함된 적어도 하나의 물리적 대상체의 깊이 값 및 형태를 식별할 수 있다. 일 실시예에서, 증강 현실 장치는, 적어도 하나의 물리적 대상체의 깊이 값 및 형태, 및 다양한 에지 추출법을 통해 식별된 에지에 기초하여 배경 이미지(610) 상에서 사용자의 시력 측정을 위한 제1 영역(630)을 결정할 수 있다.

일 실시예에서, 깊이 정보를 이용해 디스플레이 될 가상 대상체(631)에 대한 초점거리가 비교적 일정한 평탄한 영역을 선택할 수 있고, 에지 정보를 이용해 물리적 대상체가 존재하지 않아 가상 대상체(631)를 용이하게 인식 또는 식별할 수 있는 영역을 선택할 수 있다. 일 실시예에서, 깊이 정보와 에지 정보에 모두 기초하여 영역을 선택할 경우, 픽셀 값이 비교적 일정하고, 초점거리도 비교적 일정한 영역을 시력 측정을 위한 제1 영역(630)으로 선택할 수 있다.

도 7은 본 개시의 일 실시예에 따른 객체 잠금 메커니즘(object locking mechanism)을 이용하여 사용자의 시력 측정을 위한 가상 대상체(731)의 출력 위치(720)를 결정하는 동작을 설명하기 위한 도면이다.

객체 잠금 메커니즘은, 가상 현실 또는 증강 현실 디스플레이에 있어서, 물리적 대상체(physical object) 및 가상 대상체(virtual object)의 상대적인 위치를 고정시키는 메커니즘이다.

본 개시의 일 실시예에 따른 증강 현실 장치는, 배경 이미지(710)의 제1 영역에 대응되는 디스플레이 상의 제2 영역을 결정하는 동작에 객체 잠금 메커니즘을 이용할 수 있다. 일 실시예에서, 증강 현실 장치를 착용한 사용자는 시력 측정이 진행되는 중에 자세(pose)를 변화하거나, 다른 곳을 응시할 수 있다.

일 실시예에서, 사용자의 움직임에 따라 가상 대상체(731)의 배경 이미지(710)에 대한 상대적인 위치가 변경될 수 있다. 사용자가 움직이는 경우, 착용하고 있는 증강 현실 장치의 위치가 변경되며, 따라서, 증강 현실 장치에 포함된 디스플레이의 위치가 변경된다. 디스플레이의 위치가 변경됨에 따라, 디스플레이 상의 제2 영역과 대응되는 배경 이미지(710) 상의 제1 영역의 정렬이 틀어질 수 있다.

배경 이미지(710) 상의 제1 영역과 디스플레이 상의 제2 영역의 정렬이 틀어지면, 사용자의 시선 방향에서 제1 영역과 제2 영역이 정확히 오버레이되지 않고, 제2 영역에 표시된 가상 대상체가 배경 이미지(710) 상의 제1 영역에서 벗어나 에지가 많은 영역으로 이동할 수 있다. 이 경우, 가상 대상체의 식별력 및 인식률이 떨어지고, 시력 측정 결과에 정확도가 낮아질 수 있다.

일 실시예에서, 증강 현실 장치는 객체 잠금 메커니즘을 통해 사용자의 가상 대상체가 디스플레이 상 표시될 때 일정한 제1 영역 상에 오버레이 되어 표시되도록 제2 영역을 조정할 수 있다. 따라서, 사용자가 시력 측정 진행 중 움직이더라도, 가상 대상체(731)와 배경 이미지(710)의 상대적인 위치는 변하지 않을 수 있다.

도 8은 본 개시의 일 실시예에 따른 유도 지시자(G1, G2)를 출력하는 동작을 설명하기 위한 도면이다.

도 8을 참조하면, 증강 현실 장치는 사용자의 시선 방향(gaze point, GP)을 인식할 수 있다. 일 실시예에서, 사용자의 시선 방향(GP)은 증강 현실 장치에 포함된 내향 카메라 또는 시선 추적 카메라를 통해 인식될 수 있다.

일 실시예에서, 인식된 사용자의 시선 방향(GP)이 가상 대상체(831)를 향하지 않다고 판단될 경우, 증강 현실 장치는 디스플레이에 유도 지시자(guide indicator)(G1, G2)를 출력할 수 있다.

도 8을 참조하면, 유도 지시자는, 인식된 사용자의 시선 방향(GP)에서 가상 대상체(831)로 향하는 화살표(G1) 및 가상 대상체(832)를 둘러싸는 상자(G2) 등, 사용자의 시선 이동을 유도하고, 가상 대상체(832)의 위치를 강조할 수 있는 다양한 형태의 지시자를 포함할 수 있다.

도 9는 본 개시의 일 실시예에 따른 증강 현실 장치에서 디스플레이되는 가상 대상체(931)의 식별력을 높이기 위한 다양한 동작을 설명하기 위한 도면이다.

일 실시예에서, 증강 현실 장치는 디스플레이되는 가상 대상체(931)의 식별력을 높이기 위해, 가상 대상체(931)의 색상을 조절할 수 있다. 일 실시예에서, 증강 현실 장치는 배경 이미지(910) 상에서 가상 대상체(931)가 오버레이 될 제1 영역(920)의 색상을 식별할 수 있다. 증강 현실 장치는 이후, 식별된 제1 영역(920)의 색상에 기초하여 가상 대상체(931)의 색상을 결정할 수 있다.

일 실시예에서, 두 개의 인접한 대상체의 색상 대비(contrast)가 클수록 대상체들을 구별하기 쉽다. 즉, 대상체들 사이의 색상 대비가 클수록 대상체들 간의 식별력이 높아진다. 일 실시예에서, 증강 현실 장치는 대응되는 제1 영역(920)의 색상과 대비가 최대가 되도록 가상 대상체(931)의 색상을 결정할 수 있다.

일 실시예에서, 증강 현실 장치는 사용자가 색맹(color-blind)인지 또는 색약(color-weak)인지에 따라, 가상 대상체(931)의 색상을 다르게 결정할 수 있다. 일 실시예에서, 증강 현실 장치는 새로 획득하거나 기저장된 사용자 정보를 통해, 사용자가 가상 대상체(931)를 보다 잘 식별할 수 있도록 가상 대상체(931)의 색상을 결정할 수 있다.

일 실시예에서, 증강 현실 장치는, 디스플레이 상에서 가상 대상체(931)가 출력되는 픽셀들을 제외한, 제2 영역(920)에 포함된 픽셀들의 명도(brightness)를 낮출 수 있다. 일 실시예에서, 가상 대상체(931)가 표시되는 영역 주위의 픽셀들을 어둡게 보정할 경우, 가상 대상체(931) 영역이 강조되어 가상 대상체(931)의 식별력이 더 높아질 수 있다.

일 실시예에서, 배경 이미지(910) 상에서 사용자의 시력 측정을 위한 제1 영역의 면적에 기초하여, 사용자의 시력 측정을 위한 가상 대상체(931)의 크기 및 개수 중 적어도 하나를 결정할 수 있다. 예를 들어, 가상 대상체(931)들의 개수, 크기, 및 간격은 가상 대상체(931)들이 표시되는 영역의 면적에 따라 조절될 수 있다.

도 10은 본 개시의 일 실시예에 따른 가상 대상체(1021, 1031)까지의 초점거리에 기초하여 측정 시력 보상값을 산출하는 동작을 설명하기 위한 도면이다.

일 실시예에서, 증강 현실 장치는 사용자의 눈(E1, E2)으로부터 가상 대상체(1021, 1031)까지의 초점거리를 식별하고, 식별된 초점거리에 기초하여 측정 시력 보상값(test vision compensation value)을 산출할 수 있다.

사람의 눈은 실제 사물(real object, physical object)을 볼 때, 반사적으로 두가지 동작을 한다. 하나는 수렴(vergence, convergence) 동작으로, 양쪽 눈이 사물을 향해서 모이는 동작이다. 수렴 동작에서는 사람의 눈과 물체의 거리에 따라 양안의 광축이 돌아간다. 다른 하나는 초점 조절(accommodation, 원근 조절) 동작으로, 눈의 수정체가 사물이 또렷하게 보이도록 초점을 맞추는 동작이다. 초점 조절 동작에서는 사람의 눈과 물체의 거리에 따라 수정체의 두께가 조절된다.

일반적으로 가상 현실(virtual reality, VR) 영상 또는 증강 현실 장치에서 출력하는 가상 대상체를 사용자가 주시할 경우, 사용자는 수렴 조절 불일치(vergence-accommodation conflict, VAC) 현상을 경험할 수 있다. 예를 들어, 가상 현실 장치에서 물리적 대상체까지의 거리가 d1인 경우, 가상 현실 장치는 가상 대상체를 d1 거리에 위치하는 것처럼 표시할 수 있다. 이 때, 사용자는 가상 대상체가 d1 거리에 위치하는 것처럼 보기 때문에, 사용자의 양쪽 눈이 수렴하는 거리(vergence distance)는 d1이 된다. 반면에, 가상 대상체는 실제로 가상 현실 장치의 디스플레이 상에 표시되기 때문에, 사용자의 양쪽 눈의 초점 거리(focal distance)는 사용자의 눈에서 디스플레이까지의 거리 d2가 된다. 이와 같은 경우, 수렴 거리와 초점 거리가 불일치하게 되고, 가상 현실 장치의 사용자는 어지럼증이나 멀미를 느낄 수 있다. 한편, 이러한 수렴 조절 불일치 문제는 디지털 홀로그래피 기술 또는 초점 조절 렌즈를 통해 해소될 수 있다.

본 개시의 일 실시예에 따른 증강 현실 장치에서는, 디스플레이 상 출력되는 가상 대상체가 3차원 물체가 아니라, 시력 측정을 위한 2차원의 문자, 이미지 등에 해당한다. 따라서, 사용자는 배경 이미지와 가상 대상체의 합성 이미지를 볼 때, 가상 대상체가 배경 이미지 내의 실제 객체들에 '프린팅(printing)' 되거나, 실제 공간 상에 투영되는 것과 같이 인식할 수 있다. 즉, 2차원의 가상 대상체를 주시하는 사용자의 눈은, 가상 대상체가 실제 투영되는 공간 또는 그 영역에 위치한 실제하는 물리적 대상체를 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 한다.

도 10을 참조하면, 예를 들어, 배경 이미지(1010)는 책상 이미지(1011), 하늘 이미지(1012), 컴퓨터 이미지(1013), 주전자 이미지(1014), 및 컵 이미지(1015)를 포함할 수 있다. 일 실시예에서, 사용자가 배경 이미지 상의 하늘 영역(1012)에 투영된 가상 대상체(1021)를 주시할 경우, 사용자의 눈(E1)은 가상 대상체(1021)가 실제 투영되는 공간(1012)을 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 할 수 있다. 일 실시예에서, 사용자가 배경 이미지 상의 컴퓨터 이미지(1013) 내에 투영된 가상 대상체(1031)를 주시할 경우, 가상 대상체(1031)는 배경 이미지 내의 실제 객체인 컴퓨터에 프린팅 되거나 표시된 것으로 인식될 수 있고, 사용자의 눈(E2)은 가상 대상체(1031)가 실제 투영되는 공간(1030)을 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 할 수 있다.

사용자가 증강 현실 장치를 통해 배경 이미지(1010)를 볼 때, 가까운 거리에 있는 컴퓨터 이미지(1013)에 초점을 맞추는 경우와 먼 거리에 있는 하늘 이미지(1012)에 초점을 맞추는 경우, 수정체의 두께가 다르다. 따라서, 컴퓨터 이미지(1013) 상에 투영된 가상 대상체(1031)를 이용해 시력을 측정한 경우와 하늘 이미지(1012) 상에 투영된 가상 대상체(1021)를 이용해 시력을 측정한 경우에, 측정값이 동일하더라도, 수정체의 두께 차이로 인해 시력 차이가 있을 수 있다. 일 실시예에서, 수정체의 변화를 고려하여 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있다.

예를 들어, 사용자가 하늘 이미지(1012) 부분에 초점(FP)을 맞추는 경우, 사용자의 눈(E1)에 포함된 수정체(LENS1)는 먼 거리를 볼 수 있도록 완화된 상태를 갖는다. 일 실시예에서, 사용자의 시력 측정을 위한 제1 가상 대상체(1021)가 하늘 이미지(1012) 상에 오버레이되어 표시될 수 있다. 이 경우, 사용자는 먼 거리를 볼 수 있도록 수정체(LENS1)가 완화되어 있는 상태에서 제1 가상 대상체(1021)를 읽게 된다.

다른 예에서, 사용자가 컴퓨터 이미지(1013) 부분에 초점(NP)을 맞추는 경우, 사용자의 눈(E2)에 포함된 수정체(LENS2)는 가까운 거리를 볼 수 있도록 부푼 상태를 갖는다. 일 실시예에서, 사용자의 시력 측정을 위한 제2 가상 대상체(1031)가 컴퓨터 이미지(1013) 상에 오버레이되어 표시될 수 있다. 이 경우, 사용자는 가까운 거리를 볼 수 있도록 수정체(LENS2)가 부풀어 있는 상태에서 제2 가상 대상체(1031)를 읽게 된다.

따라서, 제1 가상 대상체(1021)를 이용해 시력을 측정한 경우와, 제2 가상 대상체(1031)를 이용해 시력을 측정한 경우에 측정 결과가 달라진다. 예를 들어, 제1 가상 대상체(1021)를 이용해 시력을 측정한 경우, 시력이 1.2가 나왔다면, 사용자의 시력은 그대로 1.2로 볼 수 있지만, 제2 가상 대상체(1031)를 이용해 시력을 측정하였는데 시력이 1.2가 나왔다면, 실제 시력은 그보다 낮을 것이다. (더 멀리 있는 글자는 더 못볼 것이다)

가상 대상체를 바라보는 사용자의 눈의 수정체의 조절력(accommodation power)은, 가상 대상체의 초점거리로부터 산출될 수 있다. 본 개시의 일 실시예에서, 가상 대상체는 배경 이미지 내의 실제 객체들에 '프린팅(printing)' 되거나, 실제 공간 상에 투영되는 것과 같이 인식될 수 있고, 따라서, 가상 대상체의 초점거리는 가상 대상체가 투영된 위치에 대응되는 실제 물리적 대상체까지의 거리로 간주될 수 있다.

예를 들어, 가상 대상체가 투영된 위치에 대응되는 실제 물리적 대상체까지의 거리는 깊이 센서(depth sensor) 또는 거리 측정 센서를 통해 측정되거나, 시선 추적 센서를 통해 측정될 수 있다. 깊이 센서는 예를 들어, ToF(Time-of-Flight) 방식의 센서, 카메라 두대를 이용한 스테레오 매칭 방식의 센서, 또는 구조광 방식(structured light) 센서를 포함할 수 있다. 시선 추적 센서를 통해 실제 물리적 대상체까지의 거리를 측정하는 방법은, 시선 추적 센서를 통해 사용자의 좌안 및 우안의 시선 방향을 알아내고, 좌안 및 우안의 시선 방향이 교차하는 지점을 해당 대상체가 존재하는 위치로 판단하여 그 지점까지의 거리를 계산하는 방법을 포함할 수 있다.

일 실시예에서, 가상 대상체의 초점거리에 기초한 측정 시력 보상값(accommodation power, AP)은, 식별된 초점거리(D)의 역수(1/D)에 기초하여 결정될 수 있다. 일 실시예서, 증강 현실 장치는 결정된 측정 시력 보상값(AP)를 통해 산출된 시력 측정값을 보상할 수 있다. 예를 들어, 측정 시력 보상값을 통해 산출된 시력 측정값을 보상하는 동작은, 가상 대상체가 6m이내의 초점거리(D)에 디스플레이 되었을 경우, 시력 측정값에서 측정 시력 보상값을 빼 줌으로써 시력 측정값을 보상할 수 있다. 예를 들어, 가상 대상체가 6m보다 먼 초점거리(D)에 디스플레이 되었을 경우, 시력 측정값에 측정 시력 보상값을 더해 줌으로써 시력 측정값을 보상할 수 있다.

일 실시예에서, 사용자의 눈으로부터 가상 대상체까지의 초점거리를 식별하는 동작은, 가상 대상체가 표시되는, 디스플레이 상의 제2 영역에 대응되는 배경 이미지상의 제1 영역에 대응되는 물리적 대상체를 식별하는 동작 및 증강 현실 장치에 포함된 LIDAR, 깊이 센서, 또는 시선 추적 센서 중 적어도 하나를 이용해 사용자의 눈으로부터 식별된 물리적 대상체까지의 초점 거리를 식별하는 동작을 포함할 수 있다.

본 개시의 일 실시예는, 사용자가 가상의 시표를 인식하기 위한 초점거리에 따라 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있다.

도 11은 본 개시의 일 실시예에 따른 증강 현실 장치(1100)의 블록도이다.

도 11를 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(1100)는 입력부(1110), 저장부(1120), 프로세서(1130), 가변 초점 렌즈(1140), 및 출력부(1150)를 포함할 수 있다. 입력부(1110)는 외향 카메라(1111) 및 사용자 입력부(1112)를 포함할 수 있다. 출력부(1150)는 디스플레이(1151) 및 오디오 출력부(1152)를 포함할 수 있다. 도 11에 도시된 구성 요소 모두가 증강 현실 장치(1100)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소들에 의해 증강 현실 장치(1100)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 증강 현실 장치(1100)가 구현될 수도 있다.

외향 카메라(1111)는, 증강 현실 장치(1100)의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득할 수 있다.

출력부(1150)는 사용자의 시력 측정을 위한 가상 대상체를 출력할 수 있다.

사용자 입력부(1112)는 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득할 수 있다.

저장부(1120)는, 증강 현실 장치(1100)의 동작을 제어하기 위해 후술할 프로세서(1130)에 의해 실행될 프로그램을 저장할 수 있다. 저장부(1120)는 증강 현실 장치(1100)의 동작을 제어하기 위한 적어도 하나의 명령어들(instruction)을 포함하는 프로그램을 저장할 수 있다. 저장부(1120)에는 프로세서(1130)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 프로그램의 명령어들 또는 코드들을 실행하도록 구현될 수 있다. 저장부(1120)는 증강 현실 장치(1100)로 입력되거나 증강 현실 장치(1100)로부터 출력되는 데이터를 저장할 수 있다.

저장부(1120)는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.

저장부(1120)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.

프로세서(1130)는, 증강 현실 장치(1100)의 전반적인 동작을 제어할 수 있다. 프로세서(1130)는 본 개시의 일 실시예에 따른 동작들을 수행할 수 있다. 예를 들어, 프로세서(1130)는 저장부(1120)에 저장된 프로그램들을 실행함으로써, 입력부(1110), 저장부(1120), 가변 초점 렌즈(1140), 및 출력부(1150)을 등을 전반적으로 제어할 수 있다.

프로세서(1130)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성요소로 구성될 수 있다. 프로세서(1130)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.

일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 획득된 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 출력부에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하고, 결정된 제2 영역에 가상 대상체를 출력하고, 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값을 산출할 수 있다.

일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 사용자의 눈으로부터 가상 대상체까지의 초점거리를 식별하고, 식별된 초점거리에 기초하여 측정 시력 보상값을 산출하고, 측정 시력 보상값에 기초하여 산출된 시력 측정값을 보상할 수 있다.

일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 제1 영역의 색상을 식별하고, 사용자의 시력 측정을 위한 가상 대상체의 색상을, 식별된 제1 영역의 색상과 대비가 최대가 되도록 결정함으로써, 가상 대상체의 식별력을 높일 수 있다.

일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 객체 잠금 메커니즘(object locking mechanism)을 이용하여, 사용자의 시력 측정을 위한 가상 대상체가 디스플레이 상 표시될 때 일정한 제1 영역 상에 오버레이 되어 표시되도록 제2 영역을 결정할 수 있다.

가변 초점 렌즈(variable focus lens)(1140)는, 가변적인 초점을 갖는 렌즈이다. 예를 들어, 가변 초점 렌즈(1140)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, LC렌즈는 전기 신호에 의해 조절되는 가변적인 굴절률을 갖는 렌즈이다. 증강 현실 장치(1100)는 산출된 사용자의 시력 측정값에 기초하여 가변 초점 렌즈(1140)의 초점을 제어할 수 있다.

도 12는 본 개시의 일 실시예에 따른 증강 현실 장치(1200)를 도시한 도면이다.

도 12를 참조하면, 사용자의 시력을 측정하고, 측정된 시력에 기초하여 시력의 교정을 제공할 수 있는 증강 현실 장치(1200)가 도시 된다. 증강 현실 장치(1200)는 증강 현실(AR)을 디스플레이 할 수 있는 장치로서, 일반적으로 사용자가 안면부에 착용하는 안경 형상의 AR 안경(AR glasses), 두부에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 AR 헬멧(AR helmet) 등을 포함할 수 있다. 헤드 마운트형 장치의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자에게 초대형 화면을 제공할 수 있고, 사용자의 움직임에 따라 화면이 움직이므로 사실적인 가상 세계를 제공할 수 있다.

일 실시예에서, 사용자는 시각적 확장 현실 콘텐트를 표시할 수 있는, 증강 현실 장치(1200)를 착용할 수 있다. 증강 현실 장치(1200)는 오디오 확장 현실 콘텐트를 사용자에게 제공할 수 있는 오디오 모듈을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 환경의 이미지 및 비디오를 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 증강 현실 장치(1200)는 사용자의 수렴 거리(vergence distance)를 결정하기 위해 시선 추적(eye tracking) 시스템을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 경량의 머리 착용형 디스플레이(HMD)(예를 들어, 고글(goggles), 안경, 바이저(visor) 등)를 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 경량의 휴대용 표시 장치 또는 하나 이상의 레이저 투사 안경(예를 들어, 사용자에게 이미지 또는 깊이 콘텐트를 투사 및 표시하기 위해 사용자의 망막 상에 저전력 레이저(low-powered laser)를 투사할 수 있는 안경)과 같은, 비-HMD 장치를 포함할 수 있다.

일 실시예에서, 증강 현실 장치(1200)는 사용자의 시야(field of view, FOV)로 판단되는 영역에 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 AR 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야로 판단되는 영역은 증강 현실 장치(1200)를 착용한 사용자가 증강 현실 장치(1200)를 통해 인지할 수 있다고 판단되는 영역으로, 증강 현실 장치(1200)의 디스플레이의 전체 또는 적어도 일부를 포함하는 영역일 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 사용자의 양안 각각에 대응하는 복수개의 투명 부재(1220, 1230)를 포함할 수 있다.

일 실시예에서, 증강 현실 장치(1200)는 디스플레이 모듈(1214), 카메라, 오디오 출력부, 및 지지부(1221, 1222)를 포함할 수 있다.

카메라는 사용자의 시야에 대응되는 영상을 촬영하거나 객체와의 거리를 측정할 수 있다. 일 실시예에서, 카메라는 헤드 트래킹(head tracking) 및 공간 인식을 위해 사용될 수 있다. 또한, 카메라는 사용자의 움직임을 인식할 수도 있다.

일 실시예에서, 카메라는 사용자의 시야에 대응되는 영상, 즉 객체의 움직임을 검출하거나, 공간 인식을 위해 사용되는 카메라(1213) 이외에 'ET(eye tracking) 카메라(1212)'를 더 포함할 수도 있다. 일 실시예에서, ET 카메라(1212)는 사용자의 눈동자를 검출하고 추적하는 용도로 사용될 수 있다. ET 카메라(1212)는 증강 현실 장치(1200)에 투영되는 가상 영상의 중심이, 증강 현실 장치(1200)를 착용하는 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 조절하기 위한 용도로 사용될 수 있다. 예를 들어, ET 카메라(1212)에는 눈동자(pupil)를 검출하고 빠른 눈동자 움직임을 지연 없이 추적할 수 있도록 GS(Global shutter) 카메라가 이용될 수 있다. ET 카메라(1212)는 좌안용 카메라(1212-1) 및 우안용 카메라(1212-2)를 별도로 포함할 수도 있다.

일 실시예에서 디스플레이 모듈(1214)은 제1 디스플레이(1220) 및 제2 디스플레이(1230)를 포함할 수 있다. 디스플레이 모듈(1214)를 통해 출력되는 가상 객체는 증강 현실 장치(1200)에서 실행되는 애플리케이션 프로그램과 관련된 정보 또는 사용자의 시야로 판단되는 영역에 대응하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 예를 들어, 증강 현실 장치(1200)는 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야로 판단되는 영역을 통해 출력할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다.

일 실시예에서, 디스플레이(1220, 1230)는 투명 부재에 집광 렌즈 또는 웨이브가이드(waveguide, 도파관 또는 도파로)를 포함할 수 있다. 예를 들어, 투명 부재는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있고, 완전히 투명하거나 반투명하게 제작될 수 있다. 일 실시예에서, 투명 부재는 증강 현실 장치(1200)를 착용한 사용자의 우안에 대면하는 제1 투명 부재(1230) 및 사용자의 좌안에 대면하는 제2 투명 부재(1220)를 포함할 수 있다. 디스플레이가 투명인 경우, 사용자의 눈과 대면하는 위치에 배치되어 화면을 표시할 수 있다.

웨이브가이드는 디스플레이의 광원에서 생성된 빛을 사용자의 눈으로 전달할 수 있다. 예를 들어, 웨이브가이드는 투명 부재(1220, 1230)의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이에서 방출된 광은 웨이브가이드의 일단으로 입사될 수 있고, 입사된 광이 웨이브가이드(waveguide) 내에서 내부 전반사를 통해 사용자 눈으로 전달될 수 있다. 웨이브가이드는 유리, 플라스틱, 또는 폴리머등 투명한 소재로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 입광된 광은 나노 패턴에 의해 웨이브가이드 내부에서 전파 또는 반사되어 사용자의 눈으로 제공될 수 있다. 일 실시예에서, 웨이브가이드(waveguide)는 적어도 하나의 회절요소(예를 들어, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사요소(예를 들어, 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 웨이브가이드는 적어도 하나의 회절요소 또는 반사요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.

일 실시예에서, 디스플레이(1220, 1230)는 디스플레이 패널 또는 렌즈(예를 들어, 글라스)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 소자로 구성될 수 있고, 사용자가 디스플레이를 투과하여, 디스플레이 후면의 실제 공간을 인지할 수도 있다. 디스플레이는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.

일 실시예에서, 지지부(1221, 1222)는 증강 현실 장치(1200)의 각 구성요소에 전기적 신호를 전달하기 위한 인쇄 회로 기판(printed circuit board, PCB)(1231-1, 1231-2), 오디오 신호를 출력하기 위한 스피커(1232-1, 1232-2), 또는 전력을 공급하기 위한 배터리(1233-1, 1233-2)를 포함할 수 있다. 예를 들어, 안경 타입의 증강 현실 장치(1200)에서, 지지부(1221, 1222)는 안경 다리부에 배치될 수 있다. 지지부(1221, 1222)는 증강 현실 장치(1200)의 본체부에 결합하기 위한 힌지부(1240-1, 1240-2)를 포함할 수 있다. 스피커(1232-1, 1232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제1 스피커(1232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제2 스피커(1232-2)를 포함할 수 있다.

도 12를 참조하면, 증강 현실 장치(1200)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(1241)를 포함할 수 있다. 또한, 증강 현실 장치(1200)는 적어도 하나의 카메라(예를 들어, ET 카메라(1212), 외향 카메라(1213), 또는 인식용 카메라(1211-1, 1211-2))의 정확도를 높이기 위해 적어도 하나의 발광 장치(illumination LED)(1242)를 포함할 수 있다. 예를 들어, 발광 장치(1242)는 ET 카메라(1212)로 사용자의 동공을 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 발광 장치(1242)는 가시광 파장이 아닌 적외선 파장의 IR LED를 사용할 수 있다. 예를 들어, 발광 장치(1242)는 인식용 카메라(1211-1, 1211-2)로 사용자의 제스처를 촬영할 때 어두운 환경으로 인해 피사체의 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.

일 실시예에 따르면, 디스플레이 모듈(1214)은 좌안에 대응하는 제1 도광판(1220) 및 우안에 대응하는 제2 도광판(1230)를 포함할 수 있고, 제1 도광판(1220) 및 제2 도광판(1230)를 통해 사용자에게 시각적인 정보를 제공할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(1214)은 디스플레이 패널 및 렌즈(예를 들어, 유리렌즈, LC렌즈)를 포함할 수 있다. 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.

일 실시예에 따르면, 디스플레이 모듈(1214)은 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(1214)을 투과하여, 디스플레이 모듈(1214)의 후면이자 사용자 전방의 실제 공간을 인지할 수 있다. 디스플레이 모듈(1214)은 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.

일 실시예에서, 증강 현실 장치(1200)는 외향 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야각(FoV)으로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야각으로 판단되는 영역을 통해 출력(또는 표시)할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 다양한 실시예에 따르면, 증강 현실 장치(1200)가 가상 객체를 표시하는 표시 영역은 디스플레이 모듈(1214)의 일부(예를 들어, 디스플레이 패널의 적어도 일부)를 포함할 수 있다. 일 실시예에 따르면, 표시 영역은 제1 도광판(1220) 및 제2 도광판(1230)의 적어도 일부분에 대응되는 영역일 수 있다.

일 실시예에 따르면, 증강 현실 장치(1200)는 외향 카메라(1213)를 사용하여, 증강 현실 장치(1200)의 전면 방향에 위치한 물리적 대상체와의 거리를 측정할 수도 있다. 외향 카메라(1213)는 HR(high resolution) 카메라 및 PV(photo video) 카메라와 같은 고해상도의 카메라를 포함할 수 있다.

본 개시의 일 실시예에 따른 증강 현실 장치(1200)는 전술한 구성으로 제한되는 것은 아니며, 다양한 구성요소를 다양한 위치에 다양한 개수로 포함할 수 있다.

도 13은 본 개시의 일 실시예에 따른 가변 초점 렌즈(1340)를 제어하여 사용자에게 시력 교정을 제공하는 동작을 설명하기 위한 도면이다.

가변 초점 렌즈(variable focus lens)(1340)는, 가변적인 초점을 갖는 렌즈이다. 예를 들어, 가변 초점 렌즈(1340)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다.

본 개시의 일 실시예에 따른 증강 현실 장치에서 가변 초점 렌즈(1340)는 사용자의 눈과 디스플레이(1351) 사이에 배치될 수 있다. 일 실시예에서, 증강 현실 장치는 산출된 사용자의 시력 측정값에 기초하여, 증강 현실 장치에 포함된 가변 초점 렌즈(1340)를 제어할 수 있다.

도 13을 참조하면, 증강 현실 장치를 착용한 사용자는 가변 초점 렌즈(1340)를 통해 디스플레이(1351)에 표시된 가상 대상체를 볼 수 있고(13a), 가변 초점 렌즈(1340) 및 투명한 디스플레이(1351)를 통해 현실의 공간을 볼 수 있다.

본 개시의 일 실시예는, 측정된 시력에 기초하여 가변 초점 렌즈(1340)의 초점을 제어함으로써, 사용자에게 시력 교정을 제공할 수 있고, 교정된 시력을 통해 실감나는 증강 현실 서비스를 제공할 수 있다.

도 14는 본 개시의 일 실시예에 따른 증강 현실 장치(예를 들어, 도 11의 1100)를 도시한 도면이다.

도 14를 참조하면, 증강 현실 장치는, 사용자 입력부(1410), 출력부(1430), 제어부(1420), 센싱부(1440), 통신부(1450), A/V 입력부(1460) 및 메모리(1470)를 포함할 수 있다.

사용자 입력부(1410)는, 사용자가 증강 현실 장치를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1410)에는 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등) 또는 마이크로폰 등이 있을 수 있으나 이에 한정되는 것은 아니다.

출력부(1430)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1430)는 디스플레이부(1431), 음향 출력부(1432), 및 진동 모터(1433)를 포함할 수 있다.

디스플레이부(1431)는 증강 현실 장치에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1431)는, 가상 대상체의 이미지를 디스플레이할 수 있다.

디스플레이부(1431)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.

음향 출력부(1432)는 통신부(1450)로부터 수신되거나 메모리(1470)에 저장된 오디오 데이터를 출력한다. 진동 모터(1433)는 진동 신호를 출력할 수 있다.

제어부(1420)는, 통상적으로 증강 현실 장치의 전반적인 동작을 제어한다. 일 실시예에서, 제어부(1420)는 전술한 도 11의 프로세서(1130)와 유사하게 구현될 수 있다. 예를 들어, 제어부(1420)는, 메모리(1470)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1410), 출력부(1430), 센싱부(1440), 통신부(1450), A/V 입력부(1460)를 제어할 수 있다. 제어부(1420)는 사용자 입력부(1410), 출력부(1430), 센싱부(1440), 통신부(1450), A/V 입력부(1460)를 제어함으로써, 도 1 내지 도 12에서의 증강 현실 장치의 다양한 동작들을 수행할 수 있다.

센싱부(1440)는, 증강 현실 장치의 상태 또는 증강 현실 장치 주변의 상태를 감지하고, 감지된 정보를 제어부(1420)로 전달할 수 있다.

센싱부(1440)는, 지자기 센서(Magnetic sensor)(1441), 가속도 센서(Acceleration sensor)(1442), 온/습도 센서(1443), 적외선 센서(1444), 자이로스코프 센서(1445), 위치 센서(예컨대, GPS)(1446), 기압 센서(1447), 근접 센서(1448), 및 RGB 센서(illuminance sensor)(1449) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(1450)는, 다른 전자 장치와의 통신을 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1450)는, 근거리 통신부(1451), 이동 통신부(1452), 방송 수신부(1453)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(1451)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(1452)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 일 실시예에서, 증강 현실 장치는 연결된 다른 전자 장치에 대한 디스플레이 장치로서 기능함과 함께, 증강 현실 장치 자체가 독립적인 이동통신 단말기로서 기능할 수도 있다. 이 경우, 증강 현실 장치의 통신부(1450)는 근거리 통신부(1451)와 이동 통신부(1452)를 모두 포함할 수 있고, 다른 전자 장치와 연결되지 않은 상태에서도, 이동 통신부(1452)를 통해 독립적인 이동통신 단말기로 동작할 수 있다.

방송 수신부(1453)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 일 실시예에서 증강 현실 장치는 방송 수신부(1453)를 포함하지 않을 수도 있다.

A/V(Audio/Video) 입력부(1460)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1461)와 마이크로폰(1462) 등이 포함될 수 있다. 카메라(1461)은 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1420) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라(1461)에서 처리된 화상 프레임은 메모리(1470)에 저장되거나 통신부(1450)를 통하여 외부로 전송될 수 있다. 카메라(1461)는 증강 현실 장치의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

마이크로폰(1462)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1462)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1462)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(1470)는, 제어부(1420)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 증강 현실 장치로 입력되거나 증강 현실 장치로부터 출력되는 데이터를 저장할 수도 있다. 메모리(1470)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, "애플리케이션(application)" 및 "프로그램(program)"은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. "컴퓨터 판독 가능한 프로그램 코드"는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. "컴퓨터 판독 가능한 매체"는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.

또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체'는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 증강 현실 장치가 사용자의 시력을 측정하는 방법에 있어서,
   상기 증강 현실 장치에 포함된 외향 카메라를 이용하여 상기 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계;
   상기 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계;
   상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계;
   상기 증강 현실 장치에 포함된 디스플레이 상에서, 상기 결정된 제1 영역에 대응되는 제2 영역을 결정하는 단계;
   상기 결정된 제2 영역에 상기 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계;
   상기 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계; 및
   획득한 상기 사용자 입력 신호에 기초하여 상기 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함하는, 방법.
2. 제1항에 있어서,
   상기 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 에지를 식별하는 단계는, 상기 배경 이미지 상에서, 인접한 픽셀에 걸쳐 강도(intensity)가 기설정된 임계값 이상으로 변하는 부분을 에지로 결정하는 단계를 포함하는, 방법.
3. 제1항에 있어서,
   상기 배경 이미지를 획득하는 단계는,
   상기 증강 현실 장치에 포함된 깊이 센서(depth sensor)를 이용하여 상기 배경 이미지의 깊이 맵을 획득하는 단계; 및
   상기 획득된 깊이 맵에 기초하여 상기 배경 이미지에 포함된 상기 적어도 하나의 물리적 대상체의 깊이 값 및 형태를 식별하는 단계를 포함하는, 방법.
4. 제3항에 있어서,
   상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 상기 제1 영역을 결정하는 단계는, 상기 적어도 하나의 물리적 대상체의 깊이 값 및 형태, 및 상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 제1 영역을 결정하는 단계를 포함하는, 방법.
5. 제1항에 있어서,
   상기 사용자의 눈으로부터 상기 가상 대상체까지의 초점거리를 식별하는 단계;
   상기 식별된 초점거리에 기초하여 측정 시력 보상값(test vision compensation value)을 산출하는 단계; 및
   상기 측정 시력 보상값에 기초하여 상기 산출된 시력 측정값을 보상하는 단계를 포함하는, 방법.
6. 제5항에 있어서,
   상기 사용자의 눈으로부터 상기 가상 대상체까지의 초점거리를 식별하는 단계는,
   상기 가상 대상체가 표시되는 상기 제2 영역에 대응되는 상기 제1 영역에 대응되는 물리적 대상체를 식별하는 단계; 및
   상기 증강 현실 장치에 포함된 LIDAR, 깊이 센서, 또는 시선 추적 센서 중 적어도 하나를 이용해 상기 사용자의 눈으로부터 상기 식별된 물리적 대상체까지의 초점 거리를 식별하는 단계를 포함하는, 방법.
7. 제5항에 있어서,
   상기 측정 시력 보상값을 산출하는 단계는, 상기 식별된 초점거리(D)의 역수(1/D)에 기초하여 상기 측정 시력 보상값을 산출하는 단계를 포함하는, 방법.
8. 제1항에 있어서,
   상기 제1 영역의 색상을 식별하는 단계; 및
   상기 식별된 제1 영역의 색상에 기초하여 상기 사용자의 시력 측정을 위한 가상 대상체의 색상을 결정하는 단계를 더 포함하는, 방법.
9. 제8항에 있어서,
   상기 사용자의 시력 측정을 위한 가상 대상체의 색상은, 대응되는 상기 제1 영역의 색상과 대비(contrast)가 최대가 되도록 결정되는, 방법.
10. 제8항에 있어서,
    상기 디스플레이 상에서, 상기 사용자의 시력 측정을 위한 가상 대상체가 출력되는 픽셀들을 제외한, 상기 제2 영역에 포함된 픽셀들의 명도를 낮추는 단계를 더 포함하는, 방법.
11. 제1항에 있어서,
    상기 제1 영역의 면적에 기초하여, 상기 사용자의 시력 측정을 위한 가상 대상체의 크기 및 개수 중 적어도 하나를 결정하는 단계를 더 포함하는, 방법.
12. 제1항에 있어서,
    상기 제1 영역에 대응되는 상기 제2 영역을 결정하는 단계는,
    객체 잠금 메커니즘(object locking mechanism)을 이용하여, 상기 사용자의 시력 측정을 위한 가상 대상체가 상기 디스플레이 상 표시될 때 일정한 상기 제1 영역 상에 오버레이 되어 표시되도록 상기 제2 영역을 결정하는 단계를 포함하는, 방법.
13. 제1항에 있어서,
    상기 사용자의 시선 방향을 인식하는 단계; 및
    인식된 상기 사용자의 시선 방향이 상기 가상 대상체를 향하지 않다고 판단되는 경우, 상기 디스플레이에 유도 지시자(guide indicator)를 출력하는 단계를 더 포함하는, 방법.
14. 제1항에 있어서,
    상기 산출된 사용자의 시력 측정값에 기초하여, 상기 증강 현실 장치에 포함된 가변 초점 렌즈를 제어하는 단계를 더 포함하는, 방법.
15. 사용자의 시력을 측정하는 증강 현실 장치에 있어서,
    전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득하는, 외향 카메라;
    상기 사용자의 시력 측정을 위한 가상 대상체를 출력하는, 출력부;
    상기 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는, 사용자 입력부;
    적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어를 실행함으로써,
    상기 획득된 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고,
    상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 제1 영역을 결정하고,
    상기 출력부에 포함된 디스플레이 상에서, 상기 결정된 제1 영역에 대응되는 제2 영역을 결정하고,
    상기 결정된 제2 영역에 상기 가상 대상체를 출력하고,
    획득한 상기 사용자 입력 신호에 기초하여 상기 사용자의 시력 측정값을 산출하는, 증강 현실 장치.
16. 제15항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    상기 사용자의 눈으로부터 상기 가상 대상체까지의 초점거리를 식별하고,
    상기 식별된 초점거리에 기초하여 측정 시력 보상값을 산출하고,
    상기 측정 시력 보상값에 기초하여 상기 산출된 시력 측정값을 보상하는, 증강 현실 장치.
17. 제15항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    상기 제1 영역의 색상을 식별하고,
    상기 사용자의 시력 측정을 위한 가상 대상체의 색상을, 상기 식별된 제1 영역의 색상과 대비가 최대가 되도록 결정하는, 증강 현실 장치.
18. 제15항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여,
    객체 잠금 메커니즘(object locking mechanism)을 이용하여, 상기 사용자의 시력 측정을 위한 가상 대상체가 상기 디스플레이 상 표시될 때 일정한 상기 제1 영역 상에 오버레이 되어 표시되도록 상기 제2 영역을 결정하는, 증강 현실 장치.
19. 제15항에 있어서,
    가변적인 초점을 갖는 가변 초점 렌즈를 더 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행하여, 상기 산출된 사용자의 시력 측정값에 기초하여 상기 가변 초점 렌즈의 초점을 제어하는, 증강 현실 장치.
20. 제1항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

Images