KR102139268B1

KR102139268B1 - 눈 투영 시스템

Info

Publication number: KR102139268B1
Application number: KR1020167027442A
Authority: KR
Inventors: 보리스 그린버그
Original assignee: 아이웨이 비전 엘티디.
Priority date: 2014-03-03
Filing date: 2014-03-03
Publication date: 2020-07-30
Anticipated expiration: 2034-03-03
Also published as: CN106164743B; AU2014385317B2; US10042161B2; AU2014385317A1; CA3075154A1; IL271410A; US20180341107A1; KR20200092424A; EP3114525A1; CN112203067A; US20170068091A1; IL271410B; TWI710797B; CA2941306C; JP2017515161A; IL247404B; US10539789B2; TW201546491A; KR20160129080A; AU2020200899A1

Abstract

이미지 생성기 및 눈 투영 광학 모듈을 포함하는 눈 투영 시스템이 개시된다. 이미지 생성기는 이미지를 나타내는 데이터를 획득하고, 이미지의 픽셀들에 대응하는 복수의 광빔 부분을 생성하고, 각각의 광빔 부분의 강도를 그에 대응하는 이미지의 각각의 픽셀의 값에 따라 조정하고, 이미지 내의 각각의 픽셀의 위치에 따라 결정되는 일반 광 전파 경로에 대한 투영 각도(α_scn)로 눈 투영 광학 모듈을 향해 일반 광 전파 경로를 따라 전파하도록 광빔 부분을 지향시키도록 구성된다. 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 시선 방향(β)과 관련된 사용자 눈의 동공의 위치를 향해 광빔 부분들의 일반 광 전파 경로를 편향시키도록 구성되고 동작 가능한 시선 추적 편향기를 포함한다. 일반 광 전파 경로는 광빔 부분들이 동공의 시선에 대해 동공 입사각들(α_in)로 동공 상에 입사하도록 편향되며, 동공 입사각들(α_in)은 투영 각도들(α_scn)에 대응한다. 따라서, 시스템은 눈의 시선 방향(β)에 관계없이 눈의 망막 상에 망막 상의 특정 위치에 이미지를 직접 투영한다.

Description

눈 투영 시스템{EYE PROJECTION SYSTEM}

본 발명은 이미지 투영 시스템의 분야에 관한 것으로서, 구체적으로는 사용자에게 순수 또는 증강 가상 현실 경험을 제공하기 위해 사용자의 눈(들)에 이미지를 투영하도록 구성되는 착용식/머리 탑재형 이미지 투영 시스템에 관한 것이다.

사용자 눈(들)에 가상 및/또는 증강 가상 현실을 투영하기 위한 머리 탑재형 또는 착용식 이미지 투영 시스템은 점점 더 대중화되고 있다. 그러한 시스템은 많은 경우에 사용자에게 가상 현실 이미지/비디오 투영을 제공하기 위해 사용자의 머리에 탑재될 수 있고 사용자의 눈에 이미지를 투영하도록 동작 가능한 안경으로서 구성된다. 이 때문에, 소정의 공지 시스템은 사용자 눈에 순수 가상 현실 이미지 투영을 제공하는 것을 목표로 하며, 이 경우에 외부 장면으로부터의 광은 눈(들)에 도달하지 못하며, 반면 다른 시스템은 증강 가상 현실 인식을 제공하며, 이 경우에 외부 장면으로부터의 광은 이미지 투영 시스템에 의해 눈으로 투영되는 이미지/비디오 프레임에 의해 증강/중첩되면서도 눈으로 전달될 수 있다.

예로서, 미국 특허 출원 제2013044042호는 사용자의 머리에 착용되도록 구성되는 프레임을 포함하는 전자 장치를 개시한다. 프레임은 사용자의 코 위에 지지되도록 구성되는 브리지 및 브리지에 결합되고 그로부터 떨어져 연장하고 사용자의 이마 쪽에 배치되도록 구성되는 이마 부분을 포함할 수 있다. 프레임은 이마 부분에 결합되고 자유 단부로 연장하는 아암을 더 포함할 수 있다. 제1 아암은 사용자의 관자놀이 위에 배치될 수 있고, 자유 단부는 사용자의 귀 근처에 배치될 수 있다. 장치는 이마 부분에 인접하게 프레임에 부착된 투명 디스플레이 및 프레임에 부착되고 사용자로부터 기능과 관련된 입력을 수신하도록 구성되는 입력도 포함할 수 있다. 기능과 관련된 정보는 디스플레이 상에 제공될 수 있다.

미국 특허 제7,936,519호는 관찰자의 머리에 탑재되는 안경 프레임과 같은 프레임; 및 2개의 이미지 디스플레이 장치를 포함하는 머리 탑재형 디스플레이를 개시하며, 각각의 이미지 디스플레이 장치는 이미지 생성 장치, 및 이미지 생성 장치에 탑재되고, 이미지 생성 장치에 대해 관찰자의 얼굴의 중앙 쪽에 전반적으로 배치되고, 이미지 생성 장치로부터 방출된 빔이 입사하고, 빔을 안내하고, 빔을 관찰자의 동공을 향해 방출하는 광 안내 수단을 포함한다.

미국 특허 제8,289,231호는 크기 및 무게가 작고, 깨끗한 투명 능력을 제공하는 고성능 광학계를 포함하는 머리 탑재형 가상 이미지 디스플레이 유닛을 개시한다. 투명 능력이 요구되지 않는 사례를 위해 슬라이딩 광 실드가 포함될 수 있다. 약 18 인치 내지 무한대의 거리에서 이미지의 포커싱을 가능하게 하기 위해 포커스 조정이 포함될 수 있다. 사용자의 머리에 끼우도록 구성되는 조정 가능 머리띠가 포함될 수 있다. 광학 조립체의 정밀 위치 조정을 촉진하기 위해 플렉시블 붐 구조가 포함될 수 있다. 광학 조립체의 위치 조정을 촉진하기 위해 슬라이더 및 볼 조인트 메커니즘도 포함될 수 있다. 사용자에 의한 음성 입력을 가능하게 하기 위해 내장 마이크가 포함될 수 있다. 머리 탑재형 가상 이미지 디스플레이 유닛은 눈 또는 안전 안경과 함께 편안하게 사용될 수 있으며, 사용자가 주변 환경을 보는 것을 차단하지 않고서 사용자에게 유용한 이미지를 제공한다. 유닛은 사용자 만족을 크게 향상시키기 위해 호감이 가는 외관을 갖도록 설계된다.

미국 특허 제8,384,999호는 머리 탑재형 디스플레이 및 다른 응용을 위한 광학 모듈을 개시한다. 광학 모듈은 서로 맞물리는 리지형 표면들을 갖는 광학 기판 및 광학 덮개를 포함한다. 표면들 중 적어도 한 표면 상에 반사층이 형성된다. 표면들 사이에 굴절률 매칭 재료가 배치될 수 있다. 투영기로부터 투영 이미지를 수신하는 영역이 투영기로부터 방출된 광선을 리지형 표면들로 지향시키며, 따라서 사용시에 관찰자는 증강 이미지를 인식하게 된다. 증강 이미지는 투영기로부터의 반사 광선 및 관찰자 측에 대한 모듈의 반대 측에 배치된 물체로부터의 투과 광선을 포함한다.

소정 기술들에서는 눈 위치 및 움직임을 추적하여 사용자에 대한 포커스 영역을 결정한다. 시선을 추적하는 기술이 예로서 미국 특허 제6,943,754호에 개시된다.

미국 특허 출원 제2012154277호는 투명 디스플레이 장치와 같은 근안 디스플레이 장치를 사용하거나 머리 탑재형 디스플레이 장치가 제공될 때 사용자의 경험을 향상시키는 방법 및 시스템을 개시한다. 장면 내의 사용자의 시야에 대해 표시할 최적 이미지가 생성된다. 사용자의 머리 및 눈 위치 및 움직임을 추적하여 사용자에 대한 포커스 영역을 결정한다. 최적 이미지의 일부가 눈들의 현재 위치에서의 사용자의 포커스 영역에 결합되고, 머리 및 눈들의 다음 위치가 예측되고, 최적 이미지의 일부가 다음 위치에서의 사용자의 포커스 영역에 결합된다.

미국 특허 제7,542,210호는 장치를 사용자의 머리에 부착하는 마운트, 작동 장치들과 함께 마운트에 부착되는 빔 분할기, 이미지들을 빔 분할기 상으로 투영하는 이미지 투영기, 사용자의 눈의 시선을 추적하는 눈 추적기 및 하나 이상의 프로세서를 갖는 머리 탑재형 디스플레이 장치를 개시한다. 장치는 눈 추적기 및 작동 장치들을 선택 사항인 머리 추적기와 함께 사용하여, 눈의 회전의 중심에 대해 빔 분할기를 이동시켜 빔 분할기를 눈의 직접 시선 내에 유지한다. 사용자는 이미지 및 이미지 뒤의 환경을 동시에 본다. 제2 빔 분할기, 눈 추적기 및 투영기를 사용자의 다른 눈에 대해 사용하여 입체 가상 환경을 생성할 수 있다. 디스플레이는 사람 눈의 분해능에 대응할 수 있다. 이 발명은 사용자가 보는 곳마다 고해상도 이미지를 사전 설정한다.

국제 특허 출원 공보 No. WO 2013/117999는 시선 추적을 위한 시스템, 방법 및 컴퓨터 프로그램 제품을 개시한다. 예시적인 방법은 투영기를 이용하여 눈 안으로 광을 지향시키는 단계; 이미지 캡처링 모듈을 이용하여, 눈과 관련된 표면으로부터의 반사를 검출하는 단계; 및 검출된 반사에 기초하여 눈과 관련된 시선을 결정하는 단계를 포함한다. 일부 실시예들에서, 광은 적외선 광을 포함한다. 일부 실시예들에서, 투영기는 레이저를 포함한다. 일부 실시예들에서, 투영기는 LCoS(liquid crystal on silicon) 칩을 포함한다. 일부 실시예들에서, 반사와 관련된 표면은 각막, 홍채 또는 망막 중 적어도 하나이다.

사용자들에게 가상 또는 증강 현실을 제공하기 위한 통상적인 투영 시스템들은 일반적으로 사용자 눈들을 향한 이미지(예로서, 비디오 이미지)의 투영에 기초하여, 따라서 이미지는 사용자 눈에 의해 눈의 정면의 소정 거리(예로서, 통상적으로 눈으로부터 약 4 내지 수 미터의 거리)에 위치하는 중간 이미지 평면에 배치/포커싱된 것으로 인식된다. 이미지가 투영되는 중간 이미지 평면은 눈 정면의 실제 이미지 평면(즉, 이미지를 형성하는 투영 광빔이 실제로 포커싱되는 평면) 또는 가상 이미지 평면(즉, 이미지를 형성하는 투영 광빔이 사용자 눈에 의해 포커싱된 것으로 인식되는 평면)일 수 있다. 여하튼, 그러한 통상적인 이미지 투영 시스템들에서, 중간 이미지 평면은 사용자의 눈에 광학적으로 릴레이되어야 한다. 즉, (가상 또는 실제 이미지 평면인) 중간 이미지 평면은 통상적으로 눈의 정면에서 소정의 유한 거리에 배치되므로 눈 렌즈가 그러한 소정 거리에 포커싱될 때만 눈 망막 상에 포커싱된다.

사용자 눈들로부터 소정의 유한 거리에서 인식되는 이미지를 투영하는 통상적인 가상/증강 현실 이미징 기술들의 하나의 주요 단점은 눈의 피로 및 많은 경우에 두통의 발생과 관련된다. 이러한 문제는 인식되는 3D 환상을 생성하기 위해 사용자 눈들 각각에 입체 이미지들이 독립적으로 투영될 때 훨씬 더 구체적으로 내재한다. 그 이유는 그렇게 생성되는 3D 환상 내에는 사용자에 의해 눈들로부터 다양한 상이한 거리에 배치된 것으로 인식되는 물체들/요소들이 존재할 수 있고, 이는 눈들이 눈 렌즈들을 그러한 상이한 거리들에 계속 리포커싱하려고 시도하게 하기 때문이다. 그러나, 전술한 바와 같이, 각각의 눈이 인식하는 실제 이미지는 실제로는 눈으로부터 소정의 통상적으로 고정된 거리에 있는 실제 또는 가상 이미지 평면에 배치/포커싱된다. 따라서, "눈들"은 이미지 내의 요소들/물체의 인식되는 거리에 따라 상이한 거리들에 포커싱하려고 시도하고, 일반적으로 실패하며, 따라서 뇌 속의 시각 메커니즘을 혼란시켜 눈 피로 및 두통을 유발한다.

통상적인 기술들의 다른 주요 단점은 눈 움직임과 관련된다. 통상적인 기술들에서, 눈들 각각에 의해 인식되는 이미지가 눈들 정면의 이미지 평면 상에 투영되는 경우, 이미지 평면은 통상적으로 사용자가 위치하는 외부 장면/환경의 기준 프레임에 대해 고정되는 기준 프레임과 관련되거나(실제 이미지가 극장 안의 고정 스크린 상에 투영되는 통상적인 3D 영화관에서 일반적임), 사용자의 머리와 관련된 기준 프레임에 대해 고정된다(증강/가상 현실을 그들의 사용자들에게 투영하도록 설계되는 파일럿 또는 게이머의 헬멧에 일반적임). 어느 경우에나, 투영 이미지는 눈의 기준 프레임(즉, 안구의 시선)에 고정되지 않으며, 이는 투영 모듈에 대한 타겟 시야 정렬의 공지된 문제를 유발하고, 특정 교정을 필요로 한다. 따라서, 사용자의 눈들이 움직이는 동안 망막 상의 임의의 선택된 위치들 상에 이미지를 투영하기 위해 통상적인 기술들을 이용하기가 어렵다. 그러나, 그러한 특성은 예로서 인터넷으로부터의 추가 정보를 이용하여 시각적 사용자 인식을 증강하기 위한 소정 응용들에서 특히 바람직하다.

이와 관련하여, 사람의 쌍안 시각에서, 눈들(시선들)은 항상 평행 광축들을 향하는 것이 아니라, 많은 경우에 그들의 광축들이 (예로서, 사람이 보고 있는 물체와 관련된 위치에서) 교차하도록 지향된다. 따라서, 눈들 간의 쌍안 불일치를 보상 또는 고려하기 위해 개별적으로 그리고 독립적으로 각각의 눈의 망막에 대한 이미지들의 투영을 개별적으로 조정하는 것이 종종 바람직하다. 이것은 또한, 각각의 눈의 기준 프레임에 고정되는 것이 아니라 외부 장면의 기준 프레임 또는 사용자의 머리의 기준 프레임에 고정되는 이미지 평면들 상에 이미지들이 투영되는 통상적인 기술들을 이용하여 달성하기 어렵다.

본 발명은 이 분야에 공지된 기술들의 상기 단점들을 해결하는 데 유용한 새로운 눈 투영 기술을 제공한다. 더 구체적으로, 본 발명은 눈 망막 안으로의 이미지들의 투영을 지향시키기 위한 시스템들 및 방법들을 제공하며, 눈의 위치를 그의 시선 방향에 따라 추적하기 위해 투영/이미징 광 경로를 지향시키기 위한 시스템들 및 방법들을 더 제공한다. 이것은 시선 방향이 변하는 동안 눈 망막 상의 특정/고정 위치들 상에 이미지들을 투영하는 것을 가능하게 한다.

본 명세서에서 망막 상의 고정 위치라는 표현은 특정 시각에 대응하는 망막 상의 특정 위치를 지칭하는 데 사용된다는 것을 이해해야 한다. 이와 관련하여, 망막 상의 이미지가 특정 시각/방향에서 안정되고 고정되게 보이기 위해서는 (눈의 경련성 움직임에 의해 유발되는) 망막 상의 이미지의 작은 경련성 움직임(떨림)이 필요하다는 점에 유의해야 한다. 이 때문에, 망막 상의 고정/특정 위치라는 표현은 경련성 눈 움직임에 의해 허용되는 정도로 고정되지만 일부 예들에서는 절대적으로 고정되지는 않고 경련성 눈 움직임으로 인해 약간 움직일 수 있는 망막 상의 위치로서 이해되어야 한다. 따라서, 아래에서 더 상세히 설명되는 본 발명의 기술은 (예로서, 시선 방향의 변화와 관련된) 눈의 큰 움직임에 대한 보상을 제공하는 반면, 경련성 움직임(떨림)과 같은 작은 눈 움직임은 보상되지 않을 수 있지만, 여전히 이미지가 고정 위치 상에 완전히 안정되게 보이는 것을 가능하게 한다는 점에 유의해야 한다.

본 발명의 일부 양태들에 따르면, 눈 망막 상의 직접 이미징을 위한 시스템 및 방법이 제공된다. 투영 시스템은 제1 조정 가능 광학 편향기(예로서, 래스터 스캔과 같은 이차원 이미지 스캐닝을 수행하도록 동작 가능한 하나 이상의 고속 스캐닝 미러)를 포함하는 이미지 스캐너를 포함한다. 이미지 스캐너는 입력 광빔을 수신하고, 사용자 눈의 동공과의 광빔의 입사각을 조정하기 위해 광빔을 편향시키도록 구성되고 동작 가능하다. 이 때문에, 이미지 스캐너의 제1 조정 가능 광학 편향기는 래스터 스캔과 같은 이미지 스캐닝을 수행하며, 그러는 동안에 광빔이 편향되고, 따라서 눈의 망막 상의 다양한 위치에 대응하는 다양한 동공 입사각(α_in)으로 동공 상에 입사된다. 게다가, 광빔의 강도 및 아마도 스펙트럼 콘텐츠도 망막 상에 투영될 이미지에 따라 변조되며, 따라서 이미지의 각각의 픽셀은 이미지 스캐닝 동안 망막의 다양한 위치 상에 투영된다. 즉, 동공 입사각들(α_in)은 이미지 내의 픽셀들에 대응하며, 이러한 픽셀들이 망막 상의 각각의 위치 상에 직접 투영되게 한다.

본 발명의 시스템은 눈을 향해 전파되는 광빔의 광 경로 내에 위치하는 눈 투영 광학 모듈도 포함한다. 통상적으로, 본 발명의 일부 실시예들에 따르면, 눈 투영 광학 모듈은 이미지 스캐너로부터 광축에 대해 소정의 출력 이미지 투영 각도(α_scn)로 전파되는 광빔을 수신하고, 대응하는 동공 입사각(α_in)으로 동공 상에 입사하도록 광빔을 릴레이하도록 구성되고 동작 가능한 각 빔 릴레이 모듈(angular beam relay module)을 포함한다. 이 때문에, α_in은 출력 이미지 투영 각도(α_scn)의 단조 함수 F_opt일 수 있고:

, 여기서 위첨자 X 및 Y는 광 경로에 수직인 2개의 직교하는 측방 축에 대해 측정된 각도들이다. 이와 관련하여, 이미지 스캐너의 투영 각도(α_scn)를 동공 입사각(α_in)에 맵핑하는 단조 함수 F_opt는 일반적으로 이미지 스캐너로부터 동공으로 광빔을 릴레이하는 눈 투영 광학 모듈의 광학 동작/함수와 관련된다. 이미지 투영 각도(α_scn)는 또한 이미지 내의 대응 픽셀의 이차원 위치 {P_x,P_y}에 대응할 수 있다(α_scn = {α^x _scn, α^y _scn} = S({P_x,P_y})). 여기서, S는 이미지 내의 픽셀의 위치 {P_x,P_y}와 이미지 스캐너의 각 상태/위치(α_scn) 사이를 맵핑하는 (본 명세서에서 이미지 스캔 맵핑 함수로도 지칭되는) 이미지 스캔 함수이다.

전술한 바와 같이, 통상적인 기술들의 두드러진 단점들 중 하나는 눈에 의해 캡처되는 투영 이미지가 눈 좌표들(기준 프레임)이 아니라 다른 기준 프레임, 예로서 눈 밖의 장면의 기준 프레임 또는 사용자의 머리의 기준 프레임에 고정된다는 것이다. 따라서, 눈의 시선 방향이 변할 때, 그에 따라 눈 망막 상의 이미지의 투영의 위치가 변한다. 그 이유는 실제 동공 입사각(α_in)이 시선 방향에 의존하기 때문이다. 예로서,

에 의해 시선 방향을 마킹하면, 주어진 투영 각도(α_scn)에 대해, 동공 입사각(α_in)은 다음과 같을 것이다.

이것은 (동공 입사각(α_in)에 의존하는) 망막 상의 픽셀들의 투영 위치와 시선 방향(β) 사이의 의존성을 유발할 것이다.

따라서, 본 발명에 따르면, 함수

는 동공의 시선 방향(β)의 변화를 보상하여 다양한/변하는 시선 방향들에서의 망막 상의 특정(예로서, 고정) 위치들 상의 이미지 픽셀들의 투영을 가능하게 하도록 수정되어야 한다.

이것은 시선 방향에 따라 조절 가능한 수정된 광학 함수

와 관련된 특별히 구성된 눈 투영 광학 모듈을 이용함으로써 달성될 수 있다. 예로서, 다음과 같이 위의 수학식 1의 광학 함수 F_opt를 수정된 광학 함수

로 대체하는 것은 동공 입사각(α_in)이 시선 방향에 대해 변하지 않게 할 것이다.

사실상, 본 발명의 일부 실시예들에 따르면, 이러한 솔루션은 눈 투영 광학 모듈 내에 (예로서, 어드레싱 가능 미러를 포함하는) 제2 조정 가능 광학 편향기인 조절 가능 시선 추적 편향기를 포함시킴으로써 구현된다. 시선 추적 편향기는 눈의 시선 방향(β)을 지시하는 신호들에 응답하여 시선 방향(β)에 따라 광빔의 광 전파 경로를 편향시켜 상기 광빔이 시선 방향에 대해(동공의 광학 축, 즉 그의 시선에 대해) 상기 각도(α_in)로 동공 상에 입사하게 하도록 구성되고 동작 가능하다.

대안으로서 또는 추가로, 시선 방향에 대한 동공 입사각(α_in)의 불변성은 이미지 픽셀들과 이미지 스캔 미러들 간의 적절한 맵핑을 이용함으로써 달성될 수 있다. 그러한 맵핑은 시선 방향(β)의 변화를 고려하고 보상한다(예로서, 시선 방향에 따라 조절 가능하다). 예로서, 다음을 충족시키는 수정된 이미지 스캔 맵핑 함수 S'를 이용한다.

이 때문에, 시선 방향(β)의 변화에 대한 적어도 부분적 해결책을 제공하기 위한 다른 방법은 망막 상의 동일 위치들 상의 픽셀 투영들의 유지를 가능하게 하기 위해 β를 적어도 부분적으로 보상하도록 이미지 스캔 함수(S)를 수정하는 것이다. 즉, 이미지 스캔 함수(S)는 β에 따라 투영 각도(α_scn)과 이미지 스캐너의 이 각도에서 투영된 이미지 픽셀들(광 강도) 사이의 대응관계를 변경함으로써 수정된다. 따라서, 이것은 망막 상에 투영될 이미지의 선택된 부분을 결정하도록 적절한 디지털 처리를 구현함으로써 달성될 수 있다. 시선 방향의 변화 시에, 이미지의 선택된 부분은 시선 방향의 시프트를 보상하도록 시프트된다.

그러나, 이러한 접근법은 확장된 시야를 갖고 극단적인 입사각으로 픽셀 관련 광빔을 투영하여 상이한 시선들에서 가능한 동공 배향들의 전체 범위를 커버할 수 있는 이미지 투영 시스템의 이용을 필요로 할 수 있다. 그러나, 눈 상의 그러한 극단적인 입사각을 지원하는 광학 이미지 투영 시스템의 설계 및 제조는 광학 성능의 저하 및/또는 그러한 시스템의 생산을 소정 응용들에 대해 불가능하거나 비용 효과적이지 못하게 하는 높은 허용 한계 제약과 관련될 수 있다.

또한, 시선 방향(β)이 변함에 따라 동공의 공간 위치도 변한다는 점에 유의해야 한다. 따라서, β를 보상하기 위해 수학식 3의 수정된 이미지 스캔 함수(S')를 이용하는 것은 일부 또는 모든 가능한 동공 위치들을 커버하는 폭을 갖는 충분히 넓은 광빔의 이용을 요구할 수 있다. 예로서, 눈의 시선 방향(β)은 입체각

내의 임의의 각도일 수 있다. 따라서, 통상적인 안구 직경(D)은 약 25 mm이므로, 동공은 6 mm의 명목 반경의 영역 내에 배치될 수 있다. 따라서, 시선 방향(β)의 이용은 눈을 향하는 광빔이 등가 반경(예로서, 약 8 mm)을 가져서 사실상 다양한 시선 방향들로 동공에 도달할 것을 요구할 수 있다.

아래에서 더 설명되는 바와 같이, 일부 예들에서는, 동공의 폭/반경보다 작은 폭/반경을 갖는 광빔을 동공으로 지향시키는 것이 바람직하다. 이것은 망막 상의 이미지 투영의 포커스 심도를 개선하는 데 이용될 수 있다. 그러나, 이미지 스캔 함수(S')를 이용하여 시선 방향을 보상하기 위해 수학식 3의 스킴을 이용하는 것은 (예로서, 동공보다 좁은) 좁은 광빔을 사용하는 실시예들에서는 바람직하지 않을 수 있다는 점에 유의해야 한다. 그 이유는 빔이 동공보다 훨씬 더 넓고, 가능한 동공 위치들의 상당한 부분을 커버해야 하기 때문이다.

그러나, 동공보다 넓은, 넓은 광빔의 사용은 눈 투영 광학 모듈이 시선 방향(β)을 보상하도록 특별히 구성되는 실시예들(즉, 눈 투영 광학계가 수학식 2에서와 같이 시선 방향에 따라 조절/조정 가능한 실시예들)에서는 필요하지 않을 수 있다. 그 이유는 그러한 실시예들에서는 눈 투영 광학 모듈이 시선 방향(β)에 따라 동작하는 시선 추적 편향기를 포함하여 광빔의 광 전파 경로를 동공을 향해 편향시킬 수 있기 때문이다. 이것은 동공의 폭보다 좁은 광빔(들)을 사용하면서도 이러한 광빔(들)을 추적하여 동공을 향해 그의 다양한 시선 방향으로 지향시키는 것을 가능하게 한다. 예로서, 일부 실시예들에서, 시선 추적 편향기는 시선 방향(β)에 따라 광빔을 상이한 편향 각도로 편향시켜 그로부터 편향된 광빔의 광 경로를 변경하는 어드레싱 가능 미러를 포함할 수 있다. 시선 추적 편향기는 상이한 시선 방향들에 대응하는 다양한 각각의 광 경로를 따라 어드레싱 가능 미러로부터 전파되는 광빔들을 수신하고, 이러한 상이한 시선 방향들 각각에 있을 때 동공이 위치하는 대응하는 공간 위치들을 향해 그들을 지향시키도록 구성되고 동작 가능한 (예로서, 하나 이상의 렌즈 또는 미러를 포함하는) 피사계 선택기 광학 모듈도 포함할 수 있다. 피사계 선택기 광학 모듈은 예로서 이러한 기능을 수행하도록 특별히 구성되는 축외 포물선 편향기와 같은 비구면 옵틱스를 포함할 수 있다. 일부 실시예들에서, 눈 추적 편향기 모듈의 피사계 선택기 광학 모듈은 안경 렌즈의 하나 이상의 광학 표면을 포함하거나 그에 의해 형성된다.

사실상, 더 일반적인 방식에서, 수학식 2 및 3과 관련하여 전술한 기술들의 조합도 눈 투영 광학 모듈 및 픽셀 맵핑 처리 양자를 이용하여 (예로서, 함수 각각이 부분적 그리고 상보적 보상을 제공하도록) 시선 방향(β)을 보상함으로써 이용될 수 있다. 이것은 맵핑 함수(S') 및 광학 함수(F')에 의해 아래의 조건이 충족될 것을 요구할 수 있다.

여기서,

은 눈 투영 광학 모듈의 조절 가능 시선 추적 편향기에 의해 보상되는 시선 방향 각도(β)의 부분이고,

은 (맵핑 함수(S')를 조절함으로써) 처리에 의해 보상되는 시선 방향 각도(β)의 부분이다.

따라서, 본 발명은 눈 망막 상의 이미지들의 직접 투영을 위한 시스템들 및 방법들을 제공한다. 이것은 본 발명에 따라 눈 밖에 그로부터 고정 거리에 위치하는 실제 또는 가상 중간 이미지 평면 상에 이미지를 투영/포커싱할 필요 없이 달성될 수 있다. 따라서, 그러한 중간 이미지 평면들에서의 이미지들의 인식과 관련된 불편, 피로 또는 두통이 일반적으로 완화되고, 아마도 완전히 제거된다. 아래에서 더 구체적으로 설명되는 바와 같이, 눈 망막 상의 이미지들의 직접 투영은 이미지 내의 각각의 픽셀의 위치들과 관련된 상이한 각각의 출력 이미지 투영 각도로 상이한 이미지 픽셀에 대응하는 광빔들을 출력하도록 구성되는 이미지 투영 시스템을 이용하고, 각 릴레이 옵틱스를 이용하여 이미지 투영 시스템으로부터 출력되는 광빔들을 눈 동공 상으로 대응하는 동공 입사각들로 릴레이함으로써 달성된다. 각 릴레이 옵틱스는 동공 상에 입사하는 광빔의 각도가 이미지 투영 시스템으로부터 광빔이 방출되는 출력 각도에 대응하고, 또한 이미지의 각각의 픽셀에도 대응한다고 규정한다. 눈 렌즈가 상이한 각도로부터 그 위에 충돌하는 광빔들을 망막의 상이한 각각의 영역 상에 포커싱하므로, 시스템은 망막 상의 이미지의 직접 이미징을 제공한다.

일부 실시예들에서, 본 발명의 시스템은 시준된 광빔들을 동공으로 지향시키도록 구성된다. 따라서, 그러한 광빔들은 "무한대" 거리로부터 도달함에 따라 눈에 의해 인식되며, 눈 렌즈는 그로부터 유한 거리에 위치하는 이미지 평면에 포커싱될 필요가 없다. 이것은 전술한 바와 같이 그러한 포커싱과 관련된 불편한 현상의 완화를 제공한다.

대안으로서 또는 추가로, 본 발명의 직접 투영 기술은 이미지들이 망막 상에 향상된 포커스 심도로 투영되는 방식의 눈 망막 상의 이미지들이 투영을 제공한다. 따라서, 이미지는 눈 렌즈의 실질적으로 임의의 포커스 상태에서 망막 상에 실질적으로 포커싱되어 투영된다. 예로서, 이미지는 눈 렌즈가 4 미터 내지 무한대의 넓은 포커스 길이 범위 내의 임의의 포커스 상태에 있는 동안 망막 상에 포커싱된 상태로 유지하는 것을 가능하게 하는 실질적인 포커스 심도로 투영될 수 있다. 본 발명에 따르면, 향상된 포커스 심도로의 이미지들의 투영은 이미지 픽셀들과 관련된 광빔들을 눈 동공 상에 투영함으로써 달성되며, 빔의 폭들은 눈 동공의 직경보다 좁다. 이 때문에, 통상적인 옵틱스에서, 포커스 심도는 광학계의 동공 직경과 관련된다. 더 작은 동공 직경은 더 넓은 포커스 심도를 제공하며, 그 반대도 같다. 이것은 눈의 광학계에 대해 동일하다. 그러나, 본 발명에 따르면, 이미지들은 이미지 픽셀들에 대응하는 광빔들을 (중간 이미지 평면의 형성 없이) 눈 동공을 향해 직접 지향시킴으로써 눈 망막 상에 직접 투영된다. 따라서, 본 발명자들은 동공의 직경보다 좁은, 좁은 빔 폭을 갖는 광빔들을 이용하고 지향시킴으로써 망막 상에 투영되는 이미지의 포커스 심도가 향상된다는 것을 발견하였다. 사실상, 망막 상의 이미지의 포커스 심도가 증가하는 이유는 광빔들이 눈 렌즈와 상호작용하도록 눈에 들어가는 동공의 유효 직경이 그러한 경우에 (동공의 실제 직경보다 작은) 광빔의 직경과 동일하기 때문이다. 이것은 본 발명의 일부 실시예들에서 눈을 투영 이미지 상에 포커싱하기 위한 시도와 관련된 불편, 피로 또는 두통을 완화하고, 아마도 완전히 제거하는 데 사용되는데, 이는 눈 렌즈의 임의의 공명 가능 포커스 상태에서 이미지가 포커싱된 상태로 유지되기 때문이다. 따라서, 본 발명의 일부 실시예들에서는, 동공의 직경보다 좁은 광빔을 눈 상에 투영할 수 있는 광학계가 사용된다.

또한, 일부 실시예들에서, 레이저 광(예로서, 가간섭 광)이 광원으로 사용되며, 선택 사항으로서 적절한 빔 시준기도 사용하여 충분히 좁고 선택 사항으로서 시준된 광을 동공을 향해 제공한다.

일부 실시예들에서, (예로서, 약 1.5mm인) 통상적인 동공 직경의 60% 정도인 폭을 갖는 광빔을 사용하여, 망막 상의 이미지의 충분히 큰 피사계/포커스 심도를 제공한다. 이와 관련하여, 본 발명에 따르면, 예로서 동공보다 좁은 그러한 좁은 광빔을 사용하여 눈 상에 투영할 때 얻어지는 큰 피사계 심도로 인해, 조정 가능 포커싱 및 관련 옵틱스에 대한 필요성이 제거될 수 있다. 따라서, 본 발명의 일부 실시예들에서, 고정/조정 불가 포커스를 갖는 시스템이 광빔을 눈으로 지향시키는 데 사용될 수 있다.

따라서, 본 발명의 하나의 넓은 양태에 따르면, 이미지 생성기 및 눈 투영 광학 모듈을 포함하는 눈 투영 시스템이 제공된다. 이미지 생성기는 이미지를 나타내는 데이터를 획득하고, 이미지의 픽셀들에 대응하는 복수의 광빔 부분을 생성하고, 각각의 광빔 부분의 강도를 그에 대응하는 이미지의 각각의 픽셀의 값에 따라 조정하고, 눈 투영 광학 모듈을 향해 일반 광 전파 경로를 따라 전파하도록 광빔 부분을 지향시키도록 구성된다. 광빔 부분은 일반 광 전파 경로에 대해 투영 각도(α_scn)로 눈 투영 광학 모듈로 전파하도록 지향되며, 투영 각도(α_scn)는 이미지 내의 각각의 픽셀의 위치에 따라 결정된다. 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 시선 방향(β)에 따라 광빔 부분들의 일반 광 전파 경로를 눈의 동공을 향해 편향시키도록 구성되고 동작 가능한 시선 추적 편향기를 포함한다. 일반 광 전파 경로는 광빔 부분들이 시선 방향(β)에서 동공의 시선에 대해 투영 각도들(α_scn)에 대응하는 동공 입사각들(α_in)로 동공 상에 입사하도록 편향된다. 따라서, 시스템은 눈의 시선 방향(β)에 관계없이 눈의 망막 상의 실질적으로 고정된 위치에서 망막 상에 이미지를 직접 투영하는 것을 제공한다.

본 발명의 일부 실시예들에 따르면, 투영 각도(α_scn)와 동공 입사각(α_in) 간의 대응 관계는 동공 입사각(α_in)이 투영 각도(α_scn)의 단조 함수인 것이다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템은 광빔 부분들이 실질적으로 시준되는 동안 동공 상에 입사하도록 광빔 부분들의 시준을 수행하도록 구성되는 하나 이상의 빔 시준기를 포함하며, 따라서 눈 망막 상의 이미지의 직접 투영을 가능하게 한다. 예로서, 망막 상의 이미지의 직접 투영은 이미지가 눈으로부터 무한한 거리로부터 생성된 것으로서 눈에 의해 인식되는 것을 특징으로 할 수 있다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템은 광빔 부분들의 폭들이 동공의 직경보다 작아지게 하도록 구성되는 하나 이상의 광학 모듈을 포함한다. 따라서, 이것은 확장된 포커스 심도로의 망막 상의 상기 이미지의 투영을 가능하게 한다. 본 발명의 일부 실시예들에 따르면, 눈 투영 시스템의 시선 추적 편향기는 어드레싱 가능 광학 편향 유닛 및 피사계 선택기 광학 모듈을 포함한다. 어드레싱 가능 광학 편향 유닛은 일반 광 전파 경로를 따라 배치되며, 피사계 선택기 광학 모듈은 시스템을 통한 광 전파 방향에 대해 어드레싱 가능 광학 편향 유닛으로부터 하류의 광 경로를 따라 배치된다. 일부 실시예들에서, 어드레싱 가능 광학 편향 유닛은 시선 방향(β)을 나타내는 입력 신호들에 응답하고, 시선 방향(β)에 대응하는 각각의 광 경로를 따라 전파하도록 그 위에 입사되는 광빔을 편향시키기 위해 그의 편향 각도를 조정하도록 동작 가능하다. 피사계 선택기 광학 모듈은 상이한 시선 방향(β)에 대응하는 다양한 각각의 광 경로들을 따라 전파하는 광빔을 수신하고, 상이한 시선 방향(β) 각각과 관련된 동공의 대응하는 위치를 향해 그들을 지향시키도록 구성되고 동작 가능하다. 이 때문에, 본 발명의 소정 실시예들에서, 피사계 선택기 광학 모듈은 축외 포물선 편향기와 같은 비구면 옵틱스를 포함한다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템의 눈 투영 광학 모듈은 각 빔 릴레이 모듈을 더 포함한다. 각 빔 릴레이 모듈은 다양한 투영 각도(α_scn)로 이미지 생성기로부터 전파되는 각각의 광빔 부분을 수신하고, 대응하는 동공 입사각(α_in)으로 (그의 위치에서) 동공 상에 투영되도록 광빔 부분을 릴레이하도록 구성되고 동작 가능하다. 예로서, 일부 실시예들에서, 각 빔 릴레이 모듈은 제1 포커스 길이 및 제2 포커스 길이와 각각 관련되는 제1 광학 모듈 및 제2 광학 모듈을 포함한다. 제1 광학 모듈 및 제2 광학 모듈은 제1 포커스 길이 및 제2 포커스 길이의 합과 실질적으로 동일한 광학 거리만큼 일반 광 전파 경로를 따라 서로 이격된다.

본 발명의 소정 실시예들에서, 시선 추적 편향기의 어드레싱 가능 광학 편향 유닛은 각 빔 릴레이 모듈의 제1 광학 모듈과 제2 광학 모듈 사이의 광 경로를 따라 배치된다. 또한, 일부 실시예들에서, 각 빔 릴레이의 제2 광학 모듈과 피사계 선택기 광학 모듈은 공통 광학 요소 내에 통합된다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템의 이미지 생성기는

- 입력 광빔을 제공하는 광 모듈;

- 입력 광빔의 광 경로 내에 위치하고, 입력 광빔을 하나 이상의 광빔 부분으로 분할하고, 하나 이상의 광빔 부분을 일반 광 전파 경로에 대해 투영 각도(α_scn)로 전파하도록 지향시키도록 구성되는 이미지 스캐너;

- 입력 광빔 및 하나 이상의 광빔 부분 중 적어도 하나의 광 경로 내에 위치하고, 하나 이상의 광빔 부분의 강도를 제어 가능하게 조정하도록 구성되는 광 강도 변조기; 및

- 광 강도 변조기 모듈에 접속될 수 있고, 눈 망막 상에 투영될 이미지 픽셀들을 지시하는 이미지 데이터를 획득하고, 광빔 부분 각각에 대응하는 이미지의 픽셀의 값에 따라 광빔 부분의 강도들을 조정하기 위해 광 강도 변조기 모듈을 동작시키도록 구성되고 동작 가능한 투영 제어기

를 포함한다.

소정 실시예들에서, 투영 제어기는 이미지 스캐너에도 접속될 수 있고, 일반 광 전파 경로에 대해 투영 각도(α_scn)로 전파하도록 상기 광빔 부분을 지향시키도록 동작 가능하다.

예로서, 일부 실시예들에서, 광 강도 변조기는 입력 광빔을 별개의 각각의 광 경로들을 따라 전파하는 복수의 광빔 부분으로 분할하도록 구성되고 동작 가능한 공간 광 변조기를 포함할 수 있으며, 이미지 스캐너는 복수의 광빔 부분을 상이한 투영 각도(α_scn)를 향해 편향시키도록 구성되는 정적 광학 모듈을 포함할 수 있다.

대안으로서 또는 추가로, 광 강도 변조기는 입력 광빔의 강도를 변조하도록 구성될 수 있고, 이미지 스캐너는 입력 광빔을 복수의 광빔 부분(시간적 부분)으로 분할하고 그들을 상이한 각도(α_scn)를 향해 전파하도록 지향시키도록 구성되는 스캐닝 미러를 포함할 수 있다.

이 때문에, 본 발명의 일부 실시예들에 따르면, 눈 투영 시스템은 적어도 2개의 조정 가능 광학 편향기(예로서, 하나 이상의 회전 가능 미러에 의해 각각 형성되는 2개의 조정 가능 이차원 광학 편향기)를 포함한다. 예로서, 제1 조정 가능 광학 편향기는 이미지 스캐너의 적어도 하나의 스캐닝 광학 편향기를 포함할 수 있거나 그와 관련될 수 있으며, 제2 조정 가능 광학 편향기는 시선 추적 편향기의 시선 추적 편향기를 포함할 수 있거나 그와 관련될 수 있다.

일부 실시예들에서, 적어도 2개의(예로서, 제1 및 제2) 조정 가능 광학 편향기는 광빔 부분들의 2개 이상의 전파 자유도를 제어하여, 상이한 시선 방향(β)에서의 동공 위치 상에 그리고 상이한 시선 방향(β) 내의 눈의 시선에 대해 원하는 동공 입사각(α_in)으로 입사하도록 광빔 부분들을 지향시키도록 작동된다. 동공 입사각들(α_in)은 또한 광빔 부분 각각과 관련된 이미지의 각각의 픽셀들에 대응하도록 적어도 2개의 조정 가능 광학 편향기에 의해 조정된다.

예로서, 제2 조정 가능 광학 편향기는 사용자 눈이 상이한 방향을 응시할 때 동공의 가능한 위치들을 정의하는 가상 표면의 실질적 구면 부분을 갖는 동공을 향해 전파하는 광빔 부분들의 교차 위치들을 제어하도록 구성되고 동작 가능하다. 제1 조정 가능 광학 편향기는 동공의 가능한 위치들을 정의하는 가상 표면의 실질적 구면 부분과 광빔 부분들의 교차 각도를 제어하도록 구성되고 동작 가능하다. 대안으로서, 제1 및 제2 광학 편향기들의 광학 함수들은 혼합될 수 있고, 소정 맵핑(예로서, 탐색표)을 이용하여, 2개의 편향기의 각각의 위치(예로서, 각각의 배향)를 동공의 가능한 위치들을 정의하는 가상 표면 상의 광빔 부분들의 교차 위치 및 교차 각도와 관련시킬 수 있다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템은 동공 상에 입사하는 광빔 부분의 시준의 정도를 제어하도록 구성되는(예로서, 광빔 부분들이 동공 상에 입사할 때 실질적으로 시준되게 하도록 구성되는) 하나 이상의 빔 시준기를 포함한다. 대안으로서 또는 추가로, 하나 이상의 빔 시준기는 광빔 부분들이 동공 상에 입사할 때 광빔 부분들의 폭이 동공의 직경보다 실질적으로 좁아지도록 구성될 수 있다.

본 발명의 다른 넓은 양태에 따르면, 전술한 눈 투영 시스템들과 유사한 하나 이상의 눈 투영 시스템(예로서, 2개의 눈 투영 시스템)을 포함하는 안경이 제공된다. 안경은 순수 및/또는 증강 가상 현실을 눈에 투영하도록 구성될 수 있다. 후자의 경우, 안경의 렌즈는 눈 투영 시스템으로부터의 광을 사용자의 눈을 향해 반사하고 장면으로부터의 외부 광을 사용자의 눈을 향해 투과하도록 구성되는 빔 분할기/결합기 표면을 포함할 수 있다. 예로서, 눈 투영 시스템의 입력 광빔은 하나 이상의 스펙트럼 대역을 포함할 수 있고, 빔 분할기/결합기 표면은 상기 하나 이상의 스펙트럼 대역을 사용자의 눈을 향해 반사하도록 구성되는 노치 필터로서 구성될 수 있다. 대안으로서 또는 추가로, 입력 광빔은 특정 편광으로 편광된 광을 포함할 수 있으며, 빔 분할기/결합기 표면은 그러한 특정 편광을 사용자 눈을 향해 반사하도록 구성되는 편광기로서 구성될 수 있다.

본 발명의 또 다른 넓은 양태에 따르면, 사용자의 눈의 망막 상에 이미지들을 투영하기 위한 눈 투영 시스템이 제공된다. 눈 투영 시스템은 제어 가능한 강도의 입력 광빔을 생성하기 위한 광 모듈 및 입력 광빔의 광 경로 내에 배열되는 광학계를 포함한다. 광학계는 제1 조정 가능 이차원 광학 편향기 및 제2 조정 가능 이차원 광학 편향기 및 사용자의 눈의 망막 상에 투영될 이미지를 지시하는 데이터 및 상기 눈의 시선 방향(β)을 지시하는 데이터를 수신하고 이미지의 픽셀들을 망막 상의 대응 위치들 상으로 투영하도록 구성되는 제어기를 포함한다. 망막 상의 이미지의 투영은 이미지의 각각의 픽셀의 투영을 위해 다음의 단계:

이미지 내의 픽셀의 강도 값에 대응하는 강도를 갖는 입력 광빔을 생성하도록 광 모듈을 동작시키는 단계;

사용자의 눈의 동공 상에 입사되도록 상기 시선 방향(β)에 따라 입력 광빔을 지향시키기 위해 그의 편향 각도를 조정함으로써 제1 이차원 광학 편향기 및 제2 이차원 광학 편향기 중 적어도 하나를 동작시키는 단계; 및

이미지 내의 픽셀의 위치에 대응하는 동공 입사각(α_in)으로 동공 상에 입사되도록 광빔을 지향시키기 위해 그의 편향 각도를 조정함으로써 제1 이차원 광학 편향기 및 제2 이차원 광학 편향기 중 적어도 하나를 동작시켜, 눈 렌즈에 의해, 픽셀과 관련된 광빔의 일부를 이미지 내의 픽셀의 위치에 대응하는 망막 상의 위치로 포커싱하는 것을 가능하게 하는 단계

를 수행하는 것을 포함할 수 있다.

이제, 서에서 개시되는 발명을 더 잘 이해하고, 발명이 실시될 수 있는 방법을 예시하기 위해, 첨부 도면들을 참조하여 단지 비한정적인 예로서 실시예들이 설명된다. 도면들에서:
도 1은 본 발명의 일부 실시예들에 따라 구성되고 동작 가능한 눈 투영 시스템의 기능 블록도(100)이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 눈 투영 시스템(100)의 광학 구성 및 눈의 2개의 상이한 시선 방향(β₀, β₁)에서의 그의 동작을 개략적으로 나타낸다.
도 2c 및 2d는 본 발명의 다른 실시예에 따른 눈 투영 시스템(100)의 광학 구성 및 2개의 상이한 시선 방향(β₀, β₁)에서의 그의 동작을 개략적으로 나타낸다.
도 3은 눈 망막 상에 이미지를 투영하기 위한 본 발명의 일 실시예에 따른 방법을 나타내는 흐름도(200)이다.
도 4는 본 발명의 소정 실시예들에 따른 이미지 투영 모듈(110)의 구성을 개략적으로 나타내는 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 눈 투영 시스템(100)을 포함하는 안경의 개략도이다.
도시의 간명화를 위해, 도면들에 도시된 요소들은 반드시 축척으로 그려지지는 않았다. 예로서, 일부 요소들의 치수들은 명료화를 위해 다른 요소들에 비해 과장될 수 있다. 또한, 적절한 것으로 간주되는 경우, 도면들 사이에서 대응하거나 유사한 요소들을 지시하기 위해 참조 번호들이 반복될 수 있다.

아래의 상세한 설명에서는, 현재 개시되는 발명의 충분한 이해를 제공하기 위해 다수의 특정 상세가 설명된다. 그러나, 이 분야의 기술자들은 현재 개시되는 발명이 이러한 특정 상세 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 예들에서, 현재 개시되는 발명을 불명확하게 하지 않기 위해 공지 방법들, 절차들 및 컴포넌트들은 상세히 설명되지 않는다.

구체적으로 달리 언급되지 않는 한, 명료화를 위해 개별 실시예들과 관련하여 설명되는 현재 개시되는 발명의 소정 특징들은 단일 실시예에서 조합하여 제공될 수도 있다는 것을 안다. 역으로, 간소화를 위해 단일 실시예와 관련하여 설명되는 현재 개시되는 발명의 다양한 특징들은 개별적으로 또는 임의의 적절한 하위 조합으로 제공될 수도 있다.

아래에서 설명되는 광학 모듈들/요소들 및 구체적으로 도 2a 내지 2d, 4 및 5에 도시된 것들은 본 발명을 구현하는 데 사용되는 기능적 광학 요소들/모듈들 및 이들의 조합들을 지시한다는 것도 이해해야 한다. 따라서, 광학 요소들/모듈들은 아래에서 그들의 기능적인 동작들에 따라 설명된다. 이러한 광학 요소들/모듈들은 실제로는 실제 광학 요소들의 다양한 배열들 및 조합들을 이용하여 구현될 수 있다는 점에 유의해야 한다. 게다가, 본 발명의 소정 실시예들에서, 후술하는 2개 이상의 기능적 광학 모듈은 공통 광학 모듈/요소 내에 일체로 구현될 수 있고/있거나, 후술하는 단일의 기능적 광학 요소/모듈은 실제로는 여러 개의 개별 광학 요소를 이용하여 구현될 수 있다. 이 때문에, 본 발명을 아는 이 분야의 통상의 기술자는 본 발명을 구현하기 위한 광학 요소들/모듈들의 다양한 구성들 및 그러한 모듈들의 다양한 배열들 및 후술하는 기능적 광학 요소/모듈들의 광학 기능들을 쉽게 알 것이다.

본 발명의 일부 실시예들에 따라 구성되고 동작 가능한 눈 투영 시스템의 기능 블록도(100)를 나타내는 도 1을 참조한다. 눈 투영 시스템(100)은 이미지 투영 시스템(110), 눈 투영 옵틱스(130)를 포함한다.

이미지 투영 시스템(110)은 눈에 투영될 이미지를 지시하는 데이터를 획득하고, 이미지의 픽셀들에 대응하는 복수의 광빔 부분(LB)을 생성하도록 구성된다. 이미지 투영 시스템(110)은 또한 각각의 부분에 대응하는 이미지의 픽셀의 값에 따라 광빔 부분들(LB)의 각각의 광빔 부분(LB_i)의 강도를 조정하고, 이미지 내의 각각의 픽셀의 위치와 관련된 소정의 투영 각도(α_scn)로 눈 투영 광학 모듈(130)로 전파하도록 광빔 부분을 지향시키도록 구성된다. 또한, 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 시선 방향(β)에 따라 사용자 눈의 동공을 향해 광빔 부분들(LB)의 광 전파 경로를 편향시키도록 구성되고 동작 가능하다. 일반 광 전파 경로는 광빔 부분들(LB)이 (예로서, 시선 방향(β)과 무관하게) 투영 각도들(α_scn)에 대응하는 동공 입사각들(α_in)로 동공 상에 입사하도록 편향된다. 이와 관련하여, 동공 입사각(α_in)이라는 용어는 본 명세서에서 동공/눈의 시선에 대해 측정되는 바와 같은, 동공 상의 광빔 또는 그의 일부의 입사각을 지시하는 데 사용된다는 것을 이해해야 한다.

이 때문에, 본 발명은 픽셀의 관련 광빔 부분들(LB)을 이러한 광빔 부분들과 관련된 픽셀들의 이미지 위치에 대응하는 눈 동공 상에 사전 결정된 입사각들로 입사하도록 지향시킴으로써 눈의 상이한 시선 방향을 부분적으로 또는 완전히 보상하는 것을 제공한다. 이와 관련하여, 광빔 부분들(LB)은 이미지 투영 시스템(110)의 이미지 스캐너 모듈(118)에 의해 공간적으로 또는 시간적으로 세그먼트화/분할될 수 있는 입력 광빔(ILB)의 공간 부분들/세그먼트들일 수 있다는 점에 유의해야 한다. 아래에서 더 상세히 설명되는 바와 같이, 스캐너 모듈(118)은 광빔을 눈 투영 광학 모듈(130)을 향해 일반 광 경로를 따라 전파하는 공간 또는 시간 광빔 부분들로 분할하도록 동작 가능한 공간 광 변조기 및/또는 스캐닝 미러(예로서, 래스터 미러 스캐너)를 이용하여 구현될 수 있다.

명료화를 위해 아래에서는 이미지 스캐너(118)에 의해 생성되는 광빔 부분들(LB)이 광빔들 또는 광빔 부분들로서 교환 가능하게 지칭된다는 점에 유의해야 한다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템(100)은 이미지 투영 시스템(110) 및 눈 투영 옵틱스(130) 중 적어도 하나에 접속될 수 있고, 눈/동공의 시선 방향(β)에 따라(즉, 동공의 시선(LOS)에 따라) 그들 중 적어도 하나의 동작을 조정하도록 구성되는 시선 추적 제어기(120)도 포함할 수 있다. 이미지 투영 시스템(110)은 투영될 이미지 데이터(12) 내의 픽셀들의 위치들에 대응하는 투영 각도들(α_scn)의 범위에 걸쳐 광빔을 스캐닝하면서 이미지의 투명된 픽셀들의 각각의 강도 및 색 콘텐츠 값들에 따라 광빔의 강도(Int) 및 아마도 색(스펙트럼) Spc 콘텐츠를 제어함으로써 이미지들을 투영하도록 구성되고 동작 가능하다.

이 때문에, 이미지 투영 시스템(110)은 통상적으로 입력 광빔(ILB)을 생성하는 광원/모듈(114), 및 광빔(LB)의 광 경로 내에 위치하는 강도 및/또는 스펙트럼 변조기(117)(이하, 강도 변조기(117)) 및 이미지 스캐너(118)를 포함하는 이미지 생성기(116)를 포함한다. 강도 변조기(117)는 이미지(12)의 투영 픽셀(들)의 강도에 따라 광빔의 강도를 변조하도록 구성된다. 망막 상의 컬러 이미지 투영을 추구하는 실시예들에서, 광 모듈은 하나 이상의 광원(통상적으로 3개의 적색, 녹색 및 청색 레이저 소스)을 포함할 수 있다. 또한, 강도 변조기(117)는 광 모듈(114)로부터의 광빔(ILB)의 강도(Int) 및 아마도 색/스펙트럼 콘텐츠(SPC)도 제어 가능하게 조정(감쇠/변조)하도록 구성되고 동작 가능할 수 있다. 다양한 실시예들에서, 강도 변조기들/감쇠기들은 광 모듈(114)의 하나 이상의 광원으로부터 출력되는 광빔(들)의 광 경로 내에 위치하는 제어 가능 필터들/감쇠기들을 이용하여 구현될 수 있다. 추가로 또는 대안으로서, 강도 변조기들/감쇠기들은 공간 광 변조기들(SLM)을 이용하여 구현될 수 있다. 또한, 추가로 또는 대안으로서, 강도 변조기들은 광 모듈(114) 내의 광원들/레이저들의 동작 제어하여 그들의 출력 강도를 조정하도록 구성되는 제어기들을 이용하여 구현될 수 있다. 본 발명의 일부 실시예들에 따른 이미지 투영 시스템(110)의 구성 및/또는 기능 동작이 아래에서 도 2a 내지 4를 참조하여 더 상세히 설명된다.

광빔의 광 경로 내에 위치하는 이미지 스캐너(118)는 광빔(LB)의 광 경로 내에 위치하고, 이미지 스캔 및/또는 공간 변조를 수행하여 다양한 스캔/투영 각도(α_scn)를 따라 전파하도록 광빔을 편향시켜 광빔을 이미지(12)의 각각의 픽셀에 대응하는 복수의 광빔 부분으로 분할하도록 구성되고 동작 가능한 하나 이상의 광학 편향기(예로서, 조정 가능 광학 편향기, 예로서 고속 스캐닝/래스터 미러(들) 및/또는 복수의 정적 요소, 예로서 마이크로렌즈 어레이(MLA) 또는 마이크로미러 어레이(MMA))를 포함할 수 있다.

이미지 투영 시스템(110)은 이미지 스캐너(118) 및 강도 변조기(117)에 접속될 수 있고, 망막 상에 투영될 이미지 픽셀들을 지시하는 이미지 데이터(12)를 수신하고, 이미지 스캐너(118) 및 강도 변조기(117)를 동작시켜, 광빔의 부분들(광빔의 공간/시간 부분들)을 이미지 픽셀들에 대응하는 적절한 각각의 강도로 다양한 스캔/출력 각도(α_scn)를 향해 지향시키도록 구성되고 동작 가능한 이미지 투영 제어기(112)도 포함한다. 또한, 눈 투영 옵틱스(130)는 투영 각도들(α_scn)로 이미지 생성기(116)로부터 출력되는 광빔들(또는 그의 부분들)을 수신하고, 그들을 지향시켜 그들이 대응하는 동공 입사각들(α_in)로 눈 동공 상에 입사하여 이미지 픽셀들이 그들의 적절한 위치에서 망막 상에 직접 투영되게 하도록 구성된다. 눈 투영 옵틱스(130)는 망막 상의 고정 위치들 상에 이미지들을 투영하기 위해 눈의 상이한 시선 방향(β)을 보상하도록 구성되고 동작 가능할 수 있다.

눈 투영 옵틱스(130)는 통상적으로 이미지 내의 대응하는 픽셀의 각각의 위치에 대응하는 적절한 동공 입사각(α_in)으로 사용자의 눈의 동공(EP) 상에 입사하도록 광빔을 지향시키도록 광빔을 릴레이하여, 투영 각도(α_scn)와 관련된 이미지 픽셀이 투영되어야 하는 눈 망막(ER)에서의 적절한 위치 상의 눈 렌즈(EL)에 의한 광빔의 포커싱을 가능하게 하도록 구성되는 각 빔 릴레이 모듈(134)을 포함한다. 이것은 눈 망막(ER) 상의 이미지(12)의 직접 투영을 용이하게 한다.

본 발명의 일부 실시예들에 따르면, 눈 투영 시스템(100)은 눈의 시선 방향(β)에 따라 눈 투영 옵틱스(130) 및/또는 이미지 투영 시스템(110)의 동작들을 조정/제어하여, 상이한 시선 방향에 있을 때 동공의 위치 및 그의 시선에 따라 망막(ER) 상에 이미지를 직접 투영하도록 구성되고 동작 가능한 시선 추적 제어기(120)도 포함한다. 더 구체적으로, 본 발명의 일부 실시예들에서, 시선 추적 제어기(120)는 시선이 변하는 동안 망막 상의 고정 위치들 상의 이미지 픽셀 투영을 가능하게 하도록 눈 투영 옵틱스(130)의 광학 함수(F'_opt)를 제어하기 위해 위의 수학식 2 내지 4 중 어느 하나에 따라 구성되고 동작 가능하다. 위의 수학식 2에 따라 동작할 때, 눈 투영 옵틱스(130)의 광학 함수(F'_opt)만을 사용/조정하여, 시선 방향의 변화를 보상한다는 점에 유의해야 한다. 그러나, 수학식 4에 따라 동작할 때는, 눈 투영 옵틱스(130)의 광학 함수(F'_opt) 및 이미지 투영 시스템(110)의 이미지 스캐닝 함수(S')(S'는 이미지의 픽셀이 이미지 스캐너의 각각의 투영 각도(α_scn)에서 투영되는 강도와 관련됨) 양자를 조정하여 그러한 보상을 수행한다.

이와 관련하여, 시선 추적 제어기(120)는 시선 추적 모듈(20)로부터 눈의 시선 방향(β)을 지시하는 데이터/신호들(22)을 수신하도록 구성되고 동작 가능한 전자/처리 모듈일 수 있다는 점에 유의해야 한다. 시선 추적 모듈은 본 발명의 시스템(100)의 일부로서 포함될 수 있거나, 그에 접속되는 외부 시스템일 수 있다. 시선 추적 시스템(20)은 눈이 향하는 시선/시선 방향을 결정하기 위해 임의의 적절한 기술에 따라 구성되고 동작 가능할 수 있다. 본 발명의 시스템(100) 내에 포함되거나 그와 관련하여 사용될 수 있는 그러한 이 분야에 공지된 기술이 존재한다. 그러한 기술들은 예로서 국제 특허 출원 공보 WO 2013/117999, 미국 특허 제7,542,210호 및 미국 특허 제6,943,754호에 개시되어 있다.

눈 투영 옵틱스(130)로 복귀하여, 본 발명의 소정 실시예들에 따르면, 이것은 시선 방향의 변화의 적어도 부분적 보상을 가능하게 하는 조정 가능 광학 함수(F'_opt)를 갖도록 구성된다. 시선 방향이 변할 때, 동공의 위치 및 눈의 시선 양자가 변한다는 점에 유의한다. 이 때문에, 눈 투영 옵틱스(130)는 이미지 투영 시스템(110)으로부터의(예로서, 이미지 스캐너(118)로부터의) 광빔(LB)의 광 경로의 변경을 가능하게 하여, 눈의 상이한 시선 방향에 있을 때 동공의 다양한 가능 위치를 향해 지향될 수 있게 하도록 구성된다. 게다가, 본 발명의 소정 실시예들에서, 눈 투영 옵틱스(130)는 또한 광빔(LB)의 광 경로의 수정이 시선 방향에 대응하는 동공의 각각의 위치로 광을 지향시킬 뿐만 아니라 상이한 시선 방향에서 동공의 시선(LOS) 방향의 변화를 적어도 부분적으로 보상하도록 구성된다. 예로서, 다양한 시선 방향(β)에 대해, 광학 함수(F'_opt)는 광빔이 각각의 시선 방향(β)에서 눈의 시선(LOS)에 대해 동공 입사각(α_in)으로 동공 상에 입사하는 것을 보증하면서 광빔을 동공의 위치를 향해 지향시키도록 조정되며, 동공 입사각(α_in)은 투영 각도(α_scn)의 사전 결정된 함수(통상적으로 소정의 단조 함수)로서 유지된다. 이것은 망막 상의 각각의 고정 위치 상의 이미지 픽셀들의 직접 투영을 제공한다. 본 발명의 이러한 특징은 도 2a 및 2b에서 더 상세히 도시되고 예시된다.

본 발명의 일부 실시예들에 따른 눈 투영 시스템(100)의 광학 구성을 개략적으로 나타내는 도 2a 및 2b를 함께 참조한다. 특히, 이 도면들에는 본 발명의 눈 투영 옵틱스(130)의 예시적인 구성 및 눈의 2개의 상이한 시선 방향(β₀, β₁)에서의 그의 동작(광학 함수(F'_opt))이 도시된다.

이 예에서, 눈 투영 옵틱스(130)는 시선 추적 편향기 모듈(132) 및 각 빔 릴레이 모듈(134)을 포함한다. 시선 추적 편향기 모듈(132)은 눈의 시선 방향(β)에 따라(즉, 상이한 시선 방향에서의 눈의 시선 방향 및 동공의 위치에 따라) 광빔의 일반 광 전파 경로(GPP)를 눈을 향해 편향시키도록 구성된다. 각 빔 릴레이 모듈(134)은 출력 투영 각도(α_scn)로 이미지 스캐너(118)로부터 출력된 광빔을 릴레이하여, 적절한 동공 입사각(α_in)으로 사용자의 눈의 동공(EP) 상에 입사하도록 지향시키도록 구성되는 광학계이다.

도면들에 도시된 바와 같이, 입력 광빔(ILB)이 광원(112)에 의해 생성되며, 그의 강도 및 아마도 그의 스펙트럼 콘텐츠도 이미지(12) 내의 하나 이상의 픽셀의 데이터에 따라 조정(변조/감쇠)된다. 이 때문에, 예로서 광빔(ILB)의 광 경로 내에 하나 이상의 강도 변조기(117)를 포함하는 이미지 생성기(116)는 픽셀 데이터에 따라 동작하여 픽셀 이미지의 강도 및/또는 색 콘텐츠를 제어한다. 이어서, 광빔은 이미지 스캐너(118)로 지향된다.

본 예에서, 이미지 스캐너(118)는 (예로서, 미러들을 회전시킴으로써) 광빔의 스캐닝/래스터 스캐닝을 수행하는 하나 이상의 스캐닝 미러(SM)를 포함하며, 스캐닝 동안 광빔은 (일반 광 전파 경로(GPP)에 대해 측정된) 이미지 투영 각도들(α_scn)의 범위 에 걸쳐 전파하도록 편향되고, 통상적으로 각각의 투영 각도는 망막 상에 투영되는 이미지(12)의 픽셀에 대응한다. 스캐닝/래스터 스캐닝 미러(들)/편향기들은 임의의 적절한 기술, 예로서 전기 광학 편향기들을 이용하여 그리고/또는 투영 각도들(α_scn)의 범위에 걸쳐 광빔의 이미지/래스터 스캔을 수행하기 위해 미러들이 광 모듈(114)로부터의 광빔을 편향시키는 것을 가능하게 하는 압전 액추에이터들 또는 다른 타입의 액추에이터들과 같은 적절한 액추에이터들에 기계적으로 결합되는 마이크로 전기 기계 시스템(MEMS) 미러들과 같은 미러들을 이용하여 구현될 수 있다. 전술한 바와 같이, 이미지 투영 각도(α_scn)는 수평 및 수직 이미지 투영 각도들에 대응하는 이차원 값 {α^X _scn, α^Y _scn}을 지시할 수 있다. 예로서, 각도들 {α^X _scn, α^Y _scn}은 각각 일반 광 전파 경로(GPP)와 일반 광 전파 경로(GPP) 및 광 전파 경로(GPP)에 수직인 2개의 측방 축(X, Y)에 의해 걸쳐지는 2개의 평면 상의 광빔의 투영들 간의 각도들에 대응할 수 있다. 이와 관련하여, 도 2a 및 2b에는 단지 명료화를 위해 단일 스캐닝 미러(SM)(예로서, 고속 스캐닝 미러)가 도시되지만(예로서, 2개의 차원/축에서의 회전을 위해 짐벌링되지만), 본 발명의 다른 실시예들에서는 이차원 이미지 투영 각도들(α_scn)(즉, {α^X _scn, α^Y _scn})에서 광빔을 편향시키기 위해 2개의 상의 미러/편향기가 사용될 수 있다는 것을 이해해야 한다.

2개의 상이한 이미지 투영 각도(α_scn1, α_scn2)로 이미지 스캐너로부터 편향된 2개의 광빔 부분(LB1, LB2)이 도 2a 및 2b에 도시된다. 눈 투영 옵틱스(130)를 통한 이러한 빔들의 전파가 도면에 예시되고 설명된다. 각 빔 릴레이 모듈(134)은 이미지 스캐너로부터 눈으로의 광 경로를 따라 배열되고 이미지 투영 각도들(α_scn)(α_scn1, α_scn2)에 대응하는 동공 입사각들(α_in)(여기서는 빔들(LB1, LB2) 각각의 α_in1 및 α_in2)로 동공 상에 투영되도록 광빔을 지향시키도록 구성되는 2개 이상의 광학 모듈, 여기서는 제1 및 제2 광학 모듈(134A, 134B)을 포함한다. 이것은 본 발명의 소정 실시예들에 따라 (제1 및 제2 포커스 길이들과 각각 관련된) 광학 배율들을 갖는 제1 및 제2 광학 모듈들(134A, 134B)을 이용하고, 제1 및 제2 광학 모듈들(134A, 134B)을 상기 제1 및 제2 포커스 길이들의 합과 실질적으로 동일한 광학 거리만큼 이미지 스캐너로부터 동공으로 전파되는 광(LB1, LB2)의 광 경로를 서로 이격되도록 배열함으로써 달성된다. 이 때문에, 각 빔 릴레이(134)는 광빔 부분들(예로서, LB1, LB2)이 이미지 스캐너로부터 편향되는 이미지 투영 각도들(α_scn)과 그들이 동공 상에 충돌하는 동공 입사각들(α_scn) 사이의 단조 함수 대응 관계를 제공한다. 이것은 눈의 망막 상의 지향된 이미징을 제공한다. 본 발명의 다른 실시예들에서는 그들의 광학 배율들(포커스 길이들)과 그들의 광 경로 내의 배열 사이에 상이한 관계들을 가질 수 있는 각 빔 릴레이(134) 내의 추가적인 광학 모듈들을 이용/포함함으로써 각 빔 릴레이 모듈(134)의 동일한 기능 동작이 달성될 수 있다는 점에 유의해야 한다. 이 분야의 통상의 기술자는 여기서 예시되는 구성 또는 다른 구성을 이용하여 그러한 각 빔 릴레이 모듈을 구현하는 방법을 쉽게 알 것이다. 각 빔 릴레이(134)의 광학 모듈들(예로서, 134A, 134B)은 시스템(100)의 다른 광학 요소들과 통합되는 기능 요소들일 수도 있는 하나 이상의 광학 요소를 포함할 수 있다는 점에도 유의해야 한다.

시선 추적 편향기 모듈(132)은 시선 추적 제어기(120)에 접속되어, 그로부터 눈의 시선 방향(β)을 나타내는 신호들을 수신할 수 있다. 시선 추적 편향기 모듈(132)은 눈의 시선 방향(β)에 따라 눈 투영 옵틱스(130)의 광학 함수(F'_opt)를 변경/조정하기 위해 눈 추적 제어기(120)로부터의 신호들/데이터(예로서, 동작 신호들)에 따라 광빔(LB)의 광 전파 경로를 편향시키도록 동작 가능하다. 전술한 바와 같이, 시선 추적 제어기(120)는 (도면들에서

에 의해 지시되는) 명목 시선 방향으로부터의 눈의 시선 방향(β)의 시프트를 완전히(수학식 2) 또는 적어도 부분적으로(예로서, 수학식 4) 보상하기 위해 시선 추적 편향기(132) 상태(편향 동작/방향)를 제어하도록 수학식 2 또는 4에 따라 구성되고 동작 가능할 수 있다. 후자의 경우, 추가적인 그리고 보완적인 보상이 전술한 바와 같이 이미지 스캐닝 함수(S')에 의해 제공될 수 있으며, 아래에서 더 상세히 설명된다.

도 2a 및 2b는 이미지(12)의 2개의 상이한 픽셀에 대응하는 2개의 광빔(LB1, LB2)의 광 경로의 개략도를 각각 나타낸다. 도 2a 및 2b는 눈의 2개의 상이한 시선 상태/방향(β₀, β₁) 각각에서의 시스템(100) 및 특히 그의 시선 추적 편향기 모듈(132)의 동작을 나타낸다. 도시된 바와 같이, 상이한 시선 상태들(β₀, β₁)에서, 동공은 눈이 상이한 방향들을 응시할 때의 동공의 가능한 위치들 및 상이한 시선 방향들에서의 눈의 2개의 상이한 시선(LOS₀, LOS₁)을 정의하는 (실질적으로 구면인 가상 표면의 일부인) 가상 표면(S) 상의 2개의 상이한 동공 위치(PL₀, PL₁) 각각에 위치한다. 본 발명의 일부 실시예들에 따르면, 시선 추적 편향기 모듈(132)은 상이한 시선 방향들과 관련된 동공의 위치의 시프트 및 눈의 시선의 시프트 양자를 보상하도록 구성되는 2개 이상의 광학 요소/모듈을 포함한다.

예로서, 도 2a 및 2b에 도시된 바와 같이, 시선 추적 편향기 모듈(132)은 상이한 방향들을 응시할 때 동공의 각각의 위치(도면들 내의 LP₀, LP₁)와 교차하도록 상이한 이미지 픽셀들의 광빔들(LB)(예로서, 도면들 내의 LB1, LB2)의 전파를 제어하고, 또한 시선들(LOS)(여기서는 2개의 상이한 시선 방향에 대응하는 LOS₀, LOS₁)에 대해 동공 상의 광빔(LB)의 동공 입사각들(α_in)(여기서는 빔들(LB1 및 LB2 각각의 α_in1 및 α_in2)을 조정하여 입사각들(α_in)이 눈의 시선(LOS)에 대해 고정되게 유지되고 눈/동공의 시선(LOS) 방향의 변화에 대해 불변이 되게 하도록 구성되고 함께 동작 가능한 (예로서, 어드레싱 가능 시선 추적 미러인) 조정 가능/어드레싱 가능 광학 편향기(132A) 및 피사계 선택기 광학 모듈(132B)을 포함한다.

조정 가능/어드레싱 가능 광학 편향기(132A)는 시선 방향을 지시하는 입력 신호들(또는 시선 방향(β)에 대응하는 편향기(132A)의 어드레스/배향 각도를 지시하는 신호들)에 응답하고, 시선 방향(β)에 대응하는 각각의 광 경로를 따라 전파하도록 광빔(LB)을 편향시키기 위해 그의 배향 각도/편향 각도를 각각 조정하도록 동작 가능/시프트 가능하다는 점에서 어드레싱 가능하다. 피사계 선택기 광학 모듈(132B)은 상이한 시선 방향들에 대응하는 다양한 각각의 광 경로를 따라 전파하는 광빔들(LB)을 수신하고, 그들을 적절한 입사각들로 동공 상에 입사하도록 각각의 시선 방향에서 동공의 대응하는 위치로 지향시키도록 구성되고 동작 가능하다.

본 발명의 소정 실시예들에 따르면, 조정 가능/어드레싱 가능 광학 편향기(132A)는 이미지 스캐너(118)로부터의 광빔들(LB)(예로서, LB1, LB2)의 경로의 일반 광 전파 광 경로(GPP)를 따라 각 빔 릴레이 모듈의 제1 및 제2 광학 모듈들(134A, 134B) 사이에 배치된다. 시선 추적 편향기 모듈(132)의 피사계 선택기 광학 모듈(132B)은 광 전파 방향에 대해 조정 가능/어드레싱 가능 광학 편향기(132A)로부터 하류에 광 경로(GPP)를 따라 배치될 수 있다. 피사계 선택기 광학 모듈(132B)은 각 빔 릴레이(134)의 제2 광학 모듈(134B) 앞에 또는 뒤에 배치될 수 있고/있거나, 그와 통합되어, 각 빔 릴레이(134)의 피사계 선택기(132B) 및 제2 광학 모듈(134B) 양자의 기능들을 수행하는 통합 광학 컴포넌트를 형성할 수 있다. 피사계 선택기 광학 모듈(132B)은 비구면 렌즈 및/또는 미러를 포함할 수 있다. 도 2a 및 2b에서, 피사계 선택기 광학 모듈(132B)은 시선 추적 어드레싱 가능 광학 편향기(132A)로부터 광빔을 수신하여 동공으로 지향시키도록 배열되는 2개의 렌즈의 세트에 의해 구현된다. 또한, 도 5의 예에 더 도시된 바와 같이, 피사계 선택기는 반사/반반사 빔 분할 표면/코팅으로서 구현될 수 있다. 예로서, 이것은 본 발명의 시스템(100)을 구현하는 안경의 안경 렌즈와 관련될 수 있는 축외 포물선 편향기를 포함할 수 있다.

본 발명의 일부 실시예들에 따르면, 눈의 정면의 사용자의 시야 내에 어떠한 조정 가능/이동 가능 광학 요소도 배치하지 않고서 망막 상의 특정/고정 위치 상에 이미지가 직접 투영된다는 점에 유의해야 한다. 이 때문에, 시선 추적 어드레싱 가능 광학 편향기(132A) 및 이미지 스캐너 미러(SM)도 눈으로부터 벗어난 영역에 사용자의 시야 밖에 배치될 수 있는 한편, (고정 광학 요소들을 포함할 수 있는) 각 빔 릴레이 모듈은 이미지 투영 시스템으로부터의 광빔을 동공의 위치를 향해 적절히 지향시키도록 구성될 수 있다.

도 2b에 도시된 2개의 광빔(즉, 광빔 부분)(LB1, LB2)은 망막 상의 이미지(12)의 2개의 각각의 픽셀(P1, P2)의 투영들과 관련된다. 이미지 투영 제어기(112)는 이미지 데이터(12)를 수신하고, 각각의 픽셀(P1, P2)의 데이터에 대응하는 적절한 강도들(예로서, 색 콘텐츠)을 갖는 광빔들(LB1, LB2)을 생성하도록 이미지 생성기(116)를 동작시키고, 각각의 광빔(LB1, LB2)을 이미지(12) 내의 각각의 픽셀(P1, P2)의 위치들과 관련된 적절한 각각의 이미지 투영 각도(α_scn1, α_scn2)로 지향/편향시키도록 이미지 스캐너(118)를 동작시키도록 구성될 수 있다. 이 때문에, 눈 투영 옵틱스(130)는 제어기(120)로부터 시선 방향(β)을 지시하는 데이터를 획득하고, 적절한 동공 위치(도 2a 및 2b 각각의 PL₀, PL₁)에 눈의 시선 축/방향(도 2a 및 2b 각각의 LOS₀, LOS₁)에 대해 적절한 동공 입사각들(광빔들(LB1, LB2) 각각의 α_in1 및 α_in2)로 동공에 입사될 광빔들(LB1, LB2) 각각을 릴레이하도록 시선 추적 편향기 모듈(132)의 각도 위치/편향 상태를 조정한다. 도 2a 및 2b의 도면에는 이미지 스캐너에 의해 유사한 각각의 투영 각도들(α_scn1, α_scn2)로 편향되는 유사한 광빔들(LB1, LB2)이 도시된다. 눈의 시선 방향들(β₀, β₁)은 도 2a 및 2b에서 다르며, 따라서 어드레싱 가능 미러/편향기(134A)의 각도 위치는 각각의 적절한 입사각들(α_in1, α_in2)로 동공 상에 입사하도록 동공 위치를 향해 광빔들을 지향시키도록 조정된다. 도면에는 구체적으로 지시되지 않지만, 동공의 시선(LOS₀, LOS₁)에 대한 빔들의 입사각들(α_in1, α_in2)은 양 도면에서 유사하며, 이러한 광빔들과 관련된 각각의 이미지 픽셀(P1, P2)의 위치들에 각각 대응한다.

도면들에는 광빔들(LB1, LB2)이 함께 도시되지만, 그들은 공존하고/함께 투영될 필요는 없다는 것을 이해해야 한다. 사실, 통상적으로, 이미지 스캐너가 사용되는 도 1 및 도 2a 및 2b의 실시예와 같은 본 발명의 실시예에서, 통상적으로 각각의 빔은 이미지 스캐너(118)의 스캐닝 미러/편향기(SM)의 특정 위치와 관련되며, 따라서 빔들(LB1, LB2)은 공존하지 않는다.

본 발명의 소정 실시예들에서는 위의 도 2a 및 2b를 참조하여 설명된 것과 같은 스캐닝 투영 시스템 이용의 상당한 장점이 존재할 수 있다는 점에 유의해야 한다. 이것은 특히 안경 응용과 같은 소형 응용을 위해 그러한 스캐닝 투영 시스템의 이용하는 것이 (예로서, 도 2c 및 2d에 개시된 것과 같은) 영역 투영 시스템이 사용될 때 달성될 수 있는 것보다 양호한 이미지 품질로 망막 상에 이미지를 투영할 수 있기 때문이다. 이 때문에, 스캐닝 투영 시스템은 대응하는 영역 투영 시스템보다 작을 수 있다. 또한, 한 번에 하나의 픽셀을 투영하기 위해 레이저 빔을 이용함으로써 이미지가 눈에 투영되는 스캐닝 투영 시스템의 이용은 인접 픽셀들 간의 크로스토크를 제공하지 않는다. 게다가, 픽셀 크기, 즉 각각의 특정 픽셀 투영과 관련된 광빔 부분(예로서, LB1 또는 LB2)의 폭은 소형 시스템에서 에어리얼 이미지 투영 기술을 이용할 때 달성될 수 있는 것보다 훨씬 더(통상적으로 10배 이상) 넓을 수 있다. 따라서, 눈 투영 옵틱스(130) 및 특히 각 빔 릴레이 모듈(134)의 광학 모듈들은 더 낮은 개구수를 갖도록 구성될 수 있으며, 따라서 더 낮은 광 수차와 관련될 수 있고, 양호한 변조 전달 함수(MTF)를 이용하여 눈에 대한 고품질 이미지 릴레이를 제공할 수 있다. 이것은 눈 망막 상에 개선된 동적 범위, 높은 이미지 콘트라스트 및 높은 해상도 및 휘도를 갖는 이미지를 투영하기 위한 소형 이미지 투영 시스템의 이용을 용이하게 한다. 게다가, 소형 응용에서의 스캐닝 투영의 이용은 나중에 악화되는 훨씬 더 작은 픽셀로 인해 소형 에어리얼 투영 시스템에 의해 유발될 수 있는 회절 아티팩트를 줄이고/줄이거나 완전히 제거할 수도 있다.

그러나, 본 발명의 일부 실시예들에서, 특히 작지 않은 시스템에서는 스캐닝 이미지 투영 대신에 에어리얼 이미지 투영 시스템이 이용될 수 있다는 점에도 유의해야 한다. 이 때문에, 스캐닝 미러/편향기(SM) 대신, 이미지 스캐너(118)는 복수의 픽셀과 관련된 복수의 광빔을 동시에 변조하고 지향시키도록 구성될 수 있는 액정 변조기와 같은 공간 광 변조기(SLM)를 포함할 수 있다.

본 발명의 다른 실시예에 따른 눈 투영 시스템(100)의 광학 구성을 나타내는 도 2c 및 2d가 참조되며, 여기서는 이미지 픽셀들과 관련된 광빔들(예로서, 도면에서 픽셀들(P1, P2)과 관련된 광빔들(LB1, LB2))의 일부 또는 전부가 동시에 생성되고, 각각의 투영 각도(α_scn1, α_scn2)로 눈 투영 옵틱스(130)를 향해 동시에 지향된다. 눈 투영 옵틱스(130)는 눈 망막 상에 이미지(12)를 생성/투영하기 위해 각각의 투영 각도(α_scn1, α_scn2)를 갖는 광빔들을 동공 상에 대응하는 동공 입사각들(α_in1, α_in2)로 투영한다. 도 2c 및 2d의 시스템(100)의 구성은 여기서는 복수의 이미지 픽셀에 대응하는 복수의 광빔이 동시에 동공으로 향한다는 점 외에는 도 2a 및 2b에 도시되고 위에서 상세히 설명된 것과 유사하다. 이 때문에, 이미지 생성기(116)는 예로서 광빔(ILB)의 광 경로 내에 하나 이상의 공간 광/강도 변조기(SLM)를 포함할 수 있다. 공간 광 변조기들(SLM들)은 예로서 도 2a 및 2b에 도시된 강도 변조기들(IM) 대신에 또는 그에 더하여 입력 광빔(ILB)의 상이한 공간 부분들의 강도들을 독립적으로 변조할 수 있으며, 여기서 SLM은 상이한 픽셀들과 관련된 광빔들/부분들의 강도를 동시에 조정한다. 게다가, 이미지 스캐너(118)는 SLM으로부터 출력된 광빔 부분들을 수신하고, 각각의 부분(예로서, 광빔들/빔 부분들(LB1, LB2))을 광빔과 관련된 이미지의 각각의 픽셀에 대응하는 적절한 투영 각도로 눈 투영 옵틱스(130)를 향해 전파하도록 지향시킬 수 있는 광학 모듈을 포함한다.

예로서, 본 발명의 일부 실시예들에서, SLM은 예로서 강도의 감쇠와, 그리고/또는 상이한 이미지 픽셀들과 관련되는 빔들 중 하나(예로서, LB1 및 LB2 중 하나)의 색 콘텐츠의 제어와 각각 관련된 복수의 셀의 행렬로 분할되는 액정 강도 변조기를 포함할 수 있다. 선택 사항으로서, 마이크로 렌즈 어레이의 행렬이 광학 액정 강도 변조기 내에 배열되어, 그로부터 출력되는 광빔들(예로서, LB1, LB2)을 수신하고, 그들을 대응하는 이미지 투영 각도들(예로서, 시선 추적 광학 모듈(130)에 대해 α_scn1 및 α_scn2)로 지향시킬 수 있다.

이 때문에, 여기서는 도 2a 및 2b의 SM 미러와 같은 이미지 래스터 스캔 미러 대신에 정적 광학 모듈이 이용될 수 있다. 예로서, 마이크로 렌즈 어레이(MLA)가 SLM의 광 경로 내에 배열될 수 있으며, SLM 내의 각각의 셀로부터 방출되는 픽셀 관련 광빔들을 적절한 투영 각도들을 향해 지향시키도록 구성될 수 있다. 공간 광 변조기(SLM)는 입력 광빔(ILB)의 광 경로 내에 배치되며, 입력 광빔(ILB)을 수신하고, 그로부터 이미지(12)의 각각의 이미지 픽셀(예로서, P1, P2) 내의 이러한 값들에 대응하는 강도들(및 아마도 또한 색 콘텐츠)을 갖는 복수의 광빔(예로서, LB1, LB2)을 생성하도록 구성된다. 본 명세서에서 MLA로서 예시되는 이미지 스캐너(118)의 정적 광학 모듈은 이미지 생성기(116)로부터(SLM으로부터) 복수의 광빔을 수신하고, 이러한 광빔들을 이미지(12) 내의 각각의 픽셀(P1, P2)의 위치들 및 그들의 망막 상의 지정된 투영 위치들과 관련된 (위에서 이미지 투영 각도들(예로서, α_scn1, α_scn2)로서 지칭되는) 각각의 출력 각도로 지향시키도록 구성되고 동작 가능하다. 이 때문에, 도 2a 및 2b의 실시예에서와 같이, 도 2c 및 2d의 실시예에서도, 눈 투영 옵틱스(130)는 광빔들(LB1, LB2) 각각을 동공 상에 동공의 적절한 위치(도 2c 및 2d 각각에서 PL₀, PL₁)에 적절한 동공 입사각들(광빔들(LB1, LB2) 각각의 α_in1 및 α_in2)로 입사하도록 릴레이한다. 따라서, 도 2c 및 2d의 실시예에서, 상이한 이미지 픽셀들과 관련된 복수의 광빔은 SLM을 이용하여 동시에 생성되며, MLA와 같은 정적 광학 모듈을 이용하여 눈 투영 옵틱스(130)를 향해 지향된다.

도 2c 및 2d의 구성에서, 시선 추적 광학 모듈(130)은 시선 추적 어드레싱 가능 광학 편향기(132A)의 동작 및 각도 편향 위치/상태가 시선 방향(β)에 기초하여 그리고 망막 상에 투영되는 특정 픽셀과 관계없이 결정되도록 구성된다. 따라서, 그러한 실시예들에서는, 복수의 픽셀이 망막 상에 동시에 투영될 수 있다. 이러한 요구는 (도 2a 및 2b의 구성에서와 같이) 픽셀 관련 광빔들이 눈 상에 동시에 투영되지 않는 시스템의 광학 구성들에서는 필요하지 않다는 것을 이해해야 한다. 그러한 예들에서, 시선 추적 어드레싱 가능 광학 편향기(132A)의 각도 편향 위치/상태는 시선 방향(β)뿐만 아니라 특정 순간에 시선 추적 어드레싱 가능 광학 편향기(132A)에 입사하는 빔(예로서, LB1)의 특정 픽셀(예로서, 특정 투영 각도(α_scn1))에도 기초하여 결정될 수 있다.

따라서, 도 2a 내지 2d에는 눈의 망막 상에 이미지를 투영하도록 발명의 일 실시예에 따라 구성되는 눈 투영 시스템(100)의 광학 구성 및 동작이 도시된다. 눈 투영 시스템은 제어 가능한 강도의 입력 광빔(ILB)을 생성하는 광 모듈(114) 및 이미지 생성기(116), 및 입력 광빔의 광 경로 내에 배열된 광학계(OS)를 포함한다. 광학계는 제1 및 제2 이차원 광학 편향기들을 포함한다. 제1 광학 편향기는 이미지 스캐너(118)와 관련되며, 광빔을 시간 부분들로 세그먼트화하기 위해 광빔(LB)의 이미지/래스터 스캔을 수행하도록 구성되는 하나 이상의 스캐닝 편향기/미러(SM)(예로서, 고속 스캐닝 미러)로서 또는 광빔을 공간 부분들로 세그먼트화하도록 구성되는 MLA 또는 MMA 모듈로서 구현될 수 있다. 이미지 스캐너(118)는 상이한 각각의 이미지 픽셀과 관련된 상이한 투영 각도들을 향해 광의 공간 및/또는 시간 부분들을 편향시키도록 구성된다. 조정 가능/어드레싱 가능 광학 편향기(132A)인 제2 광학 편향기는 상이한 시선 상태들에서 동공의 위치를 추적하기 위한 어드레싱 가능 미러로서 구현될 수 있는 시선 추적 편향기 모듈(132)과 관련된다. 조정 가능/어드레싱 가능 광학 편향기(132A)는 임의의 적절한 기술을 이용하여 구현될 수 있는데, 예컨대 작동될 수 있는 전기 광학 편향기 및 MEMS 미러들을 포함할 수 있다. 통상적으로 시선 추적 편향기 모듈(132)은 시선 방향(β)에서의 이차원 시프트

를 보상하도록 구성되고 동작 가능하다. 따라서, 조정 가능/어드레싱 가능 광학 편향기(132A)는 통상적으로, 작동될 수 있고, 광 경로에 대해 소정의 이차원 입체각(예로서, 원뿔형 입체각)에 걸치는 상이한 각도 방향들로 어드레싱 가능한 적어도 하나의 광학 편향기를 이용하여 구현된다. 대안으로서 또는 추가로, 조정 가능/어드레싱 가능 광학 편향기(132A)는 2개 이상의 상이한 측방 축 주위로 광 경로에 대해 회전 가능한 2개 이상의 미러를 이용하여 구현될 수 있다.

시선 추적 제어기(120) 및 이미지 투영 제어기(112)는 단일 제어 모듈/유닛에 의해 또는 개별적인 2개 이상의 제어 유닛에 의해 구현될 수 있다. 이 분야의 기술자에 의해 쉽게 인식되는 바와 같이, 제어기(들)는 적절한 아날로그 회로들을 이용하여 아날로그 방식으로 또는 시선 추적 편향기(132A)의 동작들을 제어하고 이미지 생성기(116)의 동작 및 아마도 적절한 강도의 광빔들을 생성하고 그들을 이미지 데이터에 따라 적절한 이미지 투영 각도들로 지향시키기 위한 이미지 스캐너(118)의 동작도 제어하기 위한 적절한 소프트/하드 코딩된 컴퓨터 판독 가능/실행 가능 명령어들을 운반하는 적절한 프로세서(들) 및 메모리/저장 모듈(들)을 이용하여 디지털 방식으로 구현될 수 있다. 이 때문에, 제어기(들)는 눈의 망막 상에 투영될 이미지(12)를 지시하는 데이터 및 눈의 시선 방향(β)을 지시하는 데이터를 수신하고, 이미지의 각각의 픽셀을 투영하기 위해 아래의 방법(200)의 동작들을 수행함으로써 망막 상의 대응하는 위치들에 이미지의 픽셀들을 투영하도록 구성된다.

전술한 바와 같이, 본 발명의 일부 실시예들에 따르면, 눈 투영 시스템(100)은 실질적으로 시준된 광빔들을 동공을 향해 지향시켜 눈이 이러한 광빔들을 눈으로부터 무한한 거리에 위치하는 이미지 평면으로부터 생성된 것으로서 인식하게 하도록 구성될 수 있다. 이 때문에, 본 발명의 일부 변형들에서, 광 모듈(114)은 가간섭 광을 제공하도록 구성될 수 있으며, 예로서 입력 광빔(ILB)을 생성하기 위한 하나 이상의 레이저를 포함할 수 있다.

추가로 또는 대안으로서, 시스템(100)은 광빔(들)(예로서, ILB 및/또는 LB)의 광 경로를 따라 배열되는 하나 이상의 광학 요소를 포함할 수 있는 하나 이상의 빔 시준기(BC)를 포함할 수 있다. 예컨대, 도 2a 및 2b의 실시예에서, 빔 시준기(BC)는 입력 광빔(ILB)의 광 경로 내에 제공된다. 대안으로서 또는 추가로, 도 2c 및 2d의 예에서, 이미지 스캐너(118)로부터 시선 편향 광학 모듈(130)을 향해 전파하는 광빔(LB)의 광 경로 내에 하나 이상의 빔 시준기(BC)가 예시된다.

본 발명의 일부 실시예들에 따르면, 빔 시준기들은 동공 상에 입사하는 광빔(LB)의 시준의 정도를 제어하도록 구성된다. 구체적으로, 소정 실시예들에서, 빔 시준기들은 동공 상에 입사할 때 실질적으로 시준되도록 광빔(LB)을 시준하도록 구성되고 동작 가능하다. 따라서, 눈은 망막 상에 투영된 이미지를 무한히 먼 이미지 평면으로부터 생성된 것으로 인식한다. 이것은 망막 상의 이미지의 직접 투영을 가능하게 하면서, 눈 렌즈로부터의 포커싱 요구들을 완화하며, 따라서 눈으로부터 유한 거리에 위치하는 것으로 인식되는 이미지를 눈에 투영하는 것과 관련될 수 있는 눈 피로 및/또는 두통을 완화한다.

대안으로서 또는 추가로, 시스템(100)의 빔 시준기(들)(BC) 또는 다른 광학 모듈들은 동공 상에 입사하는 광빔(LB)의 폭을 조정하도록 구성되고 동작 가능하다. 많은 예에서, 동공의 위치에서, 빔 폭이 동공의 직경보다 실질적으로 좁은 것이 바람직할 수 있다. 이것은 망막 상의 이미지 투영의 피사계 심도(포커스 심도)를 확장하며, 따라서 눈 렌즈 포커스와 관련된 눈 피로를 줄이기 위한 대안 또는 추가 방법들을 제공한다. 이와 관련하여, 망막 상의 이미지 투영의 피사계 심도를 확장하기 위해 좁은 빔 폭을 사용하는 이러한 선택 사항은 동공을 향하는 광빔들이 시준되지 않는 실시예들에서도 눈 피로를 줄이는 데 사용될 수 있다는 것을 이해해야 한다.

눈 망막 상에 이미지를 투영하기 위한 본 발명에 따른 방법을 나타내는 흐름도(200)인 도 3이 참조된다. 방법은 본 발명의 일 실시예에 따라 구성되는 눈 투영 시스템(100)의 하나 이상의 제어기에 의해 구현될 수 있다. 동작들(210 내지 250)은 일반적으로 이미지(12) 내의 픽셀들 {P_i} 각각에 대해 수행된다. 이러한 동작들은 이미지 픽셀들이 순차적으로 투영되는 도 2a 및 2b의 구성에 따라 이미지 스캐닝 모드에서 동작할 때 각각의 픽셀에 대해 순차적으로 수행될 수 있다. 대안으로서 또는 추가로, 이러한 동작들은 이미지 픽셀들이 망막 상에 동시에 투영되는 도 2c 및 2d에서와 같은 실시예들(예로서, 상이한 이미지 픽셀과 관련된 광빔들의 강도 및 스펙트럼/각도 분포가 이미지 스캐너(118)의 SLM 및 적절히 구성된 광학 모듈(예로서, MLA)에 의해 동시에 관리되는 실시예들)에서 모든 또는 복수의 픽셀에 대해 동시에 수행될 수 있다.

동작 210에서, 눈의 시선 방향을 결정하도록 구성되고 동작 가능한 시선 추적 모듈로부터 눈의 시선 방향(β)을 지시하는 데이터가 획득된다.

동작 220에서, 이미지 스캐너(118)의 투영 각도가 결정된다. 이와 관련하여, 이미지 스캐너(118)가 이미지/래스터 스캔을 수행하도록 구성/작동되는 스캐닝 미러/편향기를 포함하는 경우, 순간적인 투영 각도(α_scn)(예로서, {α^X _scn, α^Y _scn})가 획득/결정될 수 있다. 대안으로서, 이미지 스캐너가 입력 광빔(ILB)에 공간 변조를 적용하도록(상이한 픽셀들과 관련된 입력 광빔(ILB)의 공간 부분들에 상이한 강도/색 변조를 적용하도록) 구성되는 경우, SLM의 각각의 특정 공간 셀로부터의 출력 각도인 투영 각도(α_scn)가 획득된다.

동작 230은 각각의 투영 각도(α_scn)를 통해 망막 상에 투영될 이미지 픽셀(Pi)의 강도 및 아마도 색 콘텐츠도 결정하도록 수행된다. 이 때문에, 232에서, 위에서 수학식 1, 3 및 4와 관련하여 전술한 S' 또는 S와 같은 이미지 맵핑이 사용될 수 있다. 이미지 맵핑(S' 또는 S)은 각각의 투영 각도(α_scn)를 입력 이미지(12) 내의 대응하는 픽셀(P_i) 또는 픽셀 위치와 관련시키는 함수들 또는 탐색 데이터 표들(LUT들)로서 구현될 수 있다. 수학식 3 및 4와 관련하여 전술한 바와 같이, 이미지 맵핑(S')은 시선 방향(β)의 변화를 부분적으로 또는 완전히 보상하는 데 사용될 수 있다.

그러한 경우에, 이미지 맵핑(S')은 각각의 주어진 시선 방향(β) 및 주어진 투영 각도(α_scn)를 이미지 내의 대응하는 픽셀(Pi)과 관련시킬 수 있다. 전술한 바와 같이, 이미지 맵핑(S')을 이용하여 상이한 시선 방향들을 보상하는 것은 시스템의 소정 구현들에서 동공의 직경보다 넓은 광빔들을 눈에 투영하는 것을 이용하기를 요구하여 망막 상의 이미지 투영의 달성 가능한 피사계 심도를 저하시킬 수 있으므로 덜 바람직할 수 있다. 게다가, 이러한 기술의 이용은 일부 예들에서 시선 방향(β)의 부분 보상만으로 제한될 수 있는데, 이는 광빔을 눈으로 지향시키는 시선 추적 광학계(130)가 (약

의 입체각일 수 있는, 눈이 요구할 수 있는 시선(LOS)의 각도 범위를 커버하기 위해) 눈으로의 광빔 전파의 확장된 각도 범위를 지원할 것을 요구하기 때문이다. 한편, 이것은 일부 시스템들에서 가능하지 않을 수 있는 복잡한 옵틱스를 요구하고, 다른 한편으로는 SLM이 사용되는 실시예들에서 SLM 면적과 관련하여 낭비일 수 있거나 MLA 또는 스캐닝/조종 미러 중 어느 하나가 이미지 생성기(116) 내에서 사용되는 소정 실시예들에서는 그들의 각도 해상도 면에서 낭비일 수 있다. 이 때문에, 본 발명의 소정 실시예들에서는, 전체 시선 방향(β)을 완전히 보상하기 위해 또는 보상 각도(β₁ ~ β)에 의해 그리고 보상 각도 (β-β₁)<<β에 의한 시선 방향 보상의 디지털 미세 조종을 위해 맵핑 함수(S')를 이용하여 시선 방향의 대부분을 보상하기 위해 시선 추적 광학 모듈(130)의 시선 추적 어드레싱 가능 광학 편향기(132A)를 사용하는 것이 바람직하다. 이 때문에, 맵핑(S')에 의해 디지털 방식으로 수행되는 보상 각도의 미세 조정은 일부 실시예들에서는 각도

로 제한되며, 여기서

는 고정 시선에 있을 때의 눈의 시야의 입체각을 나타낸다. 이것은 동공 직경보다 작은 빔 폭을 갖는 광빔의 사용을 가능하게 하며, 따라서 이미지의 확장된 피사계 심도로 망막 상에 이미지를 투영하는 것을 가능하게 한다.

따라서, 232에서, 투영 각도(α_scn)가 주어진 경우 투영 각도와 관련된 픽셀(P_i)은 시선 방향의 어떠한 보상도 유발하지 않는 트리비얼 이미지 맵핑 함수/LUT(S)를 이용하여 또는 시선 방향의 적어도 부분적 보상을 유발하는 보상 이미지 맵핑 함수/LUT(S')를 이용하여 결정된다. 따라서, 234에서, 픽셀(P_i)의 값이 이미지 데이터(12)로부터 결정/검색된다. 이것은 단지 픽셀의 그레이 스케일 강도 값 및/또는 컬러 이미지 투영이 추구되는 경우에는 픽셀의 색(예로서, RGB) 강도 값을 포함할 수 있다.

동작 240은 230에서 결정된 대응하는 픽셀(P_i)의 데이터에 따라 입력 광빔(ILB) 또는 그의 각각의 부분의 강도 및/또는 색 콘텐츠를 조정하는 동작을 포함한다. 이와 관련하여, (각각의 픽셀에 대해, 전체 입력 광빔이 이미지 스캐너(118)의 래스터 또는 스캐닝 미러들에 의해 적절한 투영 각도(α_scn)로 조종되는) 도 2a 및 2b에 도시된 바와 같은 실시예들에서, 전체 입력 광빔(ILB)의 강도 및/또는 전체 입력 광빔(ILB)의 각각의 색 부분의 강도들은 입력 광빔(ILB)의 입력 경로 내의 강도 변조기들(IM)을 이용하여 조정될 수 있다. 이것은 도면 내의 선택적인 단계(242A)에서 지시된다. 대안으로서 또는 추가로, (SLM(들)이 입력 광빔(ILB)의 상이한 공간 부분들을 분할하고 및 강도를 개별적으로 제어하는 데 사용되는) 도 2c 및 2d에 도시된 바와 같은 실시예들에서, 투영 각도(α_scn)에 대응하는, 이미지 생성기의 SLM의 각각의 공간 셀의 동작은 픽셀(Pi)에서의 이러한 값들에 따라 공간 광빔의 강도 및/또는 색 콘텐츠를 조정하도록 제어될 수 있다.

동작 250에서, 시선 추적 편향기(132)의 편향 각도는 망막 상의 해당 픽셀의 원하는 위치에 대응하는 동공 입사각(α_in)으로 동공 상에 입사할 픽셀(Pi)과 관련된 광빔을 지향시키도록 시선 방향(β)에 따라 조정된다. 이와 관련하여, 시선 방향의 부분 보상이 이미지 맵핑 함수/LUT(S')를 통해 디지털 방식으로 수행되는 경우, 시선 추적 편향기(132)의 편향 각도는 디지털 방식으로 보상되지 않은 시선 방향(β)의 상보적인 부분(β₁)만을 보상하도록 조정될 수 있다.

본 발명의 소정 실시예들에 따른 이미지 투영 시스템/모듈(110)의 구성을 개략적으로 나타내는 도 4가 참조된다. 전술한 바와 같이, 광 모듈(114)은 상이한 컬러에서의 하나 이상의 광원 모듈을 포함할 수 있다. 도 4에 도시된 실시예에서는, 적색, 녹색 및 청색 레이저들일 수 있는 3개의 색 광 모듈(LR, LB, LG)이 RGB 광을 제공하기 위해 사용된다. 여기서 RGB 광은 일례로서 사용될 뿐이며, 다른 광 컬러 팔레트들에 대응하는 광원들/레이저들도 망막 상에 컬러 이미지를 투영하는 데 사용될 수 있다는 점에 유의해야 한다.

도 4에 자기 설명 방식으로 도시된 바와 같이, 광 모듈들(LR, LB, LG)로부터의 광빔들은 적절한 빔 분할기 결합기들 및 아마도 또한 공통 일반 전파 축(GPP)을 따라 전파하도록 광 모듈들(LR, LB, LG)로부터의 빔들을 지향시키기 위한 옵틱스를 포함하는 빔 결합기 옵틱스(COMP)를 이용하여 결합된다. 하나 이상의 빔 분할기 결합기(COMP)는 예로서 하나 이상의 색 광 모듈(RL, BL, GL)로부터 출력되는 색 광빔들의 광 경로를 따라 배열되고 이러한 광빔들을 결합하여 결합된 광빔(LB)으로서 전파하도록 구성되는 스펙트럼/편광 빔 분할기/결합기 모듈들을 포함할 수 있다. 결합된 광빔(LB)의 색 콘텐츠는 이미지 생성 모듈(116)에 의해 제어된다. 후자는 예로서 각각의 컬러에 대한 개별 강도/배율 변조기(들)(IM)(및/또는 개별 SLM들)를 포함할 수 있다. 통상적으로, 적어도 하나의 강도/배율 변조기(IM)(또는 SLM)가 색 광원들/모듈들(RL, BL, GL) 각각과 관련된다.

이미지 생성 모듈(116)은 결합된 광빔(LB)의 색/스펙트럼 콘텐츠를 조정하기 위해 (예로서, 레이저로부터 출력되는 광빔을 제어 가능하게 감쇠함으로써 또는 레이저의 동작을 제어함으로써) 각각의 레이저의 광빔의 강도를 제어하도록 구성되고 동작 가능하다.

본 발명의 일 실시예에 따라 구성되고 동작 가능한 눈 투영 시스템(100)을 포함하는 안경(500)의 구성을 자기 설명 방식으로 나타내는 도 5가 참조된다. 이 실시예의 눈 투영 시스템(100)은 안경(500)의 핸들/아암에 일반적으로 설치되고 도 2a-2b 및 도 4와 관련하여 전술한 것과 유사하고 구성되고 동작 가능한 모듈들을 포함하는 이미지 투영 시스템/모듈(110)을 포함한다.

이 실시예의 눈 투영 시스템(100)은 도 2a-2b와 관련하여 위에서 설명되고 예시된 것과 유사한 눈 투영 옵틱스(130)도 포함한다. 이 때문에, 눈 투영 시스템(100)의 모듈들(110, 130)의 기능적 동작 및 구성은 이 실시예에서 눈 투영 시스템(100)의 광학 요소들의 대부분이 안경의 프레임 및/또는 핸들 상에 설치되는 한편, 광을 동공으로 투영하는 최종 광학 요소들이 안경 렌즈와 합체/통합될 수 있다는 점에 주목하는 것 외에는 여기서 상세히 설명되지 않는다. 이 때문에, 이미지 또는 비디오 이미지들의 시퀀스가 눈(들) 상에 직접 투영될 수 있다.

이러한 특정 실시예에서, 이미지 투영 시스템은 각각의 빔 시준기(BC)와 그리고 공통 경로를 따라 전파하도록 그로부터의 광을 결합하는 빔 결합기 모듈(COMB)과 관련된 3개의 광(R, G, B) 모듈(LR, LG, LB), 및 이미지 스캐너(도 1의 118)의 스캐닝 미러(SM)를 향해 결합 광빔을 지향시키기 위한 렌즈(L-SM)를 포함한다. 빔 릴레이 모듈(134)은 2개의 렌즈(134A, 134B)를 포함하며, 그들 사이의 광 경로 내에는 시선 추적 광학 모듈(130)의 시선 추적 어드레싱 가능 광학 편향기(132A)가 배치된다. 본 예에서, 피사계 선택기 광학 모듈(132B)(도 2a-2d)은 2개의 광학 요소(132B.1, 132B.2)에 의해 구현되며, 하나의 132B.1은 시선 추적 어드레싱 가능 광학 편향기(132A) 뒤에 광 경로를 x라 배치되는 렌즈이고, 나머지 132B.2는 안경의 렌즈에 의해 또는 그 위에 구현되는 반사 표면이다.

이와 관련하여, 본 발명의 일부 실시예들에 따르면, 본 명세서에서 예시되는 바와 같이, 이미지 투영을 동공의 위치로 적절한 입사각으로 지향시키는 것은 눈 정면에(예로서, 눈의 시야 내에) 움직이는/조정 가능한 광학 모듈들/편향기들을 사용하지 않고서 달성된다. 이것은 장치의 심미적 외관을 개선하며, 또한 사용자들에 의한 그의 사용을 용이하게 하는데, 이는 눈의 시야에 움직이는/변하는 요소들이 존재하지 않기 때문이다. 구체적으로, 본 예에서, 시선 추적 어드레싱 가능 광학 편향기(132A) 및 이미지 스캐너 미러(SM) 양자가 안경 프레임의 아암에 위치한다. 시스템(100)으로부터의 광빔들을 동공 상에 적절히 입사하도록 지향시키기 위해 프레임/아암의 에지에서 폴딩 미러(FM)가 사용된다.

본 발명의 소정 실시예들에서, 안경(500)은 순수 가상 현실 및/또는 증강 가상 현실을 사용자의 눈들 중 하나 또는 양자로 투영하도록 구성되고 동작 가능하다. 후자의 경우, 안경 렌즈는 눈 투영 시스템(100)으로부터의 광을 사용자 눈을 향해 반사하고, 장면으로부터의 외부 광을 사용자의 눈을 향해 투과하도록 구성되는 빔 분할기 결합기 표면(BSC)을 포함할 수 있다. 예로서, 일부 실시예들에서, 시스템(110)의 광 모듈(114)은 실질적으로 좁은 스펙트럼을 갖는 하나 이상의 좁은 스펙트럼 대역(예로서, 좁은 RGB 스펙트럼 대역)을 포함하는 입력 광빔들을 생성하도록 구성될 수 있다. 게다가, 안경 렌즈의 빔 분할기 결합기 표면은 하나 이상의 좁은 스펙트럼 대역을 사용자의 눈을 향해 반사하는 반면에 장면으로부터 도달하고 이러한 좁은 스펙트럼 대역들 밖에 있는 광을 투과하도록 구성되는 노치 필터로서 구성될 수 있다. 대안으로서 또는 추가로, 시스템(110)에 의해 생성되는 광빔/광빔 부분들은 특정 편광으로 편광될 수 있으며, 빔 분할기 결합기 표면은 상기 특정 편광을 사용자 눈을 향해 반사하도록 구성되는 편광기로서 구성될 수 있다.

도면에는 하나의 눈 투영 시스템(100)만이 도시되지만, 그러한 시스템들은 각각의 눈 상에 개별적으로 이미지를 투영하도록 안경 내에 설치될 수 있다는 점에 유의해야 한다. 그러한 경우, 공통 제어기들이 양 시스템의 이미지 투영 모듈들(110) 및 눈 투영 옵틱스(130)를 동작시키는 데 사용될 수 있다. 또한, 시스템들은 입체 이미지들/비디오를 사용자 눈들에 투영하여 3D 환상을 생성하도록 동작 가능하다.

또한, 도 5에는 시선의 방향(β)을 결정하고 그를 지시하는 데이터를 시스템(100)에 제공하도록 구성되고 동작 가능한 시선 추적 모듈(도 1의 20)이 개략적으로 도시된다. 시선 추적 모듈(20)은 일반적으로 이 분야에 알려진 임의의 적절한 기술에 따라 구성되고 동작 가능하다.

본 예에서, 시선 추적 모듈은 안경 브리지 상에 설치되고 IR 광빔(IRB)을 눈으로 지향시키도록 구성되는 적외선(IR) 광 방출기(21), 및 안경 프레임/아암에 배치되고 눈으로부터의(예로서, 그의 동공 및/또는 각막 및/또는 망막으로부터의) IR 광빔(IRB)의 반사를 지향시키도록 구성되는 IR 센서인 눈 추적 센서(22)를 포함한다. 제어기(도시되지 않음)는 반사 IR 광빔의 패턴을 처리하여 눈의 시선 방향을 결정하도록 구성된다.

따라서, 본 발명은 눈 망막으로의 이미지들/비디오 시퀀스들의 직접 투영을 위한 새로운 시스템들 및 방법들을 제공한다. 직접 투영은 예로서 이미지의 각각의 픽셀과 관련되는 픽셀 관련 광빔 부분들을 각각의 이미지 픽셀의 위치들에 대응하는 각각의 동공 입사각으로 눈 동공 상에 입사하도록 지향시키도록 구성되고 동작 가능한 각 빔 릴레이 모듈을 이용하여 구현될 수 있다. 따라서, 본 발명에 따라 사용되는 각 빔 릴레이 모듈은 눈 밖의 유한 거리에 중간 이미지 평면을 형성하지 않고서 눈 망막 상의 이미지를 직접 투영한다. 일부 예에서, 광빔 부분들은 동공 상의 입사 시에 시준된다. 따라서, 망막 상에 투영되는 이미지는 눈에 의해 무한히 먼 이미지 평면으로서 생성된 것으로서 인식된다. 대안으로서 또는 추가로, 이미지들은 동공 직경보다 좁은 폭을 갖는 광빔들의 광빔 부분들에 의해 눈에 투영될 수 있다. 이것은 망막 상의 이미지 투영의 확장된 포커스 심도를 제공한다. 무한히 먼 중간 이미지 평면으로부터의 이미지 투영의 인식 또는 망막 상의 이미지 투영의 확장된 피사계 심도와 관련된 본 발명의 특징들은 눈으로부터 유한 거리에 위치하는 중간 이미지 평면을 통해 눈에 이미지를 직접 투영하는 것과 관련된 눈 혼란 및 피로를 줄이거나 완전히 제거한다. 게다가, 본 발명의 전술한 장점들은 또한 눈/동공의 시선 방향을 추적하고 눈의 시선 방향이 변할 수 있는 동안 망막 상의 고정 위치에 이미지를 투영하기 위해 시선 방향의 변화를 보상하면서 달성될 수 있다. 전술한 바와 같이, 이것은 픽셀 관련 광빔 부분들을 상이한 시선 방향에서의 동공/눈의 시선에 대해 적절한 동공 입사각으로 동공의 위치를 향해 지향시키기 위해 눈의 시선 방향에 따라 조정 가능하도록 본 발명에 따라 구성되는 시선 편향 광학 모듈을 이용하여 달성될 수 있다.

Claims

이미지 생성기 및 눈 투영 광학 모듈(eye projection optical module)을 포함하는 눈 투영 시스템으로서,
상기 이미지 생성기는 이미지를 지시하는 데이터를 획득하고, 상기 이미지의 픽셀들에 대응하는 복수의 광빔 부분을 생성하고, 상기 광빔 부분들의 각각의 광빔 부분의 강도를 상기 광빔 부분에 대응하는 상기 이미지의 픽셀의 값에 따라 조정하고, 일반 광 전파 경로(general optical propagation path)를 따라 상기 눈 투영 광학 모듈을 향해 상기 일반 광 전파 경로에 대해 투영 각도(α_scn)로 전파하도록 상기 광빔 부분을 지향시키도록 구성되고, 투영 각도(α_scn)는 상기 이미지 내의 상기 각각의 픽셀의 위치에 따라 결정되며;
상기 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 상기 시선 방향(β)에 따라 상기 광빔 부분들의 일반 광 전파 경로를 상기 사용자 눈을 향해 편향(deflecting)시켜, 상기 이미지의 각 픽셀에 연관된 상기 광빔 부분들이 상기 시선 방향(β)과 연관된 동공의 시선에 대하여 상기 투영 각도(α_scn)에 대응하는 동공 입사각(α_in)으로 상기 동공에 입사하게 하도록 구성되고 동작 가능한 시선 추적 편향기를 포함하고;
상기 시선 추적 편향기는 상기 시선 방향(β)의 변화와 연관된 상기 동공의 공간 위치의 변화를 보상하기 위해 상기 일반 광 전파 경로를 편향시키면서, 상기 동공 입사각(α_in)을 상기 눈의 상기 시선 방향(β)에 대해 불변으로 유지하여, 상기 동공 입사각(α_in)이 상기 눈의 망막의 각 위치에 대응하는 것을 제공함에 의해,
상기 눈의 시선 방향(β)에 관계없이 상기 망막 상의 실질적으로 고정된 위치에 상기 이미지를 직접 투영하도록 구성되고 동작 가능한, 눈 투영 시스템.
제1항에 있어서,
상기 광빔 부분들이 실질적으로 시준(collimated)되는 동안 상기 동공 상에 입사하도록 상기 광빔 부분들의 시준을 수행(effecting)하여 상기 망막 상의 이미지의 직접 투영을 가능하게 하도록 구성되는 하나 이상의 빔 시준기를 포함하는 눈 투영 시스템.
제2항에 있어서,
상기 망막 상의 이미지의 상기 직접 투영은 상기 이미지가 상기 눈으로부터 무한한 거리로부터 생성(originating)된 것으로서 상기 눈에 의해 인식되는 것을 특징으로 하는 눈 투영 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 광빔 부분들의 폭들이 상기 동공의 직경보다 작아지도록 상기 폭들을 달성하여 확장된 포커스 심도로 상기 망막 상의 상기 이미지의 투영을 가능하게 하도록 구성되는 하나 이상의 광학 모듈을 포함하는 눈 투영 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 시선 추적 편향기는 상기 일반 광 전파 경로를 따라 배치되는 어드레싱 가능 광학 편향 유닛, 및 상기 시스템을 통한 광 전파 방향에 대해 상기 어드레싱 가능 광학 편향 유닛으로부터 하류(downstream)에 상기 광 경로를 따라 배치되는 피사계 선택기 광학 모듈(field selector optical module)을 포함하는 눈 투영 시스템.
제5항에 있어서,
상기 어드레싱 가능 광학 편향 유닛은 상기 시선 방향(β)을 지시하는 상기 입력 신호들에 응답하고, 편향 각도를 조정하여 입사하는 광빔을 상기 시선 방향(β)에 대응하는 각각의 광 경로를 따라 전파하도록 편향시키도록 동작 가능하며; 상기 피사계 선택기 광학 모듈은 상이한 시선 방향들(β)에 대응하는 다양한 각각의 광 경로들을 따라 전파하는 광빔들을 수신하고, 그들을 상기 상이한 시선 방향들(β) 각각과 관련된 상기 동공의 대응하는 위치들을 향해 지향시키도록 구성되고 동작 가능한 눈 투영 시스템.
제6항에 있어서,
상기 피사계 선택기 광학 모듈은 비구면 옵틱스(a-spherical optics)를 포함하는 눈 투영 시스템.
제7항에 있어서,
상기 피사계 선택기 광학 모듈은 축외 포물선 편향기(off-axis parabolic deflector)를 포함하는 눈 투영 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 눈 투영 광학 모듈은 상기 이미지 생성기로부터 다양한 투영 각도들(α_scn)로 전파하는 각각의 광빔 부분을 수신하고, 상기 광빔 부분들을 대응하는 동공 입사각들(α_in)로 상기 동공 상에 투영되도록 릴레이하도록 구성되고 동작 가능한 각 빔 릴레이 모듈(angular beam relay module)을 더 포함하는 눈 투영 시스템.
제9항에 있어서,
상기 각 빔 릴레이 모듈은 제1 포커스 길이 및 제2 포커스 길이와 각각 관련된 제1 광학 모듈 및 제2 광학 모듈을 포함하고, 상기 제1 광학 모듈 및 제2 광학 모듈은 상기 제1 포커스 길이 및 제2 포커스 길이의 합과 실질적으로 동일한 광학 거리만큼 상기 일반 광 전파 경로를 따라 서로 이격되는 눈 투영 시스템.
제10항에 있어서,
상기 시선 추적 편향기는 어드레싱 가능 광학 편향 유닛을 포함하고, 상기 어드레싱 가능 광학 편향 유닛은 상기 각 빔 릴레이 모듈의 상기 제1 광학 모듈과 제2 광학 모듈 사이의 상기 광 경로 내에 배치되는 눈 투영 시스템.
제10항에 있어서,
상기 시선 추적 편향기는 상기 광 경로 내에 배치되는 어드레싱 가능 광학 편향 유닛, 및 상기 어드레싱 가능 광학 편향 유닛으로부터 하류(downstream)에 상기 광 경로 내에 배치되는 피사계 선택기 광학 모듈을 포함하고,
상기 각 빔 릴레이의 상기 제2 광학 모듈 및 상기 피사계 선택기 광학 모듈은 공통 광학 요소 내에 통합되는 눈 투영 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 투영 각도(α_scn)와 상기 동공 입사각(α_in) 간의 대응 관계는 상기 동공 입사각(α_in)이 상기 투영 각도(α_scn)의 단조 함수(monotonic function)인 것인 눈 투영 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이미지 생성기는
- 입력 광빔을 제공하는 광 모듈;
- 상기 입력 광빔의 광 경로 내에 배치되고, 상기 입력 광빔을 하나 이상의 광빔 부분으로 분할하고, 상기 하나 이상의 광빔 부분을 상기 일반 광 전파 경로에 대해 상기 투영 각도들(α_scn)로 전파하도록 지향시키도록 구성되는 이미지 스캐너;
- 상기 입력 광빔 및 상기 하나 이상의 광빔 부분 중 적어도 하나의 광 경로 내에 배치되고, 하나 이상의 광빔 부분의 강도를 제어 가능하게 조정하도록 구성되는 광 강도 변조기; 및
- 상기 광 강도 변조기 모듈에 접속될 수 있고, 상기 망막 상에 투영될 이미지 픽셀들을 지시하는 이미지 데이터를 획득하고, 상기 광빔 부분들 각각에 대응하는 상기 이미지의 픽셀의 값에 따라 상기 광빔 부분의 강도들을 조정하기 위해 상기 광 강도 변조기 모듈을 동작시키도록 구성되고 동작 가능한 투영 제어기
를 포함하는 눈 투영 시스템.
제14항에 있어서,
상기 투영 제어기는 상기 이미지 스캐너에 접속될 수 있고, 상기 일반 광 전파 경로에 대해 상기 투영 각도들(α_scn)로 전파하도록 상기 광빔 부분을 지향시키도록 동작 가능한 눈 투영 시스템.
제14항에 있어서,
상기 광 강도 변조기는 상기 입력 광빔을 별개의 각각의 광 경로들을 따라 전파하는 상기 복수의 광빔 부분으로 분할하도록 구성되고 동작 가능한 공간 광 변조기(spatial light modulator)를 포함하며, 상기 이미지 스캐너는 상기 복수의 광빔 부분을 상이한 투영 각도들(α_scn)을 향해 편향시키도록 구성되는 정적 광학 모듈을 포함하는 눈 투영 시스템.
제14항에 있어서,
상기 광 강도 변조기는 상기 입력 광빔의 강도를 변조하도록 구성되고, 상기 이미지 스캐너는 상기 입력 광빔을 시간적 부분들(temporal portions)인 상기 복수의 광빔 부분으로 분할하고 그들을 상이한 각도들(α_scn)을 향해 전파하도록 지향시키는 스캐닝 미러를 포함하는 눈 투영 시스템.
제14항에 있어서,
상기 이미지 스캐너는 입력 광빔을 수신하여 상기 복수의 광빔 부분으로 분할하고 그들을 상기 투영 각도들(α_scn)로 상기 눈 투영 광학 모듈을 향해 전파하도록 지향시키도록 구성되는 적어도 하나의 스캐닝 광학 편향기를 포함하는 눈 투영 시스템.
제18항에 있어서,
상기 적어도 하나의 스캐닝 광학 편향기는 제1 조정 가능 광학 편향기이고, 상기 시선 추적 편향기는 제2 조정 가능 광학 편향기이며, 상기 제1 조정 가능 광학 편향기 및 제2 조정 가능 광학 편향기는 상기 광빔 부분들의 전파의 2개 이상의 자유도(degrees of freedom)를 제어하여, 상이한 시선 방향들(β)에서 동공 위치 상에 상기 상이한 시선 방향들(β)에서의 상기 눈의 시선에 대해 원하는 동공 입사각(α_in)으로 입사하도록 상기 광빔 부분들을 지향시키면서, 상기 동공 입사각들(α_in)을 상기 광빔 부분들 각각과 관련된 상기 이미지의 각각의 픽셀들에 대응하도록 조정하도록 작동되는 눈 투영 시스템.
제1항에 있어서,
상기 시선 추적 편향기는 상기 사용자 눈이 상이한 방향들을 응시할 때 상기 동공의 가능한 위치들을 정의하는 가상 표면의 실질적 구면 부분을 갖는 상기 동공을 향해 전파하는 상기 광빔 부분들의 교차 위치들을 제어하도록 구성되고 동작 가능한 눈 투영 시스템.
제19항에 있어서,
상기 제1 조정 가능 광학 편향기는 상기 동공의 가능한 위치들을 정의하는 가상 표면의 실질적 구면 부분과 상기 광빔 부분들의 교차 각도를 제어하도록 구성되고 동작 가능한 눈 투영 시스템.
제2항, 제3항 및 제20항 중 어느 한 항에 있어서,
상기 하나 이상의 빔 시준기는 상기 동공 상에 입사하는 상기 광빔 부분의 시준의 정도를 제어하도록 구성되는 눈 투영 시스템.
제22항에 있어서,
상기 하나 이상의 빔 시준기는 상기 광빔 부분이 상기 동공 상에 입사할 때 실질적으로 시준되도록 구성되는 눈 투영 시스템.
제22항에 있어서,
상기 하나 이상의 빔 시준기는 상기 광빔 부분이 상기 동공 상에 입사할 때 상기 광빔 부분의 폭이 상기 동공의 직경보다 실질적으로 좁아지도록 구성되는 눈 투영 시스템.
눈 투영 시스템으로서,
이미지 생성기: 및
눈 투영 광학 모듈
을 포함하고,
상기 이미지 생성기는 눈 망막 상에 투영될 이미지의 픽셀들에 대응하는 복수의 광빔 부분을 생성하도록 구성되고,
상기 이미지 생성기는:
입력 광빔을 제공하는 광 모듈;
상기 입력 광빔을 일반 광 전파 경로에 대해 투영 각도들(α_scn)로 전파하도록 지향된 하나 이상의 공간적 광빔 부분, 하나 이상의 시간적 광빔 부분, 또는 하나 이상의 공간적 및 시간적 광빔 부분으로 분할하고, 상기 광빔 부분들의 강도를 조정하도록 구성된 이미지 스캐너 및 광 강도 변조기 - 상기 광빔 부분들의 상기 투영 각도들(α_scn) 및 상기 조정된 강도들은 상기 광빔 부분들과 연관된 이미지의 대응하는 픽셀들의 위치들 및 값들에 각각 대응함 -; 및
상기 망막에 투영될 상기 이미지를 나타내는 이미지 데이터를 획득하고, 상기 광빔 부분들에 각각 대응하는 상기 이미지의 픽셀의 값에 따라 상기 광빔 부분의 강도들을 조정하기 위해 상기 광 강도 변조기 모듈을 동작시키도록 구성된 투영 제어기
를 포함하고,
상기 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 상기 시선 방향(β)에 따라 상기 광빔 부분들의 일반 광 전파 경로를 상기 사용자 눈의 동공을 향해 편향시키도록 구성되고 동작 가능한 시선 추적 편향기를 포함하고;
상기 시선 추적 편향기는 상기 일반 광 전파 경로를 편향하여, 상기 이미지의 각 픽셀에 연관된 상기 광빔 부분들이 상기 시선 방향(β)과 연관된 상기 동공의 시선에 대하여 상기 투영 각도(α_scn)에 대응하는 동공 입사각(α_in)으로 상기 시선 방향으로 상기 동공의 위치에 입사하게 하여, 상기 동공 입사각(α_in)이 상기 눈의 상기 시선 방향(β)에 대해 불변이어서, 상기 동공 입사각(α_in)이 상기 눈의 망막의 각 위치에 대응하는 것을 제공함에 의해,
상기 눈의 시선 방향(β)에 관계없이 상기 망막 상의 실질적으로 고정된 위치에 상기 이미지를 직접 투영하도록 구성되고 동작 가능한, 눈 투영 시스템.
제25항에 있어서,
상기 투영 제어기는 상기 이미지 스캐너에 접속될 수 있고, 상기 일반 광 전파 경로에 대해 상기 투영 각도들(α_scn)로 전파하도록 상기 광빔 부분을 지향시키도록 동작 가능한 눈 투영 시스템.
제25항에 있어서, 상기 이미지 스캐너 및 광 강도 변조기는 공간 광 변조기를 포함하는 눈 투영 시스템.
제25항에 있어서, 상기 이미지 스캐너 및 광 강도 변조기는 스캐닝 광학 편향기를 포함하는 눈 투영 시스템.
제28항에 있어서, 적어도 하나의 상기 스캐닝 광학 편향기는 제1 조정 가능 광학 편향기이고, 상기 시선 추적 편향기는 제2 조정 가능 광학 편향기이며, 상기 제1 조정 가능 광학 편향기 및 제2 조정 가능 광학 편향기는 상기 광빔 부분들의 전파의 2개 이상의 자유도(degrees of freedom)를 제어하여, 상이한 시선 방향들(β)에서 동공 위치 상에 상기 상이한 시선 방향들(β)에서의 상기 눈의 시선에 대해 원하는 동공 입사각(α_in)으로 입사하도록 상기 광빔 부분들을 지향시키면서, 상기 동공 입사각들(α_in)을 상기 광빔 부분들 각각과 관련된 상기 이미지의 각각의 픽셀들에 대응하도록 조정하도록 동작 가능한 눈 투영 시스템.
제29항에 있어서,
상기 제1 조정 가능 광학 편향기는 상기 동공의 가능한 위치들을 정의하는 가상 표면의 실질적 구면 부분과 상기 광빔 부분들의 교차 각도를 제어하도록 구성되고 동작 가능한 눈 투영 시스템.
사용자의 눈의 망막 상에 이미지들을 투영하기 위한 눈 투영 시스템으로서,
제어 가능한 강도의 입력 광빔을 생성하기 위한 광 모듈;
상기 입력 광빔의 광 경로 내에 배열되는 광학계 - 상기 광학계는 제1 이차원 광학 편향기 및 제2 이차원 광학 편향기를 포함함 -; 및
상기 사용자의 눈의 망막 상에 투영될 이미지를 지시하는 데이터 및 상기 눈의 시선 방향(β)을 지시하는 데이터를 수신하고, 상기 이미지의 픽셀들을 상기 망막 상의 대응 위치들 상으로 투영하도록 구성되는 제어기
를 포함하고,
상기 투영은 상기 이미지의 각각의 픽셀의 투영을 위해:
상기 이미지 내의 상기 픽셀의 강도 값에 대응하는 강도를 갖는 입력 광빔 부분을 생성하도록 상기 광 모듈을 동작시키는 것;
상기 제1 이차원 광학 편향기 및 제2 이차원 광학 편향기 중 적어도 하나를, 그의 편향 각도를 조정하여,
(i) 상기 이미지의 상기 픽셀의 위치에 대응하고 상기 시선 방향(β)에 대해 불변인 상기 시선 방향에 대해 동공 입사각(α_in)으로 상기 동공에 입사하도록 상기 시선 방향(β)에 따라 상기 입력 광빔을 지향시키고;
(ii) 상기 시선 방향(β)으로 상기 동공의 공간 위치를 향해 상기 광빔 부분을 지향시킴으로써 상기 시선 방향(β)의 변화와 연관된 상기 동공의 공간 위치의 변화를 보상하도록 일반 광 전파 경로를 편향시키면서, 상기 동공 입사각(α_in)을 상기 시선 방향(β)에 대해 불변으로 유지하여,
눈 렌즈에 의한 상기 이미지의 상기 픽셀의 상기 위치에 대응하는 상기 망막 상의 위치에 상기 픽셀과 연관된 상기 광빔 부분의 포커싱을 가능하도록 동작시키는 것
을 수행하는 것을 포함하는 눈 투영 시스템.
이미지 생성기 및 눈 투영 광학 모듈(eye projection optical module)을 포함하는 눈 투영 시스템으로서,
상기 이미지 생성기는 이미지를 지시하는 데이터를 획득하고, 상기 이미지의 픽셀들에 대응하는 복수의 광빔 부분을 생성하고, 상기 광빔 부분들의 강도를 상기 광빔 부분들에 대응하는 상기 이미지의 각각의 픽셀의 값들에 따라 조정하고, 일반 광 전파 경로를 따라 상기 눈 투영 광학 모듈을 향해 상기 일반 광 전파 경로에 대해 대응하는 투영 각도들(α_scn)로 전파하도록 상기 광빔 부분을 지향시키도록 구성되고, 투영 각도들(α_scn)은 상기 이미지 내의 상기 각각의 픽셀의 위치들에 따라 결정되며;
상기 눈 투영 광학 모듈은 사용자 눈의 시선 방향(β)을 지시하는 입력 신호들에 응답하여 상기 시선 방향(β)으로 동공의 시선에 대해 상기 투영 각도들(α_scn)에 대응하는 동공 입사각들(α_in)로 상기 동공에 입사하도록 상기 광빔 부분들을 상기 눈의 동공을 향해 지향시키도록 상기 일반 광 전파 경로를 편향시키도록 구성되고 동작 가능한 시선 추적 편향기를 포함하고;
상기 시선 추적 편향기는 상기 일반 광 전파 경로를 편향하여, 상기 시선 방향(β)의 변화와 연관된 상기 동공의 공간 위치의 변화를 보상하면서 상기 광빔 부분들의 동공 입사각들(α_in)을 상기 시선 방향(β)의 변화에 대해 불변으로 유지하도록 구성되고 동작 가능하며;
상기 시선 추적 편향기는,
상기 일반 광 전파 경로를 따라 배치되고, 상기 시선 방향(β)을 지시하는 상기 입력 신호들에 응답하고, 편향 각도를 조정하여 입사하는 광빔을 상기 시선 방향(β)에 대응하는 각각의 광 경로를 따라 전파하도록 편향시키도록 동작 가능한 어드레싱 가능 광학 편향 유닛; 및
상기 광 경로를 따라 배치되고, 상이한 시선 방향들(β)에 대응하는 다양한 각각의 광 경로들을 따라 전파하는 광빔들을 수신하고, 그들을 상기 상이한 시선 방향들(β) 각각과 관련된 상기 동공의 대응하는 위치들을 향해 지향시킴으로써, 상기 눈의 시선 방향(β)에 관계없이 망막 상의 실질적으로 고정된 위치에 상기 이미지를 직접 투영하도록 구성되는 피사계 선택기 광학 모듈
을 포함하는, 눈 투영 시스템.
제32항에 있어서,
상기 피사계 선택기 광학 모듈은 상기 시스템을 통한 광 전파 방향에 대해 상기 어드레싱 가능 광학 편향 유닛으로부터 하류(downstream)에 상기 광 경로를 따라 배치되는 눈 투영 시스템.
제1항 내지 제3항, 제20항 및 제25항 내지 제33항 중 어느 한 항의 눈 투영 시스템을 포함하는 안경.
제34항에 있어서,
상기 눈에 증강 가상 현실을 투영하도록 구성되고, 상기 안경의 렌즈는 상기 눈 투영 시스템으로부터의 광을 상기 사용자의 눈을 향해 반사하고 장면(scenery)으로부터의 외부 광을 상기 사용자의 눈을 향해 투과하도록 구성되는 빔 분할기/결합기 표면을 포함하는 안경.
제35항에 있어서,
광 모듈에 의해 생성되는 상기 입력 광빔은 하나 이상의 스펙트럼 대역을 포함하고, 상기 빔 분할기/결합기 표면은 상기 하나 이상의 스펙트럼 대역을 상기 사용자의 눈을 향해 반사하도록 구성되는 노치 필터로서 구성되는 안경.
제35항에 있어서,
상기 광 모듈에 의해 생성되는 상기 입력 광빔은 특정 편광으로 편광되며, 상기 빔 분할기/결합기 표면은 상기 특정 편광을 상기 사용자의 눈을 향해 반사하도록 구성되는 편광기로서 구성되는 안경.
제34항에 있어서, 순수 가상 현실을 투영하도록 구성되는 안경.