[go: up one dir, main page]

KR102461253B1 - 시선 추적기를 구비하는 투사형 디스플레이 장치 - Google Patents

시선 추적기를 구비하는 투사형 디스플레이 장치 Download PDF

Info

Publication number
KR102461253B1
KR102461253B1 KR1020170093694A KR20170093694A KR102461253B1 KR 102461253 B1 KR102461253 B1 KR 102461253B1 KR 1020170093694 A KR1020170093694 A KR 1020170093694A KR 20170093694 A KR20170093694 A KR 20170093694A KR 102461253 B1 KR102461253 B1 KR 102461253B1
Authority
KR
South Korea
Prior art keywords
image
resolution
user
gaze
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170093694A
Other languages
English (en)
Other versions
KR20190011126A (ko
Inventor
정재승
성기영
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170093694A priority Critical patent/KR102461253B1/ko
Priority to US15/883,570 priority patent/US10185212B1/en
Priority to CN201810187203.4A priority patent/CN109302594B/zh
Priority to EP18168822.7A priority patent/EP3435661A1/en
Publication of KR20190011126A publication Critical patent/KR20190011126A/ko
Application granted granted Critical
Publication of KR102461253B1 publication Critical patent/KR102461253B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006—Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

시선 추적기로 사용자의 시선을 추적하여 사용자의 시선 위치에 고해상도의 영상을 디스플레이 하는 투사형 디스플레이 장치가 개시된다. 개시된 투사형 디스플레이 장치는, 사용자의 시선을 추적하는 시선 추적기 및 영상을 투사하는 프로젝터를 포함하며, 사용자의 시선 위치를 중심으로 한 제 1 영역에 제 1 해상도로 영상을 투사하고 제 1 영역을 제외한 나머지 제 2 영역에 제 1 해상도보다 낮은 제 2 해상도로 영상을 투사하거나 또는 영상을 투사하지 않도록 구성된다.

Description

시선 추적기를 구비하는 투사형 디스플레이 장치 {Projection display apparatus including eye tracker}
개시된 실시예들은 투사형 디스플레이 장치에 관한 것으로, 더욱 상세하게는 시선 추적기로 사용자의 시선을 추적하여 사용자의 시선 위치에 고해상도의 영상을 디스플레이 하는 투사형 디스플레이 장치에 관한 것이다.
투사형 디스플레이 장치는 비교적 저렴하고 간단한 구조로 대면적 화면을 구현할 수 있다는 장점을 갖고 있어서 다양한 분야에서 이용되고 있다. 예를 들어, 야외 쇼, 디지털 사이니지, 헤드업 디스플레이, 가정용 초소형 프로젝터, 모바일 장치형 프로젝터, 안경형 프로젝터 등과 같은 분야에서 투사형 디스플레이 장치가 응용되고 있다. 특히, 최근에는 안경형 증강현실(augmented reality; AR), 자동차용 헤드업 디스플레이(headup display; HUD) 등에 대한 관심이 증가하면서, 투사형 디스플레이 장치를 더욱 소형화하면서도 영상의 해상도를 증가시키기 위한 연구가 진행되고 있다.
시선 추적기로 사용자의 시선을 추적하여 사용자의 시선 위치에 고해상도의 영상을 디스플레이 하는 투사형 디스플레이 장치를 제공한다.
일 실시예에 따르면, 사용자의 시선을 추적하는 시선 추적기; 영상을 투사하는 프로젝터; 및 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 상기 프로젝터의 동작을 제어하는 제어기;를 포함하는 투사형 디스플레이 장치가 제공된다. 상기 투사형 디스플레이 장치에서, 상기 제어기는 사용자의 시선 위치를 중심으로 한 제 1 영역에 제 1 해상도로 영상을 투사하고 제 1 영역을 제외한 나머지 제 2 영역에 제 1 해상도보다 낮은 제 2 해상도로 영상을 투사하거나 또는 영상을 투사하지 않도록 상기 프로젝터를 제어할 수 있다.
상기 프로젝터는, 레이저 빔을 방출하는 레이저 광원; 상기 레이저 광원을 구동시키는 광원 구동기; 상기 레이저 빔을 스캐닝하는 스캐너; 및 영상을 투사시키는 투사 광학계;를 포함할 수 있다.
예를 들어, 상기 스캐너는 MEMS(Microelectromechanical systems) 스캐너일 수 있다.
상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치를 기초로 상기 광원 구동기를 제어할 수 있다.
예를 들어, 상기 제어기는 제 1 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 증가시켜 화소의 크기가 작아지도록 상기 광원 구동기를 제어할 수 있다.
또한, 상기 제어기는 제 2 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 감소시켜 화소의 크기가 커지도록 상기 광원 구동기를 제어할 수 있다.
예를 들어, 상기 제 2 영역의 화소 크기는 제 1 영역의 화소의 크기의 정수배일 수 있다.
또한 상기 투사형 디스플레이 장치는, 촬상 장치; 및 상기 촬상 장치에서 얻은 전기적 신호를 처리하여 영상 데이터를 생성하는 영상 처리기;를 더 포함할 수 있다.
예를 들어, 상기 제어기는 제 1 영역에 대응하는 영상이 제 1 해상도를 갖고 제 2 영역에 대응하는 영상이 제 2 해상도를 갖도록 상기 영상 처리기를 제어할 수 있다.
상기 투사형 디스플레이 장치는 상기 영상 데이터를 기초로 실시간으로 영상을 표시할 수 있다.
상기 제어기는 상기 촬상 장치를 제어하여 상기 제 1 영역에 제공할 영상만을 촬영하도록 동작할 수 있다.
또한, 상기 프로젝터는, 제 1 해상도를 갖는 영상을 제 1 영역에 투사하는 제 1 프로젝터; 제 2 해상도를 갖는 영상을 제 1 영역과 제 2 영역 모두에 또는 제 2 영역만에 투사하는 제 2 프로젝터; 및 상기 제 1 프로젝터에서 투사되는 영상의 방향을 조절하는 영상 조향 장치;를 포함할 수 있다.
상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 사용자의 시선 위치를 중심으로 한 제 1 영역에 영상이 투사되도록 상기 영상 조향 장치를 제어할 수 있다.
예를 들어, 상기 영상 조향 장치는 영상을 원하는 방향으로 반사하는 갈바노 미러, 투사된 영상을 굴절시켜 진행 방향을 조절하는 굴절 광학계, 또는 상기 제 1 프로젝터의 각도를 조절하는 액추에이터, 리니어 모터 또는 회전형 모터를 포함할 수 있다.
상기 제어기는 상기 영상 처리기가 상기 제 1 프로젝터에 제공될 제 1 해상도의 제 1 영상 데이터 및 상기 제 2 프로젝터에 제공될 제 2 해상도의 제 2 영상 데이터를 각각 생성하도록 상기 영상 처리기를 제어할 수 있다.
예를 들어, 상기 제 1 및 제 2 프로젝터는 DLP(Digital Light Processing) 방식, LCoS(Liquid Crystal On Silicon) 방식 또는 MEMS(Microelectromechanical systems) 스캐너 방식의 프로젝터를 포함할 수 있다.
상기 제어기는 상기 제 1 영상 데이터를 기초로 상기 제 1 프로젝터를 제어하고 상기 제 2 영상 데이터를 기초로 상기 제 2 프로젝터를 제어할 수 있다.
또한, 일 실시예에 따르면 상술한 투사형 디스플레이 장치를 포함하는 헤드업 디스플레이 장치가 제공될 수 있다.
또한, 다른 실시예에 따르면 상술한 투사형 디스플레이 장치를 포함하는 증강 현실 장치가 제공될 수 있다.
개시된 실시예에 따른 투사형 디스플레이 장치는 사용자의 시선을 추적하여 사용자의 시선 위치 부근에만 고해상도 영상을 제공하고 나머지 화면 영역에는 해상도가 낮은 영상을 제공할 수 있다. 따라서 영상을 처리하는 데 있어서 투사형 디스플레이 장치의 효율성이 증가할 수 있어서, 투사형 디스플레이 장치의 영상 처리 속도를 향상시킬 수 있다. 또한, 화면 전체 영역에 대해 고해상도 영상을 구현하는 경우에 비하여 투사형 디스플레이 장치의 크기를 소형화하면서, 사용자에게는 고해상도 영상을 제공하는 것이 가능하다.
도 1은 일 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다.
도 2는 도 1에 도시된 투사형 디스플레이 장치의 프로젝터의 구성을 개략적으로 보이는 구성도이다.
도 3은 전체 화면 영역 중에서 사용자의 시선 위치를 고려하여 고해상도 영상 영역을 선택하는 예를 개략적으로 보인다.
도 4는 선택된 고해상도 영역과 나머지 화면 영역에서 일 실시예에 따른 해상도 차이를 예시적으로 보인다.
도 5는 선택된 고해상도 영역과 나머지 화면 영역에서 다른 실시예에 따른 해상도 차이를 예시적으로 보인다.
도 6은 도 1에 도시된 투사형 디스플레이 장치를 포함하는 헤드업 디스플레이 장치의 구성을 예시적으로 보인다.
도 7은 도 1에 도시된 투사형 디스플레이 장치를 포함하는 안경형 증강 현실 장치의 구성을 예시적으로 보인다.
도 8은 다른 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다.
도 9는 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 갈바노 미러를 이용하여 이동시키는 예를 개략적으로 보인다.
도 10은 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 굴절 광학계를 이용하여 이동시키는 예를 개략적으로 보인다.
도 11은 도 8에 도시된 투사형 디스플레이 장치의 메인 프로젝터로부터 출사되는 영상을 액추에이터를 이용하여 이동시키는 예를 개략적으로 보인다.
이하, 첨부된 도면들을 참조하여, 시선 추적기를 구비하는 투사형 디스플레이 장치에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.
도 1은 일 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다. 도 1을 참조하면, 일 실시예에 따른 투사형 디스플레이 장치(100)는 사용자의 시선을 추적하는 시선 추적기(110), 영상을 투사하는 프로젝터(120), 및 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 프로젝터(120)의 동작을 제어하는 제어기(130)를 포함할 수 있다. 시선 추적기(110)는 카메라 등을 통해 사용자의 영상을 얻고, 영상 내에서 사용자의 동공을 검출하여 그 위치를 분석할 수 있다. 또한, 시선 추적기(110)는 사용자의 동공 위치 변화를 실시간으로 추적하여 그 결과를 제어기(130)에 제공할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 입력된 사용자의 동공 위치 변화에 응답하여 프로젝터(120)의 동작을 제어할 수 있다.
또한, 도 2는 도 1에 도시된 투사형 디스플레이 장치(100)의 프로젝터(120)의 예시적인 구성을 개략적으로 보이는 구성도이다. 도 2를 참조하면, 예를 들어, 프로젝터(120)는 레이저 빔을 방출하는 레이저 광원(121), 레이저 광원(121)을 구동시키는 광원 구동기(122), 레이저 빔을 스캐닝하는 스캐너(123), 및 영상을 투사시키는 투사 광학계(124)를 포함할 수 있다. 도 2에는 간단히 도시되었지만 레이저 광원(121)은 예를 들어 적색 레이저, 녹색 레이저 및 청색 레이저를 포함할 수 있다. 광원 구동기(122)는 제어기(130)의 제어에 따라 레이저 광원(121)을 구동시킬 수 있다. 예를 들어, 레이저 광원(121)의 각각의 적색 레이저, 녹색 레이저 및 청색 레이저의 온/오프, 레이저 광원(121)의 적색 레이저, 녹색 레이저 및 청색 레이저에서 각각 방출되는 레이저빔의 출력 세기 등이 광원 구동기(122)에 의해 조절될 수 있다.
스캐너(123)는 레이저 광원(121)으로부터 방출되는 레이저 빔을 상하 및 좌우 방향으로 스크린 상에 고속으로 스캐닝하는 역할을 한다. 여기서 스크린은 빛을 반사/산란시켜 영상이 보이도록 하는 것으로서, 투사형 디스플레이 장치(100)에 포함되는 전용의 부품일 수도 있지만, 이에 한정되지 않고 예를 들어 단순히 실내의 벽면, 차량의 전면 유리면, 또는 증강현실 안경의 렌즈면일 수도 있다. 이러한 스캐너(123)는 예를 들어 미세한 MEMS(microelectromechanical systems) 미러를 포함하는 MEMS 스캐너일 수 있다. 스캐너(123)는 MEMS 미러의 경사 각도를 전기적으로 제어함으로써 입사 레이저 빔을 원하는 방향으로 반사할 수 있다. 투사 광학계(124)는 스캐너(123)에 의해 스캐닝되는 레이저빔을 스크린 상에 포커싱하여 선명한 영상이 형성되도록 하는 역할을 한다.
이러한 구조에서, 재생될 영상의 영상 데이터에 따라 제어기(130)가 광원 구동기(122)를 제어하여 광원 구동기(122)가 적색 레이저 빔, 녹색 레이저 빔, 및 청색 레이저 빔을 발생시키고, 각각의 레이저 빔을 스캐너(123)가 스크린 상에 고속으로 스캐닝하면 스크린 상에 영상이 재생될 수 있다. 재생될 영상은 도시되지 않은 데이터 저장 장치(data storage device)에 미리 저장된 것일 수도 있다.
그러나, 투사형 디스플레이 장치(100)가, 예를 들어, 헤드업 디스플레이 장치 또는 증강 현실 장치에서 사용되는 경우, 사용자에게 실시간으로 영상 정보를 제공하기 위하여 투사형 디스플레이 장치(100)는 외부의 빛을 수광하여 전기적인 신호를 발생시키는 촬상 장치(140) 및 촬상 장치(140)에서 얻은 전기적인 신호를 처리하여 영상 데이터를 만드는 영상 처리기(150)를 더 포함할 수도 있다. 영상 처리기(150)는 촬상 장치(140)에서 얻은 전기적인 신호를 처리하여 생성한 영상 데이터를 제어기(130)에 제공하고, 제어기(130)는 이러한 영상 데이터에 따라 광원 구동기(122)를 제어함으로써 투사형 디스플레이 장치(100)가 실시간으로 영상을 표시할 수 있다. 영상 처리기(150)는 또한 데이터 저장 장치(미도시)에 저장된 영상 파일을 읽어서 영상 데이터를 생성할 수도 있으며, 또는 미리 저장된 영상 파일로부터 얻은 영상 데이터와 촬상 장치(140)를 통해 얻은 실시간 영상 데이터를 합성하여 새로운 영상 데이터를 생성할 수도 있다.
제어기(130)와 영상 처리기(150)는 각각 별도의 반도체 칩으로 구현될 수도 있으며, 또는 제어기(130)와 영상 처리기(150)가 함께 하나의 반도체 칩으로 구현될 수도 있다. 또한, 제어기(130)와 영상 처리기(150)는 하드웨어가 아닌 컴퓨터에서 실행 가능한 소프트웨어의 형태로 구현될 수도 있다.
한편, DLP(digital lighting processing) 방식의 프로젝터의 경우에는 마이크로미러 어레이(micromirror Array)의 마이크로미러의 개수에 의해 물리적인 해상도가 결정되고, LCoS(liquid crystal on silicon) 방식의 프로젝터의 경우에는 액정에 의해 물리적인 해상도가 결정되는 반면, MEMS 기술을 이용한 스캐너(123)를 포함하는 프로젝터의 경우에는 해상도가 물리적으로 결정되지 않으며 화소의 크기도 미리 정해져 있지 않다. 예를 들어, 광원 구동기(122), 레이저 광원(121) 및 스캐너(123)의 구동 속도 및 제어기(130)와 영상 처리기(150)의 계산 성능에 의해 투사형 디스플레이 장치(100)의 해상도와 화소 크기가 조절될 수 있다. 현재 상용화된 광원 구동기(122), 레이저 광원(121) 및 스캐너(123)는 HD(high definition) 또는 UHD(ultra high definition) 해상도의 영상을 제공하기에 이미 충분한 구동 속도를 가진 것으로 알려져 있다. 그러나, 전체 화면에 대해 HD 또는 UHD 해상도의 영상을 제공하려면 영상 처리기(150)의 부담이 커지고 부피가 늘어날 수 있다.
본 실시예에 따른 투사형 디스플레이 장치(100)는 영상 처리기(150)의 부담을 줄이기 위하여 시선 추적기(110)로부터 입력된 사용자의 동공 위치를 기초로 사용자가 보고자 하는 영역에 집중하여 해상도를 높일 수 있다. 예를 들어, 전체 화면 중에서 사용자가 보고자 하는 영역의 해상도를 의도적으로 증가시키고 나머지 영역의 해상도를 낮춤으로써 영상 처리기(150)의 부담을 줄일 수 있다. 이를 위하여, 제어기(130)는 시선 추적기(110)로부터 입력된 사용자의 동공 위치를 기초로 영상 처리기(150)와 프로젝터(120)의 동작을 제어할 수 있다.
예를 들어, 도 3은 전체 화면 영역(R1) 중에서 사용자의 시선 위치를 고려하여 고해상도 영상 영역을 선택하는 예를 개략적으로 보인다. 도 3을 참조하면, 전체 화면 영역(R1)은 투사형 디스플레이 장치(100)가 스크린 상에 표시할 수 있는 일반적인 영상의 전체 크기일 수 있다. 시선 추적기(110)는 사용자의 동공 위치를 감지하여 전체 화면 영역(R1) 상에서 사용자의 시선 위치를 결정하고, 사용자의 시선 위치에 관한 정보를 제어기(130)에 전달할 수 있다. 그러면 제어기(130)는 사용자의 시선 위치를 중심으로 한 일정한 영역을 고해상도 영역(R2)으로 선택할 수 있다. 예컨대, 도 3에 표시된 점(P)이 사용자의 시선 위치라면, 제어기(130)는 점(P)을 중심으로 사람의 눈이 통상적으로 한번에 인지할 수 있는 각도를 고려하여 고해상도 영역(R2)을 선택할 수 있다.
그런 후 제어기(130)는 영상 처리기(150)에 고해상도 영역(R2)의 위치에 관한 정보를 제공하여, 전체 화면 영역(R1) 중에서 고해상도 영역(R2)에 대응하는 영상이 상대적으로 높은 해상도를 갖고 고해상도 영역(R2)을 제외한 나머지 영역(R3)에 대응하는 영상이 상대적으로 낮은 해상도를 갖도록 영상 처리기(150)를 제어할 수 있다. 영상 처리기(150)는 제어기(130)의 제어에 따라 고해상도 영역(R2)에 대해 고해상도로 영상 데이터를 생성하고 나머지 영역(R3)에 대해서는 저해상도로 영상 데이터를 생성할 수 있다. 예를 들어, 영상 처리기(150)는 고해상도 영역(R2)에 대해서는 UHD 또는 FHD(Full HD)의 해상도를 갖는 영상 데이터를 생성하고 나머지 영역(R3)에 대해서는 HD 또는 SD(standard definition)의 해상도를 갖는 영상 데이터를 생성할 수 있다.
그러면, 제어기(130)는 영상 처리기(150)로부터 제공된 영상 데이터에 따라 광원 구동기(122)를 제어하여 레이저 광원(121)을 구동시킬 수 있다. 결과적으로, 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치 정보를 기초로 광원 구동기(122)를 제어하여 레이저 광원(121)을 구동시킨다. 레이저 광원(121)은 광원 구동기(122)에 제어에 따라 고해상도 영역(R2)에 영상을 투사하는 동안에는 높은 구동 속도로 동작하여 비교적 작은 크기의 화소를 갖는 영상을 형성하고 나머지 영역(R3)에 영상을 투사하는 동안에는 낮은 구동 속도로 동작하여 비교적 큰 크기의 화소를 갖는 영상을 형성할 수 있다.
예를 들어, 도 4는 선택된 고해상도 영역(R2)과 나머지 화면 영역(R3)에서 일 실시예에 따른 해상도 차이를 예시적으로 보인다. 도 4에 도시된 바와 같이, 고해상도 영역(R2)에 대해서는 구동 속도를 증가시켜 영상의 화소를 작게 하고 나머지 영역(R3)에 대해서는 구동 속도를 감소시켜 영상의 화소를 크게 할 수 있다. 도 4에는 예시적으로 나머지 영역(R3)에서 화소의 크기가 고해상도 영역(R2)에서 화소의 크기보다 4배 더 큰 것으로 도시되었다. 이 경우, 영상 처리기(150)는 나머지 영역(R3)에 대응하는 영상에 대해서는 고해상도 영역(R2)에 대응하는 영상에 대비하여 4개 화소에 걸쳐 하나의 영상 데이터만을 만들면 되므로, 영상 처리기(150)의 계산 부담이 줄어들 수 있다.
또한, 도 5는 선택된 고해상도 영역과 나머지 화면 영역에서 다른 실시예에 따른 해상도 차이를 예시적으로 보인다. 도 5를 참조하면, 고해상도 영역(R2)에 대해서는 해상도를 더욱 높이고 나머지 영역(R3)에 대해서는 해상도를 더욱 낮게 할 수 있다. 예를 들어, 도 4에서보다 고해상도 영역(R2)의 해상도를 2배 높이고 나머지 영역(R3)의 해상도를 2배 낮게 할 수 있다. 이 경우, 사용자에게 더욱 고품질의 화질을 제공할 수 있으며, 대신에 영상 처리기(150)의 계산 부담이 증가하지 않도록 나머지 영역(R3)의 해상도를 낮춘다. 도 5에는 예시적으로 나머지 영역(R3)에서 화소의 크기가 고해상도 영역(R2)에서 화소의 크기보다 16배 더 큰 것으로 도시되었으나, 반드시 이에 한정되는 것은 아니다. 예를 들어, 나머지 영역(R3)에서 화소의 크기는 고해상도 영역(R2)에서 화소의 크기의 정수배일 수 있다.
한편, 제어기(130)는 사용자의 시선 위치를 중심으로 한 고해상도 영역(R2)에만 고해상도의 영상을 제공하고 나머지 영역에는 영상을 전혀 제공하지 않도록 동작할 수도 있다. 이 경우, 영상 처리기(150)는 고해상도 영역(R2)에 대응하는 영상에 대해서만 영상 데이터를 생성하고 나머지 영역에 대해서는 영상 데이터를 생성하지 않을 수 있다. 또한, 이 경우 제어기(130)는 촬상 장치(140)를 제어하여 고해상도 영역(R2)에 제공할 영상만을 촬영하도록 동작할 수도 있다. 그리고, 레이저 광원(121)은 광원 구동기(122)의 제어에 따라 고해상도 영역(R2)에 영상을 투사하는 동안에만 레이저 빔을 방출하고 나머지 영역에 대해서는 레이저 빔을 방출하지 않을 수도 있다. 만약 사용자의 시선이 전체 화면 영역(R1)으로부터 완전히 벗어나면 투사형 디스플레이 장치(100)는 영상의 투사를 중단할 수도 있다.
고해상도 영역(R2)의 위치는 사용자의 시선 위치의 변동에 따라 변경될 수 있다. 시선 추적기(110)는 사용자의 동공 위치를 지속적으로 감지하여 사용자의 시선 위치를 결정하고, 사용자의 시선 위치에 관한 정보를 제어기(130)에 실시간으로 전달할 수 있다. 그러면 제어기(130)는 사용자의 시선 위치 변화에 응답하여 고해상도 영역(R2)의 위치를 실시간으로 변경하고, 이를 기초로 영상 처리기(150)와 광원 구동기(122)의 동작을 제어할 수 있다. 그러면 사용자가 전체 화면 영역(R1) 내에서 시선을 옮기더라도 해상도의 변화를 인지하지 못하고 고해상도의 영상을 계속 감상할 수 있다. 이러한 고해상도 영역(R2)의 위치 변경은 사용자의 시선 위치의 변동이 있을 때마다 수시로 이루어질 수도 있다. 대신에, 사람의 눈이 통상적으로 한번에 인지할 수 있는 각도보다 조금 넓게 고해상도 영역(R2)의 크기를 정하면, 사용자의 시선 위치의 미세한 변동에 대해서는 고해상도 영역(R2)의 위치를 바꾸지 않을 수도 있다. 이 경우, 제어기(130)는 사용자의 시선이 일정한 범위를 넘어서 변동될 때에만 고해상도 영역(R2)의 위치를 새로 갱신할 수 있다.
상술한 바와 같이, 본 실시예에 따른 투사형 디스플레이 장치(100)는 사용자의 시선을 추적하여 사용자의 시선 위치 부근에만 고해상도 영상을 제공하고 나머지 화면 영역에는 해상도가 낮은 영상을 제공하기 때문에, 영상을 처리하는 데 있어서 투사형 디스플레이 장치(100)의 효율성이 증가할 수 있다. 따라서, 투사형 디스플레이 장치(100)의 영상 처리 속도를 향상시킬 수 있다. 또한, 화면 전체 영역(R1)에 대해 고해상도 영상을 구현하는 경우에 비하여 영상 처리기(150)의 부담이 작아서 투사형 디스플레이 장치(100)의 크기를 소형화하면서도, 사용자에게는 고해상도 영상을 제공하는 것이 가능하다.
이러한 투사형 디스플레이 장치(100)는 특히 사용자에게 실시간으로 고해상도 영상을 제공할 필요가 있는 분야에 유용하게 적용될 수 있다. 예를 들어, 도 6은 도 1에 도시된 투사형 디스플레이 장치(100)를 포함하는 헤드업 디스플레이 장치(200)의 구성을 예시적으로 보인다. 도 6을 참조하면, 프로젝터(120)는 차량의 전면 미러(210)에 영상을 투사하며 운전자는 차량의 전면 미러(210)로부터 반사된 영상을 감상할 수 있다. 도 6에는 편의상 프로젝터(120)만이 도시되었지만 헤드업 디스플레이 장치(200)는 도 1에 도시된 투사형 디스플레이 장치(100)의 구성을 모두 포함할 수 있다. 헤드업 디스플레이 장치(200)는 예를 들어 차량의 대시보드 내에 장착되어 차량의 상태 정보, 차량의 운전 정보, 네비게이션 정보, 차량의 전방 환경, 또는 차량의 후방 환경 등을 담은 영상을 운전자에게 제공할 수 있다. 다만 시선 추적기(110)는 운전자를 바라 볼 수 있는 차량 실내의 천장 부분에 장착될 수 있다. 시선 추적기(110)는 운전자의 동공 위치를 지속적으로 감시하여 제어기(130)에게 제공할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 입력된 운전자의 동공 위치에 응답하여 운전자의 동공 위치에 고해상도 영상을 제공할 수 있다.
또한, 도 7은 도 1에 도시된 투사형 디스플레이 장치(100)를 포함하는 안경형 증강 현실 장치(300)의 구성을 예시적으로 보인다. 도 7을 참조하면, 투사형 디스플레이 장치(100)의 프로젝터(120)는 안경형 증강 현실 장치(300)를 사용자의 신체에 착용할 수 있도록 하는 안경 다리(301)에 배치될 수 있다. 프로젝터(120)는 안경 다리(301)에서 안경 렌즈(303)를 향해 배치되어 안경 렌즈(303)에 영상을 투사할 수 있다. 그러면 사용자는 안경 렌즈(303)로부터 반사되는 영상을 감상할 수 있다. 또한, 안경 렌즈(303)를 고정하는 안경테(302)에 시선 추적기(110)가 배치될 수 있다. 시선 추적기(110)는 안경테(302)에서 사용자의 눈을 향해 배치되어 사용자의 동공 위치를 지속적으로 감시할 수 있다. 도 7에는 시선 추적기(110)와 편의상 프로젝터(120)만이 도시되었지만, 안경형 증강 현실 장치(300)는 투사형 디스플레이 장치(100)의 나머지 구성들도 포함할 수 있다.
도 8은 다른 실시예에 따른 투사형 디스플레이 장치의 구조를 개략적으로 보이는 구성도이다. 도 8을 참조하면, 투사형 디스플레이 장치(400)는 사용자의 시선을 추적하는 시선 추적기(110), 고해상도 영상을 투사하는 메인 프로젝터(120a), 저해상도 영상을 투사하는 서브 프로젝터(120b), 및 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 메인 프로젝터(120a)와 서브 프로젝터(120b)의 동작을 제어하는 제어기(130)를 포함할 수 있다. 도시되지는 않았지만, 투사형 디스플레이 장치(400)는 도 1에 도시된 촬상 장치(140)와 영상 처리기(150)를 더 포함할 수도 있다.
서브 프로젝터(120b)는 도 3에 도시된 전체 화면 영역(R1)에 대해 상대적으로 낮은 해상도의 영상을 투사하는 역할을 한다. 그리고, 메인 프로젝터(120b)는 사용자의 시선 위치에 따라 결정된 고해상도 영역(R2)에 상대적으로 높은 해상도의 영상을 투사하는 역할을 한다. 이를 위해, 제어기(130)는 영상 처리기(150)가 메인 프로젝터(120a)에 제공될 고해상도의 영상 데이터 및 서브 프로젝터(120b)에 제공될 저해상도의 영상 데이터를 각각 생성하도록 영상 처리기(150)를 제어할 수 있다. 그리고, 제어기(130)는 고해상도의 영상 데이터를 기초로 메인 프로젝터(120a)를 제어하여 고해상도의 영상을 투사하고, 저해상도의 영상 데이터를 기초로 서브 프로젝터(120b)를 제어하여 저해상도의 영상을 투사할 수 있다.
메인 프로젝터(120b)와 서브 프로젝터(120b)의 영상 투사 범위와 해상도가 고정되기 때문에, 메인 프로젝터(120b)와 서브 프로젝터(120b)로서 반드시 MEMS 스캐너 방식의 프로젝터만을 사용할 필요가 없으며, DLP 방식 또는 LCoS 방식의 프로젝터도 사용할 수 있다. 이 경우, 서브 프로젝터(120b)로는 투사 범위가 상대적으로 넓고 해상도가 상대적으로 낮은 프로젝터가 선택되며, 메인 프로젝터(120a)로는 투사 범위가 상대적으로 좁고 해상도가 상대적으로 높은 프로젝터가 선택될 수 있다. 예를 들어, 메인 프로젝터(120a)로는 UHD 또는 FHD의 해상도를 갖는 프로젝터가 선택되고 서브 프로젝터(120b)로는 HD 또는 SD의 해상도를 갖는 프로젝터가 선택될 수 있다. 그리고, 서브 프로젝터(120b)로부터 투사되는 영상 내의 일부가 메인 프로젝터(120a)로부터 투사되는 영상과 중첩되기 때문에, 서브 프로젝터(120b)는 상대적으로 휘도가 낮고 메인 프로젝터(120a)는 상대적으로 휘도가 높도록 조정될 수 있다.
제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 사용자의 시선 위치를 중심으로 한 고해상도 영역(R2)에 영상이 투사되도록 메인 프로젝터(120a)를 제어할 수 있다. 이를 위해, 투사형 디스플레이 장치(400)는 메인 프로젝터(120a)로부터 투사되는 영상의 방향을 조절하는 영상 조향 장치를 더 포함할 수 있다. 그러면 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 영상 조향 장치를 제어할 수 있다. 영상 조향 장치는, 예를 들어, 영상을 원하는 방향으로 반사하는 갈바노 미러, 영상을 굴절시켜 진행 방향을 조절하는 굴절 광학계, 또는 메인 프로젝터(120a) 자체의 경사 각도를 조절하는 액추에이터를 포함할 수 있다.
예를 들어, 도 9는 도 8에 도시된 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 갈바노 미러(126)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 9를 참조하면, 영상 조향 장치로서 갈바노 미러(126)가 사용되는 경우, 갈바노 미러(126)는 메인 프로젝터(120a)의 전면에 배치되어 메인 프로젝터(120a)로부터 투사되는 영상을 반사할 수 있다. 그러면 갈바노 미러(126)의 경사 각도에 따라 영상이 투사되는 위치가 조절될 수 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 갈바노 미러(126)의 경사 각도를 수직 방향과 수평 방향으로 2축 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.
또한, 도 10은 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 굴절 광학계(127)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 10을 참조하면, 영상 조향 장치로서 굴절 광학계(127)가 사용되는 경우, 굴절 광학계(127)는 메인 프로젝터(120a)의 전면에 배치되어 메인 프로젝터(120a)로부터 투사되는 영상을 굴절시킬 수 있다. 예를 들어, 굴절 광학계(127)는 위치에 따라 굴절력이 상이한 다수의 굴절면을 가질 수 있다. 예컨대, 굴절 광학계(127)는 경사각이 상이한 다수의 프리즘들의 2차원 어레이를 포함할 수 있다. 그러면 굴절 광학계(127)에 영상이 입사하는 위치에 따라 굴절 광학계(127)를 투과한 영상이 서로 다른 방향으로 진행할 수 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 굴절 광학계(127)의 위치를 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.
대신에, 굴절 광학계(127)는 굴절률이 전기적으로 변화하는 굴절률 변화층을 가질 수도 있다. 그러면, 굴절 광학계(127)의 굴절률에 따라 굴절 광학계(127)를 투과한 영상이 서로 다른 방향으로 진행할 수 있다. 이 경우, 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 굴절 광학계(127)의 굴절률을 전기적으로 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.
또한, 도 11은 투사형 디스플레이 장치(400)의 메인 프로젝터(120a)로부터 출사되는 영상을 액추에이터(128)를 이용하여 이동시키는 예를 개략적으로 보인다. 도 11을 참조하면, 메인 프로젝터(120a)는 액추에이터(128)에 고정되어 있으며, 액추에이터(128)에 의해 메인 프로젝터(120a)의 경사각이 수직 방향과 수평 방향으로 2축 조절될 수 있다. 따라서, 메인 프로젝터(120a) 자체의 경사각을 조절함으로써 프로젝터(120a)로부터 투사되는 영상의 방향을 조절할 수 있다. 액추에이터(128) 대신에, 예를 들어, 리니어 모터나 회전형 모터를 사용하여 동일한 효과를 얻을 수도 있다. 제어기(130)는 시선 추적기(110)로부터 얻은 사용자의 시선 위치에 응답하여 액추에이터(128)를 구동시켜 메인 프로젝터(120a)의 경사각을 전기적으로 조절함으로써 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 영상이 투사되도록 제어할 수 있다.
상술한 바와 같이, 메인 프로젝터(120a)와 서브 프로젝터(120b)를 함께 사용하면, 서브 프로젝터(120b)는 고정된 전체 화면 영역(R1)에 저해상도의 영상을 투사하고 메인 프로젝터(120a)는 사용자의 시선 위치를 중심으로 하는 고해상도 영역(R2)에 고해상도의 영상을 투사할 수 있다. 따라서, 전체 화면 영역(R1)에 고해상도의 영상을 투사하는 경우에 비하여, 프로젝터의 전체적인 비용을 줄일 수 있고 영상 처리기(150)의 계산 부담을 감소시킬 수 있다.
한편, 고해상도 영역(R2)에서는 메인 프로젝터(120a)로부터 투사된 고해상도 영상과 서브 프로젝터(120b)로부터 투사된 저해상도 영상이 중첩될 수도 있지만, 고해상도 영역(R2)에 대해서는 서브 프로젝터(120b)가 영상을 투사하지 않을 수도 있다. 예를 들어, 제어기(130)의 제어에 따라 사용자의 시선 위치에 응답하여 서브 프로젝터(120b)는 고해상도 영역(R2)에 대해 부분적으로 검은 색으로 처리된 영상을 투사할 수 있다. 이를 위해, 영상 처리기(150)는 제어기(130)의 제어에 따라 고해상도 영역(R2)만이 검은 색을 갖도록 처리된 영상 데이터를 생성하여 서브 프로젝터(120b)에 제공할 수 있다.
상술한 시선 추적기를 구비하는 투사형 디스플레이 장치는 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100, 400.....투사형 디스플레이 장치 110.....시선 추적기
120, 120a, 120b.....프로젝터 121.....광원
122.....광원 구동기 123.....스캐너
124.....투사 광학계 126.....갈바노 미러
127.....굴절 광학계 128.....액추에이터
130.....제어기 140.....촬상 장치
150.....영상 처리기 210.....전면 유리
200.....헤드업 디스플레이 장치 300.....안경형 증강 현실 장치

Claims (20)

  1. 사용자의 시선을 추적하는 시선 추적기;
    영상을 투사하는 프로젝터; 및
    상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 상기 프로젝터의 동작을 제어하는 제어기;를 포함하며,
    상기 제어기는 전체 화면 영역 중에서 사용자의 시선 위치를 중심으로 한 제 1 영역에 제 1 해상도로 영상을 투사하고, 상기 전체 화면 영역 중에서 제 1 영역을 제외한 나머지 제 2 영역에 제 1 해상도보다 낮은 제 2 해상도로 영상을 투사하거나 또는 영상을 투사하지 않도록 상기 프로젝터를 제어하고,
    상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치에 응답하여 상기 전체 화면 영역 상에서 상기 제 1 영역의 위치를 변경하고,
    상기 제 1 영역의 크기는 사용자의 눈이 한번에 인지할 수 있는 각도보다 넓고, 상기 제어기는 사용자의 시선 위치가 소정의 범위 내에서 변동하는 경우에는 상기 제 1 영역의 위치를 바꾸지 않고, 사용자의 시선 위치가 소정의 범위를 넘어서 변동할 때 상기 제 1 영역의 위치를 갱신하도록 구성되고,
    상기 프로젝터는:
    레이저 빔을 방출하는 레이저 광원;
    상기 레이저 광원을 구동시키는 광원 구동기;
    상기 레이저 빔을 스캐닝하는 스캐너; 및
    영상을 투사시키는 투사 광학계;를 포함하며,
    상기 제어기는 제 1 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 증가시켜 화소의 크기가 작아지도록 상기 광원 구동기를 제어하고, 제 2 영역에 영상을 투사하는 동안 상기 레이저 광원의 구동 속도를 감소시켜 화소의 크기가 커지도록 상기 광원 구동기를 제어하며,
    상기 제 2 영역의 화소 크기는 제 1 영역의 화소의 크기의 정수배인 투사형 디스플레이 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 스캐너는 MEMS(Microelectromechanical systems) 스캐너인 투사형 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 제어기는 상기 시선 추적기로부터 얻은 사용자의 시선 위치를 기초로 상기 광원 구동기를 제어하는 투사형 디스플레이 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    촬상 장치; 및
    상기 촬상 장치에서 얻은 전기적 신호를 처리하여 영상 데이터를 생성하는 영상 처리기;를 더 포함하는 투사형 디스플레이 장치.
  9. 제 8 항에 있어서,
    상기 제어기는 제 1 영역에 대응하는 영상이 제 1 해상도를 갖고 제 2 영역에 대응하는 영상이 제 2 해상도를 갖도록 상기 영상 처리기를 제어하는 투사형 디스플레이 장치.
  10. 제 8 항에 있어서,
    상기 투사형 디스플레이 장치는 상기 영상 데이터를 기초로 실시간으로 영상을 표시하는 투사형 디스플레이 장치.
  11. 제 8 항에 있어서,
    상기 제어기는 상기 촬상 장치를 제어하여 상기 제 1 영역에 제공할 영상만을 촬영하도록 하는 투사형 디스플레이 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 차량의 대시보드 내에 장착된 제 1 항, 제 3 항, 제 4 항, 제 8 항 내지 제 11 항 중 어느 한 항에 따른 투사형 디스플레이 장치를 포함하며,
    상기 투사형 디스플레이 장치는 차량의 전면 미러에 영상을 투사하도록 배치되고,
    상기 투사형 디스플레이 장치의 상기 시선 추적기는 운전자의 동공 위치를 감시하여 상기 제어기에 제공하도록 배치된, 헤드업 디스플레이 장치.
  20. 안경 다리;
    안경 렌즈;
    안경테; 및
    제 1 항, 제 3 항, 제 4 항, 제 8 항 내지 제 11 항 중 어느 한 항에 따른 투사형 디스플레이 장치를 포함하며,
    상기 프로젝터는 상기 안경 렌즈에 영상을 투사하도록 상기 안경 다리에 배치되며,
    상기 시선 추적기는 상기 안경테에 배치되어 있는, 증강 현실 장치.
KR1020170093694A 2017-07-24 2017-07-24 시선 추적기를 구비하는 투사형 디스플레이 장치 Active KR102461253B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170093694A KR102461253B1 (ko) 2017-07-24 2017-07-24 시선 추적기를 구비하는 투사형 디스플레이 장치
US15/883,570 US10185212B1 (en) 2017-07-24 2018-01-30 Projection display apparatus including eye tracker
CN201810187203.4A CN109302594B (zh) 2017-07-24 2018-03-07 包括眼睛跟踪器的投影显示装置
EP18168822.7A EP3435661A1 (en) 2017-07-24 2018-04-23 Projection display apparatus including eye tracker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170093694A KR102461253B1 (ko) 2017-07-24 2017-07-24 시선 추적기를 구비하는 투사형 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20190011126A KR20190011126A (ko) 2019-02-01
KR102461253B1 true KR102461253B1 (ko) 2022-10-31

Family

ID=62152302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093694A Active KR102461253B1 (ko) 2017-07-24 2017-07-24 시선 추적기를 구비하는 투사형 디스플레이 장치

Country Status (4)

Country Link
US (1) US10185212B1 (ko)
EP (1) EP3435661A1 (ko)
KR (1) KR102461253B1 (ko)
CN (1) CN109302594B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895741B2 (en) * 2017-10-03 2021-01-19 Industrial Technology Research Institute Ultra-wide head-up display system and display method thereof
CN107809641B (zh) * 2017-11-13 2020-04-24 北京京东方光电科技有限公司 图像数据传输方法、处理方法及图像处理设备、显示设备
WO2020016813A1 (en) * 2018-07-17 2020-01-23 Gentex Corporation Rear vision projected display for a vehicle
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
US20200285055A1 (en) * 2019-03-08 2020-09-10 Varjo Technologies Oy Direct retina projection apparatus and method
CN109815939A (zh) * 2019-03-01 2019-05-28 北京当红齐天国际文化发展集团有限公司 基于人眼追踪的投影显示系统及方法
KR20220101682A (ko) * 2019-11-15 2022-07-19 씨와이 비전 인크 조향가능 아이박스를 갖는 증강 현실 헤드업 디스플레이
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质
DE112022002430T5 (de) * 2021-04-30 2024-02-15 Nippon Seiki Co., Ltd. Anzeigesteuervorrichtung, Head-up-Display-Vorrichtung und Anzeigesteuerverfahren
CN114120787A (zh) * 2021-11-23 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 室内体验车载ar-hud模拟器的装置
KR102670891B1 (ko) * 2022-09-29 2024-05-31 한국기계연구원 비균일 화소밀도를 갖는 디스플레이 및 이를 포함하는 헤드 마운트 디스플레이 장치
CN116088175A (zh) * 2022-11-30 2023-05-09 业成科技（成都）有限公司 显示系统及其车用抬头显示系统
WO2025050320A1 (en) * 2023-09-06 2025-03-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image display apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
GB2259213A (en) 1991-08-29 1993-03-03 British Aerospace Variable resolution view-tracking display
JPH0777665A (ja) 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
EP1978418A2 (en) 1996-12-06 2008-10-08 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing real time holographic video production and display
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US20050140930A1 (en) 2003-12-31 2005-06-30 Symbol Technologies, Inc. Color laser projection display
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
DE102007018266A1 (de) * 2007-04-10 2008-10-16 Seereal Technologies S.A. Holographisches Projektionssystem mit einer optischen Wellennachführung und Mitteln zum Korrigieren der holographischen Rekonstruktion
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
EP3058417A4 (en) * 2013-10-15 2017-12-06 Castar, Inc. System and method for reconfigurable projected augmented/virtual reality appliance
EP3075150B1 (en) * 2013-11-25 2022-06-15 Tesseland LLC Immersive compact display glasses
KR102268462B1 (ko) * 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US10284839B2 (en) * 2015-01-21 2019-05-07 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information display method therefor
JP2016191845A (ja) 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
IL241033B (en) * 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
IL242895B (en) 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US9711114B1 (en) * 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors

Also Published As

Publication number Publication date
CN109302594B (zh) 2022-07-08
US20190025685A1 (en) 2019-01-24
US10185212B1 (en) 2019-01-22
CN109302594A (zh) 2019-02-01
EP3435661A1 (en) 2019-01-30
KR20190011126A (ko) 2019-02-01

Similar Documents

Publication Publication Date Title
KR102461253B1 (ko) 시선 추적기를 구비하는 투사형 디스플레이 장치
KR102139268B1 (ko) 눈 투영 시스템
JP5226528B2 (ja) 像誘導基板を有するディスプレイ
US9297996B2 (en) Laser illumination scanning
US8817379B2 (en) Whole image scanning mirror display system
US20180284441A1 (en) Wide field head mounted display
US10614734B2 (en) Display apparatus and method of displaying using controllable scanning mirror
CN110082914A (zh) 包括用于校正差分失真的光学组件的光投影系统
US11953688B1 (en) High-resolution liquid crystal displays
US10602132B2 (en) Display apparatus and method of displaying using light source and controllable scanning mirror
CN109856796A (zh) 图像源模组、波导、近眼显示系统及其控制方法
KR102771619B1 (ko) 영상의 횡이동이 가능한 디스플레이 장치
US11774737B2 (en) Folded-beam, low-obliquity beam scanner
US20200285055A1 (en) Direct retina projection apparatus and method
US11025871B1 (en) Driving scanning projector display with pulses shorter than pixel duration
JP5163166B2 (ja) 画像表示装置
JP7513026B2 (ja) 画像表示装置及び表示装置
US11495194B1 (en) Display apparatuses and methods incorporating pattern conversion
CN108152951B (zh) 头戴式显示装置
CN115280217B (zh) 显示装置
US20240027722A1 (en) Flat-surfaced tunable optical lens
US20240393597A1 (en) Liquid crystal eyebox steering in waveguide based eyewear displays
EP4242725A1 (en) Display device
JP2024008216A (ja) 画像投影装置及び画像投影方法
WO2024203458A1 (ja) 画像表示装置、ヘッドマウントディスプレイ、プロジェクタおよび画像表示方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170724

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200714

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170724

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211030

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220426

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20211030

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220426

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20211228

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220726

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220721

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220426

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20211228

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221026

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221027

End annual number: 3

Start annual number: 1

PG1601 Publication of registration