[go: up one dir, main page]

KR102564478B1 - 3d 영상 렌더링 방법 및 장치 - Google Patents

3d 영상 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR102564478B1
KR102564478B1 KR1020160155689A KR20160155689A KR102564478B1 KR 102564478 B1 KR102564478 B1 KR 102564478B1 KR 1020160155689 A KR1020160155689 A KR 1020160155689A KR 20160155689 A KR20160155689 A KR 20160155689A KR 102564478 B1 KR102564478 B1 KR 102564478B1
Authority
KR
South Korea
Prior art keywords
optical
intersection point
pixel
viewpoint
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160155689A
Other languages
English (en)
Other versions
KR20180057263A (ko
Inventor
박주용
남동경
최규환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160155689A priority Critical patent/KR102564478B1/ko
Priority to US15/790,579 priority patent/US10521953B2/en
Priority to CN201711038281.XA priority patent/CN108090941B/zh
Priority to EP17202721.1A priority patent/EP3324621A1/en
Priority to JP2017224795A priority patent/JP7098307B2/ja
Publication of KR20180057263A publication Critical patent/KR20180057263A/ko
Priority to US16/727,031 priority patent/US11457194B2/en
Application granted granted Critical
Publication of KR102564478B1 publication Critical patent/KR102564478B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

3D 영상 렌더링 방법 및 장치가 개시된다. 일 실시예에 따른 3D 영상 렌더링 방법은 시청 영역의 후보 시점들에 관한 광학적 상들을 결정하고, 상기 광학적 상들에 기초하여 디스플레이 패널 상의 픽셀을 지나는 광선들을 결정하고, 광선들과 광학 레이어 사이의 교점들 및 상기 광학 레이어의 광학 성분들 사이의 거리들에 기초하여 픽셀에 픽셀 값을 할당하는 단계들을 포함한다.

Description

3D 영상 렌더링 방법 및 장치{METHOD AND APPARATUS FOR RENDERING 3D IMAGE}
아래 실시예들은 3D 영상 렌더링 방법 및 장치에 관한 것이다.
3D 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로는 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 원하는 영상을 필터링(Filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3D 변환 장치를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다. 무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 이러한 3D 영상은 거울 및 렌즈 등의 광학계를 통해 제공될 수도 있다. 이 경우, 광학계에 의해 빛의 방향이 변경되므로, 3D 영상 렌더링 시 빛의 방향 변화가 고려될 필요가 있다.
일 측에 따르면, 3D 영상 렌더링 장치는 시청 영역의 후보 시점들에 관한 광학적 상(optical image)들을 결정하는 단계; 상기 광학적 상들에 기초하여, 디스플레이 패널 상의 픽셀을 지나는 가상의 광선들을 결정하는 단계; 상기 가상의 광선들 및 광학 레이어 사이의 교점들을 결정하는 단계; 및 상기 교점들 및 상기 광학 레이어의 광학 성분들 사이의 거리들에 기초하여, 상기 픽셀에 픽셀 값을 할당하는 단계를 포함한다.
상기 광학적 상들을 결정하는 단계는 상기 후보 시점들에 광학적 변환(optical transform)을 적용하여 상기 광학적 상들을 결정하는 단계를 포함할 수 있다. 상기 광학적 변환은 오목 거울 혹은 볼록 렌즈의 광학적 특성에 기초하여 수행될 수 있다. 상기 가상의 광선들을 결정하는 단계는 상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률을 고려하여, 상기 가상의 광선들을 결정하는 단계를 포함할 수 있다. 상기 광학적 상들은 상기 디스플레이 패널의 후면 방향에 위치할 수 있다.
상기 교점들을 결정하는 단계는 상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률에 따른 상기 가상의 광선들의 입사각 및 굴절각을 고려하여 상기 교점들을 결정하는 단계를 포함할 수 있다. 상기 교점들을 결정하는 단계는 상기 광학적 상들의 좌표들 및 상기 픽셀의 좌표에 기초하여, 상기 광학적 상들 및 상기 픽셀 사이의 거리들을 계산하는 단계; 상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률에 기초하여, 상기 픽셀 및 상기 교점들 사이의 거리들을 계산하는 단계; 및 상기 광학적 상들 및 상기 픽셀 사이의 거리들, 및 상기 픽셀 및 상기 교점들 사이의 거리들에 기초하여, 상기 교점들의 좌표들을 결정하는 단계를 포함할 수 있다.
상기 픽셀 값을 할당하는 단계는 상기 교점들 중에 인접 광학 성분과의 거리가 가장 가까운 교점을 결정하는 단계; 및 상기 결정된 교점에 대응하는 시점의 픽셀 값을 상기 픽셀에 할당하는 단계를 포함할 수 있다. 상기 후보 시점들은 단일 사용자를 위한 좌측 시점 및 우측 시점을 포함하거나, 혹은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함할 수 있다.
상기 후보 시점들이 단일 사용자를 위한 좌측 시점 및 우측 시점을 포함함에 따라, 상기 가상의 광선들은 상기 좌측 시점에 조사되는 제1 가상의 광선 및 상기 우측 시점에 조사되는 제2 가상의 광선을 포함할 수 있고, 상기 픽셀 값을 할당하는 단계는 상기 제1 가상의 광선에 의한 제1 교점 및 상기 제1 교점에 인접한 광학 성분 사이의 거리, 및 상기 제2 가상의 광선에 의한 제2 교점 및 상기 제2 교점에 인접한 광학 성분 사이의 거리에 기초하여, 상기 픽셀에 상기 좌측 시점의 픽셀 값 또는 상기 우측 시점의 픽셀 값을 할당하는 단계를 포함할 수 있다. 상기 후보 시점들이 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함함에 따라, 상기 가상의 광선들은 상기 미리 정해진 수의 시점들에 조사되는 광선들을 포함할 수 있고, 상기 픽셀 값을 할당하는 단계는 상기 광선들 각각에 의한 교점 및 상기 교점에 인접한 광학 성분 사이의 거리에 기초하여, 상기 픽셀에 상기 미리 정해진 수의 시점들 중 어느 하나에 대응하는 픽셀 값을 할당하는 단계를 포함할 수 있다.
다른 일 측에 따르면, 3D 영상 렌더링 방법은 시청 영역의 후보 시점들에 관한 광학적 상(optical image)들을 결정하는 단계; 디스플레이 패널의 픽셀 및 광학 레이어의 광학 성분들을 지나는 광선들을 결정하는 단계; 및 상기 광선들의 방향 및 상기 광학적 상들의 위치를 비교하는 단계; 및 상기 비교 결과에 기초하여 상기 픽셀에 픽셀 값을 할당하는 단계를 포함한다.
상기 광학적 상들을 결정하는 단계는 상기 후보 시점들에 광학적 변환(optical transform)을 적용하여 상기 광학적 상들을 결정하는 단계를 포함할 수 있다. 상기 광선들을 결정하는 단계는 상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률을 고려하여, 상기 광선들을 결정하는 단계를 포함할 수 있다. 상기 광선들의 방향 및 상기 광학적 상들의 위치를 비교하는 단계는 상기 광선들의 굴절 방향에 기초하여 기준선들을 결정하는 단계; 및 상기 기준선들 및 상기 광학적 상들의 위치를 비교하는 단계를 포함할 수 있다. 상기 픽셀에 픽셀 값을 할당하는 단계는 상기 기준선들 및 상기 시청 영역의 교차점들을 결정하는 단계; 및 상기 교차점들 및 상기 광학적 상들의 거리들에 기초하여, 상기 픽셀에 상기 픽셀 값을 할당하는 단계를 포함할 수 있다.
일 측에 따르면, 3D 영상 렌더링 장치는 프로세서; 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 시청 영역의 후보 시점들에 관한 광학적 상(optical image)들을 결정하고, 상기 광학적 상들에 기초하여 디스플레이 패널 상의 픽셀을 지나는 광선들을 결정하고, 기 광선들 및 광학 레이어 사이의 교점들을 결정하고, 상기 교점들 및 상기 광학 레이어의 광학 성분들 사이의 거리들에 기초하여, 상기 픽셀에 픽셀 값을 할당할 수 있다.
도 1은 일 실시예에 따른 3D 영상 렌더링 시스템을 나타낸 도면.
도 2 및 도 3은 일 실시예에 따른 오목 거울을 이용한 3D 영상 렌더링 과정을 나타낸 도면.
도 4 및 도 5는 일 실시예에 따른 볼록 렌즈를 이용한 3D 영상 렌더링 과정을 나타낸 도면.
도 6은 일 실시예에 따른 광선의 방향을 계산하여 시점을 할당하는 과정을 나타낸 도면.
도 7은 다른 실시예에 따른 광선의 방향을 계산하여 시점을 할당하는 과정을 나타낸 도면.
도 8은 일 실시예에 따른 가상의 광선과 광학 레이어의 교점을 이용하여 시점을 할당하는 과정을 나타낸 도면.
도 9는 일 실시예에 따른 교점의 결정 과정을 나타낸 도면.
도 10은 일 실시예에 따른 3D 영상 렌더링 장치를 나타낸 블록도.
도 11은 일 실시예에 따른 3D 영상 렌더링 방법을 나타낸 동작 흐름도.
도 12는 다른 실시예에 따른 3D 영상 렌더링 방법을 나타낸 동작 흐름도.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 3D 영상 렌더링 시스템을 나타낸 도면이다. 도 1을 참조하면, 3D 영상 렌더링 시스템(100)은 3D 영상 렌더링 장치(110), 3D 디스플레이 장치(120) 및 반사 굴절 광학계(catadioptric system)(130)를 포함한다.
3D 디스플레이 장치(120)는 디스플레이 패널 및 광학 레이어를 포함할 수 있다. 광학 레이어는 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens) 및 방향성 백라이트 유닛(directional back light unit) 중 어느 하나일 수 있다. 디스플레이 패널은 복수의 픽셀들을 포함할 수 있고, 3D 영상 렌더링 장치(110)는 입력 영상에 기초하여 미리 정해진 수의 시점들에 대응하는 픽셀 값들을 복수의 픽셀들에 할당할 수 있다. 예를 들어, 3D 영상 렌더링 장치(110)는 제1 픽셀에는 제1 시점(141)에 대응하는 픽셀 값을 할당하고, 제2 픽셀에는 제2 시점(143)에 대응하는 픽셀 값을 할당할 수 있다. 아래에서 픽셀 값 할당의 대상이 되는 제1 시점(141) 및 제2 시점(143)은 후보 시점들로 지칭될 수 있다. 실시예에 따라, 후보 시점들은 단일 사용자를 위한 좌측 시점 및 우측 시점을 포함하거나, 혹은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함할 수 있다. 디스플레이 패널은 3D 영상 렌더링 장치(110)에 의해 할당된 픽셀 값들에 기초하여 패널 영상을 표시할 수 있다.
디스플레이 패널의 픽셀들에는 광원에 의한 빛이 제공될 수 있다. 예를 들어, 광원은 디스플레이 패널의 후면에 위치한 백라이트 유닛이거나, 혹은 광학 레이어의 일례인 방향성 백라이트 유닛일 수 있다. 픽셀들에 빛이 제공됨에 따라, 픽셀의 픽셀 값에 대응하는 빛이 사용자에게 보여질 수 있다. 이 때, 광학 레이어는 사용자에 의해 빛이 보여지는 방향을 제한할 수 있다. 구체적으로, 패럴렉스 배리어는 일정한 간격의 슬릿(slit)을 통해 빛을 제한된 방향으로 출력할 수 있고, 렌티큘러 렌즈는 렌즈의 굴곡을 통해 빛을 제한된 방향으로 출력할 수 있다. 또한, 방향성 백라이트 유닛은 디스플레이 패널에 제한된 방향의 빛을 제공할 수 있다.
예를 들어, 제1 시점(141)에 따른 픽셀 값이 할당된 픽셀에는 제1 시점(141) 방향의 빛이 제공될 수 있고, 제2 시점(143)에 따른 픽셀 값이 할당된 픽셀에는 제2 시점(143) 방향의 빛이 제공될 수 있다. 시청 영역(140)에 위치한 사용자는 제1 시점(141)을 통해 제1 시점(141)에 대응하는 영상을 시청하고, 제2 시점(143)을 통해 제2 시점(143)에 대응하는 영상을 시청할 수 있다. 제1 시점(141)이 오른쪽 눈에 대응하고, 제2 시점(143)이 왼쪽 눈에 대응하는 경우, 사용자는 양쪽 눈을 통해 서로 다른 영상을 시청함으로써 입체감을 느낄 수 있다.
3D 디스플레이 장치(120)를 통해 출력된 영상은 반사 굴절 광학계(130)를 통해 사용자에게 제공될 수 있다. 반사 굴절 광학계(130)는 반사 광학계에 해당하는 거울, 혹은 굴절 광학계에 해당하는 렌즈를 포함할 수 있다. 실시예에 따라, 3D 디스플레이 장치(120)는 소형 스크린을 통해 구현될 수 있고, 반사 굴절 광학계(130)는 3D 디스플레이 장치(120)에 출력된 영상을 확대할 수 있다. 예를 들어, 3D 디스플레이 장치(120) 및 반사 굴절 광학계(130)는 헤드 업 디스플레이(head up display: HUD)의 일부로 구현될 수 있다. 이 경우, 반사 굴절 광학계(130)는 오목 거울, 혹은 볼록 렌즈를 포함할 수 있으며, 오목 거울은 반투명한 성질을 가질 수 있다.
3D 영상 렌더링 장치(110)는 디스플레이 패널의 픽셀에 픽셀 값을 할당하기 위해 해당 픽셀을 지나는 빛의 경로를 파악할 수 있다. 아래에서, 디스플레이 패널의 픽셀들을 지나는 빛은 광선으로 지칭될 수 있다. 예를 들어, 제1 픽셀을 지나는 광선이 제1 시점(141)에 제공되는 경우, 3D 영상 렌더링 장치(110)는 제1 픽셀에 제1 시점(141)에 대응하는 픽셀 값을 할당할 수 있다.
3D 영상 렌더링 장치(110)는 디스플레이 장치(120)의 굴절률을 고려할 수 있다. 디스플레이 패널 및 광학 레이어 사이의 매질의 제1 굴절률 및 3D 디스플레이 장치(120) 외부의 매질의 제2 굴절률은 상이할 수 있다. 예를 들어, 디스플레이 패널 및 광학 레이어 사이에는 디스플레이 패널 및 광학 레이어를 서로 부착시키는 매질이 채워질 수 있고, 3D 디스플레이 장치(120)의 외부에는 공기가 존재할 수 있다. 이 경우, 제1 굴절률은 디스플레이 패널과 광학 레이어 사이에 존재하는 매질에 의해 정해질 수 있고, 제2 굴절률은 공기의 굴절률인 '1'로 정해질 수 있다. 3D 영상 렌더링 장치(110)는 이러한 굴절률 차이에 따른 광선의 굴절을 고려하여 광선의 경로를 결정할 수 있다.
디스플레이 패널과 광학 레이어 사이의 매질의 굴절률은 디스플레이 패널의 굴절률 및/또는 광학 레이어의 굴절률과 유사할 수 있다. 또한, 디스플레이 패널의 두께 및/또는 광학 레이어의 두께는 디스플레이 패널과 광학 레이어 사이의 거리에 비하여 매우 작을 수 있다. 이로 인하여, 일 실시예에 따르면, 빛의 굴절을 고려할 때 디스플레이 패널(121)의 굴절률 및/또는 광학 레이어(123)의 굴절률은 무시될 수 있다. 다른 실시예에 따르면, 디스플레이 패널과 광학 레이어 사이의 매질의 굴절률은 디스플레이 패널의 굴절률 및/또는 광학 레이어(123)의 굴절률을 함께 고려한 굴절률들의 대표 값일 수 있다.
스넬의 법칙에 따르면, 빛이 굴절률이 서로 다른 매질들의 경계를 통과할 때, 입사각의 사인 값과 반사각의 사인 값은 매질들의 굴절률에 따라 결정된다. 일반적으로 패럴렉스 배리어나 렌티큘러 렌즈의 두께, 및 매질들의 굴절률에 따른 근사치를 이용하여 광선의 방향이 예측될 수 있다. 그러나, 이러한 근사치는 사인 값의 비율이 아닌, 탄젠트 값의 비율이 굴절률의 비율에 반비례하는 연산에 근거하기 때문에, 사인 값이 탄젠트 값으로 근사화될 수 없는 경우 오차가 발생할 수 있다.
예를 들어, 노멀 방향과 굴절된 방향의 차이가 작은 경우에는 근사치에 따른 오차가 작지만, 노멀 방향과 굴절된 방향의 차이가 큰 경우에는 근사치와 실제 굴절된 방향의 차이가 커져서, 3D 영상에서 아티팩트(artifact)가 관찰될 수 있다. 이러한 근사치에 의한 아티팩트는 3D 디스플레이 장치(120)의 크기가 커질수록 증가할 수 있다. 3D 영상 렌더링 장치(110)는 굴절률에 따른 연산을 디스플레이 패널의 모든 픽셀에 개별적으로 적용함으로써, 아티팩트의 발생을 최소화할 수 있다.
3D 디스플레이 장치(120)에서 출력된 광선의 경로는 반사 굴절 광학계(130)에 의해 변경될 수 있다. 예를 들어, 반사 굴절 광학계(130)는 객체를 확대하는 방향으로 광선의 경로를 변경시킬 수 있다. 3D 영상 렌더링 장치(110)는 광선에 대한 반사 굴절 광학계(130)의 영향을 고려하여 픽셀 값을 할당할 수 있다. 3D 디스플레이 장치(120)에서 출력된 영상의 광학적 상(optical image) 및 실제 시점들(141, 143)을 이용하여 픽셀 값을 할당하기 위해서는 복잡한 연산이 요구된다. 3D 영상 렌더링 장치(110)는 실제 시점들(141, 143)에 관한 광학적 상들을 결정하고, 실제 시점들(141, 143)의 광학적 상과 3D 디스플레이 장치(120) 사이의 위치 관계를 이용하여 픽셀 값을 할당할 수 있다. 이를 통해, 비교적 적은 연산량으로 광선에 대한 반사 굴절 광학계(130)의 영향이 반영될 수 있다.
광선들의 방향이 결정된 경우, 3D 영상 렌더링 장치(110)는 디스플레이 패널의 픽셀들에 픽셀 값들을 할당할 수 있다. 일 실시예에 따르면, 3D 영상 렌더링 장치(110)는 광선들의 방향과 시점들(141, 143)에 대응하는 광학적 상들의 위치를 비교하여, 픽셀에 대응하는 시점을 직접적으로 결정할 수 있다. 아래에서 상세하게 설명하겠으나, 시점들(141, 143)에 대응하는 광학적 상들은 3D 디스플레이 장치(120)의 후면 방향에 위치할 수 있다. 3D 영상 렌더링 장치(110)는 광선들을 3D 디스플레이 장치(120)의 후면 방향으로 연장함으로써 시점들(141, 143)에 대응하는 광학적 상들 중 어느 상에 더 가까운지 여부를 판단할 수 있다. 예를 들어, 3D 디스플레이 장치(120)의 후면 방향으로 연장된 제1 광선이 제1 시점(141)에 대응하는 광학적 상 근처로 향하는 경우, 3D 영상 렌더링 장치(110)는 제1 광선을 출력하는 픽셀에 제1 시점(141)에 대응하는 픽셀 값을 할당할 수 있다.
다른 실시예에 따르면, 3D 영상 렌더링 장치(110)는 시점들(141, 143)을 기준으로 하는 가상의 광선과 광학 성분(optical element) 사이의 거리에 기초하여 픽셀에 대응하는 시점을 간접적으로 결정할 수도 있다. 광학 성분은 패럴렉스 배리어의 슬릿이나 렌티큘러 렌즈의 굴곡과 같이 제한된 방향의 빛을 통과시키는 성분을 지칭할 수 있다. 예를 들어, 3D 영상 렌더링 장치(110)는 특정 픽셀과 시점(141)을 지나는 제1 가상의 광선 및 해당 픽셀과 시점(143)을 지나는 제2 가상의 광선을 결정할 수 있다. 3D 영상 렌더링 장치(110)는 제1 가상의 광선 및 제1 가상의 광선에 인접한 광학 성분 사이의 거리가, 제2 가상의 광선 및 제2 가상의 광선에 인접한 광학 성분 사이의 거리보다 가까운 경우, 해당 픽셀에 시점(141)의 픽셀 값을 할당할 수 있다.
도 2 및 도 3은 일 실시예에 따른 오목 거울을 이용한 3D 영상 렌더링 과정을 나타낸 도면이다. 도 2를 참조하면, 3D 디스플레이 장치에 의해 객체(210)가 출력될 수 있다. 따라서, 객체(210)의 위치는 3D 디스플레이 장치의 위치에 대응될 수 있다. 객체(210)에 광학적 변환(optical transform)을 적용하여 객체(210)의 광학적 상(230)이 결정될 수 있다. 객체(210)가 오목 거울(220)의 초점(f) 안에 위치하므로, 광학적 상(230)은 확대된 정립 허상일 수 있다. 광학적 변환은 초점(f) 및 굴곡 등을 포함하는 오목 거울(220)의 광학적 특성에 기초하여 수행될 수 있다. 도 2 및 도 3에는 하나의 오목 거울이 도시되어 있으나, 하나의 오목 거울 대신 해당 오목 거울과 유사한 광학적 효과를 발생시키는 다양한 광학계들이 이용될 수 있다.
사용자는 시점(240)에서 광학적 상(230)을 관찰할 수 있다. 3D 디스플레이 장치는 화살표(215) 방향으로 객체(210)에 관한 영상을 출력하지만, 사용자는 화살표(235) 방향으로 광학적 상(230)을 관찰하게 된다. 따라서, 디스플레이 패널의 픽셀에 대응하는 시점을 결정함에 있어서 오목 거울(220)에 의한 영향이 고려되어야 한다. 이 때, 3D 영상 렌더링 장치는 디스플레이 패널의 모든 픽셀에 관해 오목 거울(220)에 의한 영향을 고려하는 대신, 시점(240)에 광학적 변환을 적용하고, 광학적 변환이 적용된 시점(도 3의 320 참조) 및 객체(210)의 관계에서 디스플레이 패널에 픽셀을 할당할 수 있다.
도 3을 참조하면, 시점(310)에 관한 광학적 상(320)이 도시되어 있다. 3D 영상 렌더링 장치는 별도의 카메라 등을 통한 시점 추적 기법을 이용하여 시점(310)의 위치를 결정할 수 있고, 시점(310)의 위치에 광학적 변환을 적용하여 광학적 상(320)의 위치를 결정할 수 있다. 광학적 상(320)은, 광학적 상(350)과 유사하게, 오목 거울(340)의 광학적 특성에 따른 광학적 변환을 통해 결정된다. 따라서, 시점(310) 및 광학적 상(350) 사이의 광학적 관계와, 광학적 상(320) 및 객체(330) 사이의 광학적 관계는 서로 대응될 수 있다. 3D 영상 렌더링 장치는 시점(310) 및 광학적 상(350) 대신, 광학적 상(320) 및 객체(330)를 이용하여 디스플레이 패널의 픽셀에 픽셀을 할당할 수 있다. 이 경우, 3D 영상 렌더링 장치는 디스플레이 패널의 픽셀들에 관해 광학적 변환을 적용하지 않고, 광학적 상(320)을 이용하여 디스플레이 패널의 픽셀에 대응하는 시점을 결정할 수 있다. 따라서, 오목 거울(340)의 영향을 고려함에 있어서, 연산량이 감소될 수 있다.
도 4 및 도 5는 일 실시예에 따른 볼록 렌즈를 이용한 3D 영상 렌더링 과정을 나타낸 도면이다. 도 4를 참조하면, 3D 디스플레이 장치에 의해 객체(410)가 출력될 수 있다. 따라서, 객체(410)의 위치는 3D 디스플레이 장치의 위치에 대응될 수 있다. 객체(410)에 광학적 변환을 적용하여 객체(410)의 광학적 상(430)이 결정될 수 있다. 광학적 변환은 초점(f) 및 굴곡 등을 포함하는 볼록 렌즈(420)의 광학적 특성에 기초하여 수행될 수 있다. 도 4 및 도 5에는 하나의 볼록 렌즈가 도시되어 있으나, 하나의 볼록 렌즈 대신 해당 볼록 렌즈와 유사한 광학적 효과를 발생시키는 다양한 광학계들이 이용될 수 있다.
도 2 및 도 3을 통해 설명된 실시예와 유사하게, 3D 영상 렌더링 장치는 디스플레이 패널의 모든 픽셀에 관해 볼록 렌즈(420)에 의한 영향을 고려하는 대신, 시점(440)의 광학적 상(450) 및 객체(410)의 관계에서 디스플레이 패널에 픽셀을 할당할 수 있다. 볼록 렌즈(420)의 경우 광학적 상(430)이 디스플레이 패널의 뒤에 맺힐 수 있다. 이 경우, 사용자가 광학적 상(430)을 관찰하기 어려운 위치에 존재할 수 있다. 따라서, 사용자가 광학적 상(430)을 관찰할 수 있도록 추가적인 광학계가 이용될 수 있다.
도 5를 참조하면, 3D 디스플레이 장치에 출력된 객체(510), 볼록 렌즈(520), 광학적 상(530), 평면 거울(540) 및 사용자의 시점(550)이 도시되어 있다. 평면 거울(540)은 사용자가 광학적 상(530)을 관찰할 수 있도록 광학적 상(530)에 의한 광선을 반사시킬 수 있다. 따라서, 사용자는 적절한 위치에서 광학적 상(530)을 관찰할 수 있다. 예를 들어, 도 5에 도시된 시스템은 HUD의 일부로 구현될 수 있고, 화살표(555)는 차량의 전방을 가리킬 수 있다. 이 경우, 거울(540)은 반투명한 성질을 가질 수 있다. 따라서, 사용자는 차량의 전방을 주시하면서 광학적 상(530)을 관찰할 수 있다.
도 6 일 실시예에 따른 광선의 방향을 계산하여 시점을 할당하는 과정을 나타낸 도면이다. 도 6을 참조하면, 디스플레이 패널(640)의 픽셀들 및 광학 레이어(630)의 광학 성분들을 지나는 광선들이 도시되어 있다. 도 6은 광학 레이어(630)가 디스플레이 패널(640)의 후면에 위치하는 실시예를 나타낸다. 광학 레이어(630)는 디스플레이 패널(640)의 후면에 위치하므로 방향성 백라이트일 수 있다.
3D 영상 렌더링 장치는 디스플레이 패널(640)의 픽셀 및 광학 레이어의 광학 성분들을 지나는 광선들을 결정하고, 광선들의 방향 및 광학적 상들(615, 625)의 위치에 기초하여, 디스플레이 패널(640)의 픽셀들에 대응하는 시점들을 결정할 수 있다. 광학적 상들(615, 625)은 후보 시점들에 관한 광학적 변환에 의해 결정될 수 있다. 예를 들어, 광학적 상(615)은 제1 시점에 관한 광학적 변환에 의해 결정될 수 있고, 광학적 상(625)은 제2 시점에 관한 광학적 변환에 의해 결정될 수 있다. 광학적 상들(615, 625)은 광학 레이어(630) 및 디스플레이 패널(640)의 후면 방향에 위치할 수 있다. 미리 정해진 크기의 시청 영역들(610, 620)은 광학적 상들(615, 625)을 포함할 수 있다. 시청 영역들(610, 620)은 광학적 상들(615, 625)의 위치에 기초하여 정의될 수 있다.
3D 영상 렌더링 장치는 기준선들에 기초하여 광선들의 방향 및 광학적 상들(615, 625)의 위치를 비교할 수 있다. 기준선들은 광선들의 굴절 방향에 기초하여 결정될 수 있다. 예를 들어, 3D 영상 렌더링 장치는 픽셀들(661, 663, 665)을 지나는 광선들에 기초하여 기준선들(651, 653, 655)을 결정할 수 있다. 상술된 것처럼, 광학 레이어(630)와 디스플레이 패널(640) 사이의 매질의 굴절률, 및 3D 디스플레이 장치 외부의 매질의 굴절률이 상이하므로, 광선들은 디스플레이 패널(640)을 지나갈 때 굴절률이 큰 매질의 방향으로 굴절될 수 있다. 광선의 굴절 방향이란 광선이 굴절된 이후에 진행하는 방향을 의미할 수 있다. 화살표(10)는 광선의 굴절 방향을 나타내고, 화살표(20)는 광선의 굴절 방향의 반대 방향을 나타낸다. 기준선은 광선의 굴절 방향의 반대 방향으로 진행하는 선으로 결정될 수 있다.
3D 영상 렌더링 장치는 기준선들(651, 653, 655) 및 광학적 상들(615, 625)의 위치를 비교할 수 있다. 일 실시예에 따르면, 3D 영상 렌더링 장치는 위치하는 시청 영역(610, 620)들에 기초하여 기준선들(651, 653, 655) 및 광학적 상들(615, 625)의 위치를 비교할 수 있다. 보다 구체적으로, 기준선(651)은 시청 영역(610)과 교차하고, 기준선들(653)은 시청 영역(620)을 지난다. 따라서, 3D 영상 렌더링 장치는 기준선(653)에 대응하는 픽셀(663)에 광학적 상(615)에 대응하는 시점의 픽셀 값을 할당하고, 기준선들(651,655)에 대응하는 픽셀들(661, 665)에 광학적 상(625)에 대응하는 시점의 픽셀 값을 할당할 수 있다.
실시예에 따라, 하나의 픽셀에 의한 광선들 중에 둘 이상의 광선들이 시청 영역들(610, 620)을 지날 수 있다. 이 경우, 3D 영상 렌더링 장치는 미리 정해진 조건에 따라 시청 영역들(610, 620)을 지나는 둘 이상의 후보 광선들 중에 어느 하나의 후보 광선을 선택할 수 있다. 일 실시예에 따르면, 3D 영상 렌더링 장치는 시청 영역들(610, 620)을 지나는 둘 이상의 광선들 중에 시청 영역들(610, 620)의 중심에 가까운 하나의 광선을 선택할 수 있다. 시청 영역들(610, 620)의 중심은 시청 영역(610)과 시청 영역(620)의 경계에 존재할 수 있다.
다른 실시예에 따르면, 3D 영상 렌더링 장치는 시청 영역들(610, 620)을 지나는 둘 이상의 광선들 중에 시청 영역들(610, 620) 각각의 중심에 가까운 하나의 광선을 선택할 수 있다. 예를 들어, 제1 픽셀을 지나는 제1 광선이 시청 영역(610)의 중심을 지나고, 제1 픽셀을 지나는 제2 광선이 시청 영역(620)을 지나지만 시청 영역(620)의 중심을 벗어난 경우, 3D 영상 렌더링 장치는 제1 광선을 선택할 수 있다.
또한, 실시예에 따라, 제2 픽셀에 의한 광선 모두가 시청 영역들(610, 620)을 지나지 않을 수 있다. 이 경우, 3D 영상 렌더링 장치는 미리 정해진 조건에 따라 제2 픽셀에 픽셀 값을 할당할 수 있다. 일 실시예에 따르면, 3D 영상 렌더링 장치는 미리 정해진 범위에서 가장 작은 픽셀 값을 제2 픽셀에 할당할 수 있다. 예를 들어, 픽셀 값의 범위는 0 내지 255일 수 있다. 만약, 제2 픽셀에 의한 광선 모두가 시청 영역들(610, 620)을 지나지 않는 경우, 3D 영상 렌더링 장치는 제2 픽셀에 0의 픽셀 값을 할당할 수 있다.
다른 실시예에 따르면, 3D 영상 렌더링 장치는 시청 영역들(610, 620)의 시점들 중에 제2 픽셀에 의한 광선들에 가장 가까운 시청 영역의 시점을 제2 픽셀에 할당할 수 있다. 예를 들어, 제2 픽셀에 의한 제1 광선 및 제2 광선 모두가 시청 영역(610)을 지나지는 않으나, 제1 광선과 시청 영역(610)의 거리가 제2 광선과 시청 영역(620)의 거리보다 가까운 경우, 3D 영상 렌더링 장치는 시청 영역(610)에 대응하는 시점의 픽셀 값을 제2 픽셀에 할당할 수 있다.
광학적 상들(615, 625)은 좌측 시점 및 우측 시점에 대응될 수 있다. 도 6에서는 후보 시점들이 단일 사용자를 위한 두 개의 시점을 포함하는 실시예를 설명하였으나 실시예에 따라 후보 시점들은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함할 수 있다. 후보 시점들이 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함함에 따라, 3D 영상 렌더링 장치는 디스플레이 패널의 픽셀 및 광학 레이어의 광학 성분들을 지나는 광선들을 결정하고, 광선들의 방향 및 미리 정해진 수의 시점들에 대응하는 광학적 상들의 위치들에 기초하여 픽셀에 픽셀 값을 할당할 수 있다. 미리 정해진 수의 시점들은 사용자의 눈과 달리 고정된 위치들에 존재할 수 있으며, 미리 정해진 수의 시점들의 위치들 각각은 미리 정해진 대표 위치에 의해 특정될 수 있다. 3D 영상 렌더링 장치는 대표 위치들에 기초하여 미리 정해진 수의 시점들에 관한 광학적 상들을 결정할 수 있다.
도 7은 다른 실시예에 따른 광선의 방향을 계산하여 시점을 할당하는 과정을 나타낸 도면이다. 도 7을 참조하면, 광학 레이어(730)의 광학 성분들 및 디스플레이 패널(740)의 픽셀들을 지나는 광선들이 도시되어 있다. 도 7은 광학 레이어(740)가 디스플레이 패널(730)의 전면에 위치하는 실시예를 나타낸다. 광학 레이어(740)는 디스플레이 패널(730)의 전면에 위치하므로 패럴렉스 배리어 또는 렌티큘러 렌즈일 수 있다.
광학 레이어가 디스플레이 패널의 전면에 위치하는 경우에도, 3D 영상 렌더링 장치는 광학 레이어가 디스플레이 패널의 후면에 위치하는 경우와 유사한 방식에 따라 시점을 할당할 수 있다. 구체적으로, 3D 영상 렌더링 장치는 광선들의 굴절 방향에 기초하여 기준선들(751, 753, 755)을 결정하고, 기준선들(751, 753, 755) 및 광학적 상들(715, 725)의 위치에 기초하여 디스플레이 패널(730)의 픽셀들에 시점을 할당할 수 있다. 기준선(755)은 시청 영역(710)과 교차하고, 기준선들(751, 753)은 시청 영역(720)과 교차한다. 따라서, 3D 영상 렌더링 장치는 기준선(755)에 대응하는 픽셀(765)에 광학적 상(715)에 대응하는 시점의 픽셀 값을 할당하고, 기준선들(751, 753)에 대응하는 픽셀들(761, 763)에 광학적 상(725)에 대응하는 시점의 픽셀 값을 할당할 수 있다.
도 8은 일 실시예에 따른 가상의 광선과 광학 레이어의 교점을 이용하여 시점을 할당하는 과정을 나타낸 도면이다. 도 8을 참조하면, 디스플레이 패널(830)의 픽셀(835) 및 광학 레이어(840)를 지나는 가상의 광선들(851, 853)이 도시되어 있다.
3D 영상 렌더링 장치는 광학적 상들(810, 820)을 기준으로 하는 가상의 광선들(851, 853)과 광학 성분 사이의 거리에 기초하여 픽셀에 대응하는 시점을 간접적으로 결정할 수 있다. 픽셀을 통과하는 실제 광선의 경로는 광학 성분의 중심을 통과하지만, 3D 영상 렌더링 장치는 특정한 서브픽셀과 특정한 후보 시역을 지나는 가상의 후보 광선을 이용할 수 있다.
보다 구체적으로, 3D 영상 렌더링 장치는 후보 시점들에 기초하여 광학적 상들(810, 820)을 결정하고, 광학적 상들(810, 820)에 기초하여 가상의 광선들(851, 853)을 결정할 수 있다. 3D 영상 렌더링 장치는 가상의 광선들(851, 853)의 굴절 방향의 반대 방향에 광학적 상들(810, 820)이 위치하도록, 가상의 광선들(851, 853)을 결정할 수 있다. 3D 영상 렌더링 장치는 가상의 광선들(851, 853)을 결정하기 위해, 가상의 광선들(851, 853)이 굴절된 방향의 반대 방향으로 진행하는 기준선들(855, 857)을 이용할 수 있다. 보다 구체적으로, 3D 영상 렌더링 장치는 기준선들(855, 857)과 광학적 상들(810, 820)이 교차하도록, 가상의 광선들(851, 853)을 결정할 수 있다. 3D 영상 렌더링 장치는 디스플레이 패널(830) 및 광학 레이어(840) 사이의 매질의 제1 굴절률, 및 디스플레이 패널(830) 및 광학 레이어(840)을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률을 고려하여 가상의 광선들(851, 853)을 결정할 수 있다.
가상의 광선들(851, 853)이 결정되면, 3D 영상 렌더링 장치는 가상의 광선들(851, 853) 및 광학 레이어(840) 사이의 교점들(841, 843)을 결정할 수 있다. 3D 영상 렌더링 장치는 제1 굴절률 및 상기 제2 굴절률에 따른 가상의 광선들(851, 853)의 입사각 및 굴절각을 고려하여 교점들(841, 843)을 결정할 수 있다. 교점들(841, 843)을 결정하는 구체적인 과정은 도 9를 참조하여 후술한다.
교점들(841, 843)이 결정되면, 3D 영상 렌더링 장치는 교점들(841, 843) 및 광학 레이어(840)의 광학 성분들(845, 847) 사이의 거리들(D1, D2)에 기초하여, 픽셀(835)에 대응하는 시점을 결정할 수 있다. 3D 영상 렌더링 장치는 교점들(843, 845) 중에 인접 광학 성분과의 거리가 가장 가까운 교점을 결정하고, 결정된 교점에 대응하는 시점의 픽셀 값을 픽셀(835)에 할당할 수 있다. 여기서, 인접 광학 성분이란 광학 레이어(840)의 광학 성분들 중에 교점에 가장 가까운 광학 성분을 의미한다. 예를 들어, 광학 성분(845)이 교점(841)의 인접 광학 성분에 해당하고, 광학 성분(847)이 교점(843)의 인접 광학 성분에 해당한다. 교점(841)과 광학 성분(845) 사이의 거리(D1)가, 교점(843)과 광학 성분(847) 사이의 거리(D2)보다 가까운 경우, 3D 영상 렌더링 장치는 픽셀(835)에 광학적 상(810)에 대응하는 시점의 픽셀 값을 할당할 수 있다. 픽셀(835)이 가상의 광선(853) 주변의 실제 광선보다는 가상의 광선(853) 주변의 실제 광선에 의해 관찰될 가능성이 높기 때문이다.
광학적 상들(810, 820)은 좌측 시점 및 우측 시점에 대응될 수 있다. 도 8에서는 후보 시점들이 단일 사용자를 위한 두 개의 시점을 포함하는 실시예를 설명하였으나 실시예에 따라 후보 시점들은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함할 수 있다. 후보 시점들이 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함함에 따라, 3D 영상 렌더링 장치는 미리 정해진 수의 시점들에 조사되는 가상의 광선들을 결정할 수 있고, 결정된 가상의 광선들 각각에 의한 교점 및 교점에 인접한 광학 성분 사이의 거리에 기초하여, 픽셀에 상기 미리 정해진 수의 시점들 중 어느 하나에 대응하는 픽셀 값을 할당할 수 있다. 미리 정해진 수의 시점들은 사용자의 눈과 달리 고정된 위치들에 존재할 수 있으며, 미리 정해진 수의 시점들의 위치들 각각은 미리 정해진 대표 위치에 의해 특정될 수 있다. 3D 영상 렌더링 장치는 대표 위치들에 기초하여 미리 정해진 수의 시점들에 관한 광학적 상들을 결정할 수 있다.
도 9는 일 실시예에 따른 교점의 결정 과정을 나타낸 도면이다. 도 9를 참조하면, r-z 평면 상의 광학적 상(E), 픽셀(P) 및 교점(B)이 도시되어 있다. r축은 광학적 상(E)와 픽셀(P)를 잇는 직선을 x-y 평면으로 투영한 직선에 해당하는 축으로 정의한다.
상술된 것처럼, 3D 영상 렌더링 장치는 광학적 상(E)에 기초하여, 픽셀(P) 및 광학 레이어를 지나는 가상의 광선을 결정하고, 가상의 광선과 광학 레이어의 교점(B)을 결정할 수 있다. 광학적 상(E)의 위치는 (xe, ye, ze)로 나타낼 수 있고, 픽셀(P)의 위치는 (xp, yp, zp)로 나타낼 수 있다. 이 때, r축 상에서 광학적 상(E)과 픽셀(P) 사이의 거리(rr)는 수학식 1과 같이 나타낼 수 있다.
또한, 스넬의 법칙에 따라 수학식 2가 성립한다.
여기서, ni는 디스플레이 장치와 광학 레이어 사이의 굴절률을 나타내고, nr은 3D 디스플레이 장치 외부의 굴절률을 나타내고, θi는 입사각을 나타내고, θr는 굴절각을 나타낸다. 수학식 2에 따라 수학식 3을 얻을 수 있고, 수학식 3을 전개하여 수학식 4를 얻을 수 있다.
여기서, ri는 r축 상에서 픽셀(P)과 교점(B) 사이의 거리를 나타내고, dr은 z축 상에서 광학적 상(E)과 교점(B) 사이의 거리를 나타내고, di는 z축 상에서 픽셀(P)과 교점(B) 사이의 거리를 나타낸다. 수학식 4를 정리하면, 수학식 5를 얻을 수 있다.
여기서, 계수들은 다음과 같이 나타낼 수 있다.
수학식 5를 풀면 4개의 해를 얻을 수 있다. 3D 영상 렌더링 장치는 이 중에 가장 작은 양수 해를 최종적인 해로 결정할 수 있다. 한편, x-y의 2차원 평면 상에서, 광학적 상(E)이 투영된 점, 픽셀(P)이 투영된 점 및 교점(B)이 투영된 점은 직선을 이루므로, 교점(B)의 x 좌표 및 y 좌표를 다음과 같이 구할 수 있다.
3D 영상 렌더링 장치는 수학식 1을 통해 구한 rr, 수학식 5를 통해 구한 ri의 최종적인 해, 광학적 상(E)의 좌표, 픽셀(P)의 좌표를 수학식 6 및 수학식 7에 대입함으로써, 교점(B)의 x 좌표 및 y 좌표를 구할 수 있다. 교점(B)의 z 좌표는 픽셀(P)의 z 좌표 및, 디스플레이 패널과 광학 레이어 사이의 거리를 통해 구할 수 있다.
도 10은 일 실시예에 따른 3D 영상 렌더링 장치를 나타낸 블록도이다. 도 10을 참조하면, 3D 영상 렌더링 장치는 프로세서(1010), 센서(1020) 및 메모리(1030)를 포함한다. 프로세서(1010), 센서(1020) 및 메모리(1030)는 버스(1040)를 통하여 서로 통신할 수 있다.
센서(1020)는 사용자의 눈을 검출하거나, 추적할 수 있다. 센서(1020)는 이미지 센서, 근접 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 센서(1020)는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 사용자의 눈을 검출 또는 추적할 수 있다. 센서(1020)는 촬영된 컬러 영상, 깊이 영상 및 적외선 영상 중 적어도 하나를 프로세서(1010) 및 메모리(1030) 중 적어도 하나로 전달할 수 있다.
프로세서(1010)는 상술한 적어도 하나의 장치들을 포함하거나, 상술한 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(1010)는 상술된 3D 영상 렌더링에 관한 동작을 처리할 수 있다. 보다 구체적으로, 프로세서(1010)는 시청 영역의 후보 시점들에 관한 광학적 상들을 결정하고, 광학적 상들에 기초하여, 디스플레이 패널 상의 픽셀을 지나는 가상의 광선들을 결정하고, 가상의 광선들 및 광학 레이어 사이의 교점들을 결정하고, 교점들 및 광학 레이어의 광학 성분들 사이의 거리들에 기초하여, 픽셀에 픽셀 값을 할당할 수 있다. 혹은, 프로세서(1010)는 시청 영역의 후보 시점들에 관한 광학적 상들을 결정하고, 디스플레이 패널의 픽셀 및 광학 레이어의 광학 성분들을 지나는 광선들을 결정하고, 광선들의 방향 및 광학적 상들의 위치를 비교하고, 비교 결과에 기초하여 픽셀에 픽셀 값을 할당할 수 있다.
메모리(1030)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(1030)에 저장된 명령어들이 프로세서(1010)에서 실행되면, 프로세서(1010)는 3D 영상 렌더링에 관한 동작을 처리할 수 있다. 또한, 메모리(1030)는 상술된 3D 영상 렌더링에 관한 데이터들을 저장할 수 있다.
프로세서(1010)는 명령어들이나 프로그램들을 실행하거나, 3D 영상 렌더링 장치를 제어할 수 있다. 3D 영상 렌더링 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 3D 영상 렌더링 장치는 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등의 적어도 일부로 구현될 수 있다. 또한, 3D 영상 렌더링 장치는 HUD의 일부로 구현될 수 있다. 그 밖에, 3D 영상 렌더링 장치에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
도 11은 일 실시예에 따른 3D 영상 렌더링 방법을 나타낸 동작 흐름도이다. 도 11을 참조하면, 단계(1110)에서, 3D 영상 렌더링 장치는 시청 영역의 후보 시점들에 관한 광학적 상들을 결정한다. 단계(1120)에서, 3D 영상 렌더링 장치는 광학적 상들에 기초하여 디스플레이 패널 상의 픽셀을 지나는 후보 광선들을 결정한다. 단계(1130)에서, 3D 영상 렌더링 장치는 후보 광선들 및 광학 레이어 사이의 교점들을 결정한다. 단계(1140)에서, 3D 영상 렌더링 장치는 교점들 및 광학 레이어의 광학 성분들 사이의 거리에 기초하여 픽셀에 픽셀 값을 할당한다. 그 밖에, 3D 영상 렌더링 방법에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
도 12는 다른 실시예에 따른 3D 영상 렌더링 방법을 나타낸 동작 흐름도이다. 단계(1210)에서, 3D 영상 렌더링 장치는 시청 영역의 후보 시점들에 관한 광학적 상들을 결정한다. 단계(1220)에서, 3D 영상 렌더링 장치는 디스플레이 패널의 픽셀 및 광학 레이어의 광학 성분들을 지나는 후보 광선들을 결정한다. 단계(1230)에서, 3D 영상 렌더링 장치는 후보 광선들의 방향 및 광학적 상들의 위치를 비교한다. 단계(1240)에서, 3D 영상 렌더링 장치는 비교 결과에 기초하여 픽셀에 픽셀 값을 할당한다. 그 밖에, 3D 영상 렌더링 방법에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 시청 영역의 제1 후보 시점 및 제2 후보 시점을 획득하는 단계;
    상기 제1 후보 시점 및 상기 제2 후보 시점에 광학적 변환(optical transform)을 적용하여 제1 광학적 상(optical transform) 및 제2 광학적 상을 결정하는 단계;
    상기 제1 광학적 상 및 상기 제2 광학적 상에 기초하여, 디스플레이 패널 상의 픽셀을 지나는 제1 가상의 광선 및 제2 가상의 광선을 결정하는 단계;
    상기 제1 가상의 광선 및 광학 레이어 사이의 제1 교점 및 상기 제2 가상의 광선 및 상기 광학 레이어 사이의 제2 교점을 결정하는 단계; 및
    상기 제1 교점 및 상기 광학 레이어의 제1 광학 성분 사이의 제1 거리 및 상기 제2 교점 및 상기 광학 레이어의 제2 광학 성분 사이의 제2 거리에 기초하여, 상기 픽셀에 픽셀 값을 할당하는 단계
    를 포함하고,
    상기 광학 레이어는 패럴렉스 배리어 또는 렌티큘러 렌즈에 해당하고,
    상기 디스플레이 패널은 상기 시청 영역 및 상기 광학 레이어 사이에 위치하는,
    3D 영상 렌더링 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 광학적 변환은 오목 거울 혹은 볼록 렌즈의 광학적 특성에 기초하여 수행되는, 3D 영상 렌더링 방법.
  4. 제1항에 있어서,
    상기 제1 가상의 광선 및 상기 제2 가상의 광선을 결정하는 단계는
    상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률을 고려하여, 상기 제1 가상의 광선 및 상기 제2 가상의 광선을 결정하는 단계를 포함하는, 3D 영상 렌더링 방법.
  5. 제1항에 있어서,
    상기 제1 광학적 상 및 상기 제2 광학적 상은 상기 디스플레이 패널의 후면 방향에 위치하는, 3D 영상 렌더링 방법.
  6. 제1항에 있어서,
    상기 제1 교점 및 상기 제2 교점을 결정하는 단계는
    상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률에 따른 상기 제1 가상의 광선 및 상기 제2 가상의 광선의 입사각 및 굴절각을 고려하여 상기 제1 교점 및 상기 제2 교점을 결정하는 단계를 포함하는, 3D 영상 렌더링 방법.
  7. 제1항에 있어서,
    상기 제1 교점 및 상기 제2 교점을 결정하는 단계는
    상기 제1 광학적 상 및 상기 제2 광학적 상을 포함하는 광학적 상들의 좌표들 및 상기 픽셀의 좌표에 기초하여, 광학적 상과 픽셀을 잇는 직선을 x-y 평면으로 투영한 r축 상에서 상기 광학적 상들 및 상기 픽셀 사이의 거리들을 계산하는 단계;
    상기 광학 레이어 및 상기 디스플레이 패널 사이의 매질의 제1 굴절률, 및 상기 광학 레이어 및 상기 디스플레이 패널을 포함하는 3D 디스플레이 장치 외부의 매질의 제2 굴절률에 기초하여, 상기 r축 상에서 상기 픽셀 및 상기 제1 교점 및 상기 제2 교점을 포함하는 교점들 사이의 거리들을 계산하는 단계; 및
    상기 광학적 상들 및 상기 픽셀 사이의 거리들, 및 상기 픽셀 및 상기 교점들 사이의 거리들에 기초하여, 상기 교점들의 좌표들을 결정하는 단계
    를 포함하는, 3D 영상 렌더링 방법.
  8. 제1항에 있어서,
    상기 픽셀 값을 할당하는 단계는
    상기 제1 교점 및 상기 제2 교점을 포함하는 교점들 중에 인접 광학 성분과의 거리가 가장 가까운 교점을 결정하는 단계; 및
    상기 결정된 교점에 대응하는 시점의 픽셀 값을 상기 픽셀에 할당하는 단계
    를 포함하는, 3D 영상 렌더링 방법.
  9. 제1항에 있어서,
    상기 제1 후보 시점 및 상기 제2 후보 시점을 포함하는 후보 시점들은 단일 사용자를 위한 좌측 시점 및 우측 시점을 포함하거나, 혹은 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함하는, 3D 영상 렌더링 방법.
  10. 제1항에 있어서,
    상기 제1 후보 시점은 단일 사용자를 위한 좌측 시점에 해당하고, 상기 제2 후보 시점은 상기 단일 사용자를 위한 우측 시점에 해당하고, 상기 제1 가상의 광선은 상기 좌측 시점에 조사되고, 상기 제2 가상의 광선은 상기 우측 시점에 조사되고,
    상기 픽셀 값을 할당하는 단계는
    상기 제1 가상의 광선에 의한 상기 제1 교점 및 상기 제1 교점에 인접한 광학 성분 사이의 거리, 및 상기 제2 가상의 광선에 의한 상기 제2 교점 및 상기 제2 교점에 인접한 광학 성분 사이의 거리에 기초하여, 상기 픽셀에 상기 좌측 시점의 픽셀 값 또는 상기 우측 시점의 픽셀 값을 할당하는 단계를 포함하는, 3D 영상 렌더링 방법.
  11. 제1항에 있어서,
    상기 제1 후보 시점 및 상기 제2 후보 시점을 포함하는 후보 시점들이 멀티 뷰를 위한 미리 정해진 수의 시점들을 포함함에 따라, 상기 제1 가상의 광선 및 상기 제2 가상의 광선을 포함하는 상기 가상의 광선들은 상기 미리 정해진 수의 시점들에 조사되는 광선들을 포함하고,
    상기 픽셀 값을 할당하는 단계는
    상기 광선들 각각에 의한 교점 및 상기 교점에 인접한 광학 성분 사이의 거리에 기초하여, 상기 픽셀에 상기 미리 정해진 수의 시점들 중 어느 하나에 대응하는 픽셀 값을 할당하는 단계를 포함하는, 3D 영상 렌더링 방법.
  12. 시청 영역의 제1 후보 시점 및 제2 후보 시점에 관한 광학적 상(optical image)들을 결정하는 단계;
    상기 제1 후보 시점이 제1 가상의 광선의 제1 반사 방향의 반대 방향인 제1 방향의 제1 기준 선을 따라 위치하도록 디스플레이 패널의 픽셀을 지나는 상기 제1 가상의 광선을 결정하는 단계;
    상기 제2 후보 시점이 제2 가상의 광선의 제2 반사 방향의 반대 방향인 제2 방향의 제2 기준 선을 따라 위치하도록 상기 픽셀을 지나는 상기 제2 가상의 광선을 결정하는 단계;
    상기 제1 가상의 광선 및 광학 레이어 사이의 제1 교점을 결정하는 단계;
    상기 제2 가상의 광선 및 상기 광학 레이어 사이의 제2 교점을 결정하는 단계;
    상기 제1 교점 및 상기 광학 레이어의 복수의 광학 레이어들 중 상기 제1 교점에 가장 가까운 제1 광학 요소 사이의 제1 거리를 결정하는 단계;
    상기 제2 교점 및 상기 광학 레이어의 상기 복수의 광학 레이어들 중 상기 제2 교점에 가장 가까운 제2 광학 요소 사이의 제2 거리를 결정하는 단계;
    상기 제1 거리가 상기 제2 거리보다 작은 것에 기초하여, 상기 픽셀에 상기 제1 후보 시점의 제1 픽셀 값을 할당하는 단계; 및
    상기 제2 거리가 상기 제1 거리보다 작은 것에 기초하여, 상기 픽셀에 상기 제2 후보 시점의 제2 픽셀 값을 할당하는 단계
    를 포함하는, 3D 영상 렌더링 방법.
  13. 제12항에 있어서,
    상기 광학적 상들을 결정하는 단계는
    상기 제1 후보 시점 및 상기 제2 후보 시점에 광학적 변환(optical transform)을 적용하여 상기 광학적 상들을 결정하는 단계를 포함하는, 3D 영상 렌더링 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 하드웨어와 결합되어 제1항, 및 제3항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  18. 프로세서; 및
    컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는
    시청 영역의 제1 후보 시점 및 제2 후보 시점을 획득하고,
    상기 제1 후보 시점 및 상기 제2 후보 시점에 광학적 변환(optical transform)을 적용하여 제1 광학적 상(optical transform) 및 제2 광학적 상을 결정하고,
    상기 제1 광학적 상 및 상기 제2 광학적 상에 기초하여, 디스플레이 패널 상의 픽셀을 지나는 제1 가상의 광선 및 제2 가상의 광선을 결정하고,
    상기 제1 가상의 광선 및 광학 레이어 사이의 제1 교점 및 상기 제2 가상의 광선 및 상기 광학 레이어 사이의 제2 교점을 결정하고,
    상기 제1 교점 및 상기 광학 레이어의 제1 광학 성분 사이의 제1 거리 및 상기 제2 교점 및 상기 광학 레이어의 제2 광학 성분 사이의 제2 거리에 기초하여, 상기 픽셀에 픽셀 값을 할당하고,
    상기 광학 레이어는 패럴렉스 배리어 또는 렌티큘러 렌즈에 해당하고,
    상기 디스플레이 패널은 상기 시청 영역 및 상기 광학 레이어 사이에 위치하는,
    3D 영상 렌더링 장치.
  19. 삭제
  20. 제18항에 있어서,
    상기 제1 광학적 상 및 상기 제2 광학적 상은 각각 상기 제1 가상의 광선 및 상기 제2 가상의 광선이 굴절된 각 방향의 반대 방향에 위치하는, 3D 영상 렌더링 장치.
KR1020160155689A 2016-11-22 2016-11-22 3d 영상 렌더링 방법 및 장치 Active KR102564478B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160155689A KR102564478B1 (ko) 2016-11-22 2016-11-22 3d 영상 렌더링 방법 및 장치
US15/790,579 US10521953B2 (en) 2016-11-22 2017-10-23 Three-dimensional (3D) image rendering method and apparatus
CN201711038281.XA CN108090941B (zh) 2016-11-22 2017-10-30 三维（3d）图像渲染方法和设备
EP17202721.1A EP3324621A1 (en) 2016-11-22 2017-11-21 Three-dimensional (3d) image rendering method and apparatus
JP2017224795A JP7098307B2 (ja) 2016-11-22 2017-11-22 ３ｄ映像レンダリング方法及び装置
US16/727,031 US11457194B2 (en) 2016-11-22 2019-12-26 Three-dimensional (3D) image rendering method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155689A KR102564478B1 (ko) 2016-11-22 2016-11-22 3d 영상 렌더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180057263A KR20180057263A (ko) 2018-05-30
KR102564478B1 true KR102564478B1 (ko) 2023-08-07

Family

ID=60450436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155689A Active KR102564478B1 (ko) 2016-11-22 2016-11-22 3d 영상 렌더링 방법 및 장치

Country Status (5)

Country Link
US (2) US10521953B2 (ko)
EP (1) EP3324621A1 (ko)
JP (1) JP7098307B2 (ko)
KR (1) KR102564478B1 (ko)
CN (1) CN108090941B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
US11619826B2 (en) 2018-04-17 2023-04-04 Samsung Electronics Co., Ltd. Augmented reality (AR) display apparatus and method
KR102652943B1 (ko) 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
JP7472899B2 (ja) * 2019-03-19 2024-04-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
KR20240122231A (ko) * 2023-02-03 2024-08-12 에피톤 인코포레이티드 증강현실을 이용하는 3차원 이미지 3d 이미지 디스플레이 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030080923A1 (en) * 1998-05-21 2003-05-01 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
WO2015198607A1 (en) * 2014-06-25 2015-12-30 Sharp Kabushiki Kaisha Variable barrier pitch correction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10359403B4 (de) 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
JP2009229752A (ja) 2008-03-21 2009-10-08 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP2011085790A (ja) * 2009-10-16 2011-04-28 Seiko Epson Corp 電気光学装置及び電子機器
US20110188116A1 (en) 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR101977251B1 (ko) * 2012-12-18 2019-08-28 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
JPWO2015045251A1 (ja) * 2013-09-27 2017-03-09 パナソニックＩｐマネジメント株式会社 裸眼立体視映像装置
US20150145977A1 (en) 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
KR102071693B1 (ko) 2014-02-07 2020-01-30 엘지전자 주식회사 헤드 업 디스플레이 장치
US20160073098A1 (en) 2014-09-10 2016-03-10 Continental Automotive Systems, Inc. Head-up display system using auto-stereoscopy 3d transparent electronic display
JP6917378B2 (ja) * 2015-09-17 2021-08-11 ファゾム・オプティクス・インコーポレイテッド マルチビューディスプレイ並びに関連するシステム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030080923A1 (en) * 1998-05-21 2003-05-01 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
WO2015198607A1 (en) * 2014-06-25 2015-12-30 Sharp Kabushiki Kaisha Variable barrier pitch correction

Also Published As

Publication number Publication date
US11457194B2 (en) 2022-09-27
JP2018085727A (ja) 2018-05-31
US10521953B2 (en) 2019-12-31
US20180144542A1 (en) 2018-05-24
US20200134912A1 (en) 2020-04-30
KR20180057263A (ko) 2018-05-30
JP7098307B2 (ja) 2022-07-11
CN108090941A (zh) 2018-05-29
CN108090941B (zh) 2024-03-15
EP3324621A1 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
KR102564478B1 (ko) 3d 영상 렌더링 방법 및 장치
EP3128484B1 (en) Method of estimating parameter of three-dimensional (3d) display device and 3d display device using the method
KR102564479B1 (ko) 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR20200067641A (ko) 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
US11711502B2 (en) Method of outputting three-dimensional image and electronic device performing the method
KR102458240B1 (ko) 백라이트 유닛 및 이를 포함하는 디스플레이 장치
KR102570277B1 (ko) 3d 영상 장치의 왜곡 보정 방법 및 그 방법을 이용하는 장치
KR102655810B1 (ko) 3d 영상 렌더링 방법 및 장치
JP6531583B2 (ja) 光デバイス、光システム及び改札機
US11281002B2 (en) Three-dimensional display apparatus
KR20170031384A (ko) 광학 레이어, 이를 포함하는 디스플레이 장치 및 백라이트 유닛
KR102463171B1 (ko) 광학 레이어 및 이를 포함하는 디스플레이 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161122

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201202

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161122

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221111

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230516

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230803

End annual number: 3

Start annual number: 1

PG1601 Publication of registration