[go: up one dir, main page]

KR100520699B1 - 자동입체 투영시스템 - Google Patents

자동입체 투영시스템 Download PDF

Info

Publication number
KR100520699B1
KR100520699B1 KR10-1999-7008796A KR19997008796A KR100520699B1 KR 100520699 B1 KR100520699 B1 KR 100520699B1 KR 19997008796 A KR19997008796 A KR 19997008796A KR 100520699 B1 KR100520699 B1 KR 100520699B1
Authority
KR
South Korea
Prior art keywords
image
view
images
field
display
Prior art date
Application number
KR10-1999-7008796A
Other languages
English (en)
Other versions
KR20010005726A (ko
Inventor
그라함 마틴
요셉 엘. 맥라우린
Original Assignee
리톤 시스템즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/003,614 external-priority patent/US5993003A/en
Application filed by 리톤 시스템즈, 인코포레이티드 filed Critical 리톤 시스템즈, 인코포레이티드
Publication of KR20010005726A publication Critical patent/KR20010005726A/ko
Application granted granted Critical
Publication of KR100520699B1 publication Critical patent/KR100520699B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/31—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers involving active parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Eye Examination Apparatus (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

자동입체 투영 시스템은 무결절 및 확장된 시계를 형성하기 위하여 다중 투영기를 사용한다. 각각의 투영기는 CRT 디스플레이에 레지스터링된다. 각각의 투영기의 셔터 엘리먼트는 각각의 CRT 디스플레이에 대한 다중 동공을 형성한다. 각각의 CRT 디스플레이는 각각의 셔터 동공에 대해 다른 영상으로 구동된다. 공통 수정체형 시계 렌즈의 일부분으로써 조정식 광학 확산기를 사용하면 심을 확실하게 제거할 수 있다.

Description

자동입체 투영시스템 {AUTOSTEREOSCOPIC PROJECTION SYSTEM}
본 발명은 자동입체 투영 시스템에 관한 것이다.
세상은 3차원(3D) 공간이며, 인간의 뇌는 데이터가 3차원 형식으로 제공될때 데이터를 해석하는데 매우 효율적이다. 인간의 뇌는 깊은 인식을 위한 정보를 추출할 수 있는 다양한 시각적인 단서(visual clue)를 3차원으로 표현한 장면을 해석한다. 실제 실시간 운동을 가진 세상에 3차원 윈도우를 제공하기 위하여 시각적인 단서의 장점을 취한 디스플레이를 만드는 효과적인 방법의 개발이 시도되었다.
시각적인 단서는 3차원 디스플레이 기술에 의해 복사될 수 있는 4가지 주요 카테고리로 분류될 수 있다. 비록 개인의 눈이 단지 망막상에 형성된 2차원(2-D) 영상만을 볼지라도, 관찰자의 뇌는 뇌가 3차원 영상을 형성할 수 있는 3차원 영상을 구성하기 위하여 두 눈과 약간 다른 시계(view)로 작용한다. 이 과정은 스테레오시스라 불린다. 이러한 결과를 달성하기 위하여, 디스플레이는 각각의 눈 안으로 들어온 서로 다른 시계를 채널링해야 한다.
다른 카테고리는 운동 시차(motion parallax)로서, 운동 시차는 관찰자의 머리가 수직으로 또는 측면으로 움직일 때 대상물의 명백한 운동에 의존한다. 이러한 결과를 달성하기 위하여, 디스플레이는 전형적으로 관찰자의 머리 움직임에 응답한다.
두개의 다른 카테고리는 더 불충분한 시각적인 단서를 제공한다. 눈의 포커싱 및 수렴 피드백을 사용하면, 뇌는 대상물이 포커싱되기 위해 수정체가 압착되는 강도 그리고 대상물의 시계가 뇌에 수렴되도록하기 위해 요구되는 두 눈의 상대 각도를 감지함으로써 대상물의 깊이 위치에 대한 소정의 정보를 얻을 수 있다. 눈 포커싱 및 수렴이 불충분한 시각적인 단서이기 때문에, 대부분의 3차원 디스플레이 시스템은 관찰자가 무한대와 같은 고정된 거리 또는 관찰자에 근접한 스크린 상에 포커싱하게 동작할 수 있다. 더욱이, 소프트웨어에 기초한 시각적인 환영은 2차원면상에 디스플레이하기 위하여 영상 발생기내에서 불충분한 시각적인 단서를 만들 수 있다. 이들 환영은 카메라의 운동으로부터 대상물의 원근감 및 음영, 먼 거리의 흐릿함 및 운동 시차를 포함한다. 소프트웨어에 기초한 시각적인 환영은 형성되는 가장 용이한 카테고리의 시각적인 단서들이다. 사실상, 대부분의 시뮬레이터 및 컴퓨터 게임은 2차원면상에 표현하기 전에 컴퓨터 메모리 및 프로세서내에서 3차원 세계를 사용하여 이들 시각적인 환영을 발생시킨다.
스테레오프시스의 장점을 갖는 3차원 디스플레이의 일례는 영상 소스와 조합된 이동가능한(movable) 수직 슬릿을 포함한다. 이 슬릿은 영상 소스에 의해 디스플레이된 영상으로 연속된 화면에서의 다수의 위치들 사이에서 순차적으로 이동된다. 영상은 관찰자가 볼수 있으며, 각각의 영상은 슬릿의 위치에 기초한 공간에 배치된다.
스테레오프시스 및 운동 시차를 제공할 수 있는 3차원 디스플레이 장치의 일례는 머리 장착 디스플레이(head-mounted display; HMD) 장치이다. HMD 장치내의 소형 디스플레이 스크린은 각각의 광학계에 각각의 영상을 제공한다. 머리 추적 장치는 관찰자의 머리 운동에 대한 관찰 능력을 제공하기 위하여 HMD 장치와 접속될 수 있다. 그러나, 이러한 시스템은 임의의 시간에 단 한 명의 관찰자만 사용할 수 있게 제한되며, 전송 지연들은 혐오감(nausea)을 초래하고 평형의 손실을 야기할 수 있다.
도 1은 개별적인 시차 변화를 사용하여 3차원 시계를 시뮬레이팅하는 개략도.
도 2는 본 발명의 바람직한 실시예에 따른 바람직한 입체 투영 시스템의 개략도.
도 3은 본 발명에 따른 바람직한 수정체형 샌드위치 확산기의 개략도.
도 4는 본 발명의 바람직한 실시예에 따라 사용가능한 투영 영상발생장치의 개략도.
대부분의 3차원 시계 상황에서는 관찰자의 양쪽 눈에 의해 점유된 평면(예를들어, 수평평면)에서 운동에 대한 시차를 제공하는 것이 필요하다. 비록 종래의 시스템이 관찰자에게 입체 영상을 제공할 수 있을지라도, 종래의 시스템은 다수의 중요한 단점을 가진다. 이러한 시스템은 낮은 영상 휘도, 좁은 시계, 소수의 동공 슬라이스 및 작은 영상 크기를 가진다. 비록 이들 단점중 임의의 하나가 종래의 기술을 사용하여 개선될지라도, 이러한 개선점은 다른 고려사항을 심하게 감쇠시킬 수 있다.
본 발명의 바람직한 실시예에 따르면, 3차원 디스플레이 장치는 다중 동공 다중 투영시스템을 가지며, 다중 투영 시스템은 그것의 동공들이 서로 인접하도록 배열되어 있다. 각각의 투영 시스템은 공통 시계 광학계상의 영상 소스로부터 각각의 영상을 동시에 처리한다. 시계 광학계(viewing optic)는 폴더형 시스템내에 프레넬 렌즈 또는 오목 렌즈를 포함할 수 있다. 시계 광학계는 시계 공간에 있는 시계 포트의 연속 어레이상에서 투영 렌즈의 사출 동공을 처리할 수 있다. 이러한 시스템은 높은 휘도의 다중 시계 디스플레이에 넓은 시계 공간 투영을 제공한다.
본 발명의 제 1 실시예에 따르면, 디스플레이 장치는 다수의 개별 시계들을 가진 영상 공간과 다수의 영상 소스들을 포함한다. 각각의 영상 소스는 대상물의 다수의 순차적인 영상을 디스플레이한다. 각각의 시계는 대상물의 각각의 순차적인 영상에 광학적으로 결합된다.
다중 투영 광학 시스템은 순차적인 영상에 시계를 결합하기위하여 사용된다. 다중 투영기 광학 시스템은 다수의 투영기 렌즈 어셈블리를 포함하며, 다수의 각 투영 렌즈 어셈블리는 각각의 영상 소스에 레지스터링(registered)된다. 다수의 어드레스가능 셔터는 각각의 투영 렌즈 어셈블리에 레지스터링된다. 공통 시계 어셈블리는 다중 시계들을 제공하기 위하여 투영 렌즈 어셈블리에 레지스터링된다. 공통 시계 어셈블리는 바람직하게 투영 시스템들 사이에서 결절부위(seam)들을 스미어(smear)하는 조정식 광학 확산기(tunable optical diffuser)를 포함한다. 상기 광학 확산기는 인덱스 매칭 매체를 포함하는 것이 바람직하다.
바람직하게, 제어기는 영상 소스들 및 셔터 엘리먼트들에 결합된다. 각각의 영상 소스는 특정 시간에 장면에 대한 각각의 시계를 제공한다. 셔터는 각각의 영상 소스와 함께 광학적으로 정렬된 다수의 슬릿들이 제공되도록 배치된다. 제어기는 다수의 동시적인 영상들을 형성하도록 상기 영상 소스들 및 셔터들을 동작시킨다. 관찰자는 한쪽 눈에 하나씩, 한번에 이들 두 영상을 볼 수 있다.
본 발명의 일 실시예에 따른 대상물의 3차원 시계를 디스플레이하는 방법은,각각의 영상 소스(321, 322, 323)의 각 사출 동공(521, 522, 523)에서 대상물(5)의 다수의 영상들을 순차적으로 디스플레이하도록 각 사출 동공(521, 522, 523)에 각각 광학적으로 결합되는, 다수의 영상 소스들(321, 322, 323)을 제공하는 단계 - 상기 순차적으로 디스플레이되는 영상들은 다양한 시계 각도들에서 획득되는 상기 대상물의 영상들임 -; 다수의 인접하는 가상 시계 포트들(V1,…,V24)의 총개수를 갖고 다수의 관찰자들(7)에 의해 동시적으로 보여질 수 있는 시계 공간(65)에 상기 사출 동공들을 영상화하는 단계 - 각각의 상기 사출 동공은 상기 인접하는 가상 시계 포트들의 총개수 중에서 다수의 인접하는 시계 포트들 각각에 영상화됨 -; 시계 광학계에 광학적으로 결합되는 다수의 셔터 엘리먼트들(501, 502, 503)을 이용함으로써, 상기 시계 공간의 각 시계 포트에 각각 디스플레이되는 영상을 제공하는 단계 - 상기 셔터 엘리먼트들은 이동가능한 슬릿을 각각 포함하는 공간 광 변조기들임 -; 및상기 각각의 사출 동공(521, 522, 523)에서 다수의 슬릿 위치들이 시간순으로 생성되도록 각각의 상기 셔터 엘리먼트를 제어하고, 상기 각각의 셔터 엘리먼트의 각 슬릿 위치에 대한 각각의 디스플레이상에 서로 다른 비디오 프레임이 제공되도록 각각의 상기 영상 소스를 제어함으로써, 각각의 상기 관찰자들에게 상기 대상물의 3차원 시계를 제공하도록 시간-다중화된 방식으로 상기 영상들을 상기 관찰자들에게 디스플레이하기 위해, 상기 각각 디스플레이되는 영상의 제공과 상기 영상 소스들상의 영상들의 디스플레이를 동기화시키는 단계를 포함한다.상기 영상화하는 단계는 미러로부터 상기 영상들을 반사하는 단계를 포함하고, 상기 영상을 제공하는 단계는 관찰자가 연속적인 영상을 인식하기에 적합한 재생율(refresh rate)로 상기 각각의 시계 포트에 상기 영상들을 제공하는 단계를 포함하는 것이 바람직하다.본 발명의 상기한 특징들 및 다른 특징들은 본 발명의 구성 및 그 조합들의 다양한 신규한 상세한 사항들을 포함하여, 첨부된 도면을 참조로 이하의 상세한 설명에서 보다 상세히 기재될 것이며 청구범위에서 나타낼 것이다. 본 발명의 특정 실시예들은 본 발명을 제한하는 것이 아니며 단지 예시로 나타낸다는 것을 이해해야 한다. 본 발명의 원리 및 특징들은 본 발명의 범주를 벗어남이 없이 다양하고 많은 실시예들에 포함될 수도 있다.
도 1은 이산적인 시차 변화를 사용하여 3차원 시계를 시뮬레이팅하는 개략도이다. 실세계(1)에서, 관찰자(7)가 수평으로 이동함에 따라, 대상물(5)의 시계각(viewing angle) 영상은 부드럽게 연속적으로 변화한다.
그러나, 실제적으로 인간의 뇌는 스텝 증분이 적절히 작은 한 스텝 변화를 편안하게 느낀다. 실제 시뮬레이션(3)에서, 개별적인(discrete) 시계 슬라이스들(V1, ..., VN)이 관찰자(7)에 제공된다.
이러한 양자화 방법중 가장 간단한 형태는 수정체형 래스터(lenticular raster)이다. 서로 다른 카메라 각도들로부터 정지 영상은 좁은 스트립들로 분할되며, 순서대로 서로에 대해 교차(interlaced)된다. 스트립 폭에 따라 길이당 적정 수의 렌즈의 수정체형 렌즈가 혼합된 영상상에 놓일때, 관찰자(7)는 시계각에 따라 여러 완전한 영상을 볼수 있다.
수정체형 래스터에 기초한 공간적으로 다중화된 시스템은 두개의 주요 단점을 가진다. 첫째, 모든 영상이 영상 발생장치상에서 동시에 디스플레이되기 때문에, 각각의 이용가능한 영역은 제한되며 영상 해상도 또한 제한된다. 둘째, 각각의 시계는 그 자체의 광학 투영 시스템을 필요로하여 그 구조가 복잡하며 시계의 크기 조절이 곤란하다.
본 발명의 바람직한 실시예에 따른 시간 다중화는 공간 다중화 시스템들에서 발견된 단점들을 방지하기 위하여 사용된다. 간단히 말해서, 다양한 시계 각도들에 대응하는 영상들은 시간에 경과함에 따라 영상 발생장치상에서 순차적으로 플래시되며, 각각의 영상은 전체 스크린을 점유한다.
도 2는 본 발명의 바람직한 실시예에 따른 바람직한 입체 투영 시스템의 개략도이다. 일 실시예에서, 대상물(5)의 시계는 스틸 또는 비디오 카메라의 어레이(121, 122, ..., 12N)에 의해 포착된다. 영상 시스템(10)은 디스플레이를 위해 포착된 영상을 준비한다. 영상 및 비디오 동기 신호는 비디오 버스(VID) 및 동기 접속부(HSync, VSync, ZSync)를 통해 제어 시스템(20)에 제공된다. 제어시스템(20)은 제어 버스(CTL)를 통해 영상 시스템(10)에 접속된 카메라(121, ..., 12N)의 동작을 제어할 수 있다. 다른 실시예에 있어서, 시계는 영상 시스템(10)에 의해 발생되며 저장된다.
제어 시스템(20)은 영상 시스템(30)에 비디오 신호를 제공한다. 바람직하게, 영상 시스템(30)은 음극선관(CRT) 또는 액정 디스플레이 장치일 수 있는 영상 소스(321, 322, 323)의 어레이를 포함한다. 비록 단지 3개의 CRT들만이 도시되지만, 원하는 개별 시계들의 총개수에 따라, 특정한 광학적 제한조건들을 갖는 임의의 개수의 CRT들이 사용될 수 있음을 이해할 것이다. 영상 소스들(32)은 또한 제어 시스템(20)으로부터 제어 신호를 수신한다.
투영 렌즈 시스템(40)은 영상 시스템(30)에 광학적으로 결합된다. 특히, 투영 시스템(40)은 각각의 영상 소스(321, 322, 323)에 각각 접속되는 다수의 투영 서브시스템(401, 402, 403)을 포함한다. 각각의 투영 렌즈 서브시스템(40)은 다수의 투영 렌즈(41, 43, 45, 47, 49)을 포함한다. 영상 소스(321, 322, 323)의 사출 동공(521, 522, 523)은 정면 투영 렌즈(491, 492, 493)에 의해 규정(define)된다. 기술된 바와 같이, 정면 투영렌즈(492)는 정면 투영렌즈(491, 493)에 직접 인접한다. 본 발명의 바람직한 실시예에 따르면, 정면 투영 렌즈(491, 492, 493)는 한 시트의 플라스틱으로 렌즈를 주형함으로써 제조된다.
사출 동공(521, 522, 523)로부터의 광은 각각의 셔터 엘리먼트(501, 502, 503)에 의해 처리된다. 셔터 엘리먼트(50)는 제어 시스템(20)에 의해 제어되는 이동가능한 슬릿을 포함하는 공간 광 변조기(SLM)이다. 바람직하게, 셔터 엘리먼트(50)는 액정 장치이며, 상기 슬릿은 각각의 셔터 엘리먼트(50)에서 약 5-8개의 수직 배열된 위치들로부터 선택될 수 있는 수직 광 변조 셀이다. 선택적으로, 광 변조 셀은 각각의 셔터 엘리먼트에서 다수의 2차원적으로 배열된 윈도우로부터 선택될 수 있다.
비록 셔터 엘리먼트(501, 502, 503)가 사출 동공(521, 522, 523)과 순방향으로 도시되었을지라도, 그 구조는 필수적인 것이 아니다. 사실상, 셔터 엘리먼트(501, 502, 503)는 정면 투영렌즈(491, 492, 493) 후방에 배치될 수 있다. 바람직하게, 셔터 엘리먼트(501, 502, 503)는 사출 동공(521, 522, 523)에 가능한 근접하게 배치된다. 셔터 엘리먼트가 사출 동공의 더 앞에 배치될 수록 광학 효율은 더 손실된다. 본 발명의 특정 실시예에 따르면, 셔터 엘리먼트는 정면 투영 렌즈로부터 1인치 이하 거리에 배치되며, 약 1/2인치가 더 바람직하다.
동작중에, 제어 시스템(20)은 서로 다른 비디오 프레임이 셔터 엘리먼트의 각 슬릿 위치에 대한 디스플레이들에 제공되도록 영상 소스들(32) 및 각각의 셔터 엘리먼트(50)를 제어한다. 특히, 비디오 프레임은 셔터를 사용하여 단계적으로 시간 다중화된다. 이러한 방식에서, 각각의 영상 소스(32)에 대해 형성된 다수의 동공들이 존재한다.
도시된바와같이, 다수의 비디오 신호(VID1, VID2, VID3)는 제어 시스템(20)의 디스플레이 드라이버(22)에 의해 각각의 영상 소스(321, 322, 323)에 제공된다. 더욱이, 수평 동기(HSync), 수직 동기(VSync) 및 비디오 필드 동기(ZSync) 신호는 제어 시스템(20)에 의해 처리된다. 특히, 디스플레이 제어 모듈은 영상 소스(32)를 구동시키기 위하여 HSync 및 VSync 신호를 수신한다. 셔터 제어 모듈(26)은 VSync 및 ZSync 신호를 수신하여 셔터 엘리먼트(44)를 구동시킨다. VSync 신호는 셔터 엘리먼트(50)의 슬릿과 영상 소스(32)의 비디오 프레임을 동기화시키기 위하여 사용된다.
비록 도시되지는 않았지만, 적색, 녹색 및 청색(RGB) 필터 엘리먼트는 각각의 영상 소스(32)위에 배치될 수 있다. 이들 칼라 필터 엘리먼트는 넓은 스펙트럼 영상 발생기로부터 칼라 비디오 프레임을 순차적으로 만들기 위하여 바람직하게 사용된다. 디스플레이 제어 모듈(24)은 칼라 필터 엘리먼트를 동작시킨다.
영상 소스(32)의 특정 프레임에 대해, 투영 시스템(40)은 영상 투영(P1, ..., P9,..., P17, ..., P24)을 공통 시계 광학계(55)에 투영한다. 본 발명의 일 실시예에 따르면, 시계 광학계(55)는 프레넬(Fresnel) 렌즈이다. 시계 광학계(55)은 영상 평면(60)상의 시계 포트(V1, ..., V24) 또는 가상 사출 동공상에 각각의 사출 동공을 포커싱한다. 이들 시계 포트는 영상 소스상에 프레임 영상의 시계를 제공한다. 시계 공간(65)은 각각의 순차적 영상을 각각 제공하는 시계 포트들(V1, …V24)의 2차원 어레이를 포함할 수 있다.
임의의 시간에, 시계 광학계(55)는 한 관찰자(7) 또는 다수의 관찰자가 볼수 있는 시계 공간(65)에 각각의 영상 소스(32)의 선택된 동공으로부터의 시계를 제공한다. 각각의 관찰자(7)는 시계 공간에서 좌측 눈((70L) 및 우측 눈(70R)을 유지한다. 눈들은 동공간 거리(IPD)만큼 떨어저 있다. 도시된 바와같이, 영상 평면(60)에는 다수의 시계 포트(V1, ..., V24)가 존재하며, 각각의 시계 포트는 각각의 영상 소스의 각 비디오 프레임의 시계를 제공한다. 광학계는 시계 공간(65)에서의 슬릿의 시계가 각각의 인접 시계에 인접하도록 최적화되며 중심상에서 거리(D)만큼 떨어져 있다. 관찰자의 머리가 이동함에 따라 영상이 연속적으로 나타나는 무결절성(seamless) 시계를 촉진시키기 위하여, 거리(D)는 IPD보다 작거나 동일하다. 전형적으로, 슬릿은 관찰자의 눈에서 22-25mm 폭사이에 있다. 마찬가지로, 관찰자에서 영상의 검은 영역은 거의 제거된다.
따라서, 각각의 눈(70L, 70R)은 3차원 대상물의 환영을 만들기 위하여 다른 영상 소스(32)을 볼 수 있다. 무결절성 시계와 더불어, 광학 시스템(3)은 많은 시계 포트를 통해 확장된 시계를 제공한다.
시계를 최대화하기 위하여, 렌즈 어레이는 실시가능한 만큼 크다. 예를들어, 본 발명의 바람직한 실시예에 따른 광학 시스템은 f/1의 초점 비율을 가지며, 25인치 모니터와 동일한 크기를 가진다.
장치의 크기를 최소화하기 위하여, 오목 거울을 가진 폴더형 광학 시스템은 시계 광학계(55)를 위해 이용된다. 오목 거울은 시계 스크린으로써 동작하여 각각의 시계 포트에 광을 포커싱한다. 거울을 사용함으로써, 광학 경로는 크기를 매우 작게 유지하면서 시스템의 초점 길이를 증가시키기 위하여 접혀질 수 있다.
바람직한 시스템은 광이 한번에 하나의 세그먼트를 관통하도록 하는 전자적으로 제어되는 슬릿을 가진 강유전성 스트립 셔터를 포함한다. CRT상에 디스플레이된 영상이 직접 셔터 세그먼트의 스위칭은 적절한 영상이 각각의 시계 슬라이스에 채널링될때 동기된다. 투영 렌즈 시스템은 필드 렌즈의 위치에서 왜곡없는 실영상을 만든다. 이 영상의 크기는 관찰자에 의해 관찰되는 유효 스크린 크기를 결정한다. 대체로 유효 스크린 크기에 동일한 크기를 가진 프레넬 렌즈인 필드 렌즈(55)는 CRT의 실영상에 영향을 미치지 않는다. 그 기능은 관찰자에 대한 최적 시계 평면에서 직접 셔터의 실영상을 만들기 위한 것이다. 따라서, 프레넬 렌즈는 관찰자가 전체 스크린 3-D 영상을 볼 수 있는 영역의 크기를 결정한다. 실제 시스템에서, 시계 영역의 깊이는 최적 시계 평면을 넘어 몇 피트만큼 연장될 수 있다.
프로토타입 시스템에서, 초당 30 프레임의 재생율(refresh ratio)은 교차 모드(interlaced mode)에서 512x384 화소 해상도로 25인치 스크린상에서 얻어진다. 바람직한 시계 거리는 스크린이 약 20의 각도를 기울어져 있을때 5피트이다. 전체 스크린 3-D 영상에 대한 시계 눈박스(eyebox)는 약 2피트 폭과 수 피트의 깊이를 가지며, 약한 확산기에 의해 스무스하게 된 28개의 서로 다른 카메라 각도들을 제공할 수 있다.
바람직한 디스플레이의 한 특징은 시계 영역의 다른 섹션이 다른 전체 스크린 애니메이션을 완전하게 영상 처리할 수있는 다중 시계 모드이다. 이것은 시계 슬라이스가 일련의 약간 다른 카메라 각의 디스플레이에 제한될 필요가 없기 때문이다. 예를들어, 최좌측 슬라이스는 시뮬레이터에 전체 배틀 장면의 전체 스크린 3차원 시계를 제공하는 반면에, 최우측 슬라이스는 배틀필드의 특정 영역상에서 제로까지 사용될 수 있다. 이러한 다중 시계 특징은 하나의 장치를 사용하여 두 게임 플레이어가 각각의 게임과 무관하게 그들 자체의 3D 전체 스크린에 제공되기 때문에 오락 산업에 특히 중요하다. 약 1피트 폭을 가진 두개의 사이드-바이-사이드 박스를 가진 아케이드 게임 시장에 대한 50인치 스크린 버전이 제조될 수 있다.
그러나, 임의의 갭없이 투영 렌즈 시스템의 사출 동공을 만들때 제한되는 문제가 있다. 수정체형 렌즈는 사출 동공을 단방향(unidirectional) 및 수평으로 확장하기위하여 사용될 수 있다. 수정체형 렌즈는 평면 시트, 전형적으로 일련의 라인을 가진 아크릴형 플라스틱이며, 반원형의 기하학적 형상을 가진 매우 좁은 실린더형 렌즈에 유효하다. 전형적인 수정체형 렌즈는 인치당 50 내지 100 인치를 가질 수 있으며 단방향 확산기로써 기능을 한다. 이러한 렌즈는 라인이 스크린에 대한 시계의 각을 측면으로 확장시키기 위하여 수직으로 장착되는 대화면 투영 텔레비전상의 정면 스크린으로써 사용된다. 투영 렌즈 시스템(40)으로부터의 영상이 수정체형 렌즈상에 실영상을 형성하는 동안 영상 그자체는 렌즈에 의해 확산되지 않고 단지 사출 동공에 의해 확산된다. 무광택 유리와 같은 직사각형 확산기를 통해 대상물을 볼때 유사한 현상이 나타난다. 유리로부터 먼 대상물은 그것을 통해 볼때 완전히 흐리게 보이나, 유리를 미는 손은 다른 측면에서 깨끗하게 볼수 있다.
투영 텔레비전 시스템에서 수정체형 렌즈가 수평 스트레칭을 발생시키기 위하여 배치될 수 있으며 다중 투영 시스템에 대한 눈박스를 융합한다. 그러나, 이것은 다른 카메라 시계와 함께 융합함으로써 3차원 현상을 파괴한다. 결절 부위를 제거하고 다양한 시계의 에지를 스무스하게 하며 3차원 현상을 파괴하지 않도록 매우 작은 양의 수평 스미링(smearing)을 제공하는 것이 목표이다. 만일 결절 부위가 투영 렌즈 시스템에 인접하여 초기에 최소화되면, 각확산의 1/10도를 가진 단방향성 확산기가 요구된다. 실제적인 수정체형 렌즈는 1.491의 굴절률을 가진 아크릴 플라스틱으로 만들어지며 각확산(angular spread)의 20 내지 40도 사이에서 만들어진다. 상당히 작은 각확산을 가진 아크릴 수정체형 렌즈를 만드는 것이 가능하나, 특별히 설계한 렌즈를 만드는데 필요한 도구는 매우 비싸며, 본 발명에서는 결절 부위 제거와 깨끗한 3D 영상사이의 최적 평형을 이루기 위하여 렌즈가 생성하는 확산량을 조정할 수 있는 능력이 필요하다.
매우 작은 각확산을 가진 아크릴 수정체형 렌즈를 만드는데에 곤란한 점은 1.491의 굴절률을 갖는 아크릴과 1.000의 굴절률을 갖는 렌즈를 둘러싸는 공기사이의 큰 굴절률의 차이로부터 발생한다. 렌즈의 포커싱 전력은 렌즈 재료 및 주변 매체사이의 굴절률의 차이에 따른다.
도 3은 본 발명에 따른 바람직한 수정체형 샌드위치 확산기의 개략도이다. 수정체형 샌드위치(100)는 아크릴 수정체형 렌즈(102), 유리 시트(106) 및 렌즈의 수정체형 표면에 압착된 포착된 굴절률 매칭 유체 층 또는 다른 매체(104)를 포함한다. 밀봉 벽(108)은 유체(104)에 대한 외부 경계를 제공한다.
유체(104)는 아크릴 렌즈(102)에 근접한 굴절률를 가지며, 3차원 디스플레이내에 적정 광학 현상이 발생하도록 전체 특정 시스템을 조절하기 위하여 쉽게 변화될 수 있다. 확산량은 0.004이하의 증분을 가진 세트의 매칭 유체(104)의 굴절률에 의해 제어된다. 만일 굴절률 매칭 유체(104)가 아크릴 수정체형 렌즈(102) 재료와 동일한 굴절률를 가진다면, 전체 장치는 확산없는 투명판으로써 동작한다.
액체의 굴절률, 즉 nl은 다음과 같은 방정식에 의해 계산될 수 있다.
여기서, lpi는 수정체형 렌즈에 대해 인치당 라인의 수이며,
fl은 수정체형 렌즈의 세그먼트의 초점 길이이며,
n은 수정체형 렌즈 재료의 굴절률(예를들어, 아크릴=1.491)
da는 수정체형 렌즈에 대해 목표하는 절반 각확산이다.
이러한 수정체형 샌드위치는 바람직한 3D 디스플레이 시스템에서 사용되었으며, 양호한 영상 품질 및 3D 리얼리즘을 유지하면서 허용가능한 레벨로 결절 부위를 감소시키도록 조정된다. 추가 장점은 보여지는 시계(V1, ..., V24(도 2))사이의 전이가 관찰자의 머리(7)가 측면에서 측면으로 이동할 때 흔들림을 줄이고 시각적으로 깨끗한 효과를 발생시키기 위하여 부드럽게 된다.
비록 본 발명의 바람직한 실시예가 CRT 영상 소스를 사용할지라도, 광 밸브 디스플레이 장치로 본 발명을 실시하기 위하여 사용될 수 있다. 이러한 디스플레이 장치의 실시예는 액정 디스플레이 장치이다.
도 4는 본 발명의 바람직한 실시예에 따라 사용가능한 투영 영상 발생 장치의 개략도이다. 기술된 바와같이, 스트립 백라이트(112)는 투과성 디스플레이 장치, 영상 발생 장치 또는 셔터 엘리먼트들(110)의 영상 표면과 분리된다. 다양한 시계 각도들에 대응하는 영상들은 시간이 경과함에 따라 투과성 디스플레이 장치, 영상 발생 장치 또는 셔터 엘리먼트들(110)상에 시간 순차적으로 플래시되며, 각각의 영상은 전체 스크린을 점유한다. 공통 백라이트 영상 렌즈(115)는 관찰자 시계 평면에서 디스플레이 스트립 백라이트의 영상을 만든다. 기술된 바와같이, 영상 평면(60)상의 시계 1(V1)에 대한 영상(I1)은 투과성 디스플레이 장치, 영상 발생 장치 또는 셔터 엘리먼트들(110)상에 디스플레이된다. 기술된 바와같이, 디스플레이 스트립 백라이트(112)의 제 1 백라이트(1121)는 시계 1 영상(P1)을 투영하기 위하여 플래시된다. 상기 백라이트(112) 및 투과성 디스플레이 장치, 영상 발생 장치 또는 셔터 엘리먼트들(110)의 동작은 적절한 동기화 전자장치(120)에 의해 제어된다.
투과성 디스플레이 장치, 영상 발생 장치 또는 셔터 엘리먼트들(110)는 공통 렌즈(115)의 평면에 위치하며 그것에 이해 영향을 받지 않는다. 다양한 시계는 전술한 바와같이 디스플레이 백라이트 구조 또는 전자 셔터 구조의 사용에 의해 적절한 시계 슬라이스로 공간적으로 채널링된다. 이러한 구성에서, 시계는 공통 광학 트레인을 공유할 수 있어서, 구조의 복잡성을 감소시키며 시스템의 스케일을 보다 쉽게 만든다.
액정 디스플레이는 시간 다중화된 시스템에 대해 필요한 프레임 비를 발생시킬 수 없다. 그러나, 현재 CRT 기술은 시간 다중화에 대해 바람직한 고속 프레임 비에서 동작할 수 있다. 본 발명의 바람직한 실시예에 따른 시간 다중화된 시스템은 투과성 디스플레이 장치상에 발생된 영상의 다중 투영을 포함할 수 있다는 것을 이해해야 한다.
당업자는 본 발명의 권리범위를 벗어나지 않고 본 발명을 변형할 수 있다. 따라서, 본 발명은 청구범위의 사상 및 범위에 의해서만 제한된다.

Claims (33)

  1. 대상물의 3차원 시계(view)를 디스플레이하는 장치로서,
    각각의 사출 동공(exit pupil)(521, 522, 523)에 광학적으로 결합되고, 각 영상 소스의 각각의 사출 동공에서 대상물(5)의 다수의 영상들을 순차적으로 디스플레이하도록 배치되는, 다수의 영상 소스들(321, 322, 323) - 상기 순차적으로 디스플레이되는 영상들은 다양한 시계 각도들에서 획득되는 상기 대상물의 영상들임 -;
    다수의 인접하는 가상 시계 포트들(V1,…,V24)의 총개수를 갖고 다수의 관찰자들(7)에 의해 동시적으로 보여질 수 있는 시계 공간(viewing space)(65)에 상기 사출 동공들을 영상화하는 시계 광학계(viewing optic)(55) - 각각의 상기 사출 동공은 상기 인접하는 가상 시계 포트들의 총개수 중에서 다수의 인접하는 시계 포트들 각각에 영상화됨 -;
    상기 시계 광학계에 광학적으로 결합되고, 상기 시계 공간의 각 시계 포트에 각각의 디스플레이되는 영상을 제공하도록 상기 영상 소스들과 상기 시계 광학계 사이에 광학적으로 배치되는, 다수의 셔터 엘리먼트들(501, 502, 503) - 상기 셔터 엘리먼트들은 이동가능한 슬릿을 각각 포함하는 공간 광 변조기들임 -; 및
    상기 각각의 사출 동공(521, 522, 523)에서 다수의 슬릿 위치들이 시간순으로 생성되도록 각각의 상기 셔터 엘리먼트를 제어하고, 상기 각각의 셔터 엘리먼트의 각 슬릿 위치에 대한 각각의 디스플레이상에 서로 다른 비디오 프레임이 제공되도록 각각의 상기 영상 소스를 제어함으로써, 각각의 상기 관찰자들에게 상기 대상물의 3차원 시계를 제공하도록 시간-다중화된 방식으로 상기 영상들을 상기 관찰자들에게 디스플레이하기 위해 상기 셔터 엘리먼트들의 동작과 상기 영상 소스들상의 영상들의 디스플레이를 동기화시키는, 제어 유닛(20)
    을 포함하는 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 셔터 엘리먼트들은 상기 영상 소스들의 스트립 백라이트(strip backlight)와 동작되는 것을 특징으로 하는 디스플레이 장치.
  5. 제 1 항에 있어서, 상기 시계 광학계는 상기 각각의 시계 포트에 공통인 것을 특징으로 하는 디스플레이 장치.
  6. 제 1 항에 있어서, 상기 시계 광학계는 수정체형 렌즈(lenticular lens) 또는 미러를 포함하는 것을 특징으로 하는 디스플레이 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서, 상기 디스플레이된 영상들을 처리하는 칼라 필터 엘리먼트들을 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  13. 제 1 항에 있어서, 상기 시계 공간은 각각의 순차적인 영상을 각각 제공하는 시계 포트들의 2차원 어레이를 포함하는 것을 특징으로 하는 디스플레이 장치.
  14. 제 1 항에 있어서, 상기 각각의 시계 포트에 제공되는 상기 영상들은 상기 관찰자가 연속적인 영상을 인식하기에 적합한 재생율(refresh rate)을 갖는 것을 특징으로 하는 디스플레이 장치.
  15. 제 1 항에 있어서, 상기 시계 광학계는 상기 영상 소스에 공통인 것을 특징으로 하는 디스플레이 장치.
  16. 제 1 항에 있어서, 상기 각각의 영상 소스는 투영 어셈블리를 포함하는 것을 특징으로 하는 디스플레이 장치.
  17. 대상물의 3차원 시계를 디스플레이하는 방법으로서,
    각각의 영상 소스(321, 322, 323)의 각 사출 동공(521, 522, 523)에서 대상물(5)의 다수의 영상들을 순차적으로 디스플레이하도록 각 사출 동공(521, 522, 523)에 각각 광학적으로 결합되는, 다수의 영상 소스들(321, 322, 323)을 제공하는 단계 - 상기 순차적으로 디스플레이되는 영상들은 다양한 시계 각도들에서 획득되는 상기 대상물의 영상들임 -;
    다수의 인접하는 가상 시계 포트들(V1,…,V24)의 총개수를 갖고 다수의 관찰자들(7)에 의해 동시적으로 보여질 수 있는 시계 공간(65)에 상기 사출 동공들을 영상화하는 단계 - 각각의 상기 사출 동공은 상기 인접하는 가상 시계 포트들의 총개수 중에서 다수의 인접하는 시계 포트들 각각에 영상화됨 -;
    시계 광학계에 광학적으로 결합되는 다수의 셔터 엘리먼트들(501, 502, 503)을 이용함으로써, 상기 시계 공간의 각 시계 포트에 각각 디스플레이되는 영상을 제공하는 단계 - 상기 셔터 엘리먼트들은 이동가능한 슬릿을 각각 포함하는 공간 광 변조기들임 -; 및
    상기 각각의 사출 동공(521, 522, 523)에서 다수의 슬릿 위치들이 시간순으로 생성되도록 각각의 상기 셔터 엘리먼트를 제어하고, 상기 각각의 셔터 엘리먼트의 각 슬릿 위치에 대한 각각의 디스플레이상에 서로 다른 비디오 프레임이 제공되도록 각각의 상기 영상 소스를 제어함으로써, 각각의 상기 관찰자들에게 상기 대상물의 3차원 시계를 제공하도록 시간-다중화된 방식으로 상기 영상들을 상기 관찰자들에게 디스플레이하기 위해, 상기 각각 디스플레이되는 영상의 제공과 상기 영상 소스들상의 영상들의 디스플레이를 동기화시키는 단계
    를 포함하는 디스플레이 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 제 17 항에 있어서, 상기 영상화하는 단계는 상기 각각의 시계 포트와 공통의 시계 광학계를 사용하는 단계를 포함하는 것을 특징으로 하는 디스플레이 방법.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 제 17 항에 있어서, 상기 영상화하는 단계는 미러로부터 상기 영상들을 반사하는 단계를 포함하는 것을 특징으로 하는 디스플레이 방법.
  29. 제 17 항에 있어서, 상기 디스플레이되는 영상들을 칼라 필터 엘리먼트들을 통해 처리하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  30. 제 17 항에 있어서, 상기 시계 공간을 규정(define)하는 단계는 각각의 순차적인 영상을 각각 제공하는 상기 시계 포트들의 2차원 어레이를 규정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 방법.
  31. 제 17 항에 있어서, 상기 영상을 제공하는 단계는 관찰자가 연속적인 영상을 인식하기에 적합한 재생율로 상기 각각의 시계 포트에 상기 영상들을 제공하는 단계를 포함하는 것을 특징으로 하는 디스플레이 방법.
  32. 제 17 항에 있어서, 상기 영상화하는 단계는 상기 영상 소스들과 공통의 시계 광학계를 사용하는 단계를 포함하는 것을 특징으로 하는 디스플레이 방법.
  33. 삭제
KR10-1999-7008796A 1997-03-27 1998-03-27 자동입체 투영시스템 KR100520699B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US4242497P 1997-03-27 1997-03-27
US60/042,424 1997-03-27
US5060397P 1997-06-24 1997-06-24
US60/050,603 1997-06-24
US09/003,614 US5993003A (en) 1997-03-27 1998-01-07 Autostereo projection system
US9/003,614 1998-01-07
US09/003,614 1998-01-17
PCT/US1998/006304 WO1998043441A1 (en) 1997-03-27 1998-03-27 Autostereoscopic projection system

Publications (2)

Publication Number Publication Date
KR20010005726A KR20010005726A (ko) 2001-01-15
KR100520699B1 true KR100520699B1 (ko) 2005-10-12

Family

ID=27357445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-7008796A KR100520699B1 (ko) 1997-03-27 1998-03-27 자동입체 투영시스템

Country Status (9)

Country Link
US (2) US6224214B1 (ko)
EP (1) EP0970589B1 (ko)
JP (1) JP2001519126A (ko)
KR (1) KR100520699B1 (ko)
AT (1) ATE273598T1 (ko)
AU (1) AU739910B2 (ko)
CA (1) CA2284915C (ko)
DE (1) DE69825572T2 (ko)
WO (1) WO1998043441A1 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE273598T1 (de) * 1997-03-27 2004-08-15 Litton Systems Inc Autostereoskopisches projektionssystem
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6816158B1 (en) * 1998-10-30 2004-11-09 Lemelson Jerome H Three-dimensional display system
GB9916715D0 (en) * 1999-07-19 1999-09-15 Secr Defence Compound lens arrangement for use in lens arrays
EP1083755A3 (en) * 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
JP3942789B2 (ja) * 2000-02-22 2007-07-11 独立行政法人科学技術振興機構 背景付き立体像再生装置
WO2002003124A1 (fr) * 2000-06-30 2002-01-10 Japan Science And Technology Corporation Dispositif d'affichage du type a partage multiple
KR20020014066A (ko) * 2000-08-16 2002-02-25 김용민 동적 입체 투영상 시스템
KR20020016063A (ko) * 2000-08-24 2002-03-04 김용민 3차원 입체영상 게임 디스플레이 시스템
US7099080B2 (en) * 2000-08-30 2006-08-29 Stereo Graphics Corporation Autostereoscopic lenticular screen
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US7419265B2 (en) 2002-07-12 2008-09-02 X3D Technologies Gmbh Autostereoscopic projection system
US7283308B2 (en) * 2004-03-05 2007-10-16 Actuality Systems, Inc. Optical systems for generating three-dimensional images
US20050219693A1 (en) * 2004-04-02 2005-10-06 David Hartkop Scanning aperture three dimensional display device
US20050280894A1 (en) * 2004-04-02 2005-12-22 David Hartkop Apparatus for creating a scanning-column backlight in a scanning aperture display device
US7573491B2 (en) * 2004-04-02 2009-08-11 David Hartkop Method for formatting images for angle-specific viewing in a scanning aperture display device
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
GB0410551D0 (en) 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US20060152580A1 (en) * 2005-01-07 2006-07-13 Synthosys, Llc Auto-stereoscopic volumetric imaging system and method
US20060176557A1 (en) * 2005-02-09 2006-08-10 Adrian Travis 2D/3D compatible display system
CA2844683C (en) * 2005-04-26 2016-06-28 Imax Corporation Electronic projection systems and methods
US7425070B2 (en) * 2005-05-13 2008-09-16 Microsoft Corporation Three-dimensional (3D) image projection
JP5465430B2 (ja) * 2005-06-07 2014-04-09 リアルディー インコーポレイテッド オートステレオスコピック視域の角度範囲の制御
CN101347002B (zh) 2005-12-23 2011-10-05 皇家飞利浦电子股份有限公司 背投装置和背投方法
DE102006010970A1 (de) * 2006-03-07 2007-09-20 Newsight Gmbh Verfahren und Anordnung zur räumlichen Darstellung
US20070236801A1 (en) * 2006-03-28 2007-10-11 Deep Light, Llc Time-multiplexed 3D display system with beam splitter
US20070229778A1 (en) * 2006-03-28 2007-10-04 Soohyun Cha Time-multiplexed 3D display system with seamless multiple projection
EP2014101B1 (en) 2006-04-19 2016-02-24 Setred AS Bandwidth improvement for 3d display
JP2008107583A (ja) * 2006-10-26 2008-05-08 Sony Corp ３次元画像表示装置及びその表示方法
US7359120B1 (en) * 2006-11-10 2008-04-15 Genie Lens Technologies, Llc Manufacture of display devices with ultrathin lens arrays for viewing interlaced images
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
JP2010518417A (ja) * 2007-01-03 2010-05-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示デバイス
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
GB0716776D0 (en) 2007-08-29 2007-10-10 Setred As Rendering improvement for 3D display
US7480100B1 (en) 2007-10-15 2009-01-20 Genie Lens Technologies, Llc Lenticular devices using sets of lenses to display paired sets of interlaces of images
US8542432B2 (en) * 2008-08-14 2013-09-24 Reald Inc. Autostereoscopic display system with efficient pixel layout
CN102246528B (zh) * 2008-10-14 2016-01-20 瑞尔D股份有限公司 具有偏置滤色器阵列的透镜式显示系统
CN102203661A (zh) * 2008-10-31 2011-09-28 惠普开发有限公司 图像的自动立体显示
US8199186B2 (en) 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US8284234B2 (en) 2009-03-20 2012-10-09 Absolute Imaging LLC Endoscopic imaging using reflection holographic optical element for autostereoscopic 3-D viewing
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US8545028B2 (en) * 2009-11-20 2013-10-01 Fishco Innovation Llc Projector system for animation of image cells
JP5799535B2 (ja) * 2010-03-25 2015-10-28 セイコーエプソン株式会社 空中三次元画像を生成するシステムおよび空中三次元画像を生成する方法
CN102279514B (zh) * 2011-08-24 2013-04-10 浙江大学 基于组合屏幕的俯仰多视角悬浮式全景空间三维显示装置
US9188731B2 (en) 2012-05-18 2015-11-17 Reald Inc. Directional backlight
US9678267B2 (en) 2012-05-18 2017-06-13 Reald Spark, Llc Wide angle imaging directional backlights
CN104321686B (zh) 2012-05-18 2017-04-12 瑞尔D斯帕克有限责任公司 控制定向背光源的光源
US9235057B2 (en) 2012-05-18 2016-01-12 Reald Inc. Polarization recovery in a directional display device
WO2013173786A1 (en) 2012-05-18 2013-11-21 Reald Inc. Directional backlight
TWI459037B (zh) * 2012-09-11 2014-11-01 Delta Electronics Inc 時間多工自動立體顯示系統及方法
CN105324605B (zh) 2013-02-22 2020-04-28 瑞尔D斯帕克有限责任公司 定向背光源
US9477087B2 (en) 2013-03-12 2016-10-25 3DIcon Corporation Holoform 3D projection display
EP3011734A4 (en) 2013-06-17 2017-02-22 RealD Inc. Controlling light sources of a directional backlight
US9739928B2 (en) 2013-10-14 2017-08-22 Reald Spark, Llc Light input for directional backlight
WO2015057625A1 (en) 2013-10-14 2015-04-23 Reald Inc. Control of directional display
US9967546B2 (en) 2013-10-29 2018-05-08 Vefxi Corporation Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
US20150116458A1 (en) 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
US10158847B2 (en) 2014-06-19 2018-12-18 Vefxi Corporation Real—time stereo 3D and autostereoscopic 3D video and image editing
JP6962521B2 (ja) 2014-06-26 2021-11-05 リアルディー スパーク エルエルシー 指向性プライバシーディスプレイ
WO2016057690A1 (en) 2014-10-08 2016-04-14 Reald Inc. Directional backlight
WO2016105541A1 (en) 2014-12-24 2016-06-30 Reald Inc. Adjustment of perceived roundness in stereoscopic image of a head
RU2596062C1 (ru) 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
EP3779527B1 (en) 2015-04-13 2025-02-19 RealD Spark, LLC Wide angle imaging directional backlights
CN107835954A (zh) 2015-05-22 2018-03-23 弗恩基先进产品开发有限公司 发光图像投影灯及方法
US10760762B2 (en) * 2015-05-22 2020-09-01 Flex-N-Gate Advanced Product Development, Llc Lit image projection lamp and assemblies and methods to use the same to generate three-dimensional images
EP3304188B1 (en) 2015-05-27 2020-10-07 RealD Spark, LLC Wide angle imaging directional backlights
WO2017074951A1 (en) 2015-10-26 2017-05-04 Reald Inc. Intelligent privacy system, apparatus, and method thereof
WO2017083526A1 (en) 2015-11-10 2017-05-18 Reald Inc. Distortion matching polarization conversion systems and methods thereof
EP4293417A3 (en) 2015-11-13 2024-01-24 RealD Spark, LLC Surface features for imaging directional backlights
WO2017083041A1 (en) 2015-11-13 2017-05-18 Reald Inc. Wide angle imaging directional backlights
CN114143495A (zh) 2016-01-05 2022-03-04 瑞尔D斯帕克有限责任公司 多视角图像的注视校正
TWI591385B (zh) * 2016-03-31 2017-07-11 台達電子工業股份有限公司 立體顯示裝置
EP3458897B1 (en) 2016-05-19 2025-04-02 RealD Spark, LLC Wide angle imaging directional backlights
US10425635B2 (en) 2016-05-23 2019-09-24 Reald Spark, Llc Wide angle imaging directional backlights
DE102016113669A1 (de) * 2016-07-25 2018-01-25 Osram Opto Semiconductors Gmbh Verfahren zur autostereoskopischen Bildgebung und autostereoskopische Beleuchtungseinheit
US10401638B2 (en) 2017-01-04 2019-09-03 Reald Spark, Llc Optical stack for imaging directional backlights
EP3607387A4 (en) 2017-04-03 2020-11-25 RealD Spark, LLC SEGMENTED DIRECTIONAL IMAGING BACKLIGHT
CN107340602A (zh) * 2017-06-09 2017-11-10 利亚德光电股份有限公司 3d显示装置和方法
WO2019032604A1 (en) 2017-08-08 2019-02-14 Reald Spark, Llc ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS
US11115647B2 (en) 2017-11-06 2021-09-07 Reald Spark, Llc Privacy display apparatus
US10851962B2 (en) 2017-12-12 2020-12-01 Flex-N-Gate Advanced Product Development, Llc Backlit 3D lamp
CA3089477A1 (en) 2018-01-25 2019-08-01 Reald Spark, Llc Touch screen for privacy display
EP4214441A4 (en) 2020-09-16 2024-08-28 RealD Spark, LLC VEHICLE EXTERNAL LIGHTING DEVICE
EP4396624A4 (en) * 2021-08-31 2024-12-25 Spectralics Ltd. DYNAMIC PARALLEL MONOCULAR PROJECTION
US12181690B2 (en) 2022-07-06 2024-12-31 Lumenco, Llc Micro-optic anticounterfeiting elements for currency and other items using virtual lens systems
WO2024030274A1 (en) 2022-08-02 2024-02-08 Reald Spark, Llc Pupil tracking near-eye display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0752609A2 (en) * 1995-07-04 1997-01-08 Sharp Kabushiki Kaisha Method of making an SLM, SLM autostereoscopic display, and backlight

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4853769A (en) 1987-06-16 1989-08-01 Massachusetts Institute Of Technology Time multiplexed auto-stereoscopic three-dimensional imaging system
GB8716369D0 (en) 1987-07-10 1987-08-19 Travis A R L Three-dimensional display device
US4799739A (en) 1987-08-10 1989-01-24 Advanced Dimensional Displays, Inc. Real time autostereoscopic displays using holographic diffusers
US5223925A (en) 1990-10-28 1993-06-29 Tomohiko Hattori Autostereoscopic system
US5283640A (en) 1992-01-31 1994-02-01 Tilton Homer B Three dimensional television camera system based on a spatial depth signal and receiver system therefor
GB2267579A (en) 1992-05-15 1993-12-08 Sharp Kk Optical device comprising facing lenticular or parallax screens of different pitch
WO1994010805A1 (en) 1992-11-05 1994-05-11 Perceptual Images Three dimensional imaging system using shutter and back to back lenticular screen
GB2272555A (en) 1992-11-11 1994-05-18 Sharp Kk Stereoscopic display using a light modulator
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5521724A (en) 1993-11-15 1996-05-28 Shires; Mark R. Real-time automultiscopic 3D video display using holographic optical elements (HOEs)
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
US5430474A (en) 1993-11-24 1995-07-04 Hines; Stephen P. Autostereoscopic imaging system
EP1209508B1 (en) * 1993-12-01 2004-10-27 Sharp Kabushiki Kaisha Display for 3D images
JPH07159723A (ja) 1993-12-03 1995-06-23 Terumo Corp 立体画像表示装置
US5543964A (en) * 1993-12-28 1996-08-06 Eastman Kodak Company Depth image apparatus and method with angularly changing display information
US5825540A (en) * 1996-04-22 1998-10-20 Raytheon Company Autostereoscopic display and method
JP2846856B2 (ja) * 1996-07-19 1999-01-13 三洋電機株式会社 立体映像表示装置
US5993003A (en) * 1997-03-27 1999-11-30 Litton Systems, Inc. Autostereo projection system
ATE273598T1 (de) * 1997-03-27 2004-08-15 Litton Systems Inc Autostereoskopisches projektionssystem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0752609A2 (en) * 1995-07-04 1997-01-08 Sharp Kabushiki Kaisha Method of making an SLM, SLM autostereoscopic display, and backlight

Also Published As

Publication number Publication date
EP0970589B1 (en) 2004-08-11
US6481849B2 (en) 2002-11-19
EP0970589A1 (en) 2000-01-12
US20010005261A1 (en) 2001-06-28
KR20010005726A (ko) 2001-01-15
JP2001519126A (ja) 2001-10-16
AU739910B2 (en) 2001-10-25
CA2284915A1 (en) 1998-10-01
DE69825572T2 (de) 2005-08-04
DE69825572D1 (de) 2004-09-16
AU8937998A (en) 1998-10-20
ATE273598T1 (de) 2004-08-15
WO1998043441A1 (en) 1998-10-01
CA2284915C (en) 2005-08-23
US6224214B1 (en) 2001-05-01

Similar Documents

Publication Publication Date Title
KR100520699B1 (ko) 자동입체 투영시스템
US9958694B2 (en) Minimized-thickness angular scanner of electromagnetic radiation
EP1757109B1 (en) 3d display method and apparatus
JP3022558B1 (ja) 三次元表示方法及び装置
EP0862767B1 (en) Three-dimensional drawing system and method
US5993003A (en) Autostereo projection system
US6595644B2 (en) Dynamic time multiplexed holographic screen with 3-D projection
Ezra et al. New autostereoscopic display system
Moore et al. Time-multiplexed color autostereoscopic display
JP3081589B2 (ja) 三次元表示方法および装置
US5024521A (en) Autostereoscopic presentation system
US20070229778A1 (en) Time-multiplexed 3D display system with seamless multiple projection
US20100302136A1 (en) Method and apparatus for displaying three-dimensional stereo images viewable from different angles
EP1083757A2 (en) Stereoscopic image display apparatus
EP4137872A1 (en) Display apparatus, system and method
Kajiki et al. Autostereoscopic 3-D video display using multiple light beams with scanning
JPH08334730A (ja) 立体像再生装置
Meacham Autostereoscopic displays-past and future
AU5746499A (en) Device for producing three-dimensional images
Martin et al. Three-dimensional visualization without glasses: a large-screen autostereoscopic display
TW405044B (en) Autostereo projection system
Eichenlaub Further advances in autostereoscopic technology at Dimension Technologies Inc.
JP3564170B2 (ja) 平面画像を立体画像昇華する処理関連物及び該製造方法。
Zhang et al. A projection-based multi-view time-multiplexed autostereoscopic 3D display system
Surman et al. HELIUM3D: A laser-scanned head-tracked autostereoscopic display

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 19990927

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20030327

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050127

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050728

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20051005

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20051006

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20080924

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20090929

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20100928

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20110928

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20121002

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20121002

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20130926

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20130926

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20140926

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20150924

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20160922

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20160922

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20170922

Start annual number: 13

End annual number: 13

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20180927

Termination category: Expiration of duration