[go: up one dir, main page]

KR20070104209A - 다층 표시 소자를 이용한 입체 영상시스템 - Google Patents

다층 표시 소자를 이용한 입체 영상시스템 Download PDF

Info

Publication number
KR20070104209A
KR20070104209A KR1020070009345A KR20070009345A KR20070104209A KR 20070104209 A KR20070104209 A KR 20070104209A KR 1020070009345 A KR1020070009345 A KR 1020070009345A KR 20070009345 A KR20070009345 A KR 20070009345A KR 20070104209 A KR20070104209 A KR 20070104209A
Authority
KR
South Korea
Prior art keywords
image
lens
display unit
depth
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070009345A
Other languages
English (en)
Other versions
KR100860611B1 (ko
Inventor
이병호
김윤희
박재형
최희진
김주환
조성우
Original Assignee
재단법인서울대학교산학협력재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인서울대학교산학협력재단 filed Critical 재단법인서울대학교산학협력재단
Publication of KR20070104209A publication Critical patent/KR20070104209A/ko
Application granted granted Critical
Publication of KR100860611B1 publication Critical patent/KR100860611B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F13/00—Coverings or linings, e.g. for walls or ceilings
    • E04F13/07—Coverings or linings, e.g. for walls or ceilings composed of covering or lining elements; Sub-structures therefor; Fastening means therefor
    • E04F13/08—Coverings or linings, e.g. for walls or ceilings composed of covering or lining elements; Sub-structures therefor; Fastening means therefor composed of a plurality of similar covering or lining elements
    • E04F13/0801—Separate fastening elements
    • E04F13/0803—Separate fastening elements with load-supporting elongated furring elements between wall and covering elements
    • E04F13/081—Separate fastening elements with load-supporting elongated furring elements between wall and covering elements with additional fastening elements between furring elements and covering elements
    • E04F13/0816—Separate fastening elements with load-supporting elongated furring elements between wall and covering elements with additional fastening elements between furring elements and covering elements the additional fastening elements extending into the back side of the covering elements
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F2201/00—Joining sheets or plates or panels
    • E04F2201/05—Separate connectors or inserts, e.g. pegs, pins, keys or strips
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16B—DEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
    • F16B5/00—Joining sheets or plates, e.g. panels, to one another or to strips or bars parallel to them
    • F16B5/02—Joining sheets or plates, e.g. panels, to one another or to strips or bars parallel to them by means of fastening members using screw-thread

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다층 표시 소자를 이용한 입체 영상시스템에 관한 것이다.
상기 입체 영상시스템은 동일한 중심축 상에서 순서대로 배열되어 인가되는 기초 영상을 각각 표시하는 다수의 표시 소자를 포함하는 형태로 다층 영상 표시부를 구성한다. 그리고 영상 처리부를 통하여 입체 영상의 재생을 위한 기초 영상들을 각각 생성하고, 상기 다층 영상 표시부의 각각의 표시 소자로 제공한다. 따라서 각각의 표시 소자들은 영상 처리부로부터 인가되는 기초 영상들을 각각 표시하며, 렌즈 어레이는 이와 같이 표시되는 기초 영상들을 서로 다른 중심깊이 평면-여기서 중심깊이 평면은 해당 표시 소자에 의하여 표시되는 영상의 초점이 맺히는 위치를 기준으로 설정 거리내에 포함되는 영역을 나타냄-상에 결상시켜 입체 영상을 생성한다.
즉, 다층 영상 표시부의 구성인 다수의 표시 소자를 이용하여 동시에 여러 개의 서로 다른 중심깊이 평면을 구현함으로서 입체 영상의 표현 가능한 깊이 감을 향상시킬 수 있다.
입체 영상, 다층 표시 소자, 렌즈 어레이, 중심깊이 평면

Description

다층 표시 소자를 이용한 입체 영상시스템{SYSTEM FOR PROVIDING THREE-DIMENSIONAL INTEGRAL IMAGING USING MULTI-LAYERED DISPLAY DEVICE}
도 1은 InIm의 두 가지 표시 방법인 실상 InIm와 허상 InIm을 비교하여 도시한 도이다.
도 2는 본 발명의 실시 예에 따른 입체 영상시스템의 구조를 나타낸 블럭도이다.
도 3a 및 도 3b는 본 발명의 제1 실시 예에 따른 영상시스템을 나타낸 구조도이다.
도 4는 본 발명의 제2 실시 예에 따른 입체 영상시스템을 나타낸 구조도이다.
도 5는 본 발명의 제3 실시 예에 따른 입체 영상시스템을 나타낸 구조도이다.
본 발명은 입체 영상시스템에 관한 것으로, 더욱 상세하게 말하자면 다층 표시 소자를 이용하여 깊이감이 향상되는 입체 영상시스템에 관한 것이다.
종래의 입체 영상을 구현하는 기술 중 렌즈 어레이를 사용하는 집적 영상 (Integral Photography 또는 Integral Imaging, 이하 II라 명명함) 방식은 1908년 리프만(Lippmann)에 의해 처음 제안된 후 점차 개선되었다. 그러나 그동안 촬영 소자나 표시 소자 기술의 한계로 인해 크게 주목을 받지 못하다가, 고분해능 촬영 소자와 고해상도 표시 소자의 개발과 함께 최근 연구가 활발해지고 있다.
종래의 II 방식을 사용하는 입체 영상 표시 장치에서는 촬영된 영상을 소정의 렌즈 어레이를 이용하여 3차원 영상으로 재생시키거나, 또는 컴퓨터 그래픽으로 제작된 기초 영상을 토대로 3차원 영상을 재생한다.
그러나 기존 II 방식을 사용하는 입체 영상 표시 장치의 가장 큰 단점은 기존 II가 오직 3차원 영상만을 표시할 수 있고 2차원 영상은 표시할 수 없다는 것이다.
II 방식을 사용한 시스템은, 크게 촬영부 및 표시부로 구성된다. 촬영부는 렌즈 어레이를 구성하는 기초 렌즈들에 의해 생성되는 3차원 물체의 여러 방향에서의 기초 영상을 촬영(촬상) 소자에 저장한다. 표시부는 촬영부의 역 과정으로서, 상기 저장된 기초 영상들을 표시하고, 다시 이 기초 영상들이 렌즈 어레이를 통과하면서 합쳐져서 원래 3차원 물체가 있었던 위치에서 입체 영상으로 재생하게 된다.
이때 촬영 과정에서 발생하는 깊이 역전 현상 등의 문제를 해결하고 시스템의 구조를 보다 간단히 하기 위해, 컴퓨터 그래픽으로 기초 영상을 제작하는 방식인 CGII(Computer-Generated Integral Imaging)가 제안되었다.
CGII 시스템의 구조는 가상의 3차원 물체에 대한 기초 영상들을 컴퓨터를 이용해 생성하고 이를 표시부로 전송한 후, 렌즈 어레이를 통해 입체 영상을 구현하는 간단한 구조이다.
이때 입체 영상이 맺히는 위치는 렌즈 어레이와 표시부와의 거리에 따라 달라지는데 이는 다음의 식으로부터 쉽게 알 수 있다.
1/d + 1/g = 1/f
(여기에서 d는 입체 영상의 렌즈 어레이로부터의 위치, g는 렌즈 어레이와 표시부와의 거리, f는 렌즈 어레이를 구성하는 기초 렌즈(단위 렌즈)의 초점 거리이다.)
즉, 렌즈 어레이와 표시부와의 거리가 기초 렌즈의 초점거리보다 클 경우에는 상이 맺히는 거리 값이 양수가 되어 입체 영상이 렌즈 어레이의 앞면에 실상 으로 맺히게 되고(실상 InIm(Integral Imaging)) , 반대로 렌즈 어레이와 LCD 패널과의 거리가 기초 렌즈의 초점거리보다 작을 경우에는 상이 맺히는 거리 값이 음수가 되는데, 이는 입체 영상이 렌즈 어레이의 뒷면에 허상으로 맺히게 됨을 뜻한다(허상 InIm(Integral Imaging)).
도 1은 InIm의 두 가지 표시 방법인 실상 InIm와 허상 InIm을 비교하여 도시한 도이다. 첨부한 도 1에서와 같이, 허상 InIm의 경우 입체 영상이 맺히는 위치가 실상 InIm보다 관찰자로부터 멀리 떨어져 있기 때문에 관찰자의 위치가 렌즈 어레이와 표시부 쪽으로 약간 더 가까운 곳에서도 입체 영상을 관찰할 수 있는 장점이 있다. 또한 도 1로부터 알 수 있듯이 허상 InIm의 기초 영상은 실상 InIm의 기초 영상과는 달리 직립상이라는 차이점을 제외하고는 실상 InIm의 구현 방식과 유사하다.
그러나 이러한 InIm 방식에 의한 문제점은 표현할 수 있는 3차원 물체의 깊이감이 제한되는데 있다. 전술한 바와 같이 입체 영상이 맺히는 위치는 렌즈 어레이와 표시 장치와의 거리에 의해 결정되며, 입체 영상이 맺히는 위치가 초점이 맞는 위치에 위치하게 되면 입체 영상이 잘 표시된다. 그러나 입체 영상이 맺히는 위치가 초점 위치로부터 멀어지게 되면 표시되는 입체 영상의 초점이 맞지 않고 왜곡된다. 즉 표현할 수 있는 입체 영상의 깊이가 초점 위치를 기준으로 형성되는 중심깊이 평면을 중심으로 수 cm 이내로 제한되는 문제점이 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 깊이감이 향상된 입체 영상시스템을 제공하는 것이다.
전술한 기술적 과제를 해결하기 위한 본 발명의 특징에 따른 입체 영상시스템은,
동일한 중심축 상에 순차적으로 배열되어 있는 다수의 표시 소자를 포함하며, 각각의 상기 표시 소자들은 인가되는 기초 영상을 각각 다른 중심깊이 평면-여기서 중심깊이 평면은 해당 표시 소자에 의하여 표시되는 영상의 초점이 맺히는 위치를 기준으로 설정 거리 내에 포함되는 영역을 나타냄-에 표시하는 다층 영상 표 시부; 상기 다수의 표시 소자에 대응되는 각각의 기초 영상을 제공하는 영상 처리부; 및 다수의 기초 렌즈로 구성되며 상기 다층 영상 표시부의 각각의 상기 표시 소자에서 표시되는 기초 영상들을 서로 다른 중심깊이 평면에 결상시켜, 입체영상을 표시하는 렌즈 어레이를 포함한다.
여기서, 상기 다층 영상 표시부는, 상기 영상 처리부로부터 인가되는 기초 영상을 표시하며, 하나의 발광하는 일반형 표시 소자로 구성되는 일반형 영상 표시부; 및 상기 영상 처리부로부터 인가되는 기초 영상을 표시하며, 적어도 하나 이상의 투과형 표시 소자로 구성되는 투과형 영상 표시부를 포함한다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 입체 영상시스템에 대하여 도면을 참고로 하여 상세하게 설명한다.
본 발명의 실시 예에서는 다수의 표시 소자로 구성된 다층 표시 소자를 이용 하여 다수의 중심 깊이 평면에 입체 영상을 결상시킨다. 사용되는 표시 소자의 수에 따라 중심 깊이 평면의 수가 가변되며, 표현하고자 하는 입체 영상의 깊이감에 따라 중심 깊이 평면을 다수 만들어, 결상되는 입체 영상의 깊이 감을 향상시킨다. 여기서 중심깊이 평면은 해당 표시 소자에 의하여 표시되는 영상의 초점이 맺히는 위치를 기준으로 설정거리 내에 포함되는 영역을 나타낸다. 그리고 '다층 표시 소자'를 구성하는 다수의 표시 소자가 동일한 축 상에 평행하게 배열되어 있으며, 하나의 표시 소자를 하나의 층이라고 명명할 수 있다. 이러한 다층 표시 소자를 구성함에 있어서 표시 소자가 배열되는 축의 방향이 어느 한 방향으로 한정되지 않는다.
도 2는 본 발명의 실시 예에 따른 입체 영상시스템의 구조를 나타낸 블럭도이다.
첨부한 도 2를 살펴보면, 본 발명의 실시 예에 따른 입체 영상시스템은, 다층 영상 표시부(100), 영상 처리부(300), 그리고 렌즈 어레이(200)를 포함한다.
다층 영상 표시부(100)는 일반형 영상 표시부(110)와, 투과형 영상 표시부(120)로 이루어진다. 그리고 다층 영상 표시부(100)는 본 발명에 따른 다층 표시 소자에 대응된다.
일반형 영상 표시부(110)는 영상 처리부(300)로부터 인가되는 기초 영상을 표시하며, 하나의 발광하는 일반형 표시 소자로 구성되는 장치로서 광원으로서의 역할을 한다.
투과형 영상 표시부(120)는 영상 처리부(300)로부터 인가되는 기초 영상을 표시하며, 하나이상의 투과형 표시 소자로 구성되는 장치로서 외부의 빛을 변조하여 투과 정도를 조절함으로서 영상을 표시한다.
일반형 영상 표시부(110)에 사용되는 표시 소자로는 예를 들어, 평면 표시장치(Flat-panel display, FPD) 등이 사용될 수 있다. 투과형 영상 표시부(120)에 사용되는 표시 소자로는 예를 들어 액정 표시 장치의 패널(Panel)이 사용될 수 있으나, 본 발명은 이러한 것에 한정되지 않는다.
다층 영상 표시부(100)는 표시 소자의 수를 조절하여 일반형 영상 표시부(110)와 투과형 영상 표시부(120)를 다양한 형태로 구현할 수 있다. 예를 들면 도 2에서와 같이 다층 영상 표시부(100)는 하나의 일반형 표시 소자를 이용한 일반형 영상 표시부(110)와 다수의 투과형 표시 소자를 이용한 투과형 영상 표시부(120)로 구성할 수 있다.
다층 영상 표시부(100)는 기초 영상이 렌즈 어레이(200)로 입사되는 경로 상에 일반형 영상 표시부(110)와 투과형 영상 표시부(120)를 순차적으로 배열한다. 구체적으로 렌즈 어레이(200)로부터 가장 멀리 떨어진 위치에 일반형 영상 표시부(110)를 위치하고, 이어서 투과형 영상 표시부(120)의 표시 소자들이 위치한다.
영상 처리부(300)는 다층 영상 표시부(100)의 일반형 영상 표시부(110)와 투과형 영상 표시부(120)의 표시 소자에 각각 연결되어있다. 이러한 영상 처리부는 일반형 영상 표시부(110)와 투과형 영상 표시부(120)를 구성하는 표시 소자에 대응하는 수의 기초 영상들을 생성하고, 생성된 기초 영상을 각각 대응하는 표시 소자로 제공한다.
렌즈 어레이(200)는 도 2에서와 같이 일반형 영상 표시부(110) 및 투과형 영상 표시부(120)가 순차적으로 배열된 다층 영상 표시부(100)와 동일한 중심축 상에 위치한다. 그러므로 렌즈 어레이(200)와 다층 영상 표시부(100)를 구성하는 표시 소자들과의 거리는 각각 다르게 된다. 따라서 다층 영상 표시부(100)의 각각의 표시 소자를 통하여 표시되는 기초 영상들은 서로 다른 중심깊이 평면상에 결상되어 깊이감이 향상된 입체 영상이 생성된다.
다음은 본 발명의 실시 예에 따른 입체 영상시스템에서 기초 영상을 생성하는 방법에 대하여 설명한다.
실상 InIm의 기초 영상과 허상 InIm의 기초 영상은 다음과 같이 생성된다.
예를 들어, 재생될 입체 영상을 이루는 한 점 P의 평면상의 위치를 직교 좌표로 (x, y), 그 깊이 정보, 즉 렌즈 어레이(200)로부터 그 점의 상이 맺히는 곳까지의 거리는 z, 렌즈 어레이(200)의 각 기초 렌즈 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표를 (lens_x[i][j], lens_y[i][j]), 그리고 기초 렌즈의 x방향 크기를 L_x, y방향 크기를 L_y, 초점 거리를 f 라고 가정한다.
이 때 가상의 물체 포인트(object point)인 점 P의 기초 영상 중 왼쪽으로부터 i 번째 위로부터 j 번째에 위치한 기초 렌즈에 해당하는 기초 영상을 구성하는 점의 좌표 값 E_ij는 다음 식에 의해 정해진다.
상기 좌표 값 E_ij가 실상 InIm일 경우는,
Elemental_image_x[i][j] = lens_x[i][j] + (f/z) * (lens_x[i][j] - x )
Elemental_image_y[i][j] = lens_y[i][j] + (f/z) * (lens_y[i][j] - y )
로 정해진다.
상기 좌표 값 E_ij가 허상 InIm일 경우는,
Elemental_image_x[i][j] = lens_x[i][j] - (f/z) * (lens_x[i][j] - x )
Elemental_image_y[i][j] = lens_y[i][j] - (f/z) * (lens_y[i][j] - y )
로 정해진다.
다음 위의 수학식 2 및 3 혹은 수학식 4 및 5에 의하여 계산된 점 E_ij들 중 재생된 입체 영상이 동시에 여러 개가 보이는 현상을 피하기 위해, 다음의 조건을 동시에 만족시키는 점들만이 최종적으로 왼쪽으로부터 I 번째 위로부터 j 번째에 위치한 기초렌즈에 의한 기초 영상이 된다.
(조건1) -Lx/2 < Elemental_image_x[i][j] - lens_x[i][j] < Lx/2
(조건2) -Ly/2 < Elemental_image_y[i][j] - lens_y[i][j] < Ly/2
이때, 일반적인 II에서는 하나의 표시 소자를 사용하므로, 한 종류의 기초 영상만을 제작하고 이를 렌즈 어레이를 통해 입체 영상으로 변환시키기 때문에 재생되는 입체 영상의 깊이 감은 초점이 맺히는 위치를 중심으로 한정되었다.
그러나 본 발명의 영상 처리부(300)에서는 다층 영상 표시부(100)를 구성하 는 표시 소자의 수에 따라 렌즈 어레이(200)로부터 그 점의 상이 맺히는 곳까지의 거리 z를 복수로 설정할 수 있다. 즉 다층 영상 표시부(100)의 표시 소자들과 렌즈 어레이(200) 사이의 각각의 거리에 따라 z값을 복수개로 하고, 각각의 z값을 토대로 각기 다른 조건을 만족하는 다수의 기초 영상을 생성할 수 있다. 그러므로 다양한 깊이 감을 가지는 영상의 표현이 가능한 특징이 있다.
렌즈 어레이(200)으로부터 거리 a만큼 떨어진 표시 소자에 표시되는 기초 영상의 경우, 각각의 기초 영상들은 다음 수학식을 만족한다.
Elemental_image_x[i][j] = lens_x[i][j] + (a-f/a) * (lens_x[i][j] - x )
Elemental_image_y[i][j] = lens_y[i][j] + (a-f/a) * (lens_y[i][j] - y )
상기 a만큼 떨어진 표시 소자에 의하여 표시되는 기초 영상들이 렌즈 어레이(200)를 통해 결상되는 중심깊이 평면과 상기 렌즈 어레이(200)사이의 거리(Central_Depth_Plane_a)는 다음 수학식을 만족한다.
Central_Depth_Plane_a = af/(a-f)
렌즈 어레이(200)로부터 거리 b만큼 떨어진 표시 소자에 표시되는 기초 영상의 경우, 각각의 기초 영상들은 다음 수학식을 만족한다.
Elemental_image_x[i][j] = lens_x[i][j] + (b-f/b) * (lens_x[i][j] - x )
Elemental_image_y[i][j] = lens_y[i][j] + (b-f/b) * (lens_y[i][j] - y )
상기 거리 b만큼 떨어진 표시 소자에 의하여 표시되는 기초 영상들이 렌즈 어레이(200)를 통해 결상되는 중심깊이 평면과 렌즈 어레이(200)사이의 거리(Central_Depth_Plane_b)는 다음 수학식을 만족한다.
Central_Depth_Plane_b = bf/(b-f)
실상을 표시하고자 하는 경우, 렌즈 어레이(200)와 표시 소자의 거리(예를 들어, a)가 기초렌즈의 초점거리 f 보다 크다(a > f). 이 경우에는 상이 맺히는 거리 값이 양수가 되어 입체 영상이 렌즈 어레이(200)의 앞면에서 실상 InIm으로 맺히게 된다. 이 경우 각 기초 렌즈를 위한 기초 영상을 이루는 점들의 좌표 값 중 실상 InIm을 이루는 점들의 좌표 값은 수학식 6과 7을 토대로 정해진다.
반대로 허상을 표시하고자 하는 경우, 렌즈 어레이(200)와 표시 소자와의 거리(예를 들어, b)가 기초 렌즈의 초점거리보다 작다(b < f). 이 경우에는 상이 맺히는 거리 값이 음수가 되어 입체 영상이 렌즈 어레이(200)의 뒷면에 허상 InIm으로 맺히게 된다. 이 경우 각 기초 렌즈를 위한 기초 영상을 이루는 점들의 좌표 값 중 허상 InIm을 이루는 점들의 좌표 값은 수학식 9와 10을 토대로 정해진다.
본 발명의 실시 예에서는 다층 영상 표시부(100)를 구성하는 다수의 표시 소자 중에서 적어도 하나의 표시 소자와 렌즈 어레이(200) 사이의 거리를 a로 설정하고, 다른 적어도 하나의 표시 소자와 렌즈 어레이(200)의 사이의 거리를 b로 설정 하여, 실상과 허상 InIm을 동시에 구현할 수 있다. 이에 따라 다층 영상 표시부(100)를 통하여 얻어지는 입체 영상은 보다 향상된 깊이감을 갖을 수 있다.
다음에는 본 발명의 실시 예에 따른 다층 영상 표시부(100)를 구성하는 방법에 따른 다수 실시 예에 대하여 설명한다.
도 3a 및 도 3b는 본 발명의 제1 실시 예에 따른 입체 영상시스템을 나타낸 구조도이다.
도 3a 및 도 3b를 살펴보면, 본 발명의 제1 실시 예에 따른 입체 영상 시스템은 영상 처리부(300), 다층 영상 표시부(100) 및 렌즈 어레이(200)를 포함한다. 여기서 다층 영상 표시부(100)의 일반형 영상 표시부(110)와 투과형 영상 표시부(120)는 각각 하나의 표시 소자로 구성된다.
일반형 영상 표시부(110)는 영상 처리부는 영상 처리부(300)로부터 인가된 제1 기초 영상을 표시하고, 투과형 영상 표시부(120)는 영상 처리부(300)로부터 인가된 제2 기초 영상을 표시 한다. 상기 표시된 기초 영상들은 렌즈 어레이(200)에 의해 집합되어, 각각 서로 다른 중심깊이 평면상에 결상된다. 상세히 말하면 일반형 영상 표시부(110)는 투과형 영상 표시부(120)보다 렌즈 어레이(200)으로부터 멀리 위치하기 때문에, 일반형 영상 표시부(110)의 제1 기초 영상은 투과형 영상 표시부(120)를 거치게 된다. 그리고 렌즈 어레이(200)를 통하여 하나의 중심 깊이 평면을 중심으로 하나의 입체 영상으로 생성된다. 한편, 투과형 영상 표시부(120)는 영상 처리부(300)로부터 제2 기초 영상이 인가되면 동일한 중심축 상의 렌즈 어레이(200)를 통하여 중심깊이 평면을 중심으로 또 하나의 입체 영상을 생성한다.
이렇게 일반형 영상 표시부(110) 및 투과형 영상 표시부(120)와 렌즈 어레이(200)의 거리에 따라 대응되는 중심깊이 평면도 각각 달라지며, 그 결과 각각의 표시부에 표시되는 기초 영상들은 렌즈 어레이(200)를 통하여 2개의 서로 다른 중심깊이 평면에서 입체 영상으로 결상된다. 즉, 일반형 영상 표시부(110)와 투과형 영상 표시부(120)가 중심깊이 평면을 중심으로 생성된 입체 영상을 각각 서로다른 위치에 표시하게 된다. 따라서 하나의 표시부를 사용한 깊이감보다 향상된 깊이감을 가지는 입체 영상을 표현할 수 있다.
영상 처리부(300)는 촬영 또는 계산에 의하여 기초 영상을 각각 생성하여 다층 영상 표시부(100)의 일반형 영상 표시부(110)와 투과형 영상 표시부(120)에 제공한다. 즉 일반형 영상 표시부(110)와 렌즈 어레이(200) 사이의 거리를 토대로 제1 기초 영상을 생성하고, 투과형 영상 표시부(120)와 렌즈 어레이(200) 사이의 거리를 토대로 제2 기초 영상을 생성하여 해당 표시 소자에 제공한다.
첨부된 도면에 있어서의 도 3a는 두 개의 실상을 나타내고, 도 3b는 하나의 실상과 하나의 허상을 표시한 경우이다.
렌즈 어레이(200)와 일반형 영상 표시부(110) 및 투과형 영상 표시부(120)의 거리가 기초렌즈의 초점거리 f 보다 클 경우(a > f)에는 상이 맺히는 거리 값이 양수가 되어 중심깊이 평면을 중심으로 하는 입체 영상이 렌즈 어레이(200)의 앞면에 실상 InIm으로 맺히게 된다. 반대로 렌즈 어레이(200)와 일반형 영상 표시부(110) 및 투과형 영상 표시부(120)와 거리가 기초 렌즈의 초점거리 f보다 작을 경우(b < f)에는 상이 맺히는 거리 값이 음수가 되어 입체 영상이 렌즈 어레이(200)의 뒷면 에 허상 InIm으로 맺히게 된다. 이렇게 두 개의 표시 소자를 이용하여 실상과 허상 InIm을 동시에 구현함으로써 얻어지는 입체 영상으로 보다 깊이 감을 향상시킬 수 있다.
이 경우 각 기초 렌즈를 위한 기초 영상을 이루는 점들의 좌표 값 중 실상 InIm을 이루는 점들의 좌표 값은 상기한 수학식 6과 7로 정해지며, 허상 InIm을 이루는 점들의 좌표 값은 수학식 9와 10으로 정해진다.
다음에는 본 발명의 제2 실시 예에 따른 입체 영상시스템에 대하여 설명한다.
도 4는 본 발명의 제2 실시 예에 따른 입체 영상시스템을 나타낸 구조도이다.
본 발명의 제2 실시 예에 따른 입체 영상시스템의 구조는 제1 실시 예와 동일하게 이루어지며, 제1 실시 예와 다른 점은 다층 영상 표시부(100)를 구성함에 있어서 3개 또는 그 이상의 N개의 표시 소자를 사용하여 깊이감을 증대시켰다. 제 1 실시 예에서 2개의 표시 소자를 사용한 다층 영상 표시부(100)는 2개의 중심깊이 평면을 중심으로 입체 영상이 표시된다. 이때 깊이가 큰 물체를 표현하기 위해 두 중심깊이 평면의 깊이 차이를 크게 할 경우 두 중심깊이 평면의 사이에 위치한 입체 영상은 왜곡을 피할 수 없다. 그렇기 때문에 깊이가 큰 물체를 표현하거나 3개 이상의 다른 깊이를 표현하기 위해 3개 또는 그 이상의 N개의 표시 소자를 사용하는 것이 바람직하다.
상기한 이유로 제2 실시 예에 따른 다층 영상 표시부(100)는 하나의 일반형 영상 표시부(110)와 두개의 투과형 표시 소자(120-1),(120-2)를 포함하는 투과형 영상 표시부(120)로 구성하였다. 그리고 설명의 편의상 도면에는 생략되었으나 투과형 영상 표시부(120)는 추가로 N개의 표시 소자를 더 포함 할 수 있다.
다층 영상 표시부(100)의 층간 배열을 살펴보면, 일반형 영상 표시부(110)는 투과형 표시 소자(120-1)보다 렌즈 어레이(200)로부터 거리가 가장 멀리 떨어져 있고, 투과형 표시 소자(120-1)는 투과형 표시 소자(120-2)보다 렌즈 어레이(200)로부터 멀리 떨어져 위치한다. 이때 일반형 영상 표시부(110)와 투과형 표시 소자(120-1),(120-2)를 순차적으로 통하여 표시되는 기초 영상들은 각각 렌즈 어레이(200)를 통하여 서로 다른 중심깊이 평면에서 입체 영상으로 결상된다.
이와 같이 다층 영상 표시부(100)의 투과형 영상 표시부(120)를 구성하는 표시 소자가 N만큼 증가됨에 따라, 각각의 표시 소자에 의하여 표시되는 입체 영상도 N만큼 늘어나므로 더욱 향상된 깊이를 얻을 수 있고, 깊이가 큰 물체를 표현하거나, 3개 이상의 다른 깊이를 갖는 물체를 표현하기 용이하다.
이 경우 각 기초 렌즈들을 위한 기초 영상을 이루는 점들의 좌표 값들 중 실상 InIm을 이루는 점들의 좌표 값은 제1 실시 예와 같이 수학식 6과 7로 정해지며 허상 InIm을 이루는 점들의 좌표 값은 수학식 9와 10으로 정해진다.
위와 같은 경우 각 표시 소자와 렌즈 어레이(200)간의 거리 a1,a2, a3,...,an 에 따라 N번의 계산을 하여 N개의 기초 영상을 생성한다.
다음에는 본 발명의 제3 실시 예에 따른 입체 영상시스템에 대하여 설명한다.
도 5는 본 발명의 제3 실시예에 따른 입체 영상시스템을 나타낸 구조도이다.
본 발명의 제3 실시 예에 따른 입체 영상시스템의 구조는 제2 실시 예와 동일하게 이루어지며, 단지 다층 영상 표시부(100)의 구성 요소인 표시 소자들 간의 거리를 가까이 위치시키는 것만 다르다. 즉 표시 소자들을 통하여 생성한 각각의 입체 영상들의 경계가 인접한 입체 영상의 경계와 중첩되어 연결되게 구성한다. 여기서 입체 영상의 경계는 상이한 위치에 생성된 인접한 입체 영상이 서로 연결되는 부분을 말한다. 따라서 다층 영상 표시부(100)는 연속적인 깊이를 표현하는 방식으로 한덩이의 부피감과 깊이감이 큰 물체의 영상을 표시하기에 바람직한 구성이 된다.
전술한 바와 같이 하나의 표시 소자를 이용한 입체 영상은 중심깊이 평면, 즉 초점이 맞는 부근에서 수 cm 내의 깊이를 표현할 수 있다. 이를 여유 깊이(Marginal depth)라고 하는데 도 5에서 보여 주듯이 일반형 영상 표시부(110)와 투과형 표시 소자(120-1) 및 투과형 표시 소자(120-2)가 갖는 여유 깊이가 서로 중첩되도록 배치한다. 더 상세히 설명하면 일반형 영상 표시부(110)의 여유 깊이가 투과형 표시 소자(120-1) 여유 깊이와 겹쳐지게 되고, 또한 투과형 표시 소자 1(120-1)의 여유 깊이가 투과형 표시 소자 2(120-2)의 여유 깊이 경계가 중첩 되어 전체적으로 기존 여유 깊이의 3배만큼의 연속적인 여유 깊이를 확보하게 된다.
이와 같은 방식으로 다층 영상 표시부(100)의 인접한 표시 소자들 간의 거리를 가까이 위치시켜서 여유 깊이가 상호 연결 되도록 하면 따로 떨어진 여러 깊이가 아닌 하나로 연결된 연속적인 여유 깊이를 얻을 수 있는 효과가 있다.
그리고 전술한 실시 예와 마찬가지로 각 기초 렌즈들을 위한 기초 영상을 이루는 점들의 좌표 값들 중 실상 InIm을 이루는 점들의 좌표 값은 수학식 6과 7로 정해지며 허상 InIm을 이루는 점들의 좌표 값은 수학식 9와 10으로 각각 정해진다. 또한 각 영상 표시부의 렌즈 어레이(200)로부터의 거리 a1,a2,a3,...,an 에 따라 N번의 계산을 하여 N개의 기초 영상을 얻는다. 다만, 각 여유 깊이가 겹쳐질 수 있도록 각 표시 소자들 간의 거리가 결정된다.
이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
본 발명의 실시 예에 따르면, 다층 영상 표시부를 이용하여 기존의 중심깊이 평면이 하나로 제한되는 것을 극복하고, 동시에 여러 개의 중심깊이 평면을 구현함으로써 영상의 표현 가능한 깊이 감을 향상시킬 수 있다. 이로서 부피와 깊이감이 큰 물체가 수 cm 이내로 제한되는 영상의 왜곡 없이 표시 하는 효과를 기대할 수 있다.

Claims (9)

  1. 동일한 중심축 상에 순차적으로 배열되어 있는 다수의 표시 소자를 포함하며, 각각의 상기 표시 소자들은 인가되는 기초 영상을 각각 다른 중심깊이 평면-여기서 중심깊이 평면은 해당 표시 소자에 의하여 표시되는 영상의 초점이 맺히는 위치를 기준으로 설정 거리내에 포함되는 영역을 나타냄-에 표시하는 다층 영상 표시부;
    상기 다수의 표시 소자에 대응되는 각각의 기초 영상을 제공하는 영상 처리부; 및
    다수의 기초 렌즈로 구성되며 상기 다층 영상 표시부의 각각의 상기 표시 소자에서 표시되는 기초 영상들을 서로 다른 중심깊이 평면에 결상시켜, 입체 영상을 표시하는 렌즈 어레이
    를 포함하는 입체 영상시스템.
  2. 제 1 항에 있어서,
    상기 다층 영상 표시부는,
    상기 영상 처리부로부터 인가되는 기초 영상을 표시하며, 하나의 발광하는 일반형 표시 소자로 구성되는 일반형 영상 표시부; 및
    상기 영상 처리부로부터 인가되는 기초 영상을 표시하며, 적어도 하나의 투과형 표시 소자로 구성되는 투과형 영상 표시부
    를 포함하는 입체 영상시스템.
  3. 제 2 항에 있어서,
    상기 일반형 영상 표시부는 광원으로서의 역할을 하고, 상기 투과형 영상 표시부는 상기 일반형 영상 표시부로부터 받은 빛을 변조하여 투과 정도를 조절함으로서 영상을 표시하는 것을 특징으로 하는 입체 영상시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 다층 영상 표시부에 포함되는 각각의 표시 소자와 상기 렌즈 어레이와의 거리가 모두 다른 것을 특징으로 하는 입체 영상시스템.
  5. 제 1 항에 있어서,
    상기 표시 소자들의 간격은, 각각 표시되는 입체 영상의 여유 깊이-여기서 여유 깊이는 하나의 표시 소자가 중심깊이 평면을 중심으로 표현 가능한 입체영상의 깊이를 나타냄-가 인접한 표시 소자에서 표시되는 입체 영상의 여유 깊이와 상호 중첩되도록, 설정되는 것을 특징으로 하는 입체 영상시스템.
  6. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 다층 영상 표시부를 구성하는 표시 소자의 수에 따라 대응하는 수의 기 초 영상을 생성하는 것을 특징으로 하는 입체 영상시스템.
  7. 제 6 항에 있어서,
    상기 렌즈 어레이로부터 a(a > f)만큼 떨어진 상기 영상 표시 소자에 의해 입체 영상을 이루는 한 점 P에 대한 기초 영상(Elemental_image_x[i][j], Elemental_image_y[i][j])의 실상 InIm(Integral Imaging) 좌표 값은 다음의 관계식
    Elemental_image_x[i][j] = lens_x[i][j] + (a-f/a) * (lens_x[i][j] - x )
    Elemental_image_y[i][j] = lens_y[i][j] + (a-f/a) * (lens_y[i][j] - y )
    x, y : 3차원 영상 정보의 물체 포인트(object point)인 점 P의 좌표
    a : 상기 렌즈 어레이의 기초 렌즈로부터 상기 점 P의 상이 맺히는 곳까지의 거리
    lens_x[i][j] 및 lens_y[i][j] : 렌즈 어레이의 기초 렌즈 중 왼쪽으로부터 i 번째 및 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표
    f : 기초 렌즈의 초점 거리
    을 만족하고,
    상기 렌즈 어레이로부터 b(b < f)만큼 떨어진 상기 영상 표시 소자에 의해 입체 영상을 이루는 한 점 P에 대한 기초 영상(Elemental_image_x[i][j], Elemental_image_y[i][j])의 허상 InIm(Integral Imaging) 좌표값은 다음의 관계식
    Elemental_image_x[i][j] = lens_x[i][j] - (b-f/b) * (lens_x[i][j] - x )
    Elemental_image_y[i][j] = lens_y[i][j] - (b-f/b) * (lens_y[i][j] - y )
    을 만족하는 것을 특징으로 하는 입체 영상시스템.
  8. 제 7 항에 있어서,
    상기 거리 a만큼 떨어진 표시 소자에 의하여 표시되는 기초 영상들이 렌즈 어레이를 통해 결상되는 중심깊이 평면과, 상기 렌즈 어레이 사이의 거리(Central_Depth_Plane_a)는 다음의 수학식
    Central_Depth_Plane_a = af/(a-f)
    을 만족하며,
    상기 거리 b만큼 떨어진 표시 소자에 의하여 표시되는 기초 영상들이 렌즈 어레이를 통해 결상되는 중심깊이 평면과, 상기 렌즈 어레이 사이의 거리(Central_Depth_Plane_b)는 다음의 수학식
    Central_Depth_Plane_b = bf/(b-f)
    을 만족하는 것을 특징으로 하는 입체 영상시스템.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 영상 처리부는,
    상기 다수의 표시 소자 중에서 적어도 하나의 표시 소자로 실상에 해당하는 기초 영상을 제공하고, 다른 적어도 하나의 표시 소자를 허상에 해당하는 기초 영상을 제공하여, 상기 표시 소자들에 의하여 실상 및 허상이 동시에 표시되도록 하 는 입체 영상시스템.
KR1020070009345A 2006-04-21 2007-01-30 다층 표시 소자를 이용한 입체 영상시스템 Expired - Fee Related KR100860611B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060036228 2006-04-21
KR20060036228 2006-04-21

Publications (2)

Publication Number Publication Date
KR20070104209A true KR20070104209A (ko) 2007-10-25
KR100860611B1 KR100860611B1 (ko) 2008-09-29

Family

ID=38818364

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020070009345A Expired - Fee Related KR100860611B1 (ko) 2006-04-21 2007-01-30 다층 표시 소자를 이용한 입체 영상시스템
KR1020070022101A Expired - Fee Related KR100876619B1 (ko) 2006-04-21 2007-03-06 다층 표시 소자를 이용한 입체 영상시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020070022101A Expired - Fee Related KR100876619B1 (ko) 2006-04-21 2007-03-06 다층 표시 소자를 이용한 입체 영상시스템

Country Status (1)

Country Link
KR (2) KR100860611B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108847A3 (ko) * 2010-03-04 2012-01-12 주식회사 토비스 다층 영상 표시 장치
WO2011108849A3 (ko) * 2010-03-04 2012-01-19 주식회사 토비스 다층 영상 표시 장치
WO2017164501A1 (ko) * 2016-03-25 2017-09-28 전자부품연구원 고해상도 다중패널을 이용한 3차원 디스플레이
WO2019127964A1 (zh) * 2017-12-29 2019-07-04 张家港康得新光电材料有限公司 集成成像显示系统
CN115202064A (zh) * 2021-04-12 2022-10-18 幻景启动股份有限公司 立体影像显示设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522985B1 (ko) 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
WO2013141682A1 (ru) * 2012-03-22 2013-09-26 Janins Boriss Способ создания многоракурсных изображений и оптическая плёнка для его осуществления
KR101337790B1 (ko) * 2012-05-22 2013-12-06 경희대학교 산학협력단 다층 깊이 융합 3차원 영상 표시 방법 및 장치
KR101464426B1 (ko) * 2013-02-15 2014-11-27 동서대학교산학협력단 3차원 영상의 겹침 현상을 제거하는 방법
KR20170060508A (ko) 2015-11-24 2017-06-01 한국전자통신연구원 디스플레이 장치
CN107102446B (zh) * 2017-06-27 2019-07-09 京东方科技集团股份有限公司 一种三维立体显示面板、其显示方法及显示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100274624B1 (ko) * 1997-12-24 2000-12-15 윤종용 적층액정디스플레이를이용한3차원입체화상생성장치
KR100351805B1 (ko) * 1999-09-09 2002-09-11 엘지전자 주식회사 3차원 영상 디스플레이 시스템
KR100464286B1 (ko) 2000-06-21 2004-12-31 대한민국 입체 디스플레이 장치 및 그 방법
KR20030045706A (ko) * 2003-04-16 2003-06-11 황용석 가변초점렌즈어레이를 이용한 3차원 디스플레이 표시장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108847A3 (ko) * 2010-03-04 2012-01-12 주식회사 토비스 다층 영상 표시 장치
WO2011108849A3 (ko) * 2010-03-04 2012-01-19 주식회사 토비스 다층 영상 표시 장치
US9661316B2 (en) 2010-03-04 2017-05-23 Tovis Co., Ltd. Multi-layer image display device
WO2017164501A1 (ko) * 2016-03-25 2017-09-28 전자부품연구원 고해상도 다중패널을 이용한 3차원 디스플레이
WO2019127964A1 (zh) * 2017-12-29 2019-07-04 张家港康得新光电材料有限公司 集成成像显示系统
CN115202064A (zh) * 2021-04-12 2022-10-18 幻景启动股份有限公司 立体影像显示设备
CN115202064B (zh) * 2021-04-12 2023-10-03 幻景启动股份有限公司 立体影像显示设备

Also Published As

Publication number Publication date
KR100860611B1 (ko) 2008-09-29
KR20070104213A (ko) 2007-10-25
KR100876619B1 (ko) 2008-12-31

Similar Documents

Publication Publication Date Title
KR100860611B1 (ko) 다층 표시 소자를 이용한 입체 영상시스템
US11935206B2 (en) Systems and methods for mixed reality
JP7204808B2 (ja) 仮想および拡張現実システムおよび構成要素のための改良された製造
JP2022189914A (ja) 改良された回折格子構造を有する仮想および拡張現実システムおよび方法
JP5704893B2 (ja) アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2019502941A (ja) 指向性カラーフィルタ及び裸眼３ｄディスプレイ装置
JP2008146221A (ja) 画像表示システム
JPH0667591A (ja) ホログラムの作成および立体表示方法並びに立体表示装置
JPH0635392A (ja) 立体表示装置
CN102590923B (zh) 透镜、全息图投影制作系统及方法
CN103163722B (zh) 基于微显示芯片阵列的三维图像显示系统和方法
JP5219197B2 (ja) ホログラム生成装置およびそのプログラム
TWI771969B (zh) 適應眼睛位置的立體影像數據的產生方法與顯示系統
KR102267430B1 (ko) 플로팅 라이트필드 3차원 디스플레이 방법 및 시스템
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
CN114815286A (zh) 全视差三维光场显示系统的参数确定方法、装置及设备
JP4961135B2 (ja) 立体画像記録体
JPH07104211A (ja) 回折格子パターンを有するディスプレイ
JP3739348B2 (ja) 三次元表示装置
JP5099825B2 (ja) 干渉縞データ生成装置、干渉縞データ生成方法及び干渉縞データ生成プログラム
JP3944202B2 (ja) 立体像再生装置及びその制御方法並びに記憶媒体
CN115220240B (zh) 适应眼睛位置的立体影像数据的产生方法与显示系统
JP3454793B2 (ja) 三次元映像表示装置への供給映像生成方法
JP2020160363A (ja) 電子ミラーシステム、及び移動体
KR102572016B1 (ko) 초다시점 3차원 디스플레이 기반의 직시형 플로팅 홀로그램 시스템

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070130

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080415

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080731

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080922

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080923

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120216

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20120921

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20120921

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130904

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130904

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140822

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150915

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150915

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160920

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160920

Start annual number: 9

End annual number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180703