[go: up one dir, main page]

KR101173640B1 - 3차원 헤드 마운티드 디스플레이 장치 - Google Patents

3차원 헤드 마운티드 디스플레이 장치 Download PDF

Info

Publication number
KR101173640B1
KR101173640B1 KR1020110073597A KR20110073597A KR101173640B1 KR 101173640 B1 KR101173640 B1 KR 101173640B1 KR 1020110073597 A KR1020110073597 A KR 1020110073597A KR 20110073597 A KR20110073597 A KR 20110073597A KR 101173640 B1 KR101173640 B1 KR 101173640B1
Authority
KR
South Korea
Prior art keywords
image
focus
depth
stereoscopic
limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110073597A
Other languages
English (en)
Inventor
윤기혁
김성규
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110073597A priority Critical patent/KR101173640B1/ko
Application granted granted Critical
Publication of KR101173640B1 publication Critical patent/KR101173640B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 눈의 피로감이 없는 3차원 입체 영상을 제공하기 위한 3차원 헤드 마운티드 디스플레이 장치에 관한 것으로, 관찰자의 좌안 및 우안 각각에 제공되는 영상을 디스플레이하기 위한 스테레오스코픽 디스플레이부, 스테레오스코픽 디스플레이부와 일정 거리 이격되어 배치되고 스테레오스코픽 디스플레이부에서 출력되는 영상을 관찰자에게 제공하기 위한 광학계 및, 관찰자에게 보여지는 3차원 영상을 제어하는 제어부를 구비하되, 제어부는 관찰자로부터 가상 영상 스크린의 위치(Ls)에 따라 초점 심도의 근거리 한계(Ln)와 초점 심도의 원거리 한계(Lf)를 설정한다.

Description

3차원 헤드 마운티드 디스플레이 장치{3D Head Mounted Disply Apparatus}
본 발명은 두부에 장착하여 영상을 볼 수 있는 헤드 마운티드 디스플레이(Head Mounted Disply) 장치에 관한 것으로, 더욱 구체적으로 눈의 피로감이 없는 3차원 입체 영상을 제공하기 위한 3차원 헤드 마운티드 디스플레이 장치에 관한 것이다.
일반적으로, 헤드 마운티드 디스플레이(Head Mounted Disply)는 내부에 포함되는 정밀 광학장치를 이용하여 사용자의 눈과 근접한 위치에서 단안 또는 양안에 소정의 영상을 맺힐 수 있도록 해 주는 영상 표시 시스템을 말한다. HMD는 이러한 장치적 특성을 발휘하기 위해 초점거리가 매우 짧게 형성되도록 설계된 것으로서, 군사, 의료 및 교육용 영상 시스템과 오락용 가상현실 시스템 등의 영상 구현을 위한 용도로 주로 사용되어 있으나, 최근에는 가정용 또는 휴대용 음향/영상(AV) 시스템(예를 들어, DVD 시스템, 홈 시어터 등)과, 유무선 컴퓨터 등과 같은 각종 하드웨어의 고급화 추세에 의해 다양한 형태로 개발되어 대량으로 보급됨에 따라 HMD의 활용 및 이용가치도 커지고 있다.
이러한 HMD는 영상 이미지의 구현 방식에 따라 일반 영상용(2D :Monoscopic Type)과 입체 영상용(3D : Stereoscopic Type)으로 구분될 수 있다. 3D HMD는 양안의 시각차를 이용하여 서로 다른 각도에서 촬영된 영상을 디스플레이에 동시에 구현토록 함으로써 입체감 있는 영상을 제공하는데, 안경이나 모자, 헬멧 등의 형태로 사용자의 두부에 착용되어 렌즈 부위에 부착된 디스플레이를 통해 영상을 볼 경우, 사용자의 시야 각도를 영상 전체로 덮어 파노라마 형태로 제공함으로써 사용자가 실제 영상의 환경에 참여한 듯한 효과를 제공할 수 있다.
그런데 이러한 3D HMD 장치는 왼쪽눈과 오른쪽눈에 각각 해당위치에서 보는 영상을 보게하여 영상의 입체감을 보여주는 방법을 사용하는 것이다. 즉, 이러한 입체영상은 양안시차(Binocular disparity)를 사용하여 구현된다.
그러나, 이러한 양안시차를 이용한 입체영상 구현방법은, 도 1에 도시된 바와 같이, 양안의 수렴작용(Vergence)과 각 눈의 초점조절(accommodation) 사이의 불일치를 주어 관찰자의 눈에 피로감 등이 발생될 수 있다.
이러한 문제점들은 현재 상용화된 3D HMD 장치에서 특별히 스펙상 명시하지 않고, 해상도, 화면 크기, 그리고 밝기 등 디스플레이의 성능 위주로만 기술적 접근을 하고 있어 문제가 된다.
본 발명은 상기한 점을 감안하여 발명된 것으로, 눈의 피로감이 없는 3차원 입체 영상을 제공하기 위한 3차원 헤드 마운티드 디스플레이 장치을 제공함에 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면은 눈의 피로감이 없는 3차원 입체 영상을 제공하기 위한 3차원 헤드 마운티드 디스플레이 장치에 있어서, 관찰자의 좌안 및 우안 각각에 제공되는 영상을 디스플레이하기 위한 스테레오스코픽 디스플레이부, 스테레오스코픽 디스플레이부와 일정 거리 이격되어 배치되고, 스테레오스코픽 디스플레이부에서 출력되는 영상을 관찰자에게 제공하기 위한 광학계 및, 관찰자에게 보여지는 3차원 영상을 제어하는 제어부를 구비하되, 제어부는 수학식
Figure 112011057296847-pat00001
및 수학식
Figure 112011057296847-pat00002
을 이용하여 관찰자로부터 가상 영상 스크린의 위치(Ls)에 따라 초점 심도의 근거리 한계(Ln)와 초점 심도의 원거리 한계(Lf)를 설정한다.
이때 제어부는 가상 영상 스크린의 위치를 5m로 설정하여, 초점 심도의 원거리 한계를 무한대로 표현하고, 초점 심도의 근거리 한계를 2.5m로 표현하도록 하는 것이 바람직하다.
또는 제어부는 가상 영상 스크린의 위치를 4m로 설정하여, 초점 심도의 원거리 한계를 20m로 표현하고, 초점 심도의 근거리 한계를 20/9m로 표현하는 것이 바람직하다.
상기한 바와 같이 본 발명에 의하면, 두 가지 대표적인 기준을 이용하여 관찰자의 피로감을 줄이면서 입체영상을 볼 수 있는 깊이방향의 영역의 크기를 충분히 설정할 수 있으므로, 가상현실 시스템이나 기타 3D 입체영상을 응용할 수 있는 3D 헤드 마운티드 디스플레이 장치를 만드는데 매우 유용하다.
도 1은 양안시차를 이용한 입체영상 구현방법에서 양안의 수렴작용(Vergence)과 각 눈의 초점조절(accommodation) 사이의 불일치를 설명하는 도면,
도 2는 본 발명의 바람직한 실시예에 의한 3차원 헤드 마운티드 디스플레이 장치를 설명하기 위한 개념도,
도 3은 안구의 초점심도에 따라 피로감 없이 영상을 관찰할 수 있는 영역과 그렇지 않은 영역을 설명하는 도면,
도 4는 미터 단위의 초점심도의 근거리 한계와 미터 단위의 가상 영상 스크린의 위치 관계를 나타내는 그래프,
도 5는 미터 단위의 초점심도의 원거리 한계와 미터 단위의 가상 영상 스크린의 위치 관계를 나타내는 그래프이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 2는 본 발명의 바람직한 실시예에 의한 3차원 헤드 마운티드 디스플레이 장치를 설명하기 위한 개념도이다.
3차원 헤드 마운티드 디스플레이 장치(100)는 미리 영상 처리되어 입력되는 영상신호를 디스플레이하는 것으로, 도 2에 도시된 바와 같이 스테레오스코픽 디스플레이부(101), 광학계(102) 및, 제어부(103)를 포함한다. 스테레오스코픽 디스플레이부(101)는 관찰자의 좌안 및 우안 각각에 제공되는 영상을 디스플레이하기 위한 것이고, 광학계(102)는 스테레오스코픽 디스플레이부(101)와 일정 거리 이격되어 배치되고, 스테레오스코픽 디스플레이부(101)에서 출력되는 영상을 관찰자에게 제공하기 위한 것이다. 제어부(103)는 관찰자에게 보여지는 3차원 영상을 제어하는 기능을 한다.
본 실시예에서, 3차원 헤드 마운티드 디스플레이 장치(100)는 1개의 스테레오스코픽 디스플레이부(101)와 1개의 광학계(102)를 포함하는 것으로 설명하지만, 다른 실시예에서, 3차원 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 스테레오스코픽 디스플레이부(101)와 적어도 하나의 광학계(102)를 포함할 수도 있다. 예를 들어, 스테레오스코픽 디스플레이부(101)는 LCD 등으로 적절하게 구성할 수 있고, 광학계(102)는 다양한 렌즈를 사용하여 구성될 수 있다.
스테레오스코픽 디스플레이부(101)는 사용자의 좌안과 우안에 제공되는 2개의 영상을 디스플레이한다. 예를 들어, 스테레오스코픽 디스플레이부(101)는 좌안 픽셀용 영상신호에 기초하여 좌안용 영상을 디스플레이하기 위한 다수의 좌안 픽셀과 우안 픽셀용 영상신호에 기초하여 우안용 영상을 디스플레이하기 위한 다수의 우안 픽셀을 포함하며, 좌안 픽셀과 우안 픽셀을 교대로 배열할 수 있다. 스테레오스코픽 디스플레이부(101)는 렌티큘러(Lenticular) 또는 패러렉스 베리어(Parallax Barrier) 방식의 오토스테레오스코픽 디스플레이를 이용할 수 있으며, 사용자의 머리에 헤드 마운티드 디스플레이 장치(100)를 고정시키는 경우 3시점 이상의 다시점을 제공할 필요가 없고, 2시점의 오토스테레오스코픽 디스플레이를 사용하는 것으로 충분하기 때문에, 전체 영상 시스템의 구성을 간략화할 수도 있다.
이러한 3차원 헤드 마운티드 디스플레이 장치를 착용하여 3차원 영상을 감상할 때 사용자가 3차원 영상을 입체적이라 느끼는 것은 양안에 의한 효과와 단안에 의한 효과로 크게 분류할 수 있다. 양안에 의한 효과는 폭주(Vergence), 양안시차(Binocular Disparity) 등을 들 수 있고, 단안에 의한 효과는 초점조절(Accommodation), 운동시차(Motion Parallax), 시야의 크기(Visual Field Size) 등을 들 수 있다.
그런데 이러한 입체 영상을 관찰할 시에 피로를 느끼는 원인 중 가장 크다고 알려져 있는 것이 양안에 의한 효과인 폭주(Vergence)와 단안에 의한 효과인 초점조절(Accommodation) 사이의 불일치이므로, 도 3에 나타낸 바와 같이 영상의 위치가 안구의 초점심도(Depth of Field, DOF) 내에 있으면, 폭주와 초점조절에 따른 눈의 피로도를 최소로 줄일수 있다. 안구의 초점심도는 ±0.2D 정도로 알려져 있다.
따라서 제어부(103)가 관찰자가 응시(Gazing)하는 위치와 눈의 초점이 맞는 위치(focus point)를 ±0.2D 내로 조절하여, 스테레오스코픽 디스플레이부(101)가 영상을 디스플레이하게 되면, 관찰자는 눈의 피로를 크게 느끼지 않고 입체영상을 관찰할 수 있다.
즉, 초점심도(DOF)의 근거리 한계 위치(Dn)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112011057296847-pat00003
여기서 Dn은 디옵터(diopter) 단위이고, Ln은 미터 단위의 초점심도의 근거리 한계를 나타내고, Ls는 미터 단위의 가상 영상 스크린의 위치를 나타낸다. 위의 식을 Ln을 기준으로 정리하면 아래와 같은 수학식 2가 된다.
Figure 112011057296847-pat00004
위와 같은 수학식 2는 X 축을 Ls로 하고 Y 축을 Ln으로 하면 도 4와 같은 그래프가 된다. 즉 미터 단위의 초점심도의 근거리 한계와 미터 단위의 영상 스크린의 위치는 서로 어느정도 비례하는 경향을 갖는다.
반대로 초점심도(DOF)의 원거리 한계 위치(Df)는 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112011057296847-pat00005
여기서 Df은 디옵터(diopter) 단위이고, Lf은 미터 단위의 초점심도의 원거리 한계를 나타내고, Ls는 미터 단위의 영상 스크린의 위치를 나타낸다. 위의 식을 Lf을 기준으로 정리하면 아래와 같은 수학식 4가 된다.
Figure 112011057296847-pat00006
위와 같은 수학식 4는 X 축을 Ls로 하고 Y 축을 Lf로 하면 도 5와 같은 그래프가 된다. 즉 미터 단위의 스크린의 위치가 4m 이하일 경우에는 미터 단위의 초점심도의 원거리 한계가 별로 변화가 없으나, 스크린의 위치가 4m가 넘어서면서 원거리 한계가 급격히 커짐을 알 수 있다.
위와 같은 수학식 2 및 4로부터 3차원 헤드 마운티드 디스플레이 장치에서 눈의 피로감 없이 최적의 입체영상을 시청하기 위한 가상 스크린 위치와 초점심도의 원거리 및 근거리 한계치의 범위를 설정할 수 있다. 즉, 본 발명에 의한 헤드 마운티드 디스플레이 장치에서 제어부(103)는 수학식 2 및 수학식 4를 이용하여 관찰자로부터 가상 영상 스크린의 위치(Ls)에 따라 초점 심도의 근거리 한계(Ln)와 초점 심도의 원거리 한계(Lf)를 설정할 수 있게 된다.
예를 들어, 제어부 설정을 위한 첫번째 기준은 스크린의 위치가 4m 또는 그 이상인 경우, 피로감 없이 입체영상을 볼 수 있는 원거리 한계는 20m이거나 또는 그 이상이 된다. 그리고 피로감 없이 입체영상을 볼 수 있는 근거리 한계는 20/9m이거나 또는 그 이상이 되며, 스크린 위치가 무한대가 될 경우에 근거리 한계는 5m에 수렴한다.
더욱이, 두번째 기준은 스크린의 위치가 5m 또는 그 이상인 경우, 피로감 없이 입체영상을 볼 수 있는 원거리 한계는 무한대(∞)이다. 즉, 스크린의 위치가 5m 이상이 되면 원거리에서 피로감이 느껴지는 영역이 없어진다. 그리고, 피로감 없이 입체영상을 볼 수 있는 근거리 한계는 2.5m이거나 또는 그 이상이 되며, 스크린 위치가 무한대가 될 경우에 근거리 한계는 2.5m에 수렴한다.
이와 같이 헤드 마운티드 디스플레이 장치에 구비되는 제어부를 조정하여, 관찰자가 관찰하는 스크린의 위치가 앞쪽으로 2~2.5m 지점의 거리까지의 입체영상을 표현하고, 스크린 뒤쪽으로 대략 20m ~ ∞ m 거리까지의 입체영상을 표현하더라도 관찰자의 양안의 수렴작용(Vergence)와 각눈의 초점조절(Accommodation) 사이의 불일치가 없어 눈의 피로감이 없이 장시간 3D 입체영상을 볼 수 있게 된다.

Claims (5)

  1. 눈의 피로감이 없는 3차원 입체 영상을 제공하기 위한 3차원 헤드 마운티드 디스플레이 장치에 있어서,
    관찰자의 좌안 및 우안 각각에 제공되는 영상을 디스플레이하기 위한 스테레오스코픽 디스플레이부;
    상기 스테레오스코픽 디스플레이부와 일정 거리 이격되어 배치되고, 상기 스테레오스코픽 디스플레이부에서 출력되는 영상을 관찰자에게 제공하기 위한 광학계 및;
    관찰자에게 보여지는 3차원 영상을 제어하는 제어부를 구비하되,
    상기 제어부는 수학식 5 및 수학식 6을 이용하여 관찰자로부터 가상 영상 스크린의 위치(Ls)에 따라 초점 심도의 근거리 한계(Ln)와 초점 심도의 원거리 한계(Lf)를 설정하는 것을 특징으로 하는 3차원 헤드 마운티드 디스플레이 장치.
    [수학식 5]
    Figure 112011057296847-pat00007

    [수학식 6]
    Figure 112011057296847-pat00008
  2. 제1항에 있어서, 상기 제어부는 가상 영상 스크린의 위치를 5m로 설정하여, 초점 심도의 원거리 한계를 무한대로 표현하고, 초점 심도의 근거리 한계를 2.5m로 표현하도록 하는 것을 특징으로 하는 3차원 헤드 마운티드 디스플레이 장치.
  3. 제1항에 있어서, 상기 제어부는 가상 영상 스크린의 위치를 4m로 설정하여, 초점 심도의 원거리 한계를 20m로 표현하고, 초점 심도의 근거리 한계를 20/9m로 표현하는 것을 특징으로 하는 3차원 헤드 마운티드 디스플레이 장치.
  4. 제1항에 있어서, 상기 스테레오스코픽 디스플레이부는 LCD인 것을 특징으로 하는 3차원 헤드 마운티드 디스플레이 장치.
  5. 제1항에 있어서, 상기 광학계는 적어도 하나 이상의 렌즈를 사용하여 구성되는 것을 특징으로 하는 3차원 헤드 마운티드 디스플레이 장치.
KR1020110073597A 2011-07-25 2011-07-25 3차원 헤드 마운티드 디스플레이 장치 Active KR101173640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110073597A KR101173640B1 (ko) 2011-07-25 2011-07-25 3차원 헤드 마운티드 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110073597A KR101173640B1 (ko) 2011-07-25 2011-07-25 3차원 헤드 마운티드 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR101173640B1 true KR101173640B1 (ko) 2012-08-13

Family

ID=46880406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110073597A Active KR101173640B1 (ko) 2011-07-25 2011-07-25 3차원 헤드 마운티드 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR101173640B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637391A (zh) * 2020-11-30 2022-06-17 华为技术有限公司 基于光场的vr内容处理方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151646A (ja) 2002-11-01 2004-05-27 Pioneer Electronic Corp 画像表示装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151646A (ja) 2002-11-01 2004-05-27 Pioneer Electronic Corp 画像表示装置
JP2005091508A (ja) 2003-09-12 2005-04-07 Advanced Telecommunication Research Institute International 立体画像表示装置および立体画像表示方法
JP2010139575A (ja) 2008-12-09 2010-06-24 Brother Ind Ltd シースルー型ヘッドマウント表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637391A (zh) * 2020-11-30 2022-06-17 华为技术有限公司 基于光场的vr内容处理方法及设备

Similar Documents

Publication Publication Date Title
JP6380881B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
CN103364959B (zh) 三维显示装置及方法
EP2472304A2 (en) Head-mounted display
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
JP2019507902A (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
CN102540467A (zh) 头戴式显示器
TWI556624B (zh) 影像顯示方法以及影像顯示裝置
JP2014219621A (ja) 表示装置、表示制御プログラム
JP2020118963A (ja) ヘッドマウントディスプレイ
US20120188226A1 (en) Method and system for displaying stereoscopic images
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
KR101721103B1 (ko) 입체영상표시장치 및 그 구동방법
KR20120093693A (ko) 입체영상표시장치 및 그 구동방법
JP3425402B2 (ja) 立体画像を表示する装置および方法
JPH11155154A (ja) 立体映像処理装置
KR101173640B1 (ko) 3차원 헤드 마운티드 디스플레이 장치
Zhang Design of Head mounted displays
WO2012147482A1 (ja) 立体画像表示装置および立体画像表示方法
WO2013042392A1 (ja) 立体画像評価装置
KR20150091838A (ko) 초다시점형 3차원 디스플레이 시스템
JP2014053782A (ja) 立体画像データ処理装置、および、立体画像データ処理方法
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
US20060152580A1 (en) Auto-stereoscopic volumetric imaging system and method
WO2012140841A1 (ja) 画像表示方法、制御装置、眼鏡、画像システム及び合成装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110725

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120802

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120807

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120808

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150730

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160728

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201110

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230206

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20240207

Start annual number: 12

End annual number: 12

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250210

PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20250210

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20250210

Start annual number: 13

End annual number: 13

R401 Registration of restoration