[go: up one dir, main page]

KR102249831B1 - 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 - Google Patents

3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102249831B1
KR102249831B1 KR1020140129431A KR20140129431A KR102249831B1 KR 102249831 B1 KR102249831 B1 KR 102249831B1 KR 1020140129431 A KR1020140129431 A KR 1020140129431A KR 20140129431 A KR20140129431 A KR 20140129431A KR 102249831 B1 KR102249831 B1 KR 102249831B1
Authority
KR
South Korea
Prior art keywords
image
images
eye
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020140129431A
Other languages
English (en)
Other versions
KR20160036985A (ko
Inventor
김도완
마갱우
김성진
정재윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140129431A priority Critical patent/KR102249831B1/ko
Priority to CN201510548675.4A priority patent/CN105472372B/zh
Priority to US15/514,153 priority patent/US10559063B2/en
Priority to EP15844049.5A priority patent/EP3200452A4/en
Priority to PCT/KR2015/009981 priority patent/WO2016048020A1/ko
Priority to JP2017514797A priority patent/JP6679577B2/ja
Publication of KR20160036985A publication Critical patent/KR20160036985A/ko
Application granted granted Critical
Publication of KR102249831B1 publication Critical patent/KR102249831B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법이 개시된다. 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법은 복수의 2D 영상 및 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계, 복수의 뎁스 맵에 기초하여, 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계, 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계를 포함한다. 이에 따라, 영상 생성 장치는 복수의 2D 영상에 기초하여 왜곡 없이 3D 파노라마 이미지를 생성할 수 있다.

Description

3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법{image generation apparatus and method for generating 3D panorama image}
본 발명은 3D 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법에 관한 것으로써, 보다 상세하게는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵에 기초하여 3D 파노라마 이미지를 생성하기 위한 영상 생성 장치 및 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 촬영 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
촬영 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
특히, 근래에 개발되는 스마트 폰이나 테블릿 PC과 같은 전자 장치는 내장된 카메라를 통해 연속 촬영된 2D 영상을 이용하여 2D 파노라마 이미지를 생성할 수 있다. 나아가, 최근 개발되는 전자 장치는 연속 촬영된 복수의 2D 영상을 이용하여 3D 파노라마 이미지를 생성할 수 있다. 이 같이, 복수의 2D 영상에 기초하여 3D 파노라마 이미지를 생성하기 위한 방식으로써, 다음과 같은 방식이 적용되고 있다.
첫째로, 2D 파노라마 이미지와 뎁스 파노라마 이미지를 이용하여 3D 파노라마 이미지를 생성하는 방식(이하 제1 종래 기술이라 함)이다. 구체적으로, 제1 종래 기술은 연속 촬영된 복수의 2D 영상을 이용하여 2D 파노라마 이미지를 생성하고, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵에 기초하여 뎁스 파노라마 이미지를 생성한다. 이후, 제1 종래 기술은 복수의 뎁스 맵으로부터 생성된 뎁스 파노라마 이미지에 기초하여 2D 파노라마 이미지를 3D 파노라마 이미지로 생성하는 것이다.
그러나, 이 같은 제1 종래 기술을 통해 3D 파노라마 이미지를 생성할 경우, 배경 영역에 숨겨진 영역이 발생하는 문제가 있으며, 숨겨진 영역에 대한 홀 채움을 수행할 경우, 그에 따른 3D 파노라마 이미지상에서 영상 결함이 발생하는 문제가 있다.
두 번째로, 2D 영상에서 카메라의 스트립(Strip)을 추출하여 2개의 일련의 띠(Strip)를 생성하고, 그 일련의 띠들을 모자이킹(Mosaicing) 또는 스티칭(Stitching) 처리하여 3D 파노라마 이미지를 생성하는 방식(이하 제2 종래 기술이라 함)이다.
그러나, 이 같은 제2 종래 기술을 통해 2D 영상으로부터 안정적인 띠를 생성하기 위해서는 별도의 회전형 기계 장치를 이용해야하는 문제가 있다. 즉, 2D 영상으로부터 안정적인 띠를 생성하기 위해서는 2D 영상을 촬영하는 촬영 방향 혹은 촬영 장치의 이동 방향이 수직 방향으로 이동되어야 한다. 그러나, 사용자에 의해 촬영되는 촬영 장치의 촬영 방향 및 이동 방향은 규칙적이지 못하기 때문에 연속 촬영된 2D 영상에 결함이나 왜곡이 발생한다. 따라서, 이 같은 왜곡이 발생한 2D 영상을 이용하여 3D 파노라마 이미지를 생성할 경우, 생성된 3D 파노라마 이미지 상에 계단형 영상 결함, 구조적 왜곡 및 파노라마 이미지 생성 영역이 줄어드는 드리프트(Drift) 현상이 발생하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 복수의 2D 영상으로부터 왜곡 없는 3D 파노라마 이미지를 생성하기 위함을 목적으로 한다.
나아가, 본 발명은 별도의 보조 장비 없이 핸드 헬드(Hand-Held) 카메라를 이용하여 왜곡 없는 3D 파노라마 이미지를 생성하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법은 복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계, 상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계, 상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계를 포함한다.
그리고, 상기 복수의 2D 영상 중 적어도 하나의 2D 영상은, 전후 2D 영상의 일부와 중첩될 수 있다.
또한, 상기 설정하는 단계는, 상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
그리고, 상기 설정하는 단계는, 컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또한, 상기 복수의 2D 영상으로부터 특징점을 추출하는 단계를 더 포함하며, 상기 생성하는 단계는, 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다.
그리고, 상기 복수의 2D 영상을 촬영한 상기 촬영 장치의 촬영 방향 및 위치를 추정하는 단계 및 상기 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 단계를 더 포함하며, 상기 설정하는 단계는, 상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정할 수 있다.
또한, 상기 추정하는 단계는, 상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며, 상기 센서는 관성 측정 센서(Inertial Measurement Unit : IMU)일 수 있다.
그리고, 상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 센서를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 생성하는 단계는, 영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 영상 생성 장치는 복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 영상 입력부, 상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 영역 설정부 및 상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 제어부를 포함한다.
그리고, 상기 복수의 2D 영상 중 적어도 하나의 2D 영상은, 전후 2D 영상의 일부와 중첩될 수 있다.
또한, 상기 영역 설정부는, 상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
그리고, 상기 영역 설정부는, 컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또한, 상기 제어부는, 상기 복수의 2D 영상으로부터 특징점을 추출하며, 상기 추출된 특징점 중 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다.
그리고, 상기 복수의 2D 영상을 촬영한 촬영 장치의 촬영 방향 및 위치를 추정하는 위치 추정부 및 상기 위치 추정부로부터 추정된 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 영상 변환부를 더 포함하며, 상기 영역 설정부는, 상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정할 수 있다.
또한, 상기 위치 추정부는, 상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며, 상기 센서는 관성 측정 센서(Inertial Measurement Unit : IMU)일 수 있다.
그리고, 상기 제어부는, 상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 위치 추정부를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
또한, 상기 제어부는, 영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 영상 생성 장치는 복수의 2D 영상에 기초하여 왜곡 없이 3D 파노라마 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 2D 영상을 3D 파노라마 영상으로 생성하는 영상 생성 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 영상 생성 장치의 세부 블록도,
도 3은 본 발명의 일 실시예에 따른 영상 생성 장치에서 복수의 2D 영상에 기초하여 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 예시도,
도 4는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 좌안 영상 영역으로 설정하는 예시도,
도 5는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 우안 영상 영역으로 설정하는 예시도,
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 블록도,
도 7은 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법의 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 복수의 2D 영상을 3D 파노라마 영상으로 생성하는 영상 생성 장치의 블록도이다.
도 1에 도시된 바와 같이, 영상 생성 장치(100)는 2D 형태의 파노라마 이미지 촬영이 가능한 카메라가 될 수 있다. 이 같은 영상 생성 장치(100)는 영상 입력부(110), 영역 설정부(120) 및 제어부(130)를 포함한다.
영상 입력부(110)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵을 입력받는다. 여기서, 복수의 2D 영상 각각은 전후 2D 영상의 일부와 중첩되는 것이 바람직하다. 이 같은 복수의 2D 영상은 후술할 촬영 장치(10)에서 촬영된 영상이며, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵은 영상 생성 장치(100) 내에서 생성되거나 외부 장치(미도시)로부터 수신될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵은 외부 장치(미도시)로부터 수신될 수 있다. 여기서, 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성하는 외부 장치(미도시)는 깊이 영상 촬영 장치가 될 수 있다. 이 같은 깊이 영상 촬영 장치는 패턴 영사 방식, 스테레오 카메라 방식 및 Time of Flight 방식 중 적어도 하나를 통해 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성할 수 있다.
영역 설정부(120)는 복수의 뎁스 맵에 기초하여 복수의 뎁스 맵 각각에 대응되는 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정한다.
일 실시예에 따라, 영역 설정부(120)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영사의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
또다른 실시예에 따라, 영역 설정부(120)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정으로 설정할 수 있다.
제어부(130)는 영상 생성 장치(100)의 각 구성에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 복수의 2D 영상 내에서 설정된 각각의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성한다. 또한, 제어부(130)는 복수의 2D 영상 내에서 설정된 각각의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다.
구체적으로, 제어부(130)는 복수의 2D 영상 각각으로부터 특징점을 추출한다. 여기서, 2D 영상으로부터 특징점을 추출하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다. 이 같은 복수의 2D 영상 각각으로부터 특징점이 추출되면, 제어부(130)는 복수의 2D 영상 각각으로부터 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성한다. 그리고, 제어부(130)는 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성한다.
실시예에 따라, 제어부(130)는 영상 모자이킹 알고리즘을 이용하여 복수의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다. 이 같은 영상 이미지를 합성하여 영상 이미지를 합성하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
도 2는 본 발명의 일 실시예에 따른 영상 생성 장치의 세부 블록도이다.
도 2에 도시된 바와 같이, 영상 생성 장치(100)는 전술한 영상 입력부(110), 영역 설정부(120) 및 제어부(130) 구성 외에 추가로, 위치 추정부(140) 및 영상 변환부(150)를 더 포함할 수 있다.
위치 추정부(140)는 복수의 2D 영상을 촬영한 촬영 장치(10)의 촬영 방향 및 위치를 추정하며, 영상 변환부(150)는 위치 추정부(140)로부터 추정된 추정 결과를 고려하여 복수의 2D 영상 및 복수의 뎁스 맵을 촬영 장치(10)가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정한다. 따라서, 영역 설정부(120)는 영상 변환부(150)를 통해 보정된 기준 뎁스 맵에 기초하여 보정된 복수의 2D 영상 각각에 대한 좌안 및 우안 영상 영역을 설정할 수 있다.
한편, 촬영 장치(10)의 촬영 방향 및 위치를 추정하는 위치 추정부(140)는 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다. 여기서, 센서는 운동의 관성력을 검출하여 관성 측정 대상인 촬영 장치(10)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공하는 관성 측정 센서(Inertial Measurement Unit : IMU)로써, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나가 될 수 있다.
한편, 제어부(130)는 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 위치 추정부(140)를 통해 측정된 결과에 기초하여 추정된 촬영 장치(10)의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
이하에서는, 전술한 영상 생성 장치(100)를 통해 복수의 2D 영상으로부터 3D 파노라마 영상을 생성하는 동작에 대해서 보다 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상 생성 장치에서 복수의 2D 영상에 기초하여 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 예시도이다.
촬영 장치(10)는 좌측에서 우측 방향으로 이동하면서 피사체를 촬영하여 좌측 방향에서 각각 촬영할 수 있다. 촬영 장치(10)가 좌측 방향에서 피사체를 촬영할 경우, 도 3의 (a)에 도시된 바와 같이, 좌측에서 촬영한 피사체에 대한 제1 2D 영상(310)이 생성될 수 있다. 그리고, 촬영 장치(10)가 우측 방향에서 피사체를 촬영할 경우, 도 3의 (b)에 도시된 바와 같이, 우측에서 촬영한 피사체에 대한 제2 2D 영상(320)이 생성될 수 있다.
이 같이, 제1 및 제2 2D 영상(310,320)이 생성되면, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-1 및 제1-2 오브젝트(311,313)의 특징점과 제2 2D 영상(320)에 포함된 제2-1 및 제2-2 오브젝트(321,323)의 특징점을 비교한다. 즉, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-1 오브젝트(311)의 특징점에 대응되는 픽셀값과 제2 2D 영상(320)에 포함된 제2-1 오브젝트(321)의 특징점에 대응되는 픽셀값을 비교한다. 또한, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-2 오브젝트(313)의 특징점에 대응되는 픽셀값과 제2 2D 영상(320)에 포함된 제2-2 오브젝트(323)의 특징점에 대응되는 픽셀값을 비교한다.
비교 결과, 제1-2 오브젝트(313)와 제2-2 오브젝트(323) 간의 픽셀값의 차이가 기설정된 임계값 이상이고, 제1-1 오브젝트(311)와 제2-1 오브젝트(321) 간의 픽셀값의 차이가 기설정된 임계값 미만이면, 제어부(130)는 제1-2 오브젝트(313)와 제2-2 오브젝트(323)가 촬영 장치(10)와 근거리에 위치한 것으로 판단한다. 즉, 촬영 장치(10)와 근거리에 위치한 오브젝트의 위치가 촬영 장치(10)와 원거리에 위치한 오브젝트의 위치보다 상대적으로 크게 변화될 수 있다.
따라서, 제어부(130)는 제1 2D 영상(310)에 포함된 제1-2 오브젝트(313)와 제2 2D 영상(320)에 포함된 제2-2 오브젝트(323)의 뎁스 값을 제1 2D 영상(310)에 포함된 제1-1 오브젝트(311)와 제2 2D 영상(320)에 포함된 제2-1 오브젝트(321)의 뎁스 값보다 높게 설정하여 제1 및 제2 2D 영상(310,320) 각각에 대한 뎁스 맵을 생성할 수 있다.
뿐만 아니라, 제어부(130)는 촬영 장치(10)를 통해 촬영된 제1 2D 영상(310)에 포함된 제1-1 및 제1-2 오브젝트(311,313)의 특징점과 제2 2D 영상(320)에 포함된 제2-1 및 제2-2 오브젝트(321,323)의 특징점에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다.
이와 같이, 본 발명에 따른 영상 생성 장치(100)는 복수의 2D 영상이 촬영되는 시점의 촬영 장치(10)의 촬영 방향 및 위치를 통해 촬영 장치(10)로부터 촬영된 복수의 2D 영상 중 역 방향에서 촬영된 2D 영상을 제외한 나머지 2D 영상을 3D 파노라마 영상 생성을 위한 영상으로 결정할 수 있다.
이 같이, 제1 및 제2 2D 영상(310,320)을 통해 제1 및 제2 2D 영상(310,320)을 촬영한 촬영 장치(10)의 촬영 방향 및 위치가 추정되면, 영상 변환부(150)는 이후 2D 영상이 촬영되는 시점의 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있으며, 이를 통해 촬영 장치(10)의 촬영 방향 및 위치를 통해 촬영 장치(10)의 이동 궤적을 판단할 수 있다. 즉, 영상 변환부(150)는 3차원 상에서의 촬영 장치(10)의 이동 궤적에 따른 좌표값을 결정할 수 있으며, 그 결정된 좌표값에 기초하여 에러률이 최소화될 수 있는 이동 궤적으로 기존의 이동 궤적을 변형할 수 있다. 여기서, 변형된 이동 궤적은 촬영 장치(10)가 기준 방향 및 기준 위치에서 2D 영상 촬영이 가능한 지점이 될 수 있다. 따라서, 이 같은 기존의 이동 궤적이 변형되면, 영상 변환부(150)는 기존의 이동 궤적 상의 좌표값과 변형된 이동 궤적 상의 좌표값의 변화 정도에 따라 2D 영상을 기준 2D 영상으로 보정하고, 보정된 기준 2D 영상에 기초하여 보정전 2D 영상 각각에 대응되는 뎁스 맵을 기준 2D 영상 각각에 대응되는 뎁스 맵으로 보정할 수 있다.
이 같이, 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 보정되면, 영역 설정부(120)는 보정된 뎁스 맵에 기초하여 보정된 2D 영상 각각에 대한 좌안 및 우안 영상 영역을 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 우안 영상 영역으로 설정하는 예시도이며, 도 5는 본 발명의 일 실시예에 따른 영상 생성 장치에서 2D 영상의 뎁스 맵에 기초하여 좌안 영상 영역으로 설정하는 예시도이다.
도 4에 도시된 바와 같이, 영역 설정부(120)는 입력된 제1 및 제2 뎁스 맵(410,420) 각각의 영역 중 제1 영역(411,421)에 속하는 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역을 분리한다. 즉, 영역 설정부(120)는 제1 뎁스 맵(410)의 제1 영역(411) 상에서 a 영역(411-1), b 영역(411-2) 및 c 영역(411-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 a 영역(411-1), b 영역(411-2) 및 c 영역(411-3)을 제1 뎁스 맵(410)의 우안 영상 영역으로 설정할 수 있다. 또한, 영역 설정부(120)는 제2 뎁스 맵(420)의 제1 영역(421) 상에서 d 영역(421-1), e 영역(421-2) 및 f 영역(421-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 d 영역(421-1), e 영역(421-2) 및 f 영역(421-3)을 제2 뎁스 맵(410)의 우안 영상 영역으로 설정할 수 있다. 이 같이, 제1 및 제2 뎁스 맵(410,420) 각각의 제1 영역(411,421) 상에서 우안 영상 영역이 설정되면, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상 중 우안 영상 영역에 대응되는 제1 영상 이미지(430) 및 제2 영상 이미지(440)을 획득한다. 이후, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상으로부터 획득한 제1 및 제2 영상 이미지(430,440) 각각의 특징점에 기초하여 제1 및 제2 영상 이미지(430,440)를 합성하여 우안 파노라마 이미지(450)를 생성할 수 있다.
이와 동일하게, 영역 설정부(120)는 도 5에 도시된 바와 같이, 입력된 제1 및 제2 뎁스 맵(410,420) 각각의 영역 중 제2 영역(413,423)에 속하는 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역을 분리한다. 즉, 영역 설정부(120)는 제1 뎁스 맵(410)의 제2 영역(413) 상에서 a' 영역(413-1), b' 영역(413-2) 및 c' 영역(413-3)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 a' 영역(411-4), b' 영역(411-5) 및 c' 영역(411-6)을 제1 뎁스 맵(410)의 좌안 영상 영역으로 설정할 수 있다. 또한, 영역 설정부(120)는 제2 뎁스 맵(420)의 제2 영역(423) 상에서 d' 영역(421-4), e' 영역(421-5) 및 f' 영역(421-6)을 유사한 뎁스 값을 가지는 영역으로 분리할 수 있다. 따라서, 영역 설정부(120)는 유사한 뎁스 값을 가지는 d' 영역(421-4), e' 영역(421-5) 및 f' 영역(421-6)을 제2 뎁스 맵(410)의 좌안 영상 영역으로 설정할 수 있다.
이 같이, 제1 및 제2 뎁스 맵(410,420) 각각의 제2 영역(413,423) 상에서 우안 영상 영역이 설정되면, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상 중 좌안 영상 영역에 대응되는 제1 영상 이미지(460) 및 제2 영상 이미지(470)를 획득한다. 이후, 제어부(130)는 제1 및 제2 뎁스 맵(410,420) 각각에 대응되는 제1 및 제2 2D 영상으로부터 획득한 제1 및 제2 영상 이미지(460,470) 각각의 특징점에 기초하여 제1 및 제2 영상 이미지(460,470)를 합성하여 좌안 파노라마 이미지(480)를 생성할 수 있다.
지금까지, 본 발명에 따른 영상 생성 장치(100)에서 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵에 기초하여 복수의 2D 영상에 대한 3D 파노라마 이미지를 생성하는 동작에 대해서 상세히 설명하였다.
이하에서는, 전술한 영상 생성 장치(100)를 포함하는 촬영 장치(10)의 각 구성에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치의 블록도이다.
촬영 장치(10)는 통신부(610), 입력부(620), 촬영부(630), 이미지 처리부(640), 파노라마 영상 생성부(650), 디스플레이부(660), 저장부(670) 및 제어부(670)를 포함할 수 있다.
통신부(610)는 외부 장치(미도시)와 데이터 통신을 수행하여 외부 장치(미도시)로부터 생성된 복수의 2D 영상 각각에 대한 뎁스 맵을 수신할 수 있다. 또한, 통신부(610)는 스마트 TV, 테블릿 등의 전자 장치와 유무선 통신을 수행하여 복수의 2D 영상에 기초하여 생성된 3D 파노라마 이미지를 전송할 수 있다. 이 같은 통신부(610)는 무선 통신 모듈 및 유선 통신 모듈을 포함할 수 있다. 여기서, 유선 통신 모듈은 외부 장치(미도시)와 인터페이스를 제공하는 USB 통신 모듈이 될 수 있으며, 무선 통신 모듈은 근거리 통신 모듈 및 원거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 근거리 통신 모듈은 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다. 그리고, 원거리 통신 모듈은 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 어느 하나를 포함할 수 있다.
입력부(620)는 사용자 명령을 입력받기 위한 구성으로써, 적어도 하나의 키 버튼을 포함할 수 있다. 뿐만 아니라, 입력부(620)는 디스플레이부(650) 상에서 터치 스크린 형태로 구현되어 사용자의 터치 명령을 입력받을 수 있다. 이 같은 입력부(620)는 키 버튼 혹은 터치 스크린을 통해 영상에 대한 싱글 촬영 명령, 파노라마 촬영 명령 등을 입력받거나 파노라마 촬영 명령에 따라 연속 촬영된 복수의 2D 영상에 대한 3D 파노라마 이미지 생성 명령을 입력받을 수 있다.
촬영부(630)는 입력부(620)를 통해 입력된 촬영 명령에 따라 싱글 촬영 혹은 파노라마 촬영을 수행할 수 있다. 이 같은 촬영부(630)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator) 및 이미지 센서를 포함할 수 있다. 셔터는 피사체에 반사된 빛이 이미지 센서로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다. 이 같은 촬영부(630)는 입력부(620)를 통해 파노라마 촬영 명령이 입력되면, 사용자의 촬영 방향에 위치한 피사체에 대한 연속 촬영을 수행할 수 있다. 이 같이 영상을 촬영하는 촬영부(630)의 구성은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
이미지 처리부(640)는 촬영부(630)를 통해 연속 촬영된 2D 영상 각각에 대한 로우 이미지 데이터를 YCbCr 데이터로 만들고, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정한다. 그 외에도 이미지 처리부(630)는 연속 촬영된 복수의 2D 영상에 대한 화이트 밸런스, 감마 보정, 색보간, 색보정, 해상도 변환 등을 수행할 수 있다.
파노라마 영상 생성부(650)는 전술한 영상 생성 장치(100)로써, 이미지 처리부(640)를 통해 영상 처리된 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵에 기초하여 3D 파노라마 이미지를 생성한다. 전술한 바와 같이, 파노라마 영상 생성부(650)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 입력되면, 복수의 뎁스 맵에 기초하여 복수의 2D 영상 각각에 대한 좌안 영상 영역 및 우안 영상 영역을 설정한다.
일 실시예에 따라, 파노라마 영상 생성부(650)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다. 또다른 실시예에 따라, 파노라마 영상 생성부(650)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다.
이 같이, 복수의 2D 영상 내에서 좌안 및 우안 영상 영역이 설정되면, 파노라마 영상 생성부(650)는 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성한다. 마찬가지로, 파노라마 영상 생성부(650)는 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다. 구체적으로, 파노라마 영상 생성부(650)는 복수의 2D 영상으로부터 특징점을 추출하고, 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성할 수 있다. 마찬가지로, 파노라마 영상 생성부(650)는 복수의 2D 영상으로부터 추출된 특징점 중 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다.
디스플레이부(660)는 촬영된 2D 영상 또는 복수의 2D 영상으로부터 생성된 3D 파노라마 이미지를 디스플레이한다. 이를 위해, 디스플레이부(120)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
저장부(670)는 촬영된 2D 영상 또는 복수의 2D 영상으로부터 생성된 3D 파노라마 이미지를 저장한다. 이 같은 저장부(670)는 비휘발성 메모리(가령, 플래시 메모리, EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.
제어부(680)는 촬영 장치(10)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 구체적으로, 제어부(680)는 디스플레이부(670)를 통해 디스플레이되는 라이브 뷰 이미지에 대한 파노라마 촬영 명령이 입력되면, 촬영부(630)를 통해 연속 촬영을 수행하도록 제어하며, 촬영부(630)를 통해 연속 촬영된 2D 영상에 대한 영상 처리를 수행하도록 이미지 처리부(640)를 제어할 수 있다. 또한, 제어부(680)는 이미지 처리부(640)를 통해 영상 처리된 복수의 2D 영상 및 통신부(610)를 통해 수신된 복수의 2D 영상 각각에 대응되는 뎁스 맵을 파노라마 영상 생성부(650)로 전송하여 복수의 2D 영상에 대한 3D 파노라마 이미지를 생성하도록 파노라마 영상 생성부(650)를 제어할 수 있다.
지금까지, 본 발명에 따른 촬영 장치(10)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 영상 생성 장치(100)에서 복수의 2D 영상에 기초하여 3D 파노라마 이미지를 생성하는 방법에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법의 흐름도이다.
도 7에 도시된 바와 같이, 영상 생성 장치(100)는 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵을 입력받는다(S710). 여기서, 복수의 2D 영상 각각은 전후 2D 영상의 일부와 중첩되는 것이 바람직하다. 이 같은 복수의 2D 영상을 촬영 장치(10)를 통해 촬영된 영상이며, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵은 영상 생성 장치(100) 내에서 생성되거나 외부 장치(미도시)로부터 수신될 수 있다. 여기서, 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성하는 외부 장치(미도시)는 깊이 영상 촬영 장치가 될 수 있다. 이 같은 깊이 영상 촬영 장치는 패턴 영사 방식, 스테레오 카메라 방식 및 Time of Flight 방식 중 적어도 하나를 통해 복수의 2D 영상 각각에 대응되는 뎁스 맵을 생성할 수 있다.
한편, 복수의 2D 영상 각각에 대응되는 복수의 뎁스 맵이 입력되지 않으면, 영상 생성 장치(100)는 후술할 단계를 통해 추정된 촬영 장치(10)의 촬영 방향 및 위치에 대응되는 2D 영상 간의 영상 정합을 통해 복수의 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
이 같은 다양한 실시예를 통해 복수의 2D 영상 및 복수의 2D 영상 각각에 대응되는 뎁스 맵이 입력되면, 영상 생성 장치(100)는 복수의 2D 영상 각각으로부터 특징점을 추출한다(S720). 이후, 영상 생성 장치(100)는 복수의 2D 영상을 촬영한 촬영 장치(10)의 촬영 방향 및 위치를 추정한다(S730). 실시예에 따라, 영상 생성 장치(100)는 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 촬영 장치(10)의 촬영 방향 및 위치를 추정할 수 있다. 여기서, 센서는 운동의 관성력을 검출하여 관성 측정 대상인 촬영 장치(10)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공하는 관성 측정 센서(Inertial Measurement Unit : IMU)로써, 가속도 센서, 자이로 센서 및 지자기 센서 중 적어도 하나가 될 수 있다.
이 같은 실시예를 통해 촬영 장치(10)의 촬영 방향 및 위치가 추정되면, 영상 생성 장치(100)는 추정된 추정 결과를 고려하여 복수의 2D 영상 및 복수의 뎁스 맵을 촬영 장치(10)가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정한다(S740).
이후, 영상 생성 장치(100)는 복수의 뎁스 맵에 기초하여 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정한다(S750). 일 실시예에 따라, 영상 생성 장치(100)는 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영사의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정할 수 있다. 또다른 실시예에 따라, 영상 생성 장치(100)는 컬러 세그멘테이션 알고리즘을 이용하여 복수의 2D 영상별 영상 영역을 설정하고, 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정으로 설정할 수 있다.
이 같은 다양한 실시예를 통해 복수의 2D 영상 각각에 대한 좌안 및 우안 영상 영역이 설정되면, 영상 생성 장치(100)는 복수의 2D 영상 내에서 설정된 각각의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 2D 영상 내에서 설정된 각각의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성한다(S760).
구체적으로, 영상 생성 장치(100)는 복수의 2D 영상 각각으로부터 추출된 특징점 중 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성할 수 있다. 실시예에 따라, 영상 생성 장치(100)는 영상 모자이킹 알고리즘을 이용하여 복수의 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 복수의 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 촬영 장치 100 : 영상 생성 장치
110 영상 입력부 120 : 영역 설정부
130,680 : 제어부 140 : 위치 추정부
150 : 영상 변환부 610 : 통신부
620 : 입력부 630 : 촬영부
640 : 이미지 처리부 650 : 파노라마 영상 생성부
660 : 디스플레이부 670 : 저장부

Claims (18)

  1. 영상 생성 장치에서 3D 파노라마 이미지를 생성하는 방법에 있어서,
    복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 단계;
    상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 단계;
    상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 단계;를 포함하고,
    상기 설정하는 단계는,
    상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  2. 제 1 항에 있어서,
    상기 복수의 2D 영상 중 적어도 하나의 2D 영상은,
    전후 2D 영상의 일부와 중첩되는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 설정하는 단계는,
    컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성방법.
  5. 제 1 항에 있어서,
    상기 복수의 2D 영상으로부터 특징점을 추출하는 단계;를 더 포함하며,
    상기 생성하는 단계는,
    상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고,
    상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  6. 제 5 항에 있어서,
    상기 복수의 2D 영상을 촬영한 촬영 장치의 촬영 방향 및 위치를 추정하는 단계; 및
    상기 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 단계;를 더 포함하며,
    상기 설정하는 단계는,
    상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  7. 제 6 항에 있어서,
    상기 추정하는 단계는,
    상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며,
    상기 센서는
    관성 측정 센서(Inertial Measurement Unit : IMU)인 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  8. 제 7 항에 있어서,
    상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 센서를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 단계;
    를 더 포함하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  9. 제 1 항에 있어서,
    상기 생성하는 단계는,
    영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성하는 것을 특징으로 하는 3D 파노라마 이미지 생성 방법.
  10. 영상 생성 장치에 있어서,
    복수의 2D 영상 및 상기 복수의 2D 영상에 대응되는 복수의 뎁스 맵을 입력받는 영상 입력부;
    상기 복수의 뎁스 맵에 기초하여, 상기 복수의 2D 영상 각각에 대해 좌안 영상 영역 및 우안 영상 영역을 설정하는 영역 설정부; 및
    상기 복수의 2D 영상 내에서 설정된 각 좌안 영상 영역의 영상 이미지를 합성하여 좌안 파노라마 이미지를 생성하고, 상기 복수의 2D 영상 내에서 설정된 각 우안 영상 영역의 영상 이미지를 합성하여 우안 파노라마 이미지를 생성하는 제어부;를 포함하고,
    상기 영역 설정부는,
    상기 복수의 뎁스 맵 각각의 영역별 뎁스 값을 분석하여 유사한 뎁스 값을 가지는 영역과 대응되는 각각의 2D 영상의 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 영상 생성 장치.
  11. 제 10 항에 있어서,
    상기 복수의 2D 영상 중 적어도 하나의 2D 영상은,
    전후 2D 영상의 일부와 중첩되는 것을 특징으로 하는 영상 생성 장치.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 영역 설정부는,
    컬러 세그멘테이션 알고리즘을 이용하여 상기 복수의 2D 영상별 영상 영역을 설정하고, 상기 설정된 영상 영역 중 기설정된 제1 영역에 속하는 영상 영역을 좌안 영상 영역으로 설정하고, 기설정된 제2 영역에 속하는 영상 영역을 우안 영상 영역으로 설정하는 것을 특징으로 하는 영상 생성 장치.
  14. 제 10 항에 있어서,
    상기 제어부는,
    상기 복수의 2D 영상으로부터 특징점을 추출하며, 상기 추출된 특징점 중 상기 복수의 좌안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 좌안 영상 영역에 대한 좌안 파노라마 이미지를 생성하고, 상기 복수의 우안 영상 영역의 영상 이미지별 특징점에 기초하여 상기 복수의 우안 영상 영역에 대한 우안 파노라마 이미지를 생성하는 것을 특징으로 하는 영상 생성 장치.
  15. 제 14 항에 있어서,
    상기 복수의 2D 영상을 촬영한 촬영 장치의 촬영 방향 및 위치를 추정하는 위치 추정부; 및
    상기 위치 추정부로부터 추정된 추정 결과를 고려하여, 상기 복수의 2D 영상 및 상기 복수의 뎁스 맵을 상기 촬영 장치가 기준 방향 및 기준 위치에서 촬영하였을 때 획득 가능한 기준 영상 및 기준 뎁스 맵으로 보정하는 영상 변환부;를 더 포함하며,
    상기 영역 설정부는,
    상기 보정된 기준 뎁스 맵에 기초하여 상기 보정된 복수의 2D 영상 각각에 대해 좌안 및 우안 영상 영역을 설정하는 것을 특징으로 하는 영상 생성 장치.
  16. 제 15 항에 있어서,
    상기 위치 추정부는,
    상기 복수의 2D 영상으로부터 추출한 특징점들의 변화 정보 및 센서를 통해 측정된 결과 중 적어도 하나에 기초하여 상기 촬영 장치의 촬영 방향 및 위치를 추정하며,
    상기 센서는
    관성 측정 센서(Inertial Measurement Unit : IMU)인 것을 특징으로 하는 영상 생성 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 복수의 2D 영상에 대응되는 뎁스 맵이 입력되지 않으면, 상기 위치 추정부를 통해 측정된 결과에 기초하여 추정된 상기 촬영 장치의 방향 및 위치에 대응되는 2D 영상 간의 영상 정합(Stereo Matching)을 통해 상기 복수의 2D 영상에 대응되는 뎁스 맵을 생성하는 것을 특징으로 하는 영상 생성 장치.
  18. 제 10 항에 있어서,
    상기 제어부는,
    영상 모자이킹 알고리즘을 이용하여 상기 복수의 좌안 영상 영역의 영상 이미지를 합성하고, 상기 복수의 우안 영상 영역의 영상 이미지의 영상 이미지를 합성하는 것을 특징으로 하는 영상 생성 장치.




KR1020140129431A 2014-09-26 2014-09-26 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 Expired - Fee Related KR102249831B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140129431A KR102249831B1 (ko) 2014-09-26 2014-09-26 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
CN201510548675.4A CN105472372B (zh) 2014-09-26 2015-08-31 用于生成3d全景图像的图像生成装置及方法
US15/514,153 US10559063B2 (en) 2014-09-26 2015-09-23 Image generating apparatus and method for generation of 3D panorama image
EP15844049.5A EP3200452A4 (en) 2014-09-26 2015-09-23 Image generating apparatus and method for generation of 3d panorama image
PCT/KR2015/009981 WO2016048020A1 (ko) 2014-09-26 2015-09-23 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
JP2017514797A JP6679577B2 (ja) 2014-09-26 2015-09-23 ３ｄパノラマイメージ生成のための映像生成装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140129431A KR102249831B1 (ko) 2014-09-26 2014-09-26 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160036985A KR20160036985A (ko) 2016-04-05
KR102249831B1 true KR102249831B1 (ko) 2021-05-10

Family

ID=55581459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140129431A Expired - Fee Related KR102249831B1 (ko) 2014-09-26 2014-09-26 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법

Country Status (6)

Country Link
US (1) US10559063B2 (ko)
EP (1) EP3200452A4 (ko)
JP (1) JP6679577B2 (ko)
KR (1) KR102249831B1 (ko)
CN (1) CN105472372B (ko)
WO (1) WO2016048020A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
CN106060510B (zh) * 2016-05-31 2018-02-06 北京聚力维度科技有限公司 全景图片处理方法和装置
CN107666606B (zh) * 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置
TWI668997B (zh) 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
CN106991645B (zh) * 2017-03-22 2018-09-28 腾讯科技（深圳）有限公司 图像拼接方法及装置
CN108696694B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
CN108520232B (zh) * 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
CN109769110B (zh) * 2019-01-22 2020-07-14 影石创新科技股份有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
WO2020176903A1 (en) * 2019-02-28 2020-09-03 Mark Fuller System and method of altering the appearance of liquid and solid physical objects or forms
KR20210027918A (ko) * 2019-09-03 2021-03-11 (주)코믹스브이 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법
CN111105351B (zh) * 2019-12-13 2023-04-18 华中科技大学鄂州工业技术研究院 一种视频序列影像拼接方法及装置
KR102616081B1 (ko) * 2022-05-19 2023-12-20 주식회사 브이알크루 깊이 맵의 특징점을 획득하기 위한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257329A (ja) * 1998-09-17 2012-12-27 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2014063377A (ja) * 2012-09-21 2014-04-10 Nikon Systems Inc 画像処理装置およびプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8593506B2 (en) 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP5287702B2 (ja) 2009-12-25 2013-09-11 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011147067A (ja) 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP2011160221A (ja) 2010-02-01 2011-08-18 Casio Computer Co Ltd 画像処理装置、画像処理方法、及びプログラム
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
JP2011259168A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体パノラマ画像撮影装置
WO2012039669A1 (en) * 2010-09-20 2012-03-29 Scalado Ab Method for forming images
JP5510238B2 (ja) * 2010-09-22 2014-06-04 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR20120072146A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법
CN102918858B (zh) * 2010-12-24 2014-09-03 富士胶片株式会社 立体全景图像创建设备和方法、立体全景图像再现设备和方法
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
JP2013042414A (ja) 2011-08-18 2013-02-28 Sharp Corp 立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラム
US8928729B2 (en) * 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
EP2779621B1 (en) * 2011-11-07 2021-12-22 Sony Interactive Entertainment Inc. Image generation device, image generation method and program
KR101818778B1 (ko) * 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
JP2014086948A (ja) 2012-10-25 2014-05-12 Xacti Corp 撮像装置
KR101370718B1 (ko) 2012-10-26 2014-03-06 한국과학기술원 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
US8983176B2 (en) * 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US9654761B1 (en) * 2013-03-15 2017-05-16 Google Inc. Computer vision algorithm for capturing and refocusing imagery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257329A (ja) * 1998-09-17 2012-12-27 Yissum Research Development Co Of The Hebrew Univ Of Jerusalem Ltd パノラマ画像および動画を生成し表示するためのシステムおよび方法
JP2014063377A (ja) * 2012-09-21 2014-04-10 Nikon Systems Inc 画像処理装置およびプログラム

Also Published As

Publication number Publication date
US10559063B2 (en) 2020-02-11
EP3200452A4 (en) 2017-10-18
EP3200452A1 (en) 2017-08-02
WO2016048020A1 (ko) 2016-03-31
JP2018500778A (ja) 2018-01-11
JP6679577B2 (ja) 2020-04-15
US20170293998A1 (en) 2017-10-12
CN105472372B (zh) 2018-06-22
KR20160036985A (ko) 2016-04-05
CN105472372A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
KR102249831B1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US11276149B2 (en) Double non-local means denoising
US9639935B1 (en) Apparatus and methods for camera alignment model calibration
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
US11871105B2 (en) Field of view adjustment
US11810269B2 (en) Chrominance denoising
US9167224B2 (en) Image processing device, imaging device, and image processing method
US9848128B2 (en) Photographing apparatus and method for controlling the same
US11553137B2 (en) High dynamic range processing on spherical images
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
US9596455B2 (en) Image processing device and method, and imaging device
US11363214B2 (en) Local exposure compensation
US20190095713A1 (en) Scene classification for image processing
CN113850709B (zh) 图像变换方法和装置
CN116235506A (zh) 用于提供图像的方法和支持该方法的电子装置
US20180211413A1 (en) Image signal processing using sub-three-dimensional look-up tables
US9210278B2 (en) Image capturing device, image capturing system, image capturing method, and program device
KR20160123757A (ko) 이미지 촬영 장치 및 이미지 촬영 방법
CN108476290A (zh) 用于提供全景图像的电子装置及其控制方法
US20240209843A1 (en) Scalable voxel block selection
US20250173815A1 (en) Video capture processing and effects

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140926

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190918

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140926

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200803

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210203

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210503

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210504

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250214