KR102052725B1

KR102052725B1 - 이미지 스티칭 기법을 이용한 차량 내부의 vr 이미지 생성 방법 및 장치

Info

Publication number: KR102052725B1
Application number: KR1020190035186A
Authority: KR
Inventors: 홍윤정; 이영종
Original assignee: (주)더홍
Priority date: 2019-03-27
Filing date: 2019-03-27
Publication date: 2019-12-20
Anticipated expiration: 2039-03-27
Also published as: CN111754398A; US20200311884A1

Abstract

복수개의 이미지들을 스티칭(stitching)하는 단말 및 단말의 동작 방법이 개시된다. 단말의 동작 방법은 제1 이미지 및 제2 이미지를 포함하는 복수개의 이미지들을 획득하는 단계; 상기 제1 이미지 및 제2 이미지를 기초로 보정된 제1 이미지 및 보정된 제2 이미지를 생성하는 단계; 상기 보정된 제1 이미지 중 복수개의 픽셀들을 포함하는 미리 설정된 영역인 스티칭 영역을 설정하고, 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 획득하는 단계; 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 기초로 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계; 및 상기 보정된 제1 이미지에 상기 보정된 제2 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭(stitching)하는 단계를 포함한다.

Description

이미지 스티칭 기법을 이용한 차량 내부의 VR 이미지 생성 방법 및 장치 {METHOD AND APPARATUS FOR GENERATING VIRTUAL REALITY IMAGE INSIDE THE VEHICLE BY USING IMAGE STITCHING TECHNIQUE}

본 발명은 이미지의 스티칭(stitching) 방법에 관한 것으로, 구체적으로 획득한 복수개의 이미지들의 경계면의 색상 정보를 보정하고, 보정한 색상 정보를 기초로 이미지를 스티칭하여 자동차 실내의 VR(virtual reality) 이미지를 생성하는 방법에 관한 것이다.

가상 현실(virtual reality)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 환경 및 상황과 상호 작용을 하고 있는 것처럼 만들어주는 사용자와 디바이스 사이의 인터페이스를 나타낸다. 가상 현실 기술은 조작된 감각 자극을 통해 사용자가 현실감을 느끼도록 하는 것으로 게임, 교육, 의료, 저널리즘 등 많은 산업 영역에서 활용될 수 있다.

최근 들어, 가상 현실에 대한 사람들의 관심이 높아지면서, 가상 현실을 구현하기 위한 기술에 대한 개발이 활발하게 이루어지고 있다. 특히, 가상 현실을 구현하기 위해 필요한 가상 공간을 구성하는 영상들을 처리하는 기술에 대한 연구가 활발하게 이루어지고 있는 실정이다. 가상 현실 영상 관련 기술의 발달로, 사용자는 파노라마 이미지를 통해 평면 영상 뿐만 아니라 360도 영상을 시청할 수 있게 되었다.

파노라마 이미지는 복수의 이미지들을 가로(좌우)로 결합하여 가로의 시야각이 180도 내지 360도를 커버할 수 있는 이미지를 의미할 수 있다. 360도 이미지는 사용자를 중심으로 상하좌우 모두가 커버될 수 있는 이미지를 의미할 수 있으며 일반적으로 구면(sphere) 또는 메카토르(mercator)에 여러 이미지를 배치함으로써 획득될 수 있다.

하지만 이러한 파노라마 이미지 또는 360도 이미지를 획득하기 위해서는 전문적인 장비가 필요한 실정이다. 최근에는 사용자가 직접 이동식 단말기(예컨대, 스마트 폰)을 들고 상기 이동식 단말기를 회전시켜가면서 복수의 사진들을 획득하여 획득된 사진들을 정합함으로써 정합 이미지(예컨대, 파노라마 이미지 또는 360도 이미지)를 생성하고자 하는 시도가 존재하였다.

하지만 이러한 경우 복수의 사진들의 시야각 또는 촬영방향이 정확하지 않아서 이미지 스티칭에 상당한 시간이 걸릴뿐만 아니라 그 정확성도 낮을 수 밖에 없다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 실내를 촬영한 이미지 각각을 휘도 정보에 기초하여 보정하고, 보정된 이미지의 색상 정보를 기초로 이미지를 스티칭하는 방법 및 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 이미지 스티칭(stitching)을 수행하는 단말의 동작 방법으로서, 제1 이미지 및 제2 이미지를 포함하는 복수개의 이미지들을 획득하는 단계; 상기 제1 이미지 및 제2 이미지를 기초로 보정된 제1 이미지 및 보정된 제2 이미지를 생성하는 단계; 상기 보정된 제1 이미지 중 복수개의 픽셀들을 포함하는 미리 설정된 영역인 스티칭 영역을 설정하고, 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 획득하는 단계; 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 기초로 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계; 및 상기 보정된 제1 이미지에 상기 보정된 제2 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하는 단계를 포함할 수 있다.

여기서, 상기 복수개의 이미지들은, 어안 렌즈로 촬영된 이미지이며, 상기 보정된 제1 이미지 및 보정된 제2이미지를 생성하는 단계는, 상기 제1 이미지 및 제2 이미지에 포함된 픽셀의 색상 정보를 보정하는 것을 특징으로 할 수 있다.

여기서, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계는, 상기 보정된 제2 이미지 중 상기 스티칭 영역에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색하는 것을 특징으로 할 수 있다.

여기서, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계는, 상기 보정된 제2 이미지 중 상기 제1 이미지의 미리 설정된 영역에 포함된 픽셀의 색상 정보와의 오차율이 미리 설정된 범위를 초과하지 않는 영역을 탐색하는 것을 특징으로 할 수 있다.

여기서, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계 이후, 상기 제1 이미지의 미리 설정된 영역에 포함된 픽셀들 각각의 색상 정보와 제2 이미지의 중첩할 영역에 포함된 픽셀들 각각의 색상 정보의 오차율의 평균을 산출하는 단계; 및 상기 오차율의 평균 값을 기초로 제2 이미지의 색상을 보정하는 단계를 더 포함할 수 있다.

여기서, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계에서, 상기 상응하는 영역을 탐색하지 못한 경우, 제 3 이미지를 획득하는 단계; 상기 제3 이미지를 기초로 보정된 제3 이미지를 생성하는 단계; 상기 보정된 제1 이미지의 미리 설정된 영역의 픽셀 정보를 기초로 상기 보정된 제3 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계; 및 상기 보정된 제1 이미지에 상기 보정된 제3 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하는 단계;를 더 포함할 수 있다.

여기서, 상기 제3 이미지는 상기 제1 이미지를 촬영한 카메라의 위치와 상기 제2 이미지를 촬영한 카메라의 위치 사이에서 촬영한 이미지인 것을 특징으로 할 수 있다.

상기 목적을 달성하기 위한 본 발명의 제1 실시예에 따른 이미지 스티칭(stitching)을 수행하는 단말에 있어, 프로세서(processor); 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory);를 포함하고, 상기 적어도 하나의 명령은, 제1 이미지 및 제2 이미지를 포함하는 복수개의 이미지들을 획득하고, 상기 제1 이미지 및 제2 이미지를 기초로 보정된 제1 이미지 및 보정된 제2 이미지를 생성하고, 상기 보정된 제1 이미지 중 복수개의 픽셀들을 포함하는 미리 설정된 영역인 스티칭 영역을 설정하고, 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 획득하고, 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 기초로 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하고, 그리고 상기 보정된 제1 이미지에 상기 보정된 제2 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하도록 실행될 수 있다.

여기서, 상기 복수개의 이미지들은, 어안 렌즈로 촬영된 이미지이며, 상기 적어도 하나의 명령은, 상기 제1 이미지 및 제2 이미지에 포함된 픽셀의 색상을 보정하도록 더 실행될 수 있다.

여기서, 상기 적어도 하나의 명령은, 상기 보정된 제2 이미지 중 상기 스티칭 영역에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색하도록 실행될 수 있다.

여기서, 상기 적어도 하나의 명령은, 상기 보정된 제2 이미지 중 상기 제1 이미지의 미리 설정된 영역에 포함된 픽셀의 색상 정보와의 오차율이 미리 설정된 범위를 초과하지 않는 영역을 탐색하도록 실행될 수 있다.

여기서, 상기 적어도 하나의 명령은, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하도록 실행된 이후, 상기 제1 이미지의 미리 설정된 영역에 포함된 픽셀들 각각의 색상 정보와 제2 이미지의 중첩할 영역에 포함된 픽셀들 각각의 색상 정보의 오차율의 평균을 산출하고, 그리고, 상기 오차율을 기초로 제2 이미지의 색상을 보정하도록 더 실행될 수 있다.

여기서, 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상기 상응하는 영역을 탐색하지 못한 경우, 제 3 이미지를 획득하고, 상기 제3 이미지를 기초로 보정된 제3 이미지를 생성하고, 상기 보정된 제1 이미지의 미리 설정된 영역의 픽셀 정보를 기초로 상기 보정된 제3 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하고, 그리고 상기 보정된 제1 이미지에 상기 보정된 제3 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하도록 더 실행될 수 있다.

본 발명에 의하면, 본 발명의 이미지 스티칭 방법은 이미지에 포함된 픽셀들의 휘도 정보에 기초하여 보정된 이미지의 색상 정보를 기초로 이미지를 스티칭함으로써, 복수개의 이미지들을 매끄럽게 스티칭할 수 있다.

도 1은 단말의 구조의 제1 실시예를 도시한 블록도이다.
도 2는 단말의 이미지 스티칭(stitching) 동작의 제1 실시예를 도시한 흐름도이다.
도 3은 단말의 이미지 보정 동작 수행 결과의 일 실시예를 도시한 개념도이다.
도 4는 제1 이미지, 제2이미지 및 스티칭된 이미지의 일 실시예를 도시한 개념도이다.
도 5는 단말의 이미지 스티칭 동작의 제2 실시예를 도시한 흐름도이다.
도 6은 실내에서의 제1 이미지 및 제2 이미지 촬영 결과의 일 실시예를 도시한 블록도이다.
도 7은 실내에서의 제1 이미지, 제2 이미지 및 제3 이미지 촬영 결과의 일 실시예를 도시한 블록도이다.
도 8는 제1 이미지, 제2이미지, 제3 이미지 및 스티칭된 이미지의 일 실시예를 도시한 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 단말의 구조의 제1 실시예를 도시한 블록도이다.

도 1을 참고하면, 단말은 카메라(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함할 수 있다. 카메라(110)는 이미지 센서(111), 버퍼(112), 전처리 모듈(113), 리사이저(114) 및 제어기(115)를 포함할 수 있다. 카메라(110)는 외부 영역의 이미지를 획득할 수 있다. 카메라(110)는 이미지 센서(111)에 의해 생성된 로우 데이터를 카메라의 버퍼(112)에 저장할 수 있다. 로우 데이터는 카메라(110) 내의 제어기(115) 또는 프로세서(120)에 의해 처리될 수 있다. 처리된 데이터는 디스플레이(140) 또는 인코더(123)로 전달될 수도 있다. 또는, 로우 데이터는 처리된 후 버퍼(112)에 저장될 수 있고, 버퍼(112)로부터 디스플레이(140) 또는 인코더(174)로 전달될 수 있다. 카메라(110)는 어안 렌즈를 포함할 수도 있고, 카메라(110)에 의해 획득된 이미지는 장방형(ERP: equirectangular) 이미지, 파노라마 이미지, 원형 어안 이미지, 구형(spherical) 이미지 또는 3차원 이미지의 일부일 수 있다.

이미지 센서(111)는 외부로부터 입사된 광을 감지함으로써 로우 데이터를 수집할 수 있다. 이미지 센서(111)는, 예를 들어, CCD(charge coupled device), CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 IR(infrared) 광센서(150) 중 적어도 하나의 센서를 포함할 수 있다. 이미지 센서(111)는 제어기(115)에 의해 제어될 수 있다.

전처리 모듈(113)은 이미지 센서(111)에 의해 획득된 로우 데이터를 컬러 스페이스(color space) 형태로 변환할 수 있다. 컬러 스페이스는 YUV 컬러 스페이스, RGB(red green blue) 컬러 스페이스 및 RGBA(red green blue alpha) 컬러 스페이스 중 하나일 수 있다. 전처리 모듈(113)은 컬러 스페이스 형태로 변환된 데이터를 버퍼(112) 또는 프로세서(124)로 전달할 수 있다.

전처리 모듈(113)은 수신한 로우 데이터에 포함된 이미지의 에러 또는 왜곡을 보정할 수 있다. 그리고 전처리 모듈(113)은 로우 데이터에 포함된 이미지의 색상 또는 크기 등을 조절할 수 있다. 전처리 모듈(113)은, 예를 들어, BPC(bad pixel correction), LS(lens shading), 디모자이킹(demosaicing), WB(white balance), 감마 보정(gamma correction), CSC(color space conversion), HSC(hue, saturation, contrast) 개선, 크기 변환, 필터링 및 이미지 분석 중 적어도 하나의 동작을 수행할 수 있다.

단말의 프로세서(120)는 관리 모듈(121), 이미지 처리 모듈(122), 인코더(123) 및 합성 모듈(124)을 포함할 수 있다. 관리 모듈(121), 이미지 처리 모듈(122), 인코더(123) 및 합성 모듈(124)은 프로세서(120) 내에 포함된 하드웨어 모듈일 수도 있고, 프로세서(290)에 의해 실행될 수 있는 소프트웨어 모듈일 수도 있다. 도 1을 참조하면, 관리 모듈(121), 이미지 처리 모듈(122), 인코더(123) 및 합성 모듈(124)은 프로세서(120) 내에 포함된 것으로 도시되었으나, 이에 제한되지 않을 수 있다. 관리 모듈(121), 이미지 처리 모듈(122), 인코더(123) 및 합성 모듈(124)중 일부는 프로세서(120)와 별도의 모듈로 구현될 수도 있다.

일 실시 예에 따르면, 관리 모듈(121)은 단말에 포함된 카메라(110)를 제어할 수 있다. 관리 모듈(121)은 카메라(110)의 초기화, 카메라(110)의 전원 입력 모드 및 카메라(110)의 동작을 제어할 수 있다. 그리고 관리 모듈(121)은 카메라(110)에 포함된 버퍼(112)의 이미지 처리 동작, 캡쳐된 이미지 프로세싱(captured image processing), 이미지의 크기 등을 제어할 수 있다.

관리 모듈(121)은 제1 전자 장치(100)가 자동 초점, 자동 노출, 해상도, 비트 레이트, 프레임 레이트, 카메라 파워 모드, VBI, 줌, 감마 또는 화이트 밸런스 등을 조절하도록 제1 전자 장치(100)를 제어할 수 있다. 관리 모듈(121)은 획득한 이미지를 이미지 처리 모듈(122)에 전달하고, 처리를 수행하도록 이미지 처리 모듈(122)을 제어할 수 있다.

관리 모듈(121)은 획득한 이미지를 인코더(123)로 전달할 수 있다. 그리고 관리 모듈(121)은 인코더(123)를 제어하여 획득한 이미지를 인코딩하도록 할 수 있다. 관리 모듈(121)은 복수의 이미지들을 합성 모듈(124)로 전달하고, 복수의 이미지들을 합성하도록 합성 모듈(124)을 제어할 수 있다.

이미지 처리 모듈(122)은 관리 모듈(121)로부터 이미지를 획득할 수 있다. 이미지 처리 모듈(122)은 획득한 이미지의 처리 동작을 수행할 수 있다. 구체적으로, 이미지 처리 모듈(122)은 획득한 이미지의 노이즈 제거(noise reduction), 필터링, 이미지 합성(image synthesize), 색상 보정(color correction), 색 변환(color conversion), 이미지 변환(transformation), 3D 모델링, 이미지 드로잉, AR(augmented reality)/VR(virtual reality) 처리, 동적 범위 조절(dynamic range adjusting), 원근감(perspective) 조절, 시어링(shearing), 리사이징, 에지 추출, ROI(region of interest) 판단, 이미지 정합(matching) 및/또는 이미지 분할(segmentation) 등을 수행할 수 있다. 이미지 처리 모듈(122)은 복수의 이미지의 합성, 스테레오스코픽 이미지 생성 또는 깊이 기반 파노라마 이미지 생성 등과 같은 처리를 수행할 수도 있다.

합성 모듈(124)은 이미지를 합성할 수 있다. 합성 모듈(124)은 이미지의 합성, 투명도 처리, 이미지의 레이어 처리 등을 수행할 수 있다. 합성 모듈(124)은 복수의 이미지를 스티칭할 수도 있다. 예를 들어, 합성 모듈(124)은 카메라(110)에 의해 획득된 복수의 이미지들을 스티칭할 수도 있고, 별도의 장치로부터 수신된 복수의 이미지들을 스티칭할 수도 있다. 합성 모듈(124)은 이미지 처리 모듈(122)에 포함될 수도 있다.

도 2는 단말의 이미지 스티칭 동작의 일 실시예를 도시한 흐름도이다.

도 2를 참조하면, 단말(100)은 카메라(110) 장치로부터 제1 이미지 및 제2 이미지를 포함하는 복수의 이미지를 획득할 수 있다. 또는 단말은 단말 외부의 카메라 장치로부터 제1 이미지 및 제2 이미지를 획득할 수 있다(S210). 단말은 획득한 복수의 이미지들을 미리 설정된 알고리즘을 기초로 보정하여 보정된 이미지들을 획득할 수 있다(S220).

도 3은 단말의 이미지 보정 동작 수행 결과의 일 실시예를 도시한 개념도이다.

도 3을 참조하면, 단말은 제1 이미지(311) 및 제2 이미지(312)를 획득할 수 있다. 예를 들어, 단말은 도 3에 도시된 바(311, 312)와 같이 어안 렌즈에 의해 촬영된 이미지를 획득할 수 있다. 제1 이미지(311) 및 제2 이미지(312)는 원형의 이미지일 수 있다. 도 3에서 제1 이미지(311) 및 제2 이미지(312)는 원형의 이미지인 것으로 도시되었으나, 이에 제한되지 않고, 제1 이미지(311) 및 제2 이미지(312)는 직사각형의 영역에 프로젝션된 직사각형의 이미지일 수 있다. 단말에 포함된 카메라의 화각이 180°이상인 경우 제1 이미지 (311)의 일부 영역과 제2 이미지(312)의 일부 영역은 동일한 피사체에 대한 이미지를 포함하는 영역일 수 있다. 단말은 제1 이미지(311) 및 제2 이미지(312)를 처리하여 보정된 제1 이미지(321) 및 제2 이미지(322)를 생성할 수 있다(S220).

단말은 제1 이미지(311) 및 제2 이미지(312)를 스티칭함으로써 구형(spherical)의 가상 모델에 매핑하기 위한 전방위 이미지(omnidirectional image)를 생성할 수 있다. 예를 들어, 전방위 이미지는 장방형 이미지, 육면체 매핑을 위한 이미지일 수 있다.

구체적으로, 단말(100)은 제1 이미지(311) 및 제2 이미지(312) 각각의 주변 영역의 이미지를 획득할 수 있다. 단말은 주변 영역에 대응하는 이미지에 대한 이미지 처리 동작을 수행할 수 있다.

단말은 복수의 이미지 각각의 주변 영역을 제외한 중앙 영역에 대응하는 이미지를 획득할 수 있다. 전방위 이미지를 생성하기 위해 제1 이미지(311) 및 제2 이미지(312)를 스티칭하는 경우, 제1 이미지(311)의 일부 영역과 제2 이미지(312)의 일부 영역은 서로 오버랩(overlapped)될 수 있다. 전방위 이미지를 생성하기 위해, 단말은 제1 이미지(311)의 일부 영역과 제2 이미지(312)의 일부 영역에 키 포인트 감지(keypoint detection) 기법, 얼라인먼트(Alignment) 기법 또는 블렌딩(blending) 기법과 같은 다양한 기법을 통한 이미지 처리를 수행할 수 있다..

일 실시 예에 따르면, 단말은 제1 이미지 및 제2 이미지의 주변 영역(712, 722)에 대응하는 이미지의 해상도가 중앙 영역(711, 721)에 대응하는 이미지의 해상도보다 더 높아지도록 주변 영역(712, 722)에 대응하는 이미지의 해상도 또는 중앙 영역(711, 721)에 대응하는 이미지의 해상도를 조절할 수 있다. 예를 들어, 주변 영역(712, 722)의 해상도가 낮아서 스티칭이 어려운 경우, 제1 전자 장치 또는 제2 전자 장치는 주변 영역(712, 722)의 해상도를 높이기 위한 처리를 수행할 수 있다.

일 실시 예에 따르면, 단말은 제1 이미지 및 제2 이미지의 주변 영역에 대응하는 이미지의 프레임 레이트가 제1 이미지 및 제2 이미지의 중앙 영역에 대응하는 이미지의 프레임 레이트보다 더 낮아지도록 주변 영역에 대응하는 이미지의 프레임 레이트 또는 중앙 영역에 대응하는 이미지의 프레임 레이트를 조정할 수 있다. 예를 들어, 단말은 카메라 또는 피사체의 움직임이 작은 경우, 연산량을 감소시키기 위해, 제1 이미지 및 제2 이미지의 일부 영역의 프레임 레이트를 감소시킬 수 있다. 예를 들어, 제1 이미지(311)의 중앙 영역의 피사체가 움직였고, 제1 이미지의 주변 영역의 피사체가 움직이지 않은 경우, 단말은 제1 이미지의 주변 영역의 프레임 레이트를 감소시킬 수 있다.

단말은 조절된 프레임 레이트에 따라 제1 이미지 및 제2 이미지를 인코딩할 수 있다. 예를 들어, 제1 전자 장치 또는 제2 전자 장치는 제1 이미지 및 제2 이미지의 중앙 영역(711, 721)을 상대적으로 높은 프레임 레이트로 인코딩하고, 제1 이미지 및 제2 이미지의 주변 영역(712, 722)을 상대적으로 낮은 프레임 레이트로 인코딩하여 보정된 제1 이미지 및 제2 이미지를 생성할 수 있다(S220).

단말은 복수의 이미지 각각의 주변 영역의 휘도 정보를 획득할 수 있다. 단말은 제1 이미지 및 제2 이미지를 각각의 이미지의 휘도 정보를 기초로 보정하여 보정된 이미지를 생성할 수 있다(S220).

다시 도 2를 참고라면, 단말은 보정된 제1 이미지의 일단으로부터 미리 설정된 범위의 영역을 제1 스티칭 영역으로 설정할 수 있다(S230). 단말은 제1 스티칭 영역에 포함되는 복수개의 픽셀들의 정보를 획득할 수 있다. 예를 들어 단말은 제1 스티칭 영역에 포함되는 복수개의 픽셀들의 픽셀 ID 및 픽셀의 색상 정보 등을 획득할 수 있다.

단말은 보정된 제2 이미지 중에서 제1 이미지의 제1 스티칭 영역에 상응하는 영역을 탐색할 수 있다(S240). 제1 스티칭 영역에 상응하는 영역은 제2 스티칭 영역으로 정의할 수 있다. 단말은 제1 스티칭 영역에 포함된 복수의 픽셀 정보를 기초로 제2 이미지 중에서 제2 스티칭 영역을 탐색할 수 있다(S240).

도 4는 제1 이미지, 제2이미지 및 스티칭된 이미지의 일 실시예를 도시한 개념도이다.

도 4를 참조하면, 제1 이미지(410)의 제1 스티칭 영역(413)은 제1 이미지(410)의 우측 일단에 위치할 수 있다. 제1 이미지의 스티칭 영역은 복수개의 픽셀들(413-1,...,413-8)을 포함할 수 있다. 그리고 제2 이미지(420)는 제1 이미지의 제1 스티칭 영역(413)에 상응하는 제2 스티칭 영역(421)을 포함할 수 있다. 제2 스티칭 영역(421)은 제2 이미지(420)의 좌측 일단에 위치할 수 있다. 제2 스티칭 영역(421)은 복수개의 픽셀들(421-1,...,421-8)을 포함할 수 있다. 제2 스티칭 영역에 포함된 복수개의 픽셀들(421-1,...,421-8)의 개수는 제1 이미지의 제1 스티칭 영역(413)에 포함된 픽셀들(413-1,...,413-8)의 개수와 동일할 수 있다.

단말은 보정된 제2 이미지(421) 중에서 제1 이미지(410)의 제1 스티칭 영역(413)에 상응하는 영역을 탐색하기 위해 제1 스티칭 영역(413)에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색할 수 있다(S240).

구체적으로 단말은 제1 이미지의 스티칭 영역에 포함된 픽셀들과 제2 이미지의 픽셀들의 색상 정보를 비교할 수 있다. 예를 들어, 단말은 제1 이미지의 스티칭 영역의 제1 픽셀(413-1)과 제2 이미지의 421-1 픽셀의 색상 정보를 비교할 수 있으며, 스티칭 영역의 제 8 픽셀(413-8)과 제2 이미지의 421-8 픽셀의 색상 정보를 비교할 수 있다. 단말은 제2 이미지에 포함된 영역의 픽셀들의 색상 정보 일치 여부를 판단할 수 있다.

단말은 제1 이미지(410)에 포함된 스티칭 영역(413)과 제2 이미지(420)에 포함된 영역의 픽셀 정보의 일치율을 산출할 수 있다. 그리고, 제2 이미지(420)에 포함된 영역의 픽셀 정보의 일치율이 미리 설정된 범위를 초과하는 경우, 단말은 제2 이미지(420)에 포함된 영역을 제1 이미지(410)의 제1 스티칭 영역(413)에 상응하는 제2 스티칭 영역(421)으로 판단할 수 있다(S240).

예를 들어, 제2 이미지(420)의 일부 영역에 포함된 픽셀들 중 90% 이상의 픽셀들과 제1 이미지의 스티칭 영역에 포함된 픽셀들의 색상 정보가 일치하는 경우, 단말은 제2 이미지의 일부 영역을 스티칭 영역에 상응하는 영역으로 판단할 수 있다(S240).

또는, 단말은 보정된 제2 이미지(420) 중에서 제1 이미지(410)의 제1 스티칭 영역(413)에 상응하는 영역을 탐색하기 위해 픽셀의 색상 정보의 오차율이 미리 설정된 범위를 초과하지 않는 픽셀들을 포함하는 영역을 탐색할 수 있다(S240).

구체적으로 단말은 제1 이미지(410)의 제1 스티칭 영역(413)에 포함된 픽셀들과 제2 이미지(420)의 픽셀들의 색상 정보를 비교할 수 있다. 예를 들어, 단말은 제1 이미지(410)의 제1 스티칭 영역(413)의 제1 픽셀(413-1)과 제2 이미지의 421-1 픽셀의 색상 정보를 비교할 수 있으며, 스티칭 영역의 제 8 픽셀(413-8)과 제2 이미지의 421-8 픽셀의 색상 정보를 비교할 수 있다. 단말은 제2 이미지에 포함된 각 픽셀들의 오차율을 산출할 수 있다.

단말은 제2 이미지(420)의 일부 영역에 포함된 픽셀들 각각의 오차율을 산출할 수 있다. 그리고, 제2 이미지(420)의 일부 영역에 포함된 픽셀들 각각의 오차율이 미리 설정된 범위 이내인 경우, 단말은 제2 이미지(420)의 일부 영역을 제1 이미지(410)의 제1 스티칭 영역(413)에 상응하는 제2 스티칭 영역(421)으로 판단할 수 있다(S240).

예를 들어, 제2 이미지(420)의 일부 영역에 포함된 모든 픽셀들의 오차율이 10%이내인 경우, 단말은 제2 이미지(420)의 일부 영역을 제1 이미지(410)의 제1 스티칭 영역(413)에 상응하는 제2 스티칭 영역(421)으로 판단할 수 있다(S240).

단말은 제1 이미지(410)와 제2 이미지(420)를 스티칭할 수 있다. 구체적으로, 단말은 제1 이미지(410)의 스티칭 영역(413)에 제2 이미지(420)를 스티칭할 수 있으며, 제2 이미지(420) 중 제2 스티칭 영역(421)을 제외한 나머지 영역(422, 423)을 제1 이미지(410)에 스트칭할 수 있다.

단말은 제2 이미지(420)를 추가로 보정하고, 보정된 제2 이미지(420)를 제1 이미지에 스티칭할 수 있다. 예를 들어, 제2 이미지(420)의 제2 스티칭 영역(421)의 오차율이 미리 설정된 범위 이내인 경우, 단말은 제2 스티칭 영역(421)에 포함된 픽셀들의 오차율을 기초로 제2 이미지의 나머지 영역(422, 423)들을 보정할 수 있다. 구체적으로 단말은 제2 이미지(420)의 제2 스티칭 영역(421)에 포함된 픽셀들(421-1,...,421-8)의 오차율의 평균 값을 산출할 수 있으며, 오차율의 평균 값을 제2 이미지의 제2 스티칭 영역(421) 이외의 영역(422, 423)에 포함된 픽셀들의 색상을 보정할 수 있다. 단말은 색상이 보정된 제2 이미지(420)를 제1 이미지(410)의 제1 스티치 영역(413)에 스티칭할 수 있다(S250).

도 5는 단말의 이미지 스티칭 동작의 제2 실시예를 도시한 흐름도이다.

도 5를 참조하면 단말은 제1 이미지 및 제2 이미지를 획득할 수 있다(S510). 단말은 제1 이미지(631)의 일부 영역을 제1 스티칭 영역으로 설정할 수 있으며(S520), 구체적으로 제1 이미지(631)의 우측 일단인 C(623) 영역을 스티칭 영역으로 설정할 수 있다(S520). 단말은 제2 이미지(632) 중 제1 이미지(531)의 제1 스티칭 영역(623)에 상응하는 영역을 탐색할 수 있다(S510). 제2 이미지(532) 중에서 제1 이미지(631)의 제1 스티칭 영역(623)에 상응하는 영역을 탐색하지 못한 경우(S530), 단말은 제3 이미지를 추가적으로 획득할 수 있다(S540).

도 6은 실내에서의 제1 이미지 및 제2 이미지 촬영 결과의 일 실시예를 도시한 블록도이다.

도 6을 참조하면, 이미지를 촬영하는 카메라의 렌즈는 각각의 화각에 포함되는 영역의 이미지를 촬영할 수 있다. 예를 들어 제1 위치(611)에서 실내를 촬영하는 카메라는 A(621), B(622) 및 C(623) 영역을 촬영할 수 있다. 그리고 제2 위치(612)에서 실내를 촬영하는 카메라는 E(625), F(626) 및 G(627) 영역을 촬영할 수 있다. 따라서 제1 이미지(631)는 A(621), B(622) 및 C(623) 영역의 이미지를 포함할 수 있으며, 제2 이미지(632)는 E(625), F(626) 및 G(627) 영역의 이미지를 포함할 수 있다. 도 6의 실시예에 따르면, 단말은 제1 이미지(631) 및 제2 이미지(632)를 스티칭하는 것이 불가능할 수 있으며, 제1 이미지(631) 및 제2 이미지(632) 사이에 스티칭 되는 이미지인 제3 이미지를 획득할 수 있다(S540).

도 7은 실내에서의 제1 이미지, 제2 이미지 및 제3 이미지 촬영 결과의 일 실시예를 도시한 블록도이다.

도 7을 참조하면, 제3 이미지(633)는 제1 이미지(631) 및 제2 이미지(632)와 동일한 카메라를 통해 촬영된 이미지일 수 있다. 그리고 제3 이미지(633)는 제1 이미지(631)를 촬영한 카메라의 위치(611)와 상기 제2 이미지를 촬영한 카메라의 위치(612) 사이(613)에서 촬영된 이미지일 수 있다. 따라서 제3 이미지(633)는 제1 이미지(631)와 제2 이미지(632)의 사이 구간의 이미지를 촬영할 수 있다. 예를 들어, 제3 이미지(633)는 C(623), D(624) 및 E 영역(625)을 포함하는 이미지일 수 있다. 따라서 제1 내지 제 3 이미지들을 스티칭하면 A 영역부터 G 영역까지의 연속된 이미지를 생성할 수 있다. 제1 내지 제3 이미지를 촬영한 카메라의 높이는 동일한 것이 바람직하다.

다시 도 5를 참조하면, 단말은 획득한 제3 이미지를 미리 설정된 알고리즘에 의해 보정하여 보정된 제3 이미지를 생성할 수 있다. 예를 들어, 단말은 제3 이미지의 해상도, 프레임 레이트 및 휘도 등을 보정하여 보정된 제3 이미지를 생성할 수 있다. 단말은 보정된 제3 이미지에 제1 이미지의 제1 스티칭 영역에 상응하는 제2 스티칭 영역을 탐색할 수 있다(S550).

단말은 보정된 제3 이미지 중에서 제1 이미지의 스티칭 영역에 상응하는 제2 스티칭 영역을 탐색하기 위해 제1 스티칭 영역에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색할 수 있다(S550). 또는, 단말은 보정된 제3 이미지 중에서 제1 이미지의 제1 스티칭 영역에 상응하는 영역을 탐색하기 위해 픽셀의 색상 정보의 오차율이 미리 설정된 범위를 초과하지 않는 픽셀들을 포함하는 영역을 탐색할 수 있다(S550). 제3 이미지에서 제2 스티칭 영역을 탐색한 단말은 제1 이미지와 제3 이미지를 스티칭할 수 있다(S560).

도 8는 제1 이미지, 제2이미지, 제3 이미지 및 스티칭된 이미지의 일 실시예를 도시한 개념도이다.

도 8을 참조하면, 단말은 제1 이미지의 제1 스티칭 영역에 제3 이미지를 스티칭할 수 있으며, 제3 이미지 중 제2 스티칭 영역에 상응하는 영역을 제외한 나머지 영역을 제1 이미지에 스티칭하여 스티칭된 이미지를 생성할 수 있다(S560). 단말이 제1 이미지와 제3 이미지를 스티칭하여 생성한 이미지를 제1 스티칭 이미지(840)라고 정의할 수 있다.

또한 단말은 제1 스티칭 이미지(840)의 일단으로부터 미리 설정된 범위를 제3 스티칭 영역으로 설정할 수 있다(S570). 제3 스티칭 영역(845)은 제1 스티칭 이미지(840)의 우측 일단에 위치할 수 있다. 제1 스티칭 이미지(840)의 제3 스티칭 영역(845)은 복수개의 픽셀들을 포함할 수 있다. 그리고 제2 이미지(820)는 제1 스티칭 이미지(840)의 제3 스티칭 영역(845)에 상응하는 영역을 포함할 수 있다. 제3 스티칭 영역(845)에 상응하는 영역은 제2 이미지의 좌측 일단(821)에 위치할 수 있다. 제2 이미지(820)에 포함된 제3 스티칭 영역(845)에 상응하는 영역은 제4 스티칭 영역(821)이라고 정의될 수 있다. 제2 이미지(820)의 제4 스티칭 영역(821)은 복수개의 픽셀들을 포함할 수 있으며, 제1 스티칭 이미지(840)의 제3 스티칭 영역(845)에 포함된 픽셀의 수와 동일할 수 있다.

단말은 보정된 제2 이미지(820) 중에서 제4 스티칭 영역(821)을 탐색하기 위해 제3 스티칭 영역(845)에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색할 수 있다. 또는, 단말은 보정된 제2 이미지(820) 중에서 제3 스티칭 영역(845)에 상응하는 영역을 탐색하기 위해 픽셀의 색상 정보의 오차율이 미리 설정된 범위를 초과하지 않는 픽셀들을 포함하는 영역을 탐색할 수 있다(S580).

단말은 제1 이미지(810)와 제3 이미지(830)로부터 생성된 제1 스티칭 이미지(840)에 제2 이미지(820)를 더 스티칭할 수 있다(S590). 구체적으로, 단말은 제3 스티칭 영역(845)에 제2 이미지(820)를 스티칭할 수 있으며, 제2 이미지(820) 중 제4 스티칭 영역(821)에 상응하는 영역을 제외한 나머지 영역(822, 823)을 제1 스티칭 이미지(840)에 스트칭하여 제2 스티칭 이미지(850)를 생성할 수 있다(S590).

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

차량 내부의 VR(virtual reality) 이미지를 생성하기 위해 이미지 스티칭(stitching)을 수행하는 단말의 동작 방법으로서,
제1 이미지 및 제2 이미지를 포함하는 복수개의 이미지들을 획득하는 단계;
상기 제1 이미지 및 제2 이미지의 해상도, 프레임 레이트 및 휘도를 보정하여 보정된 제1 이미지 및 보정된 제2 이미지를 생성하는 제1 이미지 보정 단계;
상기 보정된 제1 이미지 중 복수개의 픽셀들을 포함하는 미리 설정된 영역인 스티칭 영역을 설정하고, 상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 획득하는 단계;
상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 기초로 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계;
상기 스티칭 영역에 포함된 픽셀 정보 및 상기 상응하는 영역에 포함된 픽셀 정보 간의 오차를 기초로 상기 제2 이미지를 보정하여 2차 보정된 제2 이미지를 획득하는 제2 이미지 보정 단계; 및
상기 보정된 제1 이미지의 스티칭 영역에 상기 2차 보정된 제2 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하는 단계를 포함하고,
상기 제1 이미지 보정 단계는,
각각의 이미지의 중심으로부터 미리 설정된 범위의 중심 영역과 상기 중심 영역을 제외한 주변 영역의 해상도 및 프레임 레이트를 상이하게 보정하는 것을 특징으로 하는 단말의 동작 방법.
청구항 1에 있어,
상기 복수개의 이미지들은,
어안 렌즈로 촬영된 이미지인 것을 특징으로 하는 단말의 동작 방법.
청구항 1에 있어,
상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계는,
상기 보정된 제2 이미지 중 상기 스티칭 영역에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색하는 것을 특징으로 하는 단말의 동작 방법.
청구항 1에 있어,
상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계는,
상기 보정된 제2 이미지 중 상기 보정된 제1 이미지의 미리 설정된 영역에 포함된 픽셀의 색상 정보와의 오차율이 미리 설정된 범위를 초과하지 않는 영역을 탐색하는 것을 특징으로 하는 단말의 동작 방법.
청구항 4에 있어,
상기 제2 이미지 보정 단계는,
상기 보정된 제1 이미지의 미리 설정된 영역에 포함된 픽셀들 각각의 색상 정보와 상기 보정된 제2 이미지의 중첩할 영역에 포함된 픽셀들 각각의 색상 정보의 오차율의 평균을 산출하는 단계; 및
상기 오차율의 평균 값을 기초로 상기 보정된 제2 이미지의 색상을 보정하는 단계를 더 포함하는 단말의 동작 방법.
청구항 1에 있어,
상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계에서, 상기 상응하는 영역을 탐색하지 못한 경우,
제 3 이미지를 획득하는 단계;
상기 제3 이미지를 기초로 보정된 제3 이미지를 생성하는 단계;
상기 보정된 제1 이미지의 미리 설정된 영역의 픽셀 정보를 기초로 상기 보정된 제3 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하는 단계; 및
상기 보정된 제1 이미지에 상기 보정된 제3 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하는 단계;를 더 포함하는 단말의 동작 방법.
청구항 6에 있어,
상기 제3 이미지는 상기 제1 이미지를 촬영한 카메라의 위치와 상기 제2 이미지를 촬영한 카메라의 위치 사이에서 촬영한 이미지인 것을 특징으로 하는 단말의 동작 방법.
차량 내부의 VR(virtual reality) 이미지를 생성하기 위해 이미지 스티칭(stitching)을 수행하는 단말에 있어,
프로세서(processor);
상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory);를 포함하고,
상기 적어도 하나의 명령은,
제1 이미지 및 제2 이미지를 포함하는 복수개의 이미지들을 획득하고,
상기 제1 이미지 및 제2 이미지의 해상도, 프레임 레이트 및 휘도를 보정하여 보정된 제1 이미지 및 보정된 제2 이미지를 생성하는 제1 이미지 보정 동작을 수행하고,
상기 보정된 제1 이미지 중 복수개의 픽셀들을 포함하는 미리 설정된 영역인 스티칭 영역을 설정하고,
상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 획득하고,
상기 스티칭 영역에 포함된 상기 복수개의 픽셀들의 정보를 기초로 상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하고,
상기 스티칭 영역에 포함된 픽셀 정보 및 상기 상응하는 영역에 포함된 픽셀 정보 간의 오차를 기초로 상기 제2 이미지를 보정하여 2차 보정된 제2 이미지를 획득하는 제2 이미지 보정 동작을 수행하고, 그리고
상기 보정된 제1 이미지에 상기 2차 보정된 제2 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하도록 실행되고,
상기 제1 이미지 보정 동작을 수행함에 있어,
각각의 이미지의 중심으로부터 미리 설정된 범위의 중심 영역과 상기 중심 영역을 제외한 주변 영역의 해상도 및 프레임 레이트를 상이하게 보정하는 것을 특징으로 하는 단말.
청구항 8에 있어,
상기 복수개의 이미지들은,
어안 렌즈로 촬영된 이미지인 것을 특징으로 하는 단말.
청구항 8에 있어서,
상기 적어도 하나의 명령은,
상기 보정된 제2 이미지 중 상기 스티칭 영역에 포함된 픽셀의 색상 정보와 일치하는 픽셀의 비율이 미리 설정된 범위를 초과하는 영역을 탐색하도록 실행되는 단말.
청구항 8에 있어서,
상기 적어도 하나의 명령은,
상기 보정된 제2 이미지 중 상기 보정된 제1 이미지의 미리 설정된 영역에 포함된 픽셀의 색상 정보와의 오차율이 미리 설정된 범위를 초과하지 않는 영역을 탐색하도록 실행되는 단말.
청구항 11에 있어서,
상기 적어도 하나의 명령은,
상기 제1 이미지 보정 동작을 수행하도록 실행된 이후,
상기 보정된 제1 이미지의 미리 설정된 영역에 포함된 픽셀들 각각의 색상 정보와 상기 보정된 제2 이미지의 중첩할 영역에 포함된 픽셀들 각각의 색상 정보의 오차율의 평균을 산출하고, 그리고,
상기 오차율을 기초로 상기 보정된 제2 이미지의 색상을 보정하도록 더 실행되는 단말.
청구항 11에 있어서,
상기 보정된 제2 이미지 중에서 상기 스티칭 영역에 상기 상응하는 영역을 탐색하지 못한 경우,
제 3 이미지를 획득하고,
상기 제3 이미지를 기초로 보정된 제3 이미지를 생성하고,
상기 보정된 제1 이미지의 미리 설정된 영역의 픽셀 정보를 기초로 상기 보정된 제3 이미지 중에서 상기 스티칭 영역에 상응하는 영역을 탐색하고, 그리고
상기 보정된 제1 이미지에 상기 보정된 제3 이미지의 상기 상응하는 영역을 제외한 영역을 스티칭하도록 더 실행되는 단말.
청구항 13에 있어서,
상기 제3 이미지는 상기 제1 이미지를 촬영한 카메라의 위치와 상기 제2 이미지를 촬영한 카메라의 위치 사이에서 촬영한 이미지인 것을 특징으로 하는 단말.