KR101899877B1

KR101899877B1 - 확대된 영상의 화질을 개선하기 위한 장치 및 방법

Info

Publication number: KR101899877B1
Application number: KR1020120035060A
Authority: KR
Inventors: 나진희; 김민철; 손재식; 윤영권
Original assignee: 삼성전자주식회사
Priority date: 2012-04-04
Filing date: 2012-04-04
Publication date: 2018-09-19
Anticipated expiration: 2032-04-04
Also published as: US9619861B2; KR20130112574A; US20130265311A1

Abstract

본 발명은 둘 이상의 카메라를 구비한 영상 처리 장치에서 원본 영상에서 특정 영역을 선택하여 확대할 때 화질 저하없이 원본 영상과 함께 표시하기 위한 방법을 제안한다. 이를 위해 본 발명은, 일정 간격을 가지는 위치에서 동일한 피사체를 촬영한 제1영상 및 제2영상을 출력하는 제1영상 입력부 및 제2영상 입력부와, 상기 제1영상의 해상도를 결정하여, 결정된 해상도로 상기 제1영상의 해상도를 낮추는 제1영상 처리부와, 상기 제2영상의 해상도를 제1영상의 해상도보다 고해상도로 결정하여, 결정된 해상도로 상기 제2영상의 해상도를 설정한 후, 상기 제1영상과의 위치 차이를 보정함으로써 상기 제2영상으로부터 크롭 영역을 결정하는 제2영상 처리부와, 상기 제1영상 위에 상기 크롭 영역에 해당하는 고배율의 영상을 중첩하여 표시하는 표시부를 포함함을 특징으로 한다. 이에 따라 사용자는 고화질의 영상으로부터 크롭된 고배율의 영상을 원본 영상과 함께 볼 수 있게 된다.

Description

확대된 영상의 화질을 개선하기 위한 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING QUALITY OF ENLARGED IMAGE}

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 특히 미리보기 영상에서 선택된 부분을 확대 시 확대된 부분의 영상의 화질을 개선하기 위한 장치 및 방법에 관한 것이다.

일반적으로 카메라, 캠코더, 웹캠 등과 같은 영상 처리 장치에서는 이미지 센서가 장착되며, 그 이미지 센서는 시야에 전개되는 영상을 촬영하여 전기적 신호로 변환하고 그 변환된 영상 신호를 디지털 신호로 바꾸어 출력한다. 이러한 영상 신호는 영상 출력부를 통해 표시된다. 이러한 영상 처리 장치는 다양한 화면 제어 방법을 제공하는데, 배율 조정 방식 등을 예로 들 수 있다.

먼저, 기존의 모노 카메라 기반의 입력 영상의 배율 조정 방식에는 디지털 줌(Digital Zoon) 방식과 어드밴스드 줌(Advanced Zoom) 방식 등이 있다.

디지털 줌 방식은 촬영 영상을 미리 확인하는 미리보기(preview) 단계 등에서 사용되며, 소프트웨어 리사이저(resizer)를 적용할 수 있어 선택 영역에 대한 업스케일링이 가능하다. 이에 따라 디지털 줌 방식은 하나의 이미지 센서로 들어오는 영상에서 사용자가 선택한 영역을 확대하여 입력 영상과 함께 보여주는 것이 가능하다. 하지만, 미리보기 단계에서는 빠른 영상 신호의 처리를 목적으로 하므로, 고해상도로 표시할 필요가 없다. 따라서 디지털 줌 방식은 저해상도의 입력 영상을 이용하는 것이므로, 확대된 영상의 해상도는 저해상도일 수 밖에 없어 화질 개선이 요구되는 실정이다.

반면, 어드밴스드 줌 방식은 하나의 이미지 센서 크기 그대로의 영상으로부터 사용자가 선택한 영역을 확대하는 것이므로, 확대된 영상의 해상도는 고해상도이다. 하지만, 이러한 어드밴스드 줌 방식은 사용자가 선택한 영역만을 고해상도로 보여줄 수 있을 뿐, 사용자가 선택한 영역 이외의 입력 영상을 사용자가 선택한 영상과 함께 보여주기 위한 처리 과정이 적용될 수 없다.

상기한 바와 같이 디지털 줌 방식은 PIP(Picture In Picture) 기능처럼 전체 화면 위에 다른 작은 화면이 제공되어, 입력 영상과 확대된 부분의 영상을 각각의 화면으로 출력함으로써 사용자는 입력 영상과 선택 부분을 동시에 볼 수 있으나, 선택 부분에 대한 화질 저하가 발생하게 된다. 반면, 어드밴스드 줌 방식은 선택 부분에 대한 고화질을 제공할 수는 있으나, 입력 영상과 선택 부분을 동시에 볼 방법이 없는 실정이다.

따라서 본 발명은 미리보기 영상 및 선택 영역에 대한 확대된 영상을 화질 저하 없이 동시에 표시하기 위한 영상 처리 장치 및 방법을 제공한다.

또한 본 발명은 둘 이상의 카메라를 통해 입력되는 영상들의 배율을 달리하여 미리보기 영상과 선택 영역에 대한 확대된 영상을 동시에 표시하기 위한 영상 처리 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 확대된 영상의 화질을 개선하기 위한 장치에 있어서, 일정 간격을 가지는 위치에서 동일한 피사체를 촬영한 제1영상 및 제2영상을 출력하는 제1영상 입력부 및 제2영상 입력부와, 상기 제1영상의 해상도를 미리보기를 위한 제1해상도로 변환하여 출력하는 제1영상 처리부와, 상기 제1영상 처리부로부터의 제1영상을 표시하는 표시부와, 상기 제2영상의 해상도를 상기 제1해상도보다 높은 제2해상도로 변환하고, 상기 표시되는된 제1영상 내에 확대할 제1영역이 선택되면, 상기 제1영상과 상기 제2영상 사이의 시차(parallax)에 기반하여 상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하고, 상기 제2영상으로부터 선택된 영역에 대응하는 상기 제2영역에 대응하는 영상을 크롭하는 제2영상 처리부와, 상기 크롭된 영역영상을 상기 제1영상에 중첩시켜 상기 표시부에 표시하도록 제어하는 제어부를 포함할 수 있다.

또한 본 발명은, 영상 처리 장치에서 확대된 영상의 화질을 개선하기 위한 방법에 있어서, 일정 간격을 가지는 위치에서 동일한 피사체를 촬영한 제1영상 및 제2영상을 입력받는 과정과, 상기 제1영상의 해상도를 미리보기를 위한 제1해상도로 변환하여 출력하는 과정과, 상기 제1영상을 표시하고, 상기 표시되는된 제1영상 내에 확대할 제1영역이 선택되는지 여부를 을 선택받는결정하는 과정과, 상기 제2영상의 해상도를 상기 제1해상도보다 높은 제2해상도로 변환하는 과정과, 상기 확대할 제1영역이 선택되면, 상기 제1영상과 상기 제2영상 사이의 시차(parallax)에 기반하여 상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하는 과정과, 상기 제2영상으로부터 선택된 영역에 대응하는 상기 제2영역에 대응하는 영상을 크롭하는 과정과, 상기 크롭된 영역영상을 상기 제1영상에 중첩시켜 표시하는 과정을 포함할 수 있다.

본 발명에 따르면, 둘 이상의 카메라를 통해 입력되는 영상들의 배율을 달리하여 미리보기 영상과 선택 영역에 대한 확대된 영상을 동시에 표시할 수 있을 뿐만 아니라, 고화질의 확대된 영상을 볼 수 있는 이점이 있다. 게다가 고화질의 확대된 영상을 영상 인식에도 이용할 수 있어 활용 범위의 확대를 기대할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 영상 처리 장치의 내부블록 구성도,
도 2는 상기 도 1의 영상 처리부의 상세 구성도,
도 3은 본 발명의 실시예에 따른 확대 영상 처리 방법의 동작을 보인 흐름도,
도 4는 발명의 실시예에 따른 영상 처리 장치의 화면 제어 방법을 설명하는 도면,
도 5는 본 발명의 실시예에 따라 제1영상과 제2영상에서의 선택 영역 간의 위치 차이를 설명하기 위한 도면,
도 6은 본 발명의 제1실시예에 따른 위치 차이를 보정하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 실시예에 따라 미리보기 영상과 고화질 크롭 영상을 동시에 표시하는 화면예시도,
도 8 및 도 9는 본 발명의 일실시예에 따른 서로 다른 해상도를 가지는 영상의 활용 예를 보인 도면.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명을 설명하기에 앞서, 본 발명에서 이용되는 멀티 카메라에 대해 간략하게 설명하기로 한다.

최근에는 스테레오 카메라를 장착한 이동 단말기들이 많이 개발되고 있는 추세이며, 이에 따라 스테레오 카메라를 활용하여 3차원 입체 사진이나 비디오를 획득하거나, 영상으로부터 깊이 정보를 얻으려는 연구들이 많이 진행되고 있다. 또한 셀프 촬영, 주변 촬영 등이 용이하도록 2개 이상의 멀티 카메라를 장착한 이동 단말기들도 개발되고 있다. 이러한 스테레오 카메라 및 멀티 카메라들은 동일한 배율을 기준으로 동일한 프로세싱을 통해 영상을 생성해 내는 경우가 많다. 즉, 스테레오 카메라를 통해 생성되는 좌, 우 영상의 해상도는 동일하며, 멀티 카메라를 통해 생성되는 영상들의 해상도도 동일하다. 하지만 이러한 멀티 카메라들의 활용 방안을 다양화할 필요성이 있다.

이를 위해 본 발명에서는 원본 영상과 확대된 배율의 영상을 동시에 획득하기 위해 멀티 카메라를 이용한다. 이러한 본 발명에 따르면, PIP(Picture In Picture) 기능처럼 전체 화면 위에 다른 작은 화면이 제공되어, 입력 영상과 확대된 부분의 영상을 각각의 화면으로 출력함으로써 사용자는 입력 영상과 선택 부분을 동시에 볼 수 있을 것이다.

상기한 바와 같은 기능이 구현된 영상 처리 장치의 동작 및 그 구성은 도 1에 도시된 바와 같다. 본 발명의 영상 처리 장치에는 스마트폰, 휴대폰, 태블릿(Tablet) PC, 디지털 카메라 등 촬영 기능을 지원하는 장치들이 해당될 것이다. 또한, 본 발명의 실시예에서는 멀티 카메라 중 스테레오 카메라를 사용한 경우를 예로 들어 설명하나, 피사체를 동시에 촬영할 수 있다면 멀티 카메라에서도 동일하게 본 발명이 적용 가능함은 물론이다.

도 1을 참조하면, 영상 입력부(100), 제1영상 처리부(135), 제2영상 처리부(140), 영상 표시부(145), 키패드(150), 저장부(160) 및 제어부(165)를 포함한다.

먼저, 영상 입력부(100)는 둘 이상의 영상 입력부를 포함할 수 있으며, 본 발명의 실시예에서는 스테레오 카메라를 구비한 경우를 예로 들어 설명하므로, 제1영상 입력부(105) 및 제2영상 입력부(110)는 좌, 우 카메라에 해당한다. 이러한 경우 제2영상 입력부(110)는 제1영상 입력부(105)로부터 일정 거리만큼 이격된 위치에 장착된다. 영상 입력부(100)는 제1영상 입력부(105) 및 제2영상 입력부(110)를 이용하여 피사체에 대한 좌측 영상 및 우측 영상을 생성한다.

제1영상 입력부(105) 및 제2영상 입력부(110)는 각각 좌우로 구분되는 렌즈부(115, 125) 및 이미지 센서부(120, 130)를 포함한다. 제1영상 입력부(105)로부터 출력되는 제1영상 및 제2영상 입력부(110)로부터 출력되는 제2영상은 각각 제1영상 처리부(135) 및 제2영상 처리부(140)로 전달된다. 여기서, 제1영상 입력부(105) 및 제2영상 입력부(110)는 수평축으로 일정 간격을 가지는 좌/우 위치에서 동일한 피사체를 촬영하므로, 제1영상 및 제2영상은 상기 피사체에 대한 좌측 영상 및 우측 영상에 해당한다. 이때, 일정 간격을 가지는 좌/우 위치란 휴대 가능한 영상 처리 장치에 제1영상 입력부(105) 및 제2영상 입력부(110)가 장착되는 것이므로, 피사체를 촬영하는 이미지 센서부(120, 130) 간의 위치 차이를 나타낸다. 다만, 정면의 피사체를 촬영하더라도 각각의 제1영상 입력부(105) 및 제2영상 입력부(110)와 피사체와의 거리에 비례하여 그 피사체를 촬영한 좌측 영상과 우측 영상에서는 시차가 발생하게 된다.

만일 제1영상 처리부(135)로부터 출력되는 제1영상을 미리보기용 영상이라고 가정할 경우, 제1영상 처리부(135)는 제1영상의 해상도를 미리 설정된 저해상도값으로 낮춘다. 즉, 제1영상의 크기를 원래 크기보다 줄이는 것이다. 여기서, 미리보기를 위한 저해상도의 값은 제1영상의 전체 크기보다 작아진 해상도로 사용자의 설정 또는 영상 처리 장치의 출시 시 미리 설정된 값에 따라 결정될 수 있다.

반면, 제2영상 처리부(140)로부터 출력되는 제2영상의 해상도는 제1영상의 해상도보다 높게 설정된다. 이에 따라 제2영상의 해상도를 미리 설정된 고해상도값으로 설정한다. 이때, 제2영상의 해상도를 제1영상의 해상도에 비해 높은 해상도로 변경할 수도 있으며, 이미지 센서부(130)의 픽셀 크기인 n×m 픽셀 그대로 제2영상의 해상도를 유지할 수도 있다. 이러한 경우 제2영상은 고해상도를 가지므로, 기존의 스테레오 카메라를 이용한 입체 영상을 생성하는 데 이용하는 대신 영상 인식 등의 용도로 사용할 수 있다. 이러한 영상 인식의 예로는, 원거리 얼굴 인식, 원거리 장면(물체) 인식, 원거리 QR 코드 인식 등이 있다.

영상 표시부(145)는 영상을 표시하며, PDP(Plasma Display Panel), LCD(liquid crystal display), OLED(Organic Light Emitting Diodes), LED 등을 포함할 수 있다.

키패드(150)는 사용자 입력을 받기 위한 수단으로, 영상 처리 장치에 형성되는 물리적인 키패드(도시되지 아니함) 또는 영상 표시부(145)가 터치스크린으로 구현된 경우 터치스크린에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다.

이러한 영상 표시부(145) 및 키패드(150)를 포함하는 사용자 인터페이스(155)는 터치 스크린으로 칭할 수도 있다. 사용자 인터페이스(155)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 아이템을 제공한다. 본 발명에서, 아이템은 아이콘, 그림, 메뉴, 웹 페이지 상의 링크(텍스트 등으로 표시된) 등을 포함한다. 이에 따라 영상 표시부(145)에 표시되는 영상에서 사용자는 키패드(150) 또는 터치 입력을 통해 확대할 영역을 선택할 수 있다.

저장부(160)는 제어부(165)의 제어에 따라 영상 처리 장치의 운영 시스템, 다양한 애플리케이션들, 영상 처리 장치로 입력되는 정보 및 그 내부에서 생성되는 정보 등을 저장한다. 또한, 저장부(160)는 영상 처리된 결과물을 저장하며, 제1영상 처리부(135) 및 제2영상 처리부(140)에서 영상 처리 중에 필요한 데이터 또는 결과데이터들을 임시로 버퍼에 저장한다.

“저장부”라는 용어는 저장부(160), 제어부(165)내 롬(ROM), 램(RAM) 또는 영상 처리 장치에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부(160)는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

제어부(165)는 중앙처리장치로서 영상 처리 장치의 전반적인 동작을 제어하며, 그 구체적인 동작에 대해서는 후술하기로 한다. 본 발명에 따른 도 1에서는 제어부(165)와 제1영상 처리부(135) 및 제2영상 처리부(140)를 각각의 모듈로 구현하는 경우를 예시하고 있으나, 제1영상 처리부(135) 및 제2영상 처리부(140)에서의 동작은 제어부(165)에서 실행되도록 구현될 수도 있다. 또한, 본 발명의 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체 내에서 구현될 수 있다.

도 2를 참조하면, 각각의 제1영상 처리부(135) 및 제2영상 처리부(140)는 해상도 결정부(200), 해상도 변환부(205), 크롭 영역 결정부(210), 기타 화질 처리부(215)를 포함한다.

해상도 결정부(200)는 사용자의 입력 또는 미리 설정된 값에 따라 입력되는 영상에 대한 해상도를 결정한다. 예를 들어, 제1영상에 대해서는 저해상도로 설정되며, 제2영상에 대해서는 고해상도로 설정되도록 한다. 또는 제1영상 및 제2영상은 모두 고해상도로 설정될 수도 있다. 만일 제1영상에 대한 해상도가 제1영상 입력부(105)로부터 출력되는 영상의 크기보다 작은 사이즈를 가지는 해상도로 결정될 경우, 제1영상은 빠른 영상 처리가 가능하여 영상 표시부(145)를 통해 표시되는 미리보기용 영상에 적합할 것이다. 이에 따라 미리보기 영상은 매 프레임마다 업데이트되어 영상 표시부(145)를 통해 표시된다. 반면, 제2영상은 제1영상에 비해 고해상도로 설정되므로, 제2영상 입력부(120)의 이미지 센서부(130)의 픽셀 크기를 가지도록 제2영상에 대한 해상도가 결정될 수 있다. 예를 들어, 만일 제1영상 및 제2영상 간의 해상도가 다르게 설정된 경우, 제2영상의 해상도는 최대 해상도부터 제1영상보다 한 단계 큰 해상도까지의 범위 내에서 결정될 수 있다.

해상도 변환부(205)는 해상도 결정부(200)에서 결정된 해상도에 따라 제1영상 및 제2영상의 해상도를 변환한다.

크롭 영역 결정부(210)는 고해상도로 설정된 영상 즉, 제2영상에 대하여 일부를 사용자의 선택에 따라 크롭 영역으로 결정하는 역할을 한다. 이때, 제1영상 입력부(105) 및 제2영상 입력부(110) 간의 위치 차이에 따라 영상 차이를 보정할 필요가 있다. 영상 차이를 보정하는 방법에는 다음과 같은 방법이 있다.

예를 들어, 제2영상을 제1영상의 해상도로 줄인 후 즉, 제1영상의 크기만큼 축소한 후, 시차 조절을 위해 제1영상의 선택 영역에 대응하여 축소된 제2영상의 크롭 영역을 얼마만큼 이동할지를 결정하기 위해 제1영상의 선택 영역을 기준으로 제2영상의 크롭 영역의 이동량을 계산하는 방법이 있다. 즉, 제1영상과 제2영상 간의 위치 차이만큼 쉬프트시킬 제2영상의 크롭 영역을 결정하는 것이다.

기타 화질 처리부(215)는 다른 해상도를 가진 제1영상 및 제2영상에 대한 화질 향상을 위한 처리를 수행한다. 이러한 화질 향상을 위한 처리의 예로는, 노이즈 저감, 감마보정, 색보정(color correction), 색향상(color enhancement) 등이 있다.

이하, 상기한 바와 같은 구성을 가지는 영상 처리 장치에서의 확대된 영상을 원본 영상과 동시에 표시하기 위한 방법에 대해 살펴보면 다음과 같다.

도 3은 본 발명의 실시예에 따른 확대 영상 처리 방법의 동작 흐름도이다. 도 3에서는 제1영상 입력부(105) 및 제2영상 입력부(110)의 해상도가 동일한 경우를 전제로 한다.

도 3을 참조하면, 영상 처리 장치는 300단계에서 제1영상 입력부(105) 및 제2영상 입력부(110)로부터 각각 제1 및 제2영상을 입력받는다. 도 3에서는 제1영상 입력부(105)에서의 제1영상을 처리하는 제1과정(305) 및 제2영상 입력부(110)에서의 제2영상을 처리하는 제2과정(310)으로 구분하여 예시하고 있다. 제1과정(305)은 제1영상 처리부(135)에서 수행될 수 있으며, 제2과정(310)은 제2영상 처리부(140)에서 수행될 수 있다. 다르게는 도 3에서의 동작은 제어부(165)에서 수행되도록 구현될 수도 있다.

먼저, 제1과정(305)을 살펴보면, 영상 처리 장치는 315단계에서 제1영상의 해상도를 미리 설정된 값 또는 사용자 입력에 따른 저해상도로 변환한다. 이어, 320단계에서 확대할 영역이 선택되면, 325단계에서 확대할 영역에 대한 좌표 정보를 산출한다. 만일 확대할 영역이 선택되지 않으면, 영상 처리 장치는 330단계에서 미리보기를 위한 제1영상을 화면을 통해 표시한다.

도 4는 본 발명의 일실시예에 따른 영상 처리 장치의 화면 제어 방법을 설명하는 도면이다. 영상 촬영이 시작되면, 영상 처리 장치의 화면(400) 상에는 제1영상 입력부(105)로부터 입력된 미리보기 영상인 제1영상이 표시된다. 이러한 제1영상을 표시한 상태에서, 영상 처리 장치는 사용자 인터페이스(155)를 통해 선택 영역(405)을 확대하기 위한 요청이 입력되면, 선택 영역(405)에 대응하는 제2영상의 크롭 영역(410)이 제1영상 위에 중첩되어 표시된다. 이에 따라 저화질의 제1영상 위에 선택 영역에 대응하는 고화질의 제2영상 부분이 중첩되어 표시되므로, 사용자는 고화질의 확대 영상을 볼 수 있게 된다. 이때, 제1영상에 표시되는 확대 영상(410)의 확대 비율, 위치 등은 사용자의 입력에 따라 조정될 수 있다.

반면, 제2과정(310)을 살펴보면, 영상 처리 장치는 335단계에서 제1영상의 해상도에 비해 고해상도가 되도록 제2영상의 해상도를 변환한다. 이어, 영상 처리 장치는 340단계에서 확대할 영역에 대한 좌표 정보를 중심으로 관심 영역을 설정한 후, 345단계에서 관심 영역 내에서 크롭할 최종 영역을 결정한다. 여기서, 관심 영역이란 제1영상이 좌측 카메라의 영상이고 제2영상이 우측 카메라의 영상이라고 할 경우 좌측 카메라를 기준으로 왼쪽으로 확장된 영역을 의미한다.

본 발명의 실시예에 따르면, 제1영상 입력부(105) 및 제2영상 입력부(110)는 일정 간격만큼 이격되어 배치된 것이므로, 동일한 피사체를 촬영하더라도 제1영상 및 제2영상 간에는 위치 차이가 발생하게 된다. 이를 도 5를 참조하여 설명하면 다음과 같다.

도 5는 본 발명의 실시예에 따라 제1영상과 제2영상에서의 선택 영역 간의 위치 차이를 설명하기 위한 도면이다.

도 5를 참조하면, 제1영상(500)을 미리보기를 위한 원본 영상이라고 가정하면, 사용자는 원본 영상을 기준으로 크롭하고자 하는 영역을 선택하게 된다. 이때, 실제로는 크롭 영역이 결정되는 제2영상(510)은 선택 영역(505)에 대응하는 B 영역(515)이 왼쪽의 A 영역(520)으로 이동되어 있는 형태를 가진다. 여기서, A 영역(520)과 B 영역(515) 간의 위치 차이는 제1영상 입력부(105) 및 제2영상 입력부(110) 간의 위치 차이에 종속적이다. 그러므로, A 영역(520)과 B 영역(515) 간의 이동량을 계산하여 제2영상(510) 내의 실제 크롭 영역을 결정해야 하는 것이다. 특히, 제1영상(500)을 저해상도의 미리보기 영상이라고 가정하면, 사용자는 미리보기 영상을 기준으로 고화질의 제2영상(510)으로부터 크롭하고자 하는 영역을 선택하게 된다. 이러한 경우 저해상도의 제1영상과 크롭 영역을 선택할 제2영상 간의 크기도 다르므로, 이러한 점도 고려되어야 한다.

이를 위해 본 발명의 실시예에서는 다음과 같은 방법으로 고화질의 영상에서 크롭 영역을 결정한다.

도 6은 본 발명의 제1실시예에 따른 위치 차이를 보정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 풀 사이즈 즉, 고해상도의 제2영상이 입력되면, 제2영상 처리부(140)는 고해상도의 제2영상(510)을 저해상도의 제1영상(500)과 동일해지도록 리사이즈한다. 예를 들어, 제2영상(510)은 W1×HI 픽셀 크기를 가진다고 가정하면, α는 축소율을 나타내며, 이에 따라 리사이즈된 영상(600)은 (W1*α)×(H*α) 픽셀 크기를 갖는다. 리사이즈된 영상(600)의 (W1*α)×(H*α) 픽셀 크기는 제1영상(500)의 W2×H2 픽셀 크기와 동일하다. 즉, 제2영상의 크기는 제1영상의 크기만큼 축소되는 것이다.

이어, 영상 처리 장치는 제1영상(500)의 선택 영역(505)을 기준으로 리사이즈된 영상(600)에서 관심 영역(615)을 설정한다. 관심 영역(615)은 제1영상 입력부(105)가 좌측 카메라에 해당한다고 가정하면 제1영상(500)의 선택 영역(505)을 기준으로 왼쪽으로 확장된 영역이다. 이러한 관심 영역(615) 내에서 크롭 영역(605)을 얼마만큼 이동시켜야 할지를 계산하기 위해 이미지 정합 기술이 이용된다. 예를 들어, 영상 처리 장치는 제1영상(500)의 선택 영역(505)에서 영상의 특징 정보를 추출하여 선택 영역의 이동량(610)을 계산할 수 있다. 여기서 특징 정보는 코너점, 경계선, 탬플릿(픽셀로 이루어진 패치) 등을 이용할 수 있다.

도 6에서는 선택 영역(505)에 대한 이동량을 선택 영역의 중심점과 크롭 영역(605)의 중심점 간의 차이를 근거로 계산하는 경우를 예시하고 있다. 이러한 이미지 정합 기술의 예로는, 탬플릿 매칭, 특징점 매칭, 캡스트럴 필터링(Cepstral filtering) 등이 있다. 이동량을 계산하게 되면, 축소된 제2영상(600) 내에서는 오른쪽 영역(610) 대신 왼쪽 영역(605)이 최종 크롭될 영역으로 결정된다. 그리고나서 축소된 배율인 α의 역수를 이동량에 곱하면, 고화소인 제2영상에서의 크롭 영역(515)의 실제 좌표를 얻을 수 있게 된다.

이와 같이 선택 영역(505)을 기준으로 최종 크롭 영역(610)의 이동량이 산출되면 스케일 변환을 통해 고화소 제2영상에서의 크롭 영역(515)이 정해지는 것이다. 이렇게 함으로써, 영상 처리 장치는 350단계에서 도 4에서와 같이 고화질의 크롭 영역(410)이 중첩된 미리보기 영상을 표시한다.

한편, 제1영상 입력부(105) 및 제2영상 입력부(110)가 서로 다른 해상도를 가지거나 미리 설정된 값에 따라 해상도가 변환된 경우를 전술한 도 6에서와 같이 제1영상과 제2영상의 해상도가 서로 달라질 수 있다. 전술한 바에서는 고해상도의 제2영상의 축소된 영상에서 크롭할 영역을 결정한 후 스케일링을 통해 다시 확대하여 확대된 제2영상으로부터 크롭 영역을 최종 결정하는 경우를 설명하였다. 이러한 본 발명에 따르면, 기존의 모노카메라 기반의 모바일 기기에서 하드웨어 구조상 구현하지 못했던 점을 개선하여 휴대폰 등의 영상 처리 장치에서 배율이 다른 두 개의 영상을 동시에 획득함으로써 다양한 어플리케이션에 활용할 수 있다.

도 7은 본 발명의 실시예에 따라 미리보기 영상과 고화질 크롭 영상을 동시에 표시하는 다양한 형태를 설명하기 위한 화면 예시도이다.

도 7(a)를 참조하면, 영상 처리 장치의 화면(700) 상에 촬영에 따른 미리보기 영상이 표시되는 상태에서, 사용자 입력에 의해 특정 영역(705)이 선택될 수 있다.

도 7(b)에서는 사용자에 의해 선택된 특정 영역(705)에 대응하는 고화질 크롭 영상(710)이 미리보기 영상(700)에 중첩되어 표시되는 경우를 예시하고 있다. 도 7(b)에서와 같은 영상을 표시하기 위해서는 도 8에서와 같은 처리 과정을 거치게 된다.

예를 들어, 도 8에서와 같이 제1영상 입력부(105)를 통해 저해상도 영상(800)이 입력되면, 그 저해상도 영상은 미리보기 영상으로 사용되며 영상 표시부(160)를 통해 표시된다. 반면, 제2영상 입력부(110)를 통해 최대 해상도 영상(810)이 입력되면 영상 처리 장치는 최대 해상도 영상으로부터 도 7(a)의 사용자에 의해 선택된 특정 영역(705)에 대응하는 영역을 선택(820)하는 처리를 수행한다. 그리고나서 영상 처리 장치는 최대 해상도 영상 내의 선택된 영역에 대해 영상 인식 알고리즘을 기반으로 영상 인식(830)을 수행한다. 이에 따라 미리보기 영상과 영상 인식 결과를 포함하는 오버레이 영상이 함께 표시되는 화면이 출력(840)된다. 즉, 도 7(b)에서와 같이 중첩된 고화질의 크롭 영상에 대해 영상 인식을 수행함에 따른 인식 결과를 미리보기 영상과 함께 표시할 수 있게 된다.

예를 들어, 도 7(b)에서는 사용자가 미술관을 촬영하는 미리보기 영상을 보고 있는 상태에서 특정 객체 예컨대, 그림들이 있는 영역을 선택하면, 선택된 영역에 대응하는 고화질의 크롭 영상 내의 그림에 대한 작품 설명 등의 인식 결과를 포함하는 고화질의 크롭 영상이 미리보기 영상과 함께 표시되는 경우를 예시하고 있다. 여기서, 도 7(b)에서의 고화질 크롭 영상과 미리보기 영상의 표시 위치는 도 7(c)에서와 같이 변경될 수도 있다.

한편, 전술한 바에서는 고화질의 크롭 영상에 대해서는 영상 인식을 수행한 경우를 예로 들어 설명하였으나, 도 9에서와 같이 미리보기 영상에 대해서도 영상 인식을 수행할 수 있다. 도 9에서는 910 과정을 제외한 나머지 과정은 도 8에서와 동일하므로, 그 구체적인 설명은 생략한다. 도 9에서는 미리보기 영상과 고화질의 크롭 영상을 동시에 다른 용도의 영상 인식에 사용하는 과정을 보여주고 있다. 예를 들면, 저화소의 화각이 큰 미리 보기 영상을 이용하여 영상 인식(910) 과정을 거쳐 3차원 공간의 맵을 형성하는데 사용할 수 있으며, 동시에 고화질의 크롭 영상을 활용하여 3차원 공간 안에 있는 물체를 인식할 수 있다.

본 발명에 따르면, 고화소의 크롭 영역의 화질은 모노 카메라에서 프로세싱을 하여 얻은 영상 및 디지털 줌 방식에 따른 영상에 비해 고해상도의 영상을 획득할 수 있기 때문에 인식 성능을 향상시킬 수 있다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계로 읽을 수 있는 저장 매체에 저장될 수 있다. 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 영상 처리 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 영상 처리 장치가 확대된 영상의 화질을 개선하기 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 확대된 영상의 화질을 개선하기 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 영상 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 영상 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 영상 처리 장치로 전송하는 제어부를 포함할 수 있다.

Claims

확대된 영상의 화질을 개선하기 위한 장치에 있어서,
일정 간격을 가지는 위치에서 동일한 피사체를 촬영한 제1영상 및 제2영상을 출력하는 제1영상 입력부 및 제2영상 입력부와,
상기 제1영상의 해상도를 제1해상도로 변환하는 제1영상 처리부와,
상기 제1영상 처리부로부터의 제1영상을 표시하는 표시부와,
상기 제2영상의 해상도를 상기 제1해상도보다 높은 제2해상도로 변환하고, 상기 표시된 제1영상 내에 확대할 제1영역이 선택되면, 상기 제1영상과 상기 제2영상 사이의 시차(parallax)에 기반하여 상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하고, 상기 제2영상으로부터 상기 제2영역에 대응하는 영상을 크롭하는 제2영상 처리부와,
상기 크롭된 영상을 상기 제1영상에 중첩시켜 상기 표시부에 표시하도록 제어하는 제어부를 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제1항에 있어서,
상기 제1영상 입력부로부터 출력된 상기 제1영상의 해상도는 상기 제2영상 입력부로부터 출력된 상기 제2영상의 해상도와 동일함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제1항에 있어서,
상기 제2해상도는 상기 제1해상도와 상기 장치에 의해 지원되는 최대 해상도 사이의 값으로 설정됨을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제1항에 있어서, 상기 제1영상 처리부는,
사용자에 의해 상기 제1영역이 선택되면 상기 제1영역에 대한 좌표 정보를 산출하고, 상기 제1영역에 대한 좌표 정보를 상기 제2영상 처리부로 전송하는 것을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제4항에 있어서, 상기 제2영상 처리부는,
상기 제2영상의 해상도를 상기 제1해상도로 변환하고, 상기 제1영상 처리부로부터 수신된 상기 좌표 정보에 기반하여 상기 변환된 제2영상에 관심 영역을 설정하는 것을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제5항에 있어서, 상기 제2영상 처리부는,
상기 제1영상과 상기 제2영상 사이의 시차를 식별하고, 상기 식별된 시차를 이용해 상기 변환된 제2영상에 설정된 상기 관심 영역 내에 상기 제1영역에 대응하는 제3영역을 결정하는 것을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제6항에 있어서, 상기 제2영상 처리부는,
상기 제3영역의 해상도를 상기 제2해상도로 변환함으로써 상기 제2영상 내의 상기 제2영역을 결정하는 것을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
제1항에 있어서,
상기 확대할 제1영역을 선택하기 위한 사용자 인터페이스를 더 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 장치.
영상 처리 장치에서 확대된 영상의 화질을 개선하기 위한 방법에 있어서,
일정 간격을 가지는 위치에서 동일한 피사체를 촬영한 제1영상 및 제2영상을 입력받는 과정과,
상기 제1영상의 해상도를 제1해상도로 변환하는 과정과,
상기 제1영상을 표시하고, 상기 표시된 제1영상 내에 확대할 제1영역이 선택되는지 여부를 결정하는 과정과,
상기 제2영상의 해상도를 상기 제1해상도보다 높은 제2해상도로 변환하는 과정과,
상기 확대할 제1영역이 선택되면, 상기 제1영상과 상기 제2영상 사이의 시차(parallax)에 기반하여 상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하는 과정과,
상기 제2영상으로부터 상기 제2영역에 대응하는 영상을 크롭하는 과정과,
상기 크롭된 영상을 상기 제1영상에 중첩시켜 표시하는 과정을 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제9항에 있어서,
제1영상 입력부로부터 출력된 상기 제1영상의 해상도는 제2영상 입력부로부터 출력된 상기 제2영상의 해상도와 동일함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제9항에 있어서,
상기 제2해상도는 상기 제1해상도와 상기 영상 처리 장치에 의해 지원되는 최대 해상도 사이의 값으로 설정됨을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제9항에 있어서,
사용자에 의해 상기 제1영역이 선택되면 상기 제1영역에 대한 좌표 정보를 산출하는 과정과,
상기 제1영역에 대한 좌표 정보를 전송하는 과정을 더 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제12항에 있어서,
상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하는 과정은,
상기 제2영상의 해상도를 상기 제1해상도로 변환하는 과정과,
상기 수신된 좌표 정보에 기반하여 상기 변환된 제2영상에 관심 영역을 설정하는 과정을 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제13항에 있어서
상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하는 과정은,
상기 제1영상과 상기 제2영상 사이의 시차를 식별하는 과정과,
상기 식별된 시차를 이용해 상기 변환된 제2영상에 설정된 상기 관심 영역 내에 상기 제1영역에 대응하는 제3영역을 결정하는 과정을 더 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.
제14항에 있어서,
상기 제2영상에서 상기 선택된 제1영역에 대응하는 제2영역을 결정하는 과정은,
상기 제3영역의 해상도를 상기 제2해상도로 변환함으로써 상기 제2영상 내의 상기 제2영역을 결정하는 과정을 더 포함함을 특징으로 하는 확대된 영상의 화질을 개선하기 위한 방법.