KR101764372B1

KR101764372B1 - 휴대용 단말기에서 영상 합성 방법 및 장치

Info

Publication number: KR101764372B1
Application number: KR1020110036031A
Authority: KR
Inventors: 최윤희; 박희선
Original assignee: 삼성전자주식회사
Priority date: 2011-04-19
Filing date: 2011-04-19
Publication date: 2017-08-03
Anticipated expiration: 2031-04-19
Also published as: WO2012144732A1; US20160322030A1; EP2664131A4; KR20120118583A; EP2664131A1; US9398251B2; US20180040304A1; EP2664131B1; US9792883B2; US10482849B2; US20120268552A1

Abstract

본 발명은 휴대용 단말기에서 영상 합성 방법 및 장치에 관한 것으로서, 휴대용 단말기에서 영상 합성 방법은, 복수의 영상을 획득하는 과정과, 상기 복수의 영상 각각에 대한 합성 영역을 결정하는 과정과, 각 영상의 합성 영역들을 이용하여 상기 복수의 영상을 합성하는 과정을 포함한다.

Description

휴대용 단말기에서 영상 합성 방법 및 장치{APPARATUS AND METHOD FOR COMPOSITING IMAGE IN A PORTABLE TERMINAL}

본 발명은 휴대용 단말기에 관한 것으로, 특히 영상을 합성하는 방법 및 장치에 관한 것이다.

최근 들어, 휴대용 단말기의 편리성이 증가되면서 상기 휴대용 단말기의 수요가 점차 증가하고 있다. 이에 따라, 상기 휴대용 단말기에 탑재되는 부가 기능도 다양화되고 있다. 예를 들어, 상기 휴대용 단말기는 게임(game), 스케쥴러(scheduler), 모닝콜(morning call), MP 3(MPEG layer 3), 동영상 플레이어, 디지털 카메라(digital camera) 등의 다양한 부가 기능을 제공하고 있다.

특히, 상기 부가 기능 중 상기 디지털 카메라 기능은 최근 들어 사용자들에게 필수 구성 요소로 인식됨에 따라 대부분의 휴대용 단말기에서 제공되고 있는 추세이다. 상기 휴대용 단말기에서 제공되는 디지털 카메라 기능은 단순한 사진 촬영 기능 이외에, 배경 영상을 이용하여 사진을 촬영하는 기능을 제공하고 있다. 예를 들어, 상기 휴대용 단말기에서는 미리 저장된 배경 영상을 바탕으로 사용자가 촬영을 수행하여, 배경 영상과 사용자 영상을 하나의 영상으로 합성해주는 기능을 제공하고 있다.

상기와 같이, 종래의 휴대용 단말기에서는 영상 합성 기능을 제공하여, 사용자가 단순한 사진 촬영에서 벗어나 한층 다양한 영상을 획득할 수 있도록 하지만, 미리 저장된 배경 영상의 정해진 위치에 사용자 영상을 합성하는 방식을 사용함으로써, 사용자 개개인의 요구를 만족하기 어려운 한계가 있다.

따라서, 사용자 개개인의 요구를 만족시킬 수 있는 영상 합성 방법이 제시될 필요가 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 영상을 합성하기 위한 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 휴대용 단말기에서 복수의 카메라로부터 획득되는 복수의 영상을 합성하기 위한 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 휴대용 단말기에서 복수의 영상 각각에 대한 합성 영역을 결정하고, 알파-블렌딩 기법을 이용하여 상기 복수의 영상을 합성하기 위한 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 복수의 휴대용 단말기 간에 복수의 영상을 공유하고, 공유하는 복수의 영상을 합성하기 위한 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 영상통화 기능을 지원하는 휴대용 단말기에서 영상통화 상대 단말로부터 영상을 자신의 카메라로부터 입력되는 영상과 합성하여 상기 영상통화 중에 합성된 영상을 디스플레이하기 위한 방법 및 장치를 제공함에 있다.

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 영상 합성 방법은, 복수의 영상을 획득하는 과정과, 상기 복수의 영상 각각에 대한 합성 영역을 결정하는 과정과, 각 영상의 합성 영역들을 이용하여 상기 복수의 영상을 합성하는 과정을 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 영상 합성 장치는, 복수의 영상을 획득하는 영상 획득부와, 상기 복수의 영상 각각에 대한 합성 영역을 결정하는 합성 영역 결정부와, 각 영상의 합성 영역들을 이용하여 상기 복수의 영상을 합성하는 영상 합성부를 포함하는 것을 특징으로 한다.

본 발명은 휴대용 단말기에서 전면 카메라와 후면 카메라를 이용하여 촬영되는 영상을 실시간으로 합성하여 제공함으로써, 사용자가 원하는 배경을 바탕으로 하여 다양한 합성 영상을 획득할 수 있으며, 다른 휴대용 단말기의 촬영 영상을 수신하여 자신의 단말기에서 촬영한 영상과 합성함으로써, 상기 사용자가 실제로 방문하지 않은 지역을 방문한 것과 같은 사진을 얻을 수 있으며, 상기 다른 휴대용 단말기의 사용자와 함께 촬영한 것과 같은 효과를 얻을 수 있고, 특히 알파-블렌딩 기법을 이용하여 영상을 합성함으로써, 보다 사실적인 합성 영상을 획득할 수 있는 효과가 있다.

도 1은 본 발명에 따른 휴대용 단말기에서 영상 합성 방식을 도시하는 도면,
도 2는 본 발명에 따른 휴대용 단말기의 블럭 구성을 도시하는 도면,
도 3은 본 발명에 따른 휴대용 단말기에서 영상합성 제어부의 상세 구성을 도시하는 도면,
도 4는 본 발명의 일 실시 예에 따른 휴대용 단말기에서 영상 합성 절차를 도시하는 도면,
도 5는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 영상 통화 중에 영상을 합성하는 절차를 도시하는 도면,
도 6a 내지 6c는 본 발명의 일 실시 예에 따른 휴대용 단말기에서 영상을 합성하는 방식에 대한 화면 구성을 도시하는 도면, 및
도 7a 내지 도 7c는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 영상을 합성하는 방식에 대한 화면 구성을 도시하는 도면.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 본 발명에서는 휴대용 단말기에서 영상을 합성하기 위한 방법 및 장치에 관해 설명할 것이다.

도 1은 본 발명에 따른 휴대용 단말기에서 영상 합성 방식을 도시하고 있다.

상기 도 1에 도시된 바와 같이, 본 발명에서는 제 1 카메라(100)를 통해 사용자 영상을 획득하고, 제 2 카메라(102)를 통해 배경 영상을 획득한 후, 상기 사용자 영상과 배경 영상을 합성처리하여 하나의 합성 영상(120)을 획득한다. 이때, 본 발명에 따른 휴대용 단말기에서는 상기 사용자 영상과 상기 배경 영상 각각에 대한 합성 영역을 결정하고, 알파-블렌딩(Alpha-Blending) 기법을 이용하여 상기 사용자 영상의 합성 영역과 배경 영상의 합성 영역을 합성처리함으로써, 상기 사용자 영상이 상기 배경 영상에 본래부터 포함되어 있는 것과 같은 효과를 얻을 수 있다. 여기서, 상기 제 1 카메라(100)는 휴대용 단말기의 전면에 장착된 카메라이고, 상기 제 2 카메라(102)는 상기 휴대용 단말기의 후면에 장착된 카메라일 수 있다. 상기 전면에 장착된 카메라는 사용자가 합성 결과를 볼 수 있는 디스플레이 패널이 존재하는 면에 장착된 카메라를 의미하며, 후면에 장착된 카메라는 상기 전면에 장착된 카메라와 다른 촬영 방향 갖는 카메라를 의미할 수 있다.

또한, 상기 제 1 카메라(100)와 제 2 카메라(102)는 서로 다른 휴대용 단말기에 장착된 카메라일 수 있다. 이하 본 발명에서는 설명의 편의를 위해 상기 제 1 카메라(100)와 제 2 카메라(102)를 통해 실시간으로 획득되는 영상을 합성하는 것에 대해 설명하지만, 본 발명의 요지를 벗어나지 않는 범위 내에서 합성을 수행할 대상 영상은 변경될 수 있을 것이다. 예를 들어, 이하 본 발명은 제 1 카메라(100)과 제 2 카메라(102)로부터 획득되는 적어도 하나의 영상과 미리 저장된 영상을 합성에도 적용할 수 있으며 미리 저장된 영상 간의 합성에도 적용할 수 있다.

또한, 본 발명에서 설명하는 영상 합성 기법은 정지 영상 간의 합성뿐만 아니라, 동영상 간의 합성에도 적용할 수 있으며, 동영상과 정지 영상 간의 합성에도 적용될 수 있다.

그러면, 본 발명에서 제공하는 영상 합성 기법에 대하여, 하기에서 도 2 내지 도 7을 참조하여 살펴보기로 한다.

도 2는 본 발명에 따른 휴대용 단말기의 블럭 구성을 도시하고 있다.

상기 도 2에 도시된 바와 같이, 휴대용 단말기는 제어부(200), 제 1 카메라(210), 제 2 카메라(220), 표시부(230), 입력부(240), 저장부(250) 및 통신 모듈(260)을 포함하여 구성되며, 특히 상기 제어부(200)는 영상 합성 제어부(202)를 포함하여 구성된다

상기 제어부(200)는 상기 휴대용 단말기의 전반적인 동작을 제어 및 처리하며, 본 발명에 따라 상기 영상 합성 제어부(202)를 포함함으로써, 실시간으로 획득되는 적어도 두 개의 영상을 합성하여 상기 표시부(230)에 디스플레이하기 위한 기능을 제어 및 처리한다. 즉, 상기 영상 합성 제어부(202)는 실시간으로 둘 이상의 영상을 획득하고, 상기 획득한 둘 이상의 영상 각각에 대한 합성 영역을 결정한 후, 각 영상에 대한 합성 영역을 기준으로 영상을 합성처리함으로써, 합성 영상을 획득한다. 이후, 사익 영상 합성 제어부(202)는 획득한 합성 영상을 상기 표시부(230)에 디스플레이하기 위한 기능을 제어 및 처리한다.

특히, 상기 영상 합성 제어부(202)는 도 3에 도시된 바와 같이, 영상 획득부(300), 합성 영역 결정부(310) 및 영상 합성부(320)를 포함하여 구성됨으로써, 둘 이상의 영상을 합성 처리하기 위한 기능을 수행한다.

자세히 말해, 상기 영상 획득부(300)는 상기 대기 모드 상태에서 영상 합성 이벤트가 발생될 시, 상기 제 1 카메라(100)와 제 2 카메라(220)를 구동시켜 상기 제 1 카메라(100)로부터 사용자 영상을 획득하고, 상기 제 2 카메라로부터 배경 영상을 획득한다. 또한, 상기 영상 획득부(202)는 다른 단말과 영상 통화 중인 상태에서 상기 영상 합성 이벤트가 발생될 시, 상기 제 1 카메라(100) 및 제 2 카메라(220) 중 적어도 하나를 구동시켜 적어도 하나의 영상을 획득하고, 상기 영상 통화를 수행하는 상대 단말기로부터 실시간으로 수신되는 영상을 획득한다. 이때, 상기 영상 획득부(202)는 사용자에게 상기 제 1 카메라(100), 제 2 카메라(220) 및 상대 단말로부터 획득한 각 영상에 대하여, 어떤 영상을 사용자 영상으로 사용하고 어떤 영상을 배경 영역으로 사용할 것인지 설정해줄 것을 요청할 수도 있을 것이다. 이하 설명에서는, 설명의 편의를 위해 상기 영상 획득부(202)가 상기 제 1 카메라(210)로부터 사용자 영상을 획득하고, 상기 상대 단말기로부터 실시간으로 수신되는 영상을 배경 영상으로 이용하는 경우를 가정하여 설명하지만, 다른 경우에도 동일하게 적용될 수 있다. 예를 들어, 상기 사용자의 설정에 따라 상기 제 1 카메라(210)와 상기 상대 단말기로부터 실시간으로 수신되는 두 영상을 모두 사용자 영상으로 설정하고, 상기 제 2 카메라(220)로부터 획득되는 영상을 배경 영상으로 설정할 수도 있을 것이다.

상기 합성 영역 결정부(310)는 상기 영상 획득부(300)로부터 획득된 사용자 영상과 배경 영상 각각에 대한 합성 영역을 결정한다. 상기 합성 영역 결정부(310)는 해당 영상을 분석하여 각 영상에 대한 후보 합성 영역을 검사하고, 해당 영상의 후보 합성 영역을 화면에 표시하기 위한 기능을 제어 및 처리한다. 여기서, 상기 합성 영역 결정부(310)는 얼굴 검출 기법 혹은 관심 영역 분석 기법 등과 같이 종래에 알려진 영상 인식 기법들을 통해 각 영상에 대한 후보 합성 영역을 검사할 수 있다. 상기 합성 영역 결정부(310)는 별도의 사용자 입력 없이 상기 검사된 후보 합성 영역을 해당 영상의 합성 영역으로 결정할 수도 있으며, 사용자 입력에 따라 상기 검사된 후보 합성 영역을 해당 영상의 합성 영역으로 결정할 수도 있다. 이때, 상기 합성 영역 결정부(310)는 하나의 영상에 대해 복수의 후보 합성 영역이 존재하는 경우, 임의의 후보 합성 영역을 합성 영역으로 결정하거나 미리 설정된 방식에 따라 가장 높은 우선순위를 갖는 후보 합성 영역을 합성 영역으로 결정할 수 있으며, 상기 복수의 후보 합성 영역을 모두 화면에 표시하여 사용자에게 합성 영역을 선택해줄 것을 요청하고, 선택된 후보 합성 영역을 합성 영역으로 결정할 수도 있을 것이다. 또한, 상기 합성 영역 결정부(310)는 사용자에게 각 영상에 대한 합성 영역을 설정해줄 것을 요청하고, 사용자 입력을 감지하여 합성 영역을 결정할 수 있다. 예를 들어, 사용자의 터치가 폐곡선 형태인 경우, 상기 폐곡선 내의 영역을 합성 영역으로 설정할 수 있으며, 사용자의 터치가 특정 좌표를 나타내는 경우, 상기 특정 좌표를 기준으로 주변 영역을 합성 영역으로 설정할 수 있을 것이다. 여기서, 상기 사용자가 터치한 특정 좌표를 기준으로 합성 영역을 설정하는 것은, 해당 영상에서 상기 특정 좌표의 색상 값과 유사한 색상 값을 갖는 주변 영역을 합성 영역으로 결정하는 방식을 이용할 수 있다. 여기서, 상기 합성 영역 결정부(310)는 상기 배경 영상의 합성 영역과 사용자 영상의 합성 영역이 결정되면, 두 합성 영역의 모양을 비교하여 합성이 가능한지 검사하고, 두 합성 영역의 모양이 상이하여 합성이 불가능한 경우에 두 합성 영역이 동일한 모양을 갖도록 조절하는 절차를 수행할 수도 있을 것이다. 또한, 설계 방식에 따라 상기 상대 단말의 배경 영상에 대한 합성 영역은 상기 상대 단말에서 미리 설정될 수도 있을 것이다. 물론, 이 경우 상기 단말에서 상기 상대 단말로부터 배경 영상을 수신할 시, 상기 미리 설정된 합성 영역에 대한 정보를 함께 수신해야 할 것이다.

상기 영상 합성부(320)는 상기 합성 영역 결정부(310)에서 결정된 합성 영역을 바탕으로 사용자 영상과 배경 영상을 합성한다. 상기 합성부(320)는 상기 배경 영상의 합성 영역에 상기 사용자 영상의 합성 영역을 덮어씌움으로써, 두 영상을 합성할 수 있다. 이때, 상기 합성부(320)는 상기 배경 영상의 합성 영역에 상기 사용자 영상의 합성 영역을 단순히 덮어씌우는 것이 아니라, 알파-블렌딩(Alpha-blending) 연산을 수행한다. 여기서, 알파 블렌딩 연산은 배경 영상 위에 다른 영상을 그릴 경우, 배경 영상이 마치 투명하게 비치는 것과 같은 효과를 내기 위해 알파(Alpha)라는 8비트의 새로운 값을 각 픽셀에 할당하여 배경 영상의 RGB 값과 그 위에 그려질 영상의 RGB 값을 혼합하여 표시하는 방법을 의미한다. 여기서, 상기 영상 합성부(320)는 상기 배경 영상의 합성 영역의 크기와 상기 사용자 영상의 합성 영역의 크기가 동일하지 않은 경우, 상기 사용자 영상의 합성 영역에 해당하는 부분을 확대 혹은 축소처리하여 크기를 일치시킨 후, 알파-블렌딩 연산을 수행한다. 또한, 상기 영상 합성부(320)는 상기 영상 합성이 동영상에 대해 수행되는 경우, 동영상을 구성하는 각각의 영상 프레임에 대한 합성을 수행할 것이며, 이때 상기 합성 영역에 대한 추적(tracking)을 수행함으로써, 두 영상 프레임을 합성할 수 있을 것이다. 예를 들어, 상기 영상 합성부(320)는 상기 영상 합성이 영상 통화 중에 수행되는 경우, 상기 단말의 카메라와 상대 단말로부터 실시간으로 입력되는 각 영상에서 합성 영역의 위치를 추적하여 변경된 위치에 따라 합성을 수행한다. 또한, 상기 영상 합성부(320)는 두 영상의 합성 영역에 대하여 합성 처리를 수행한 후, 합성 영역의 가장자리 부분에 대하여 블러링을 수행하여 자연스럽게 보이도록 처리할 수 있다. 여기서, 상기 블러링은 해당 픽셀 주변의 값을 평균값으로 변경하여 영상을 부드럽게 만드는 기능을 의미한다.

상기 제 1 카메라(210)는 상기 휴대용 단말기의 전면에 장착된 카메라로서, 상기 제어부(200)의 제어에 따라 구동하여, 센서(미도시)를 통해 입력되는 아날로그 영상 신호를 디지털 영상 신호로 처리하여 상기 제어부(200)로 제공한다. 여기서, 상기 제 1 카메라(210)는 영상 통화 혹은 셀프 촬영을 위해 사용될 수 있다.

상기 제 2 카메라(220)는 상기 휴대용 단말기의 후면에 장착된 카메라로서, 상기 제어부(200)의 제어에 따라 구동하여, 센서(미도시)를 통해 입력되는 아날로그 영상 신호를 디지털 영상 신호로 처리하여 상기 제어부(200)로 제공한다. 여기서, 상기 제 2 카메라(220)는 상기 제 1 카메라(220)가 촬영하는 방향 이외의 방향을 촬영하여 상기 제어부(200)로 제공한다.

상기 표시부(230)는 상기 휴대용 단말기의 동작 중에 발생되는 각종 상태 정보, 숫자, 문자 및 영상을 디스플레이한다. 특히, 상기 표시부(230)는 본 발명에 따라 사용자 영상과 배경 영상을 하나의 화면에 디스플레이할 수 있으며, 상기 사용자 영상과 배경 영상 각각에 대한 후보 합성 영역 혹은 결정된 합성 영역을 표시한다. 또한, 상기 표시부(230)는 상기 제어부(200)로부터 제공되는 합성 영상을 디스플레이한다.

상기 입력부(240)는 적어도 하나의 기능키와 터치 센서를 포함하여, 사용자가 누르는 키에 대응하는 데이터 혹은 터치하는 위치에 대응하는 좌표 데이터를 상기 제어부(200)로 제공한다. 상기 입력부(240)는 합성 영역을 설정하기 위한 사용자의 키 눌림 혹은 터치를 감지하여 대응하는 데이터를 상기 제어부(200)로 제공한다.

상기 저장부(250)는 상기 휴대용 단말기의 전반적인 동작을 위한 각종 프로그램 및 데이터를 저장한다. 특히, 상기 저장부(250)는 미리 촬영된 영상을 저장할 수 있으며, 상기 제어부(200)의 제어에 따라 하나의 합성 영상 프레임을 저장하거나 동영상을 이루는 연속적인 합성 영상 프레임들을 저장한다. 물론, 여기서 상기 연속적인 합성 영상 프레임들이 동영상 형태로 저장되는 것은 당연할 것이다.

상기 통신 모듈(260)은 상기 제어부(200)의 제어에 따라 유선 혹은 무선을 통해 다른 단말기와 신호를 송수신한다. 특히, 본 발명에 따라 상기 통신 모듈(260)은 영상 통화를 위한 신호를 송수신하며, 상기 영상 통화 시, 상대 단말기와 영상을 송수신한다. 이때, 상기 통신 모듈(260)은 상기 제어부(200)의 제어에 따라 실시간으로 합성되는 영상을 상기 상대 단말기로 전송할 수도 있을 것이다.

여기서는, 상기 휴대용 단말기에 두 개의 카메라가 장착된 경우를 가정하여 설명하였으나, 상기 휴대용 단말기에 하나의 카메라만 장착되는 경우에도, 미리 저장된 영상 혹은 다른 휴대용 단말기로부터 수신되는 영상을 이용하여 영상 합성 기능을 수행할 수 있을 것이다.

도 4는 본 발명의 일 실시 예에 따른 휴대용 단말기에서 영상 합성 절차를 도시하고 있다.

상기 도 4를 참조하면, 상기 휴대용 단말기는 401단계에서 영상 합성 이벤트가 발생될 시, 403단계로 진행하여 상기 휴대용 단말기에 장착된 제 1 카메라 및 제 2 카메라를 구동시키고, 405단계에서 상기 제 1 카메라로부터 입력되는 사용자 영상 및 상기 제 2 카메라로부터 입력되는 배경 영상을 화면에 디스플레이한다.

이후, 상기 휴대용 단말기는 407단계에서 합성 영역을 자동으로 설정하는 기능이 활성된 상태인지 여부를 검사한다. 여기서, 상기 합성 영역을 자동으로 설정하는 기능은 사용자에 의해 활성 상태가 될 수도 있으며, 비활성 상태가 될 수도 있다.

만일, 상기 합성 영역을 자동으로 설정하는 기능이 비활성 상태인 경우, 상기 휴대용 단말기는 409단계로 진행하여 사용자에게 합성 영역을 설정해줄 것을 요청하고, 411단계에서 사용자 입력을 인식하여 상기 사용자 영상과 배경 영상 각각에 대해 사용자가 선택한 합성 영역을 화면에 표시한다. 여기서, 상기 휴대용 단말기는 사용자의 키 눌림 혹은 화면 터치를 통해 사용자가 선택한 합성 영역을 인식할 수 있다.

반면, 상기 합성 영역을 자동으로 설정하는 기능이 활성 상태인 경우, 상기 휴대용 단말기는 419단계에서 상기 사용자 영상과 배경 영상을 인식하여 각 영상에 대한 후보 합성 영역을 검색하고, 421계로 진행하여 상기 검색된 후보 영역을 화면에 표시한다. 여기서 상기 휴대용 단말기는 얼굴 검출 기법 및 관심도 분석 기법과 같이 종래에 잘 알려진 얼굴 인식 기법들을 이용하여 각각의 영상에서 후보 합성 영역을 검색할 수 있다. 이때, 상기 휴대용 단말기는 복수의 후보 영역들이 검색된 경우, 기 설정된 방식에 따라 하나의 후보 영역만을 표시할 수 있으며, 상기 검색된 복수의 후보 영역들을 모두 표시하여 사용자에게 하나의 후보 영역을 결정할 것을 요청할 수 있을 것이다.

상기 휴대용 단말기는 413단계에서 상기 사용자 영상과 배경 영상 각각에 대한 합성 영역이 결정되면, 415단계로 진행하여 알파 블렌딩 연산을 통해 상기 배경 영상의 합성 영역에 대해 상기 사용자 영상의 합성 영역을 합성시킨다. 여기서, 상기 알파 블렌딩을 통해 두 영상을 합성함으로써, 배경 영상의 합성 영역에 대한 텍스처(texture)를 그대로 살려 상기 사용자 영상이 실제로 상기 배경 영상에 포함되어 있었던 것과 같은 효과를 줄 수 있다. 또한, 이때 상기 휴대용 단말기는 상기 배경 영상의 합성 영역의 크기와 상기 사용자 영상의 합성 영역의 크기가 동일하지 않은 경우, 상기 사용자 영상의 합성 영역에 해당하는 부분을 확대 혹은 축소처리하여 크기를 일치시킨 후, 알파-블렌딩 연산을 수행할 수 있다.

이후, 상기 휴대용 단말기는 417단계에서 합성된 영상을 화면에 디스플레이하고, 본 발명에 따른 알고리즘을 종료한다.

도 5는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 영상 통화 중에 영상을 합성하는 절차를 도시하고 있다.

상기 도 5를 참조하면, 상기 휴대용 단말기는 501단계에서 영상통화가 연결될 시, 503단계로 진행하여 상기 단말 자신의 카메라로부터 획득한 제 1 영상과 영상통화가 연결된 상대 단말로부터 수신되는 제 2 영상을 화면에 디스플레이한다.

이후, 상기 휴대용 단말기는 505단계로 진행하여 영상 합성 이벤트가 발생되는지 여부를 검사한다.

만일, 영상 합성 이벤트가 발생될 시, 상기 휴대용 단말기는 507단계로 진행하여 합성 영역을 자동으로 설정하는 기능이 활성된 상태인지 여부를 검사한다. 여기서, 상기 합성 영역을 자동으로 설정하는 기능은 사용자에 의해 활성 상태가 될 수도 있으며, 비활성 상태가 될 수도 있다.

만일, 상기 합성 영역을 자동으로 설정하는 기능이 비활성 상태인 경우, 상기 휴대용 단말기는 509단계로 진행하여 사용자에게 합성 영역을 설정해줄 것을 요청하고, 511단계에서 사용자 입력을 인식하여 상기 제 1 영상과 제 2 영상 각각에 대해 사용자가 선택한 합성 영역을 화면에 표시한다. 여기서, 상기 휴대용 단말기는 사용자의 키 눌림 혹은 화면 터치를 통해 사용자가 선택한 합성 영역을 인식할 수 있다.

반면, 상기 합성 영역을 자동으로 설정하는 기능이 활성 상태인 경우, 상기 휴대용 단말기는 519단계에서 상기 제 1 영상과 제 2 영상을 인식하여 각 영상에 대한 후보 합성 영역을 검색하고, 521계로 진행하여 상기 검색된 후보 합성 영역을 화면에 표시한다. 여기서 상기 휴대용 단말기는 얼굴 검출 기법 및 관심도 분석 기법과 같이 종래에 잘 알려진 얼굴 인식 기법들을 이용하여 상기 각각의 영상에서 후보 합성 영역을 검색할 수 있다. 이때, 상기 휴대용 단말기는 복수의 후보 영역들이 검색된 경우, 기 설정된 방식에 따라 하나의 후보 영역만을 표시할 수 있으며, 상기 검색된 복수의 후보 영역들을 모두 표시하여 사용자에게 하나의 후보 영역을 결정할 것을 요청할 수 있을 것이다.

상기 휴대용 단말기는 513단계에서 상기 제 1 영상과 제 2 영상 각각에 대한 합성 영역이 결정되면, 515단계로 진행하여 알파 블렌딩 연산을 통해 상기 제 1 영상과 제 2 영상의 합성 영역을 합성시킨다. 여기서, 상기 휴대용 단말기는 상기 제 1 영상과 제 2 영상 중에 배경 영상으로 사용할 영상을 설정해줄 것을 사용자에게 요청할 수 있을 것이다. 상기 제 1 영상이 사용자 영상이고, 상기 제 2 영상이 배경 영상이라고 가정하면, 상기 제 1 영상의 합성 영역에 상기 제 2 영상의 합성 영역을 덮어쓰는 방식으로 두 영상을 합성할 수 있으며, 이때 상기 알파 블렌딩을 통해 두 영상을 합성함으로써, 배경 영상의 합성 영역에 대한 텍스처(texture)를 그대로 살려 상기 사용자 영상이 실제로 상기 배경 영상에 포함되어 있었던 것과 같은 효과를 줄 수 있다. 이때, 영상 통화 중에 단말의 움직임으로 인하여 상기 휴대용 단말기가 촬영한 제 1 영상과 상기 상대 단말이 촬영한 제 2 영상의 데이터가 변경될 수 있으므로, 상기 휴대용 단말기는 실시간으로 입력되는 각 영상 프레임에 대한 합성 영역의 위치를 추적하고, 추적된 위치의 합성 영역을 이용하여 합성을 수행해야 할 것이다. 또한, 이때 상기 휴대용 단말기는 상기 배경 영상의 합성 영역의 크기와 상기 사용자 영상의 합성 영역의 크기가 동일하지 않은 경우, 상기 사용자 영상의 합성 영역에 해당하는 부분을 확대 혹은 축소처리하여 크기를 일치시킨 후, 알파-블렌딩 연산을 수행할 수 있다.

이후, 상기 휴대용 단말기는 517단계에서 합성된 영상을 화면에 디스플레이하고, 상기 합성된 영상을 상대 단말기로 전송한다. 여기서, 상기 휴대용 단말기는 설계 방식에 따라 상기 합성된 영상을 상대 단말기로 전송하지 않을 수도 있다.

이후, 본 발명에 따른 알고리즘을 종료한다.

상술한 설명에 따라, 본 발명의 동작을 예로 들어 살펴보기로 한다.

도 6a 내지 6c는 본 발명의 일 실시 예에 따른 휴대용 단말기에서 영상을 합성하는 방식에 대한 화면 구성을 도시하고 있다. 여기서는, 하나의 휴대용 단말기에서 두 영상을 획득하고, 두 영상에 대한 합성 처리를 수행하여 하나의 합성 영상을 획득하는 경우를 예로 들어 나타내고 있다. 즉, 본 발명의 실시 예에 따른 휴대용 단말기는 상기 도 6a에 도시된 바와 같이, 사용자의 모습을 포함하는 제 1 영상과 복수의 빌딩들을 포함하는 제 2 영상을 획득할 수 있다. 이후, 상기 휴대용 단말기는 도 6b에 나타낸 바와 같이, 제 1 영상에서 사용자 모습을 포함하는 소정 영역을 합성 영역(601)으로 설정하고, 제 2 영상에서 특정 건물의 광고판 영역을 합성 영역(603)으로 설정할 수 있다. 이후, 상기 휴대용 단말기는 도 6c에 나타낸 바와 같이, 상기 제 2 영상의 합성 영역으로 설정된 광고판 영역에 상기 사용자 모습을 포함하는 소정 영역을 합성시킬 수 있다. 이를 통해, 상기 휴대용 단말기는 상기 사용자가 상기 광고판의 광고 모델이 된 것과 같은 영상을 제공할 수 있다. 이와 같은 동작은 상기 두 영상이 정지영상인 경우와 동영상인 경우에 동일하게 적용될 수 있다. 다만, 상기 두 영상 중 적어도 하나의 영상이 동영상인 경우, 동영상에 대한 합성 영역이 변경되는 위치를 추적하는 절차가 추가로 수행되어야 할 것이다.

도 7a 내지 도 7c는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 영상을 합성하는 방식에 대한 화면 구성을 도시하고 있다. 여기서는, 하나의 휴대용 단말기에서 하나의 영상을 획득하고, 다른 하나의 휴대용 단말기에서 두 영상을 획득하여 세 영상을 하나의 영상으로 합성하는 경우를 예로 들어 나타내고 있다. 즉, 본 발명의 실시 예에 따라 상기 도 7a에 도시된 바와 같이, 제 1 단말은 사용자의 모습을 포함하는 제 1 영상을 획득하고, 제 2 단말은 사용자의 모습을 포함하는 제 2 영상과 자연 경관을 포함하는 제 3 영상을 획득할 수 있다. 이후, 상기 도 6b에 나타낸 바와 같이, 제 1 단말과 제 2 단말은 상기 획득한 영상들을 서로 간에 송수신하여, 상기 제 1 영상에서 사용자의 모습을 포함하는 소정 영역을 합성 영역으로 설정하고, 상기 제 2 영상에서 사용자의 모습을 포함하는 소정 영역을 합성 영역으로 설정하며, 상기 제 3 영상에서 소정 영역을 합성 영역으로 설정할 수 있다. 여기서, 상기 각 영상의 합성 영역은 해당 단말에서 설정된 이후, 상대 단말로 전송될 수도 있다. 물론, 이때 상기 영상을 상대 단말로 전송할 시 합성 영역에 대한 정보도 함께 전송되어야 할 것이다.

이후, 상기 제 1 단말 및 제 2 단말은 도 7c에 나타낸 바와 같이, 상기 제 3 영상의 합성 영역에 상기 제 1 영상과 제 2 영상의 합성 영역을 합성시킴으로써, 상기 제 1 단말의 사용자와 제 2 단말의 사용자가 상기 자연 경관을 배경으로 함께 사진을 촬영한 것과 같은 영상을 제공할 수 있다. 이와 같은 동작은 상기 세 영상이 정지영상인 경우와 동영상인 경우에 동일하게 적용될 수 있다. 다만, 상기 세 영상 중 적어도 하나의 영상이 동영상인 경우, 동영상에 대한 합성 영역이 변경되는 위치를 추적하는 절차가 추가로 수행되어야 할 것이다.

상술한 본 발명에서는 휴대용 단말기들 간의 영상통화를 예로 들어, 두 개의 단말기 간에 영상을 공유하고, 공유한 영상을 합성하는 것에 대하여 설명하였으나, 상기 영상 합성 기법은 영상통화를 지원하지 않는 단말기 간에 영상이 공유되는 경우에도 적용할 수 있을 것이다. 예를 들어, TV, PC, 동영상 플레이어에서 무선 혹은 유선을 통해 휴대용 단말기로 영상을 전송하는 경우, 상기 휴대용 단말기는 상기 영상과 자신의 카메라로부터 촬영된 영상을 본 발명에 따라 합성할 수도 있을 것이다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

200: 제어부 202: 영상합성 제어부
210: 제 1 카메라 220: 제 2 카메라
230: 표시부 240: 입력부
250: 저장부 260: 통신 모듈
300: 영상 획득부 310: 합성 영역 결정부
320: 영상 합성부

Claims

제1 카메라와 제2 카메라를 가지는 휴대용 단말기에서 영상 합성 방법에 관한 것으로서,
상기 제1 카메라로부터 제1 영상을 획득하는 과정과,
상기 제2 카메라로부터 제2 영상을 획득하는 과정과,
상기 휴대용 단말기의 화면 상에 상기 제1 영상을 표시하는 과정과,
상기 제1 영상의 위치에 상기 제2 영상을 표시하는 과정과,
상기 제2 영상의 위치 변경을 위한 제1 입력을 수신하는 과정과,
상기 화면의 변경된 위치 상에 상기 제2 영상을 표시하는 과정과,
상기 제1 영상에 상기 제2 영상을 합성하여 상기 휴대용 단말기의 저장부에 제3 영상을 저장하는 과정을 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 제1 입력은, 상기 휴대용 단말기의 표시부를 터치하는 사용자 입력을 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 제2 영상을 표시하는 과정은,
상기 제1 영상에서 하나 또는 그 이상의 후보 합성 영역들을 식별하는 과정과,
상기 제1 영상에서 하나의 후보 합성 영역이 식별되면, 상기 식별된 후보 합성 영역을 합성 영역으로 선택하는 과정과,
상기 제1 영상에서 복수의 후보 합성 영역들이 식별되면, 미리 설정된 방식에 따라, 상기 식별된 후보 합성 영역들 중 하나의 후보 합성 영역을 합성 영역으로 선택하는 과정을 포함하는 것을 특징으로 하는 방법.
제 3항에 있어서,
상기 제1 영상에서 상기 복수의 후보 합성 영역들을 표시하는 과정과,
합성 영역을 선택하기 위한 제2 입력을 수신하는 과정과,
상기 선택된 합성 영역에서 상기 제2 영상을 상기 제1 영상과 합성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 영상을 합성하는 과정은,
알파-블렌딩(alpha-blending) 기법을 이용하여, 배경 영상으로 사용할 상기 제1 영상의 합성 영역과 상기 제2 영상의 합성 영역을 합성하는 과정을 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 제1 카메라는 상기 휴대용 단말기의 전면에 장착되며, 상기 제2 카메라는 상기 휴대용 단말기의 후면에 장착되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 제2 영상은 상기 제2 카메라를 통해 배경 영상으로 획득하는 과정,
제2 입력에 응답하여 상기 제1 영상과 상기 제2 영상을 하나의 영상으로 합성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제 7항에 있어서,
다른 단말과 영상 통화를 수행하는 과정을 더 포함하며,
상기 영상 통화를 수행하는 중에 상기 다른 단말로부터 수신되는 영상을 합성하기 위한 상기 제1 영상의 합성 영역의 위치를 추적하는 과정을 포함하는 것을 특징으로 하는 방법.
휴대용 단말기에서 영상 합성 장치에 관한 것으로서,
제1 카메라와,
제2 카메라와,
저장부와,
입력을 수신하는 입력부와,
화면 상에 영상을 표시하는 표시부와,
제어부를 포함하고, 제어부는,
제1 영상을 획득하도록 상기 제1 카메라를 제어하고,
제2 영상을 획득하도록 상기 제2 카메라를 제어하고,
상기 화면 상에 상기 제1 영상을 표시하도록 상기 표시부를 제어하고,
상기 제1 영상의 위치에 상기 제2 영상을 표시하도록 상기 표시부를 제어하고,
상기 제2 영상의 위치 변경을 위한 제1 입력을 수신하도록 상기 입력부를 제어하고,
상기 화면의 변경된 위치 상에 상기 제2 영상을 표시하도록 제어하고,
상기 제1 영상에 상기 제2 영상을 합성하여 상기 저장부에 제3 영상을 저장하도록 제어하는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제1 입력은, 상기 표시부를 터치하는 사용자 입력을 포함하는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제어부는,
상기 제1 영상에서 하나 또는 그 이상의 후보 합성 영역들을 식별하고,
상기 제1 영상에서 하나의 후보 합성 영역이 식별되면, 상기 식별된 후보 합성 영역을 합성 영역으로 선택하고,
상기 제1 영상에서 복수의 후보 합성 영역들이 식별되면, 미리 설정된 방식에 따라, 상기 식별된 후보 합성 영역들 중 하나의 후보 합성 영역을 합성 영역으로 선택하는 것을 특징으로 하는 장치.
제 11항에 있어서,
상기 제어부는,
상기 제1 영상에서 복수의 후보 합성 영역들을 표시하도록 상기 표시부를 제어하고,
합성 영역을 선택하기 위한 제2 입력을 수신하도록 상기 입력부를 제어하고,
상기 선택된 합성 영역에서 상기 제2 영상을 상기 제1 영상과 합성하는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제어부는, 알파-블렌딩(alpha-blending) 기법을 이용하여, 배경 영상으로 사용할 상기 제1 영상의 합성 영역과 상기 제2 영상의 합성 영역을 합성하는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제1 카메라와 상기 제2 카메라는 다른 방향을 향하도록 장착되는 것을 특징으로 하는 장치.
제 14항에 있어서,
상기 제1 카메라는 상기 휴대용 단말기의 전면에 장착되며, 상기 제2 카메라는 상기 휴대용 단말기의 후면에 장착되는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제어부는, 영상 통화를 수행하는 중에 상기 제2 영상을 합성하기 위한 상기 제1 영상의 합성 영역의 위치를 추적하는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제2 영상은 상기 제2 카메라를 통해 배경 영상으로 획득되는 것을 특징으로 하는 장치.
제 9항에 있어서,
상기 제어부는 제2 입력에 응답하여 상기 제1 영상과 상기 제2 영상을 하나의 영상으로 합성하는 것을 특징으로 하는 장치.