[go: up one dir, main page]

KR20120078649A - 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법 - Google Patents

카메라를 구비한 휴대용 영상 통화 장치 및 그 방법 Download PDF

Info

Publication number
KR20120078649A
KR20120078649A KR1020110147329A KR20110147329A KR20120078649A KR 20120078649 A KR20120078649 A KR 20120078649A KR 1020110147329 A KR1020110147329 A KR 1020110147329A KR 20110147329 A KR20110147329 A KR 20110147329A KR 20120078649 A KR20120078649 A KR 20120078649A
Authority
KR
South Korea
Prior art keywords
call
call mode
image
video
mode
Prior art date
Application number
KR1020110147329A
Other languages
English (en)
Inventor
최민서
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP11854137.4A priority Critical patent/EP2661076A2/en
Priority to US13/977,358 priority patent/US20130278729A1/en
Priority to PCT/KR2011/010401 priority patent/WO2012091526A2/ko
Publication of KR20120078649A publication Critical patent/KR20120078649A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

영상 통화 장치는 영상이 표시되는 화면의 주변에 기준점을 중심으로 서로 대칭 관계를 형성하는 서로 다른 위치에 각각 위치되어 있는 제1 카메라와 제2 카메라를 포함한다. 영상 통화 장치는 제1 카메라와 제2 카메라로부터 각각 획득되는 영상들을 토대로 영상 통화를 수행하며, 또한 통화 모드 변경 요구에 따라 통화 모드 변경을 수행한다.

Description

카메라를 구비한 휴대용 영상 통화 장치 및 그 방법{Camera-equipped portable video conferencing device and control method thereof}
본 발명은 영상 통화 장치에 관한 것으로, 특히 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법에 관한 것이다.
이동 통신 서비스의 가용 대역폭 확대와 Wi-Fi의 보급 확대에 따라, 개인용 휴대 장치에서 영상 통화를 제공하기 위한 서비스들이 점차 증가하고 있다. 그러나 3G (3generation) 망을 이용하는 영상 통화 서비스는 낮은 화질로 인해 사용자 만족도가 높지 않고, Wi-Fi망을 이용하는 경우에는 화질 열화를 어느 정도 해소하였으나 사용자가 겪는 시선 불일치 문제가 여전히 발생한다.
시선 불일치 문제란 사용자가 영상 통화 단말을 바라보는 시선과 영상 통화 단말의 화면상에 표시되는 사용자의 시선이 서로 일치하지 않는 것을 말한다. 이것은 사용자를 촬영하는 영상 통화 단말의 카메라가 영상 통화 단말의 가장 자리에 위치하는데 반하여 사용자의 시선은 영상 통화 단말의 화면 중심을 향하기 때문에, 사용자의 시선과 카메라 렌즈의 중심축이 서로 일치하지 않아서 발생되는 문제이다. 이는 필연적으로 영상 통화를 시도하는 사용자들이 느껴야 하는 현장감을 저해하는 요소로 작용하게 된다.
도 1은 종래의 영상 통화 장치에서 나타나는 시선 불일치 문제의 일 예를 나타낸 도이다.
도 1을 참조하면, 영상 통화 장치의 화면에 표시되는 영상에서 통화를 하는 사용자의 시선이 왼쪽으로 향하고 있는 것으로 보인다. 그러나 이 경우 사용자는 영상 통화 장치의 화면 중심을 바라보고 있다. 즉, 화면을 통해 표시되는 상대방을 보고 있다. 다만, 화면 가장자리에 위치한 카메라가 오른쪽에서(즉, 시선과 어긋난 방향에서) 사용자를 촬영하고 있기 때문에 마치 사용자가 왼쪽을 바라보고 있는 것처럼 보이게 된다. 따라서 영상 통화를 하는 양 당사자 모두 화면의 중심을 응시하고 있지만, 어느 누구도 상대방과 시선을 맞출 수가 없는 문제가 발생한다.
또한, 종래의 영상 통화 장치는 착신된 통화를 개시하기 전 또는 통화를 하는 중에는 영상 통화와 음성 통화 간에 모드 변경을 할 수 없는 단점이 있다. 그러므로 열악한 통신 환경 및 부족한 시스템 자원이 문제되더라도 현재 설정된 통화 모드를 계속 유지하여, 전체적으로 통화 품질이 저하되는 문제에 대처가 미흡하였다.
본 발명이 해결하고자 하는 과제는 영상 통화시에 시선 불일치 문제를 해소하여 보다 현장감 있는 영상 통화 서비스를 제공하는 영상 통화 장치 및 그 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는 영상 통화시 시점 합성 영상 또는 스테레오스코픽(stereoscopic) 영상 중 어느 하나를 표시할 수 있는 다기능 휴대용 영상 통화 장치 및 그 제어 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는 영상 통화와 음성 통화 간의 모드 변경이나 다양한 음성통화 모드 간 변경을 자유롭게 수행할 수 있는 영상 통화 장치 및 그 제어 방법을 제공하는 것이다.
본 발명의 특징에 따른 영상 통화 장치는 네트워크를 통한 통신을 수행하는 통화 처리부; 영상 표시부; 및 상기 영상 표시부의 주변에 위치하며, 기준점을 중심으로 서로 대칭 관계를 형성하는 서로 다른 위치에 각각 위치되어 있는 제1 카메라와 제2 카메라를 포함한다.
여기서, 상기 기준점이 상기 영상 표시부의 화면의 중심에 위치할 수 있다.
또한 상기 제1 카메라와 상기 제2 카메라가 상기 기준점을 토대로 상하 대칭 관계를 형성하는 위치에 각각 형성될 수 있다. 또한 상기 제1 카메라와 상기 제2 카메라가 상기 기준점을 토대로 좌우 대칭 관계를 형성하는 위치에 각각 형성될 수 있다.
이러한 영상 통화 장치는 상기 제1 카메라와 상기 제2 카메라에서 각각 촬영되는 영상을 처리하여 상기 영상 표시부로 출력하거나 상기 통화 처리부로 출력하는 영상 처리부를 더 포함할 수 있다.
이외에도, 통화 모드를 현재 통화 모드에서 변경 요구에 따른 목표 통화 모드로 변경하는 통화 모드 변경부를 더 포함할 수 있다.
한편 상기 영상 처리부는 상기 제1 카메라로부터 촬영된 영상을 제공받아 처리하여 제1 시점 영상을 생성하는 제1 시점 영상 획득부; 상기 제2 카메라로부터 촬영된 영상을 제공받아 처리하여 제2 시점 영상을 생성하는 제2 시점 영상 획득부; 상기 제1 시점 영상과 제2 시점 영상에 기초하여 변이 값들을 출력하는 스테레오 매칭부; 및 상기 변이 값들을 토대로 상기 제1 시점 영상과 제2 시점 영상을 합성하여 시점 합성 영상을 생성하거나, 상기 제1 시점 영상과 제2 시점 영상을 처리하여 스테레오스코픽 영상을 생성하거나, 상기 제1 시점 영상과 제2 시점 영상 중에서 하나를 선택하여 처리하여 출력하는 영상 합성부를 포함할 수 있다.
한편 통화 모드 변경부는 통화를 개시하는 시점 또는 통화를 수행하는 동안에 통화 모드를 변경할 수 있다.
본 발명의 다른 특징에 따른 통화 방법은, 네트워크를 통하여 상대 통화 장치와 통화를 수행하는 영상 통화 장치의 통화 방법에서, 통화 모드 변경 요구의 발생 여부를 확인하는 단계; 및 상기 통화 모드 변경 요구가 발생한 경우 통화 모드를 현재 통화 모드에서 상기 변경 요구에 따른 목표 통화 모드로 변경하는 단계를 포함한다.
상기 변경하는 단계는 상기 통화 모드를 변경한 다음에 변경된 통화 모드를 상기 상대 통화 장치로 통보하는 단계를 더 포함할 수 있다.
또한 상기 변경하는 단계는 상기 현재 통화 모드의 레벨과 상기 목표 통화 모드의 레벨을 비교하는 단계; 및 상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 낮은 경우에 통화 모드를 변경하는 단계를 포함할 수 있다.
이 경우, 상기 변경하는 단계는 상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 낮은 경우에 통화 모드를 변경할 예정임을 상기 상대 통화 장치로 통보하는 단계를 더 포함할 수 있으며, 상기 통보 후에 통화 모드 변경이 이루어진다.
또한 상기 변경하는 단계는 상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 높은 경우에 상기 상대 통화 장치와 미디어 협상을 수행하는 단계; 및 상기 미디어 협상이 성공한 경우에, 현재 통화 모드를 상기 목표 통화 모드로 변경하는 단계를 더 포함할 수 있다.
한편 상기 통화 모드 변경 요구는 통신 채널의 상태, 현재 시스템 자원의 가용 상태 중 적어도 하나를 고려하여 통화 모드 변경이 요구되는 경우에 발생될 수 있다.
한편 상기 통화 모드는 시점 합성 영상을 토대로 통화를 하는 제1 영상 통화 모드, 스테레오스코픽 영상을 토대로 통화를 하는 제2 영상 통화 모드, 단일 영상을 토대로 통화를 하는 제3 영상 통화 모드, 음성 통화 모드 중 적어도 두 개를 포함할 수 있다. 여기서 상기 음성 통화 모드에 제1 레벨, 상기 제3 영상 통화 모드에 제2 레벨, 상기 제1 영상 통화 모드에 제3 레벨, 상기 제2 영상 통화 모드에 제4 레벨이 각각 부여되고, 제1 레벨<제2 레벨<제3 레벨<제4 레벨의 조건이 만족될 수 있다.
이외에도, 상기 목표 통화 모드로의 변경을 수행하기 전에 상대 통화 장치로부터 통화 모드 변경에 관한 허락을 받는 단계를 추가로 포함할 수 있으며, 이 경우 상기 목표 통화 모드로의 변경은 상기 상대 통화 장치로부터의 허락이 있는 경우에만 이행될 수 있다.
본 발명의 또 다른 특징에 따른 방법은, 네트워크를 통하여 상대 통화 장치와 통화를 수행하는 영상 통화 장치의 통화 방법이며, 영상이 표시되는 화면의 주변에 위치하며, 기준점을 중심으로 서로 대칭 관계를 형성하는 서로 다른 위치에 각각 위치되어 있는 제1 카메라와 제2 카메라로부터 각각 제1 시점 영상 및 제2 시점 영상을 획득하는 단계; 현재 통화 모드가 시점 합성 영상을 토대로 하는 영상 통화 모드인 경우, 상기 제1 시점 영상과 제2 시점 영상을 토대로 시점 합성 영상을 생성하는 단계; 및 상기 시점 합성 영상을 토대로 영상 통화를 수행하는 단계를 포함한다.
여기서 음성 통화 모드로의 변경 요구의 발생 여부를 확인하는 단계; 및 상기 통화 모드 변경 요구가 발생한 경우 통화 모드를 현재 영상 통화 모드에서 상기 변경 요구에 따른 음성 통화 모드로 변경하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따르면 영상 통화시에 시점 합성 영상을 제공하여 통화를 하는 사용자의 시선 불일치 문제를 해소할 수 있다. 따라서 영상 통화를 하는 상대방끼리 서로 시선을 맞추면서 통화를 할 수 있으므로, 보다 현장감 있는 영상 통화 서비스를 제공할 수 있다. 이러한 효과는 영상 통화 화면이 커질수록, 그리고 화면 중심부로부터 카메라까지의 거리가 멀수록 (예, 테블릿 PC), 시점 합성 영상에 의한 시선 불일치 문제 해소의 효과는 더욱 두드러지게 나타날 수 있다.
또한, 본 발명의 실시 예에 따른 영상통화장치는 스테레오스코픽 영상을 제공하여 영상통화 시 발생하는 시선 불일치 문제를 해소할 수 있다.
또한, 사용자의 요구에 따라 혹은 통신 환경이나 시스템 자원의 변화에 대응하여 통화 모드의 변경을 수행하여, 사용자에게 보다 편리하고 향상된 영상/음성 통화 서비스를 제공할 수 있다.
도 1은 종래의 영상 통화 장치에서 나타나는 시선 불일치 문제를 예시적으로 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 영상 통화 장치의 구조도이다.
도 3 내지 도 5는 본 발명의 실시 예에 따른 영상 통화 장치에서의 카메라의 설치 예들을 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 영상 통화 장치가 테블릿 PC에 구현된 것을 나타낸 예시도이다.
도 7은 본 발명의 실시 예에 따른 영상 통화 장치의 영상 처리부의 구조를 나타낸 도이다.
도 8은 본 발명의 실시 예에 따른 영상 처리부가 스테레오스코픽 영상을 생성할 경우의 구조를 나타낸 도이다.
도 9는 본 발명의 제1 실시 예에 따른 영상 통화 방법의 흐름도이다.
도 10은 본 발명의 제2 실시 예에 따른 영상 통화 방법의 흐름도이다.
도 11은 본 발명의 실시 예에 따른 영상 통화 방법에서 통화 모드를 변경하는 과정을 나타낸 흐름도이다.
도 12는 본 발명의 실시 예에 따른 통화 모드별 레벨을 나타낸 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 영상 통화 장치 및 그 제어 방법에 대하여 설명한다.
도 2는 본 발명의 실시 예에 따른 영상 통화 장치의 구조를 나타낸 블록이다.
첨부한 도 2에 도시되어 있듯이, 본 발명의 실시 예에 따른 영상 통화 장치(1)는 복수의 카메라(11, 12), 복수의 카메라로부터 획득되는 영상을 처리하는 영상 처리부(13), 처리되는 영상을 표시하는 영상 표시부(14)를 포함하며, 이외에도 통화 모드 변경부(15) 및 변경된 통화 모드에 따른 통화를 수행하는 통화 처리부(16)를 더 포함할 수 있다.
복수의 카메라(11)는 각각 촬영을 하여 영상을 획득한다. 본 발명의 실시 예에 따른 카메라(11, 12)들은 서로 다른 위치에 형성되어 각각 촬영을 하며, 기준점을 토대로 서로 대칭 관계를 형성한다. 기준점은 영상 표시부(14)에서 영상이 표시되는 화면에 위치한다.
도 3 내지 도 5는 본 발명의 실시 예에 따른 영상 통화 장치에서의 카메라의 설치 예들을 나타낸 도이다.
본 발명의 실시 예에 따른 복수의 카메라(11, 12)는 영상 표시부(14)에 의하여 영상이 표시되는 화면의 주변에 위치되는데, 구체적으로 화면의 둘레 영역에 위치하며, 기준점을 토대로 대칭 관계를 형성하도록 서로 다른 위치에 형성된다. 예를 들어, 도 3의 (a)에 도시되어 있듯이, 카메라(11, 12)가 화면의 둘레 영역에 서로 좌우 대칭을 이루도록 위치될 수 있다. 즉, 횡 방향의 제1 면 및 제2 면과 종방향의 제3 면 및 제4 면으로 이루어지는 화면에서, 카메라(11)가 제3 면의 중심이 되는 곳에 위치하고, 다른 카메라(12)가 제3 면과 마주보는 제4 면의 중심이 되는 곳에 위치되어, 카메라(11, 12)가 서로 좌우 대칭 관계를 형성할 수 있다.
또는 도 3의 (b)에 도시되어 있듯이, 카메라(11, 12)가 화면의 둘레 영역에 서로 상하 대칭을 이루도록 위치될 수 있다. 즉, 하나의 카메라(11)가 화면의 제1 면의 중심이 되는 곳에 위치하고, 다른 하나의 카메라(12)가 제1 면과 마주보는 제2 면의 중심이 되는 곳에 위치하여 카메라(11, 12)가 서로 상하 대칭 관계를 형성할 수 있다. 도 3의 (a) 및 (b)에서는 두 개의 카메라가 좌우 대칭 또는 상하 대칭을 이루는 것을 예로 들었는데, 구현 예에 따라서는 반드시 상하 또는 좌우 대칭에 한정되지 않는다.
또한, 대칭 관계를 형성하는 기준점이 화면의 중심에 위치하는 것에 한정되지 않는다. 예를 들어, 도 4의 (a)에 도시되어 있듯이, 화면을 양분하는 종축에 대해 선대칭을 이루도록 두 개의 카메라(11, 12)가 배치될 수도 있다.
또한 첨부한 도 4의 (b)에 예시되어 있듯이, 하나의 카메라만을 사용하는 기존 단일 카메라 기반의 영상 통화 단말과 같이 화면의 주변의 왼쪽 또는 오른쪽 상단 구석 부분에 하나의 카메라(11)를 위치시키고, 다른 하나의 카메라(12)를 카메라(11)와 대략 화면 중심 영역의 임의의 점에 대해 점대칭을 이루도록 위치시킬 수 있다.
이와 같이 기존 단일 카메라 기반의 영상 통화 단말과 유사한 위치에 하나의 카메라(11)를 형성하고 임의 기준점을 토대로 카메라(11)와 대칭 관계를 형성하도록 다른 카메라(12)를 형성한 경우에는, 통신 환경이나 시스템 사정에 따라, 하나의 카메라(예를 들어, 12)의 동작을 중지시키고 단일 카메라(예를 들어, 11)만을 이용하여 영상 통화를 할 수 있다. 이 경우 송신측 영상 통화 장치가 하나의 카메라를 통해서만 촬영된 영상을 전송하면, 수신측 영상 통화 장치는 하나의 카메라에 대응하는 영상만 수신해서 표시하는 동작을 수행한다. 물론, 두 개의 카메라 중에서 하나만 동작시키는 것은, 기존 영상 통화 단말과 같이 화면 주변의 왼쪽 또는 오른쪽 상단 구석 부분에 카메라를 위치시킨 형태로 구현되는 영상 통화 장치에만 적용되는 것은 아니며, 본 발명의 실시 예에 따라 복수의 카메라가 서로 기준점(또는 기준선)을 토대로 대칭 관계를 형성하도록 위치되는 모든 경우에 적용될 수 있다.
한편, 도 4의 (b)에서와 같이, 카메라(11)를 배치하고 다른 하나의 카메라(12)를 카메라(11)와 대략 화면 중심 영역의 임의의 점에 대해 점대칭을 이루도록 위치시키는 경우에, 두 카메라의 위치 관계로 인해 에피폴라 라인(epipolar line)이 영상 표시부(14)의 수평 스캔 라인과 일치하지 않고 서로 각도를 이루기 때문에, 각 카메라에 의하여 획득되는 영상들을 처리하는 경우 스테레오(stereo) 매칭과 관련한 연산이 다소 복잡해 질 수 있고, 스테레오스코픽(stereoscopic) 영상을 제공하기가 매우 곤란해 질 수 있다. 즉, 이 경우 2개 시점 영상을 새로 합성해야 스테레오스코픽 영상 표시가 가능하기 때문에 별도의 영상 합성 연산을 고려해야 한다. 따라서 영상 처리시에 위에 기술된 바와 같은 상황을 고려한 추가 연산을 수행하는 것보다는, 두 카메라의 에피폴라 라인이 영상 표시부(14)의 수평 스캔 라인 또는 수직 스캔 라인과 평행이 되도록 하는 것이 더 유리하다. 특히 스테레오스코픽 영상의 경우 좌영상과 우영상만을 고려하므로 에피폴라 라인은 항상 수평 라인과 평행이 된다고 표현하는 것이 정확하겠지만, 여기서는 스마트 폰이나 태블릿 PC에 내장된 자이로스코프 기능으로 인해 수평 라인과 수직 라인이 언제든지 교대될 수 있다는 점을 고려한 것이다.
따라서 단일 카메라 기반의 영상 통화를 가능하게 하면서 두 개의 카메라를 서로 대칭 관계를 형성하도록 위치시키는 것보다는, 두 개의 카메라를 추후에 설명할 시점 합성이나 스테레오스코픽 영상 통화에 적합하도록 서로 대칭 관계를 형성하면서 위치시킨다면, 전체적으로 더 간단하게 본 발명의 실시 예에 따른 영상 통화 장치를 구현할 수 있다.
경우에 따라서는 도 5에 예시된 바와 같이, 기준점을 토대로 서로 대칭 관계를 형성하는 두 개의 카메라(11, 12) 이외에, 단일 영상 기반 통화를 위한 카메라(111)을 독립적으로 형성하여, 총 3개의 카메라를 배치하는 구성도 고려할 수 있다.
한편 도 3 내지 도 5에서는 본 발명의 실시 예에 따른 영상 통화 장치가 스마트 폰과 같은 형태로 구현된 것을 토대로 하였으나, 영상 통화 장치는 통화 기능이 있는 다양한 장치에 적용될 수 있다.
도 6은 본 발명의 실시 예에 따른 영상 통화 장치가 테블릿 PC에 구현된 것을 나타낸 예시도이다. 앞서 스마트폰에서 언급한 내용들이 유사하게 적용될 수 있으며, 당업자라면 위의 실시 예들을 토대로 구현할 수 있으므로 여기서는 상세한 설명을 생략한다.
첨부한 도 6에 예시되어 있듯이, 테블릿 PC의 영상 표시 화면의 둘레 영역에 두 개의 카메라(11, 12)가 기준점을 토대로 대칭 관계를 형성하도록 형성되어, 각각 서로 다른 시점을 가지는 영상을 획득하여 합성하고 합성된 영상을 토대로 영상 통화가 수행된다. 특히 테블릿 PC의 경우 영상 통신을 위해 사용자에게 표시되는 화면의 중심으로부터 카메라의 위치까지의 거리가 스마트 폰의 경우에 비해 훨씬 길고, 화면의 크기도 상대적으로 커질 수 있기 때문에, 본 발명의 실시 예에 따른 시점 합성 영상의 장점이 보다 두드러지게 나타날 수 있다.
한편 본 발명의 실시 예에 따른 카메라(11, 12, 111)는 내장형 고정식 카메라 이외에도, 외장형, 착탈식 카메라 등 다양한 형태의 카메라일 수 있다. 또한, 카메라는 원통축을 중심으로 회전이 가능하도록 형성된 내장형 카메라일 수 있다. 이 경우 영상 통화시 회전하는 카메라에 의하여 통화자의 얼굴뿐만이 아니라 주위 경관에 대한 시점을 제공할 수 있다. 여기서 내장형 카메라의 회전은 수동식 및/또는 전동식으로 수행될 수 있다. 이와 같이 다양한 형태 즉, 외장형, 내장형, 또는 회전식으로 형성되는 카메라를 사용하는 경우, 해당 카메라들은 외부 간섭에도 불구하고 영상획득동작을 수행하는 중에는 카메라들의 고정 위치와 상대 각도가 일정하게 유지되도록 형성될 수 있다.
위에 기술된 바와 같이 다양하게 기준점을 토대로 대칭 관계를 형성하도록 위치되는 복수의 카메라(11, 12)에 의하여 촬영된 영상은 도 2에서와 같이, 영상 처리부(13)로 입력되어 처리된다.
영상 처리부(13)는 복수의 카메라(11, 12)에서 촬영되는 각각의 영상을 처리하여 영상 표시부(14)로 출력하거나 통화 처리부(16)를 통하여 전송할 수 있다.
또한 영상 처리부(13)는 복수의 카메라(11, 12)에서 촬영되는 영상들을 합성하여 시점 합성 영상을 생성하거나, 각각의 영상으로부터 스테로오스코픽 영상 포맷을 생성하거나, 또는 하나의 영상만을 선택하여 처리하여, 영상 표시부(14)로 출력한다. 이외에도 처리하여 생성되는 영상을 통화 처리부(16)로 제공하여 통화를 하는 상대 통화 장치(도시하지 않음)로 전송되도록 할 수 있다.
도 7은 본 발명의 실시 예에 따른 영상 처리부의 구조를 나타낸 도이다.
첨부한 도 7에서와 같이, 본 발명의 실시 예에 따른 영상 처리부(13)는 제1 시점 영상 획득부(131), 제2 시점 영상 획득부(132), 스테레오 매칭부(133), 영상 합성부(134)를 포함한다.
제1 시점 영상 획득부(131)는 카메라(11)로부터 촬영된 영상을 제공받아 처리하여 제1 시점 영상을 생성하며, 제2 시점 영상 획득부(132)는 카메라(12)로부터 촬영된 영상을 제공받아 처리하여 제2 시점 영상을 생성한다.
스테레오 매칭부(133)는 제1 시점 영상 획득부(131)와 제2 시점 영상 획득부(132)로부터 제공되는 제1 시점 영상과 제2 시점 영상을 비교하고 비교 결과를 영상 합성부(134)로 제공한다. 예를 들어, 스테레오 매칭부(133)는 제1 시점 영상과 제2 시점 영상간의 변이(disparity)를 계산하여 그 값을 영상 합성부(134)로 제공한다.
영상 합성부(134)는 제1 시점 영상 획득부(131)와 제2 시점 영상 획득부(132)로부터 제1 시점 영상과 제2 시점 영상을 제공받으며, 스테레오 매칭부(133)로부터 제1 시점 영상과 제2 시점 영상간의 변이 값을 제공받아서 제1 시점 영상과 제2 시점 영상을 합성하여 시점 합성 영상을 생성한다. 예를 들어, 영상 합성부(134)는 제1 시점 영상과 제2 시점 영상간의 변이값에 따라 시점간의 차이를 확인하고, 확인된 시점 차이를 적용하여 제1 시점 영상과 제2 시점 영상을 합성하여 새로운 시점의 합성 영상(즉, 정면 시점의 영상)을 생성한다. 이렇게 합성된 정면 시점의 영상이 시선 불일치 문제를 해소하는 것은 물론이다. 본 발명의 실시 예에서는 시점 영상 합성(New View Synthesis) 자체에 대해서는 자세히 다루지 않는다. 이와 관련하여서는 많은 연구가 진행되어 왔고, 그 성능 개선을 위해 현재까지도 많은 연구들이 이루어지고 있다. 간단한 예로, Antonio Criminisi 등의 "Efficient Dense Stereo with Occlusion for New View-Synthesis by Four-State Dynamic Programming" (International Journal on Computer Vision, 2007)을 참고할 수 있다. 본 발명에는 어떠한 종류의 시점 영상 합성 기술이 적용되어도 좋지만, 실시간 처리가 가능하고, 계산량이 최소화 될 수 있는 방법이 보다 유용할 것이다.
또는 영상 합성부(134)는 제1 시점 영상과 제2 시점 영상을 스테레오스코픽 영상을 위한 좌영상과 우영상으로 처리하여 소정의 스테레오스코픽 영상포맷을 생성하고, 이는 다시 통화 처리부(16)로 전달되어 상대편 단말로 전송된다. 이 경우 스테레오 매칭부(133)의 동작은 필요하지 않으며, 영상 합성부(134)는 통상의 스테레오스코픽 인코더의 구성을 포함하고 있다.
도 8은 영상 처리부가 스테레오스코픽 영상을 생성할 경우의 구조를 나타낸 도이다. 첨부한 도 8에서와 같이, 영상 합성부(134)가 스테레오스코픽 인코더(1341)를 포함하고, 스테레오스코픽 인코더(1341)가 제1 시점 영상 획득부(131)에서 출력되는 영상과 제2 시점 영상 획득부(132)에서 출력되는 영상을 스테레오스코픽 영상 포맷으로 인코딩하여 출력할 수 있다. 서로 다른 위치에서 촬영되는 두 개의 영상을 토대로 스테레오스코픽 영상 포맷을 생성하는 과정은 당업계에 알려진 기술임으로 여기서는 상세한 설명을 생략한다. 예컨대, MPEG-4 MVC 표준기술이 사용될 수 있음은 물론이다. 반대로, 상대방이 보내온 스테레오스코픽 영상 스트림은 통화 처리부(16)를 거쳐 영상 처리부(13)로 입력되는데, 이는 영상 처리부(13)에서 통상의 스테레오스코픽 영상 스트림에 대한 디코딩 과정을 거쳐 영상 표시부(14)로 전달되게 된다. 이러한 디코딩을 수행하기 위한 영상 처리부(13)의 구체적인 구성을 도시하지는 않았지만, 통상의 스테레오스코픽 영상 디코더의 구성(예컨대, MPEG-4 MVC)을 그대로 사용하여도 무방하다. 영상 표시부(14)를 통해 표현되는 스테레오스코픽 영상은 안경식 또는 무안경식 스테레오스코픽 영상일 수 있으며, 안경식의 경우 편광식 또는 셔터글라스 방식일 수도 있다. 본 발명의 실시 예에 따른 영상 통화 장치(1)를 스마트 폰이나 테블릿 PC에 적용하는 경우에는 무안경식 스테레오스코픽 영상을 생성하는 것이 더 편리할 것이지만, 반드시 이에 한정되는 것은 아니다.
한편 영상 합성부(16)는 스테레오스코픽 영상 부호화를 위해서 예컨대, MPEG-4 AVC(MVC) 코덱을 포함할 수 있다. 이외에도 영상 통화 장치(1)에서 처리해야 할 계산량을 줄이기 위해서는 경유 네트워크의 중간 지점에서 인코딩을 수행하거나, 분산 비디오 코딩(Distributed Video Coding) 기술을 이용하여 영상 통화 장치(1)가 처리하는 부하를 감소시킬 수도 있다.
또는 영상 합성부(134)는 제1 시점 영상 또는 제2 시점 영상 중에서 하나를 선택하여 출력할 수도 있다. 이 경우, 스테레오 매칭부(133)는 특별한 동작을 하지 않는다.
특히, 본 발명의 실시 예에 따른 영상 합성부(134)는 추후에 설명되는 본 발명의 실시 예에 따른 통화 모드에 따라 제1 시점 영상과 제2 시점 영상을 합성한 시점 합성 영상 또는 스테레오스코픽 영상 또는 제1 시점 영상이나 제2 시점 영상 중 하나의 영상을 출력할 수 있다.
본 발명의 실시 예에 따른 영상 통화 장치(1)가 적용되는 휴대 단말 내에 얼마나 많은 영상 처리 기능을 포함시킬 것인가에 관한 고려를 할 수 있는데, 예를 들어, 서로 다른 두 시점의 영상을 합성하는 과정이나 스테레오스코픽 영상을 생성하는 과정이 2개의 시점 영상을 획득한 단말에서 직접 이루어질 수도 있고, 또는 통신을 하는 경유 네트워크의 중간 지점, 또는 보다 계산 자원이 풍부한 상대편 단말에서 이루어질 수도 있다. 따라서 본 발명의 실시 예에 따른 영상 처리부(14)는 시점 합성 영상을 생성하거나 스테레오스코픽 영상을 생성하는 기능을 수행하는 형태로 구현될 수도 있고, 이와는 달리 제1 시점 영상 획득부(131)와 제2 시점 영상 획득부(132)로부터 제공되는 각각의 영상을 처리하여 전달하는 기능만을 수행하는 형태로 구현될 수도 있다. 다만, 현재 일반적으로 사용되는 스마트 폰의 경우 CPU외에 별도의 그래픽 프로세서를 사용하고 있기 때문에, 경우에 따라 휴대 단말이 도 7에서와 같이, 시점 합성 영상을 생성하거나 스테레오스코픽 영상 포맷을 생성하는 영상 합성 엔진 즉 영상 처리부를 탑재하는 것도 충분히 고려해 볼만 할 것이다. 이와 같이 영상 합성 엔진은 설계자의 의도에 따라 송신 측 단말, 수신 측 단말, 또는 경유 네트워크 상의 임의의 노드 중 어디에나 구현될 수 있다.
한편, 통화 모드 변경부(15)는 복수의 통화 모드 중에서 하나를 선택한다. 통화 모드 변경부(15)에 의하여 선택된 통화 모드에 따라 통화 처리부(16)가 통화를 수행한다. 이러한 통화 모드에 대해서는 이하에서 더 구체적으로 설명하기로 한다.
통화 처리부(16)는 상대 통화 장치(도시하지 않음)와의 통신을 수행하여 음성 통화 또는 영상 통화가 이루어지도록 하며, 영상 처리부(13)에서 출력되는 영상을 상대 통화 장치로 전송하여 영상 통화가 이루어지도록 하며, 상대 통화 장치로부터 수신되는 영상을 영상 처리부(13)로 제공하여 처리되도록 한다. 이 경우 영상 처리부(13)는 수신되는 영상을 처리하여 영상 표시부(14)에 표시한다. 물론 이 경우 수신되는 영상이 시점 합성 영상일 수 있으며, 또는 스테레오스코픽 영상(즉, 인코딩된 스테레오스코픽 영상 데이터 스트림)일 수 있으며, 또는 시점 합성 영상이나 스테레오스코픽 영상을 위한 복수의 영상(즉, 복수의 시점 각각에 관한 독립된 영상 데이터 스트림)일 수도 있으며, 또는 단일 영상일 수도 있다. 이외에도 음성 통화를 수행할 수 있다.
다음에는 이러한 구조로 이루어지는 영상 통화 장치를 토대로 본 발명의 실시 예에 따른 영상 통화 방법에 대하여 설명한다. 그러나 이하에서 설명하는 통화모드 변경 방법이 본 발명에 따른 구성을 갖춘 영상 통화 장치에만 한정되어 적용되는 것이 아님은 당업자에게 자명하다.
본 발명의 실시 예에 따른 영상 통화 장치는 복수의 통화 모드 중 하나의 통화 모드로 동작한다. 복수의 통화 모드는 서로 다른 시점의 영상을 합성한 시점 합성 영상을 토대로 하는 제1 영상 통화 모드, 서로 다른 시점의 영상을 처리하여 스테레오스코픽 영상을 생성하고 이를 토대로 하는 통화를 하는 제2 영상 통화 모드, 한 시점의 영상을 토대로 하는 제3 영상 통화 모드, 그리고 음성 통화 모드를 포함한다.
2개의 카메라를 구비한 영상 통화 장치를 통해 영상 통화를 수행하는 경우에는 순화적 열화(graceful degradation) 또는 단계적 열화 방식을 도입하여, 통신 환경이나 시스템 환경에 따라 적응적으로 통화 모드를 변경할 수 있으며, 사용자의 선택에 따라 적응적으로 통화 모드를 변경할 수 있다.
예를 들어, 양호한 통신 채널이나 충분한 시스템 자원이 가용한 상황에서는 두 개의 시점 영상에 기초하여 새로운 시점으로 합성된 영상을 토대로 하는 제1 영상 통화 모드로 동작한다. 통신 채널이 양호하지 않거나 시스템 자원의 충분한 사용이 가능하지 않은 경우에는 1개의 카메라에 의하여 획득된 한 시점의 영상만을 토대로 하는 제2 영상 통화 모드로 동작한다. 또한 하나의 영상을 제공하기도 어려운 통신 환경에서는 음성 통화 모드로 동작한다. 이러한 통화 모드의 동적인 변경에 의하여 에러에 강한 순화적 열화 시스템을 구현할 수 있다.
한편 이러한 통화 모드의 적응적 변경은 영상 통화 장치의 자체 판단 동작에 따라 수행될 수 있으며, 또는 사용자로부터 모드 변경에 관한 입력을 받아서 수행될 수도 있다. 이 경우 영상 통화 장치는 상대 통화 장치와 통화를 하고 있는 상태에서 자체 판단 동작이나 사용자 입력에 의하여 통화 모드가 변경되면, 통화 모드가 변경되었음을 알리는 신호를 상대 통화 장치로 전송하여, 통화 중인 양 장치가 적응적으로 통화 모드를 변경할 수 있도록 한다. 이러한 통화 모드 변경은 통화가 이루어지는 동안뿐만 아니라, 상대 통화 장치로부터 걸려온 통화를 개시하는 시점에 이루어질 수도 있다. 예를 들어 상대 통화 장치가 영상 통화 모드로 통화를 시도할 때, 수신 측에서는 영상 통화 모드의 호가 수신되었음에도 불구하고 자체 판단 동작이나 사용자의 임의적인 선택에 따라 음성 통화 모드로 통화를 시작할 수 있다.
본 발명의 실시 예에 따른 영상 통화 장치는 예를 들어, 통신 채널의 상태, 가용 가능한 자원량 또는 사용자 선호도 등을 기초로 하여 통화 모드 변경을 결정할 수 있다. 통화 모드 변경은 시점 합성 영상을 토대로 하는 제1 영상 통화 모드, 스테레오스코픽 영상을 토대로 하는 제2 영상 통화 모드, 단일 카메라에 의해 획득한 영상을 토대로 하는 제3 영상 통화 모드, 음성 통화 모드 중 적어도 2개를 포함하는 임의의 조합에 속하는 2개의 모드 간에 수행될 수 있도록 구성할 수 있다. 예컨대, 제1 영상 통화 모드에서 제3 영상 통화 모드로의 변경 또는 제1 영상 통화 모드에서 음성 통화 모드로의 변경 등과 같이 2개의 모드간에 변경이 이루어질 수 있다.
도 9는 본 발명의 제1 실시 예에 따른 영상 통화 방법의 흐름도이다.
본 발명의 제1 실시 예에서는 착신된 통화에 대해 통화 개시 전 통화 모드를 변경하는 과정을 나타낸다.
첨부한 도 9에 도시되어 있듯이, 영상 통화 장치(1)는 통화가 착신되면(S100), 착신된 통화의 모드를 확인한다(S110). 그리고 영상 통화 장치(1)는 통화 모드 변경 요구가 있는지 확인한다(S120). 사용자의 선택에 따라 통화 모드 변경 요구가 있을 수도 있고, 영상 통화 장치(1)의 통화 모드 변경부(15)의 통화 모드 변경 여부를 판단하는 동작에 의하여 통화 모드 변경이 요구될 수 있다.
영상 통화 장치(1)는 통화 모드 변경 요구가 있으면 통화모드 변경을 수행한다(S130). 즉, 착신된 통화의 모드에서 변경 요구에 따른 통화 모드로의 변경을 수행한다. 예를 들어, 착신된 통화 모드는 제1 영상 통화 모드이었지만 발생된 변경 요구에 따른 통화 모드가 음성 통화 모드인 경우에는, 제1 영상 통화 모드에서 음성 통화 모드로의 변경을 수행한다.
영상 통화 장치(1)는 변경된 통화 모드에 따라 상대 통화 장치와 통화를 개시한다(S140).
한편 단계(S120)에서, 별도의 통화 모드 변경 요구가 없는 경우, 영상 통화 장치(1)는 착신된 통화의 통화 모드에 따라 통화를 개시한다. 예를 들어, 착신된 통화 모드가 제1 영상 통화 모드인 경우에는 제1 영상 통화 모드에 따라 통화를 개시한다.
도 10은 본 발명의 제2 실시 예에 따른 영상 통화 방법의 흐름도이다.
본 발명의 제2 실시 예에서는 통화 중에 통화 모드를 변경하는 과정을 나타낸다.
첨부한 도 10에 도시되어 있듯이, 영상 통화 장치(1)는 착신된 통화에서 요청된 통화 모드에 따라 통화를 하는 상태에서(S200), 통화 모드 변경 요구가 발생하면(S210), 현재 통화 모드에서 변경 요구에 따른 통화 모드로의 변경을 수행한다(S220).
이후 영상 통화 장치(1)는 변경된 통화 모드에 따라 통화를 계속하여 수행한다.
다음에는 통화 모드를 변경하는 과정에 대하여 보다 구체적으로 설명한다.
도 11은 본 발명의 실시 예에 따른 영상 통화 방법에서 통화 모드를 변경하는 과정을 나타낸 흐름도이다.
위에 기술된 제1 및 제2 실시 예에서, 통화 모드를 변경하는 절차가 시작되면(S300), 영상 통화 장치(1)는 도 11에서와 같이, 우선 변경하고자 하는 통화 모드가 현재 통화 모드의 레벨보다 상위 레벨인지를 판단한다(S310). 여기서 변경하고자 하는 통화 모드를 설명의 편의상 "목표 통화 모드"라고 명명한다.
본 발명의 실시 예에서 복수의 통화 모드들은 서로 다른 레벨을 가질 수 있다.
도 12는 본 발명의 실시 예에 따른 통화 모드별 레벨을 나타낸 예시도이다.
본 발명의 실시 예에서 레벨은 각 통화 모드별로 요구되는 대역폭 및 시스템 자원에 따라 부여되며, 도 12에 도시되어 있듯이, 본 발명의 실시 예에 따른 레벨은 제1 레벨, 제2 레벨, 제3 레벨, 제4 레벨로 분류된다. 제1 레벨<제2 레벨<제3 레벨<제4 레벨과 같이, 레벨이 클수록 통화시 요구되는 대역폭 및 시스템 자원이 크다는 것을 나타낸다. 여기서 요구되는 시스템 자원이 크거나 혹은 작다는 것의 의미는 다음과 같은 맥락에서 이해될 수 있다. 즉, 제1 레벨은 음성통화만을 처리하면 되기 때문에, 상기 4가지 레벨 중 가장 요구되는 계산량이 작다. 음성은 물론 영상까지 처리해야 하는 제2 레벨로 가면 계산량이 그만큼 증가하게 된다. 또한 이를 위해서는 적어도 하나의 카메라가 구비되어야 하는 조건을 충족해야만 한다. 나아가 두 개의 시점 영상으로부터 새로운 시점 영상을 합성해야 하는 제3 레벨의 경우에는 요구되는 계산량이 더욱 커지는 것은 물론, 애초에 두 개의 시점 영상을 획득하기 위해서는 최소한 두 개의 카메라가 요구된다. 제4레벨의 경우, 계산량 자체는 제3레벨보다 작을 수 있으나, 스테레오스코픽 영상을 표시하기 위한 단말은 이를 위한 특별한 구성을 갖추고 있어야 한다는 점에서 시스템 자원의 요구사항이 더욱 높다고 할 것이다. 요컨대, 시스템 자원이란 표현은 해당 레벨의 서비스를 제공하기 위해 요구되는 계산량과 물리적 사양을 포괄하여 의미하는 정도로 보면 충분할 것이다.
덧붙여, 본 발명의 실시 예에서는 제3레벨이 제4레벨보다 더 작은 시스템 자원을 필요로 하는 것으로 가정하였으나, 이는 시점 합성 영상에 요구되는 계산량이 압도적으로 큰 경우(그런 특성의 알고리즘을 적용한 경우)라면 제3레벨과 제4레벨의 순서가 변경될 수도 있을 것이다. 요컨대, 어떤 형태의 서비스를 보다 상위 레벨로 볼 것인지는 어떤 절대적인 기준에 따라 결정되는 것이 아니다.
본 발명의 실시 예에서는 시점 합성 영상을 토대로 하는 제1 영상 통화 모드에 제3 레벨, 스테레오스코픽 영상을 토대로 하는 제2 영상 통화 모드에 제4 레벨, 단일 영상을 토대로 하는 제3 영상 통화 모드에 제2 레벨, 음성 통화 모드에 제1 레벨이 부여된다. 여기서 단일 카메라에 의하여 획득된 영상을 토대로 통화를 하는 제3 영상 통화 모드와 서로 다른 시점의 합성 영상을 토대로 통화를 하는 제2 영상 통화 모드가 통신 채널에서 차지하는 대역폭은 유사할 수 있으나, 제2 영상 통화 모드의 경우 영상 통화 장치에서 서로 다른 시점을 가지는 두 영상을 합성하는 처리를 수행하여야 함으로 요구되는 시스템 자원량(즉, 시스템의 계산 자원량)은 더 크다고 할 수 있다. 이에 따라 여기서는 제3 영상 통화 모드에 비하여 제2 영상 통화 모드에 더 높은 레벨을 부여하였다. 그러나 본 발명은 이러한 것에 한정되지 않으며, 다양한 변형이 가능하다. 예를 들어 도 12에서, 제1 레벨은 더 세분화 될 수도 있는데, 협대역 코덱만을 이용하는 음성 통화와 광대역 코덱까지 이용하는 음성 통화가 있다고 하면, 광대역 코덱을 이용하는 음성 통화에 더 높은 레벨이 부여될 수 있다.
단계(S310)에서, 변경하고자 하는 목표 통화 모드가 현재 통화 모드의 레벨보다 상위 레벨인 경우, 영상 통화 장치(1)는 상대 통화 장치와 미디어 협상을 수행한다(S320). 통화를 수행하는 장치의 특성상 하위 레벨의 통화(예를 들어, 제3 영상 통화)는 가능하지만 상위 레벨의 통화(예를 들어, 제2 영상 통화)는 가능하지 않을 수 있다. 따라서 현재 통화 모드보다 상위 레벨인 목표 변경 모드로 변경하고자 하는 경우에는 통화를 하는 상대 통화 장치와의 미디어 협상을 통하여 상위 레벨의 목표 변경 모드로의 변경이 가능한지를 협의한다. 미디어 협상이 성공한 경우 영상 통화 장치(1)는 현재 통화 모드를 목표 통화 모드로 변경한다(S330, S340). 여기서, 미디어 협상 단계는 상대방 단말의 사용자에 대해 통화 모드 변경에 대한 명시적인 허락을 받는 단계를 추가로 포함할 수도 있다.
반면, 미디어 협상에 실패한 경우, 영상 통화 장치(1)는 통화 모드 변경을 수행하지 않는다(S350). 이때, 영상 통화 장치(1)는 사용자 요구에 따라 통화 모드 변경이 시작된 경우에는 영상 표시부(17)를 통하여 통화 모드 변경이 실패하였음을 사용자에게 알리거나 또는 별도의 알림 수단을 통하여 통화 모드 변경이 실패하였음을 사용자에게 알린다.
한편 단계(S310)에서, 목표 통화 모드가 현재 통화 모드보다 하위 레벨인 경우, 영상 통화 장치(1)는 상대 통화 장치에 목표 변경 모드로 통화 모드를 변경할 예정임을 알린다(S360). 그리고 현재 통화 모드를 목표 변경 모드로 변경한다(S340).
위에 기술된 바와 같은 통화 모드 변경 과정은 다양한 변형이 가능하다. 예컨대, 목표 변경 모드와 현재 통화 모드의 레벨을 비교하는 단계(S310)를 수행하지 않을 수도 있다. 즉, 목표 변경 모드의 레벨에 상관없이 발생된 통화 모드 변경 요구에 따라 상대 통화 장치와 미디어 협상을 수행하고 그 결과에 따라 통화 모드를 수행할 수 있다.
또한 미디어 협상 단계(S320)를 수행하지 않을 수도 있다. 통화하는 쌍방의 장치 즉, 영상 통화 장치(1)와 상대 통화 장치가 미리 얻을 수 있는 정보를 이용하여 서로 변경 가능한 통화 모드에 관한 정보를 이미 갖고 있는 경우에는, 미디어 협상 단계를 통하여 목표 변경 모드로의 변경이 가능한지를 미리 협의할 필요가 없기 때문이다. 따라서, 현재 통화 모드보다 목표 변경 모드가 하위 레벨인 경우에는 위와 동일한 맥락에서, 명시적인 미디어 협상을 생략할 수 있다. 또한, 경우에 따라 미디어 협상 단계는 상대방 단말의 사용자에 대해 통화 모드 변경에 대한 명시적인 허락을 받는 단계로 대체될 수도 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 네트워크를 통한 통신을 수행하는 통화 처리부;
    영상 표시부; 및
    상기 영상 표시부의 주변에 위치하며, 기준점을 중심으로 서로 대칭 관계를 형성하는 서로 다른 위치에 각각 위치되어 있는 제1 카메라와 제2 카메라
    를 포함하는, 영상 통화 장치.
  2. 제1항에 있어서
    상기 기준점이 상기 영상 표시부의 화면의 중심에 위치하는, 영상 통화 장치.
  3. 제1항에 있어서
    상기 제1 카메라와 상기 제2 카메라가 상기 기준점을 토대로 상하 대칭 관계를 형성하는 위치에 각각 형성되어 있는, 영상 통화 장치.
  4. 제1항에 있어서
    상기 제1 카메라와 상기 제2 카메라가 상기 기준점을 토대로 좌우 대칭 관계를 형성하는 위치에 각각 형성되어 있는, 영상 통화 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서
    상기 제1 카메라와 상기 제2 카메라에서 각각 촬영되는 영상을 처리하여 상기 영상 표시부로 출력하거나 상기 통화 처리부로 출력하는 영상 처리부
    를 더 포함하는, 영상 통화 장치.
  6. 제5항에 있어서
    통화 모드를 현재 통화 모드에서 변경 요구에 따른 목표 통화 모드로 변경하는 통화 모드 변경부를 더 포함하고,
    상기 통화 모드는 시점 합성 영상을 토대로 통화를 하는 제1 영상 통화 모드, 스테레오스코픽 영상을 토대로 통화를 하는 제2 영상 통화 모드, 단일 영상을 토대로 통화를 하는 제3 영상 통화 모드, 음성 통화 모드 중 적어도 두 개를 포함하는 영상 통화 장치.
  7. 제6항에 있어서
    상기 영상 처리부는
    상기 제1 카메라로부터 촬영된 영상을 제공받아 처리하여 제1 시점 영상을 생성하는 제1 시점 영상 획득부;
    상기 제2 카메라로부터 촬영된 영상을 제공받아 처리하여 제2 시점 영상을 생성하는 제2 시점 영상 획득부;
    상기 제1 시점 영상과 제2 시점 영상에 기초하여 변이 값들을 출력하는 스테레오 매칭부; 및
    상기 변이 값들을 토대로 상기 제1 시점 영상과 제2 시점 영상을 합성하여 시점 합성 영상을 생성하거나, 상기 제1 시점 영상과 제2 시점 영상을 처리하여 스테레오스코픽 영상을 생성하거나, 상기 제1 시점 영상과 제2 시점 영상 중에서 하나를 선택하여 처리하여 출력하는 영상 합성부
    를 포함하는, 영상 통화 장치.
  8. 제7항에 있어서
    상기 제1 영상 통화 모드시에 상기 영상 처리부는 상기 시점 합성 영상을 생성하여 상기 통화 처리부로 출력하고,
    상기 제2 영상 통화 모드시에 상기 영상 처리부는 상기 스테레오스코픽 영상을 생성하여 상기 통화 처리부로 출력하며,
    상기 제3 영상 통화 모드시에 상기 영상 처리부는 상기 제1 시점 영상이나 상기 제2 시점 영상 중 하나를 상기 통화 처리부로 출력하고,
    상기 음성 통화 모드시에 상기 영상 처리부는 영상을 출력하지 않는
    영상 통화 장치.
  9. 제6항에 있어서
    상기 통화 모드 변경부는 통화를 개시하는 시점 또는 통화를 수행하는 동안에 통화 모드를 변경하는, 영상 통화 장치.
  10. 네트워크를 통하여 상대 통화 장치와 통화를 수행하는 영상 통화 장치의 통화 방법에서,
    통화 모드 변경 요구의 발생 여부를 확인하는 단계; 및
    상기 통화 모드 변경 요구가 발생한 경우 통화 모드를 현재 통화 모드에서 상기 변경 요구에 따른 목표 통화 모드로 변경하는 단계
    를 포함하는, 통화 방법.
  11. 제10항에 있어서
    상기 변경하는 단계는
    상기 통화 모드를 변경한 다음에 변경된 통화 모드를 상기 상대 통화 장치로 통보하는 단계를 더 포함하는, 통화 방법.
  12. 제10항에 있어서
    상기 변경하는 단계는
    상기 현재 통화 모드의 레벨과 상기 목표 통화 모드의 레벨을 비교하는 단계; 및
    상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 낮은 경우에 통화 모드를 변경하는 단계
    를 포함하는, 통화 방법.
  13. 제12항에 있어서
    상기 변경하는 단계는
    상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 낮은 경우에 통화 모드를 변경할 예정임을 상기 상대 통화 장치로 통보하는 단계
    를 더 포함하고,
    상기 통보 후에 통화 모드 변경이 이루어지는 통화 방법.
  14. 제12항에 있어서
    상기 변경하는 단계는
    상기 목표 통화 모드의 레벨이 상기 현재 통화 모드의 레벨보다 높은 경우에 상기 상대 통화 장치와 미디어 협상을 수행하는 단계; 및
    상기 미디어 협상이 성공한 경우에, 현재 통화 모드를 상기 목표 통화 모드로 변경하는 단계
    를 더 포함하는, 통화 방법.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서
    상기 통화 모드 변경 요구는 통신 채널의 상태, 현재 시스템 자원의 가용 상태 중 적어도 하나를 고려하여 통화 모드 변경이 요구되는 경우에 발생되는, 통화 방법.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서
    상기 통화 모드는 시점 합성 영상을 토대로 통화를 하는 제1 영상 통화 모드, 스테레오스코픽 영상을 토대로 통화를 하는 제2 영상 통화 모드, 단일 영상을 토대로 통화를 하는 제3 영상 통화 모드, 음성 통화 모드 중 적어도 두 개를 포함하고,
    상기 음성 통화 모드에 제1 레벨, 상기 제3 영상 통화 모드에 제2 레벨, 상기 제1 영상 통화 모드에 제3 레벨, 상기 제2 영상 통화 모드에 제4 레벨이 각각 부여되고,
    제1 레벨<제2 레벨<제3 레벨<제4 레벨의 조건이 만족되는, 통화 방법.
  17. 제10항에 있어서
    상기 목표 통화 모드로의 변경을 수행하기 전에 상대 통화 장치로부터 통화 모드 변경에 관한 허락을 받는 단계를 추가로 포함하고,
    상기 목표 통화 모드로의 변경은 상기 상대 통화 장치로부터의 허락이 있는 경우에만 이행되는, 통화 방법.
  18. 네트워크를 통하여 상대 통화 장치와 통화를 수행하는 영상 통화 장치의 통화 방법에서,
    영상이 표시되는 화면의 주변에 위치하며, 기준점을 중심으로 서로 대칭 관계를 형성하는 서로 다른 위치에 각각 위치되어 있는 제1 카메라와 제2 카메라로부터 각각 제1 시점 영상 및 제2 시점 영상을 획득하는 단계;
    현재 통화 모드가 시점 합성 영상을 토대로 하는 영상 통화 모드인 경우, 상기 제1 시점 영상과 제2 시점 영상을 토대로 시점 합성 영상을 생성하는 단계; 및
    상기 시점 합성 영상을 토대로 영상 통화를 수행하는 단계
    를 포함하는, 통화 방법.
  19. 제18항에 있어서
    음성 통화 모드로의 변경 요구의 발생 여부를 확인하는 단계; 및
    상기 통화 모드 변경 요구가 발생한 경우 통화 모드를 현재 영상 통화 모드에서 상기 변경 요구에 따른 음성 통화 모드로 변경하는 단계
    를 더 포함하는, 통화 방법.
  20. 제19항에 있어서
    상기 변경된 통화 모드를 상기 상대 통화 장치로 통보하는 단계를 더 포함하는, 통화 방법.


KR1020110147329A 2010-12-31 2011-12-30 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법 KR20120078649A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11854137.4A EP2661076A2 (en) 2010-12-31 2011-12-30 Portable video communication device comprising a camera, and method therefor
US13/977,358 US20130278729A1 (en) 2010-12-31 2011-12-30 Portable video communication device having camera, and method of performing video communication using the same
PCT/KR2011/010401 WO2012091526A2 (ko) 2010-12-31 2011-12-30 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20100140722 2010-12-31
KR1020100140722 2010-12-31
KR1020110004231 2011-01-14
KR20110004231 2011-01-14

Publications (1)

Publication Number Publication Date
KR20120078649A true KR20120078649A (ko) 2012-07-10

Family

ID=46711931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147329A KR20120078649A (ko) 2010-12-31 2011-12-30 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법

Country Status (4)

Country Link
US (1) US20130278729A1 (ko)
EP (1) EP2661076A2 (ko)
KR (1) KR20120078649A (ko)
WO (1) WO2012091526A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019323B2 (en) * 2015-02-06 2021-05-25 Tara Chand Singhal Apparatus and method for 3D like camera system in a handheld mobile wireless device
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
JP7237538B2 (ja) 2018-11-14 2023-03-13 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
KR20200131396A (ko) 2019-05-13 2020-11-24 삼성디스플레이 주식회사 표시 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4061473B2 (ja) * 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
KR100548363B1 (ko) * 2003-06-30 2006-02-02 엘지전자 주식회사 영상통화 기능을 구비한 이동통신단말기의 채널설정방법
KR20060010089A (ko) * 2004-07-27 2006-02-02 엘지전자 주식회사 입체영상이 구현되는 이동통신 단말기
FR2874781B1 (fr) * 2004-08-25 2009-03-20 Cit Alcatel Appareil electronique portatif stereo
KR100640483B1 (ko) * 2004-10-22 2006-10-30 삼성전자주식회사 이동통신 단말기에서 통화 모드를 자동변경하기 위한 장치및 방법
KR100713415B1 (ko) * 2004-12-10 2007-05-04 삼성전자주식회사 영상 시점을 보정하는 이동통신단말기
US8219073B2 (en) * 2004-12-28 2012-07-10 Motorola Mobility, Inc. Method for simlutaneous communications management
KR100713511B1 (ko) * 2005-10-07 2007-04-30 삼성전자주식회사 이동 통신 단말기의 화상 통화 서비스 수행 방법
KR20080040542A (ko) * 2007-04-06 2008-05-08 (주)파버나인 양안식 자동화 입체영상 촬영시스템
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
CN101291415B (zh) * 2008-05-30 2010-07-21 华为终端有限公司 一种三维视频通信的方法、装置及系统
EP2347553A1 (en) * 2008-11-07 2011-07-27 Nxp B.V. Peer to peer communication using device class based transmission rules
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
TWI414170B (zh) * 2009-04-29 2013-11-01 Unique Instr Co Ltd A device with a 2D and 3D image display function mobile phone
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
KR20120010764A (ko) * 2010-07-27 2012-02-06 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices

Also Published As

Publication number Publication date
WO2012091526A2 (ko) 2012-07-05
WO2012091526A3 (ko) 2012-10-04
EP2661076A2 (en) 2013-11-06
US20130278729A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
US11202072B2 (en) Video encoding method, apparatus, and device, and storage medium
WO2015101126A1 (zh) 一种在视频通话中适应屏幕方向切换的方法和装置
US20100053212A1 (en) Portable device having image overlay function and method of overlaying image in portable device
US11711505B2 (en) Viewport dependent delivery methods for omnidirectional conversational video
US20100118110A1 (en) Apparatus and method for providing video telephony service in mobile communication terminal
JP5772059B2 (ja) テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体
JP2014174847A (ja) 情報処理装置、伝送システム、プログラム
EP3251345B1 (en) System and method for multi-view video in wireless devices
JP2015511780A (ja) ビデオ画像送信方法、装置及びシステム
US10079867B2 (en) Apparatus, system, and method of controlling output of content data, and recording medium
US20220007039A1 (en) Video encoding method, video decoding method, and related apparatuses
KR20120078649A (ko) 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법
JP4475579B2 (ja) 映像コミュニケーション装置および映像コミュニケーション装置の制御方法
JP2013225850A (ja) 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法
US8498331B2 (en) Motion picture receiving device, motion picture transmitting device, motion picture decoding method, and motion picture encoding method
JP2014049797A (ja) カメラ付き表示装置
US8717410B2 (en) Video communication method, apparatus, and system
US11877084B2 (en) Video conference user interface layout based on face detection
CN110602440A (zh) 一种音视频数据流的传输方法、装置及终端
JP2015119335A (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
US9042943B2 (en) TV phone apparatus and control method therefor
KR101300873B1 (ko) 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
US20140161199A1 (en) Method and apparatus for processing video image
US20140022341A1 (en) Stereoscopic video image transmission apparatus, stereoscopic video image transmission method, and stereoscopic video image processing apparatus
KR102682315B1 (ko) 실시간 3d 방송용 동영상데이터 전송방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111230

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20161230

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20111230

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180119

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181001

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180615

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20180119

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I