KR101784266B1

KR101784266B1 - 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법

Info

Publication number: KR101784266B1
Application number: KR1020160145475A
Authority: KR
Inventors: 남궁환식
Original assignee: (주)해든브릿지
Priority date: 2016-06-21
Filing date: 2016-11-03
Publication date: 2017-10-11
Anticipated expiration: 2036-11-03
Also published as: WO2017222258A1

Abstract

본 발명은 3D 깊이 카메라를 이용하여 다자간에 영상 대화를 실시하는 시스템 및 방법에 관한 것으로서, 본 발명에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 사용자의 영상을 촬영하여 원격의 서버로 전송하며 다자간 영상 대화를 실시하는 복수의 사용자 단말; 및 상기 사용자 단말에서 전송받은 영상들을 합성하여 합성 영상을 생성하고 생성된 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 미디어 처리 서버를 포함하며, 상기 사용자 단말은, 피촬상물을 촬상하여 이미지로 변환하되 변환된 이미지 객체 각각에 대하여 거리 정보를 갖는 3D 깊이 카메라; 상기 3D 깊이 카메라에서 촬영된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 영상 처리 모듈; 상기 미디어 처리 서버와 영상을 송수신하기 위해 통신하는 통신 모듈; 상기 사용자 단말 그룹의 공유 콘텐츠 상에 상기 미디어 처리 서버로부터 수신한 상기 합성 영상을 오버레이하여 오버레이 영상을 생성하는 영상 오버레이 모듈; 및 상기 오버레이 영상을 화면에 출력하는 디스플레이수단을 포함한다.
본 발명에 따르면, 네트워크에 접속된 복수의 사용자 단말이 3D 깊이 카메라에서 추출된 사용자 영상을 미디어 처리 서버로 전송하고, 미디어 처리 서버에서 사용자 영상들을 합성하여 사용자 단말로 재전송하면, 사용자 단말 측에서 영상 대화를 실시하는 그룹 내 참여자들에게 공유 콘텐츠에 합성 영상을 오버레이하여 표시함으로써, 영상 대화의 참여들이 가상의 동일 배경 속에 놓여져 몰입도 높은 영상 대화를 구현할 수 있으며, 원격 교육, 화상 회의, 게임 중 영상 대화 등 다양한 영상 대화 시스템에서 고 몰입형 사용자 경험(UX)을 제공할 수 있는 효과가 있으며, 또한 영상 대화를 실시하는 그룹 내 2D 카메라를 사용한 사용자의 환경 속으로 3D 카메라 사용자 영상들이 놓이게 함으로써 마치 공간 이동 효과를 가져와 현장감 높은 대화를 제공할 수 있는 효과가 있다.

Description

3D 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법{MULTI USER VIDEO COMMUNICATION SYSTEM AND METHOD USING 3D DEPTH CAMERA}

본 발명은 3D 깊이 카메라를 이용하여 다자간 영상 대화를 구현하는 시스템 및 방법에 관한 것으로서, 보다 상세하게는 3D 깊이 카메라로 촬영된 사용자 영상들을 공유 콘텐츠 상에 합성하여 다자간 영상 대화를 구현할 수 있는 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법에 관한 것이다.

최근 들어 디스플레이 기술 및 통신 기술의 발달에 힘입어 다자간에 영상 대화를 구현하는 시스템 역시 크게 발전하고 있다. 종래에는 대화 참여자들을 다른 화면으로 보면서 영상 대화를 하였으며, 대화 참여자들이 많은 경우 화면을 분할하거나 토글하여 상대방들의 영상을 확인하였으나, 최근에는 대화 참여자들을 하나의 화면 상에서 확인하여 영상 대화를 할 수 있게 되었다.

다자간 영상 대화는 통상 원격 교육, 화상 회의, 멀티 유저가 접속하는 게임 환경 등에서 수행되며, 원격의 참가자들이 영상 대화를 통해 공통의 주제에 대한 의견을 주고 받을 때 몰입도를 높이는 것은 매우 중요한 요소이다.

한편, 대한민국 등록특허 제10-0275930호는 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법을 개시하고 있다. 동 선행문헌은 H.261 권고안이 지원하는 저해상도(QCIF, 176x144) 픽쳐 형식과 고해상도(CIF, 352x288) 픽쳐 형식의 계층적 구조와 H.261 권고안에 따라 생성된 비디오 스트림의 특성의 관찰을 바탕으로 별도의 서버를 두어 4개까지의 저해상도 비디오 스트림을 하나의 고해상도 스트림으로 합성하는 방식을 언급하고 있으며, 랜이나 케이블 TV망을 통한 화상회의 시스템에서 4명까지의 참가자의 비디오 스트림을 각 참가자의 컴퓨터 화면에서 동시에 보면서 원활한 회의를 진행할 수 있도록 하고 있다.

하지만, 단지 4명의 참가자를 화면을 분할하여 하나의 화면에 표시할 뿐이어서, 영상 대화에 참가하는 참가자들이 공통의 가상 공간에 존재한다는 것을 직관적으로 인식하기 어려우며, 영상 대화의 몰입도가 크게 떨어지는 문제점이 있다.

선행기술문헌 1 : 대한민국 등록특허 제10-0275930호

본 발명은 네트워크에 접속된 복수의 사용자 단말이 3D 깊이 카메라에서 추출된 사용자 영상을 미디어 처리 서버로 전송하고, 미디어 처리 서버에서 사용자 영상들을 합성하여 사용자 단말로 재전송하면, 사용자 단말 측에서 영상 대화를 실시하는 그룹 내 참여자들에게 공유 콘텐츠에 합성 영상을 오버레이하여 표시함으로써, 영상 대화의 참여자들이 가상의 동일 배경 속에 놓여져 몰입도 높은 영상 대화를 구현할 수 있도록 한 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법을 제공함에 그 목적이 있다.

본 발명의 일실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 사용자의 영상을 촬영하여 원격의 서버로 전송하며 다자간 영상 대화를 실시하는 복수의 사용자 단말; 및 상기 사용자 단말에서 전송받은 영상들을 합성하여 합성 영상을 생성하고 생성된 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 미디어 처리 서버를 포함하며, 상기 사용자 단말은, 피촬상물을 촬상하여 이미지로 변환하되 변환된 이미지 객체 각각에 대하여 거리 정보를 갖는 3D 깊이 카메라; 상기 3D 깊이 카메라에서 촬영된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 영상 처리 모듈; 상기 미디어 처리 서버와 영상을 송수신하기 위해 통신하는 통신 모듈; 상기 사용자 단말 그룹의 공유 콘텐츠 상에 상기 미디어 처리 서버로부터 수신한 상기 합성 영상을 오버레이하여 오버레이 영상을 생성하는 영상 오버레이 모듈; 및 상기 오버레이 영상을 화면에 출력하는 디스플레이수단을 포함한다.

본 발명의 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 3D 깊이 카메라는 상기 피촬상물의 RGB 정보를 센싱하는 RGB 센싱부와, 상기 피촬상물의 거리 정보를 센싱하는 거리 센싱부로 구성된다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 영상 처리 모듈은 상기 가상 배경 이미지를 상기 사용자 객체 이미지를 구성하는 색상과 다른 색상으로 구성한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 영상 처리 모듈은 상기 가상 배경 이미지를 상기 사용자 객체 이미지의 경계부를 구성하는 색상과 다른 색상으로 구성한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며, 상기 영상 오버레이 모듈은 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 공유 콘텐츠는 원격 교육 또는 화상 회의에서 진행자에 의해 선택된 공유 문서 또는 이미지이다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 공유 콘텐츠는 멀티 유저가 접속한 게임 환경에서 사용자에 의해 선택된 게임 화면이다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 사용자 단말과 상기 미디어 처리 서버 사이에서 영상 데이터를 중계하는 데이터 중계 서버를 더 포함한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 공유 콘텐츠를 제공하는 콘텐츠 공유 서버를 더 포함한다.

본 발명의 일실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 사용자 단말에서 사용자의 영상을 촬영하여 전송하면 미디어 처리 서버에서 상기 사용자 단말로부터 전송받은 영상들을 합성하여 합성 영상을 생성하고 상기 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 다자간 영상 대화 방법에 있어서, (a) 상기 사용자 단말에 설치된 3D 깊이 카메라에서 피촬상물을 촬상하는 단계; (b) 촬상된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 단계; (c) (b)단계에서 생성된 영상을 상기 미디어 처리 서버로 전송하는 단계; (d) 상기 미디어 처리 서버로부터 수신한 합성 영상을 상기 사용자 단말 그룹의 공유 콘텐츠 상에 오버레이하여 오버레이 영상을 생성하는 단계; 및 (e) 상기 오버레이 영상을 화면에 출력하는 단계를 포함한다.

본 발명의 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 3D 깊이 카메라는 상기 피촬상물의 RGB 정보를 센싱하는 RGB 센싱부와, 상기 피촬상물의 거리 정보를 센싱하는 거리 센싱부로 구성된다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 단계(b)는 상기 가상 배경 이미지를 상기 사용자 객체 이미지를 구성하는 색상과 다른 색상으로 구성한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 단계(b)는 상기 가상 배경 이미지를 상기 사용자 객체 이미지의 경계부를 구성하는 색상과 다른 색상으로 구성한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며, 상기 단계(d)는, 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 공유 콘텐츠는 원격 교육 또는 화상 회의에서 진행자에 의해 선택된 공유 문서 또는 이미지이다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 공유 콘텐츠는 멀티 유저가 접속한 게임 환경에서 사용자에 의해 선택된 게임 화면이다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 상기 사용자 단말과 상기 미디어 처리 서버 사이에서 데이터 중계 서버가 영상 데이터를 중계한다.

본 발명의 또 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 방법은, 콘텐츠 공유 서버에서 상기 공유 콘텐츠를 제공한다.

본 발명의 일실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 2D 카메라를 이용하여 사용자의 영상을 촬영하며, 촬영된 2D 이미지를 원격의 서버와 송수신하여 다자간 영상 대화를 실시하는 하나 이상의 제1 사용자 단말; 3D 깊이 카메라를 이용하여 사용자의 영상을 촬영하며, 촬영된 3D 이미지를 원격의 서버와 송수신하여 다자간 영상 대화를 실시하는 하나 이상의 제2 사용자 단말; 및 상기 제1 사용자 단말 및 상기 제2 사용자 단말에서 전송받은 영상들을 합성하여 합성 영상을 생성하되, 상기 2D 이미지를 합성 영상의 기본 화면으로 하고 상기 3D 이미지의 배경 색을 제거하여 상기 2D 이미지에 중첩하여 합성 영상을 생성하고, 생성된 합성 영상을 인코딩하여 상기 제1 사용자 단말과 상기 제2 사용자 단말로 재전송하는 미디어 처리 서버를 포함하며, 상기 제1 사용자 단말 및 상기 제2 사용자 단말은 상기 미디어 처리 서버로부터 수신한 영상을 렌더링하여 디스플레이한다.

본 발명의 다른 실시예에 따른 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은, 상기 합성 영상의 기본 화면으로 제공되는 2D 이미지는 원격 교육 또는 화상 회의에서 진행자에 의해 상기 제1 사용자 단말의 상기 2D 카메라로 촬상된 이미지이며, 상기 제2 사용자 단말의 상기 3D 깊이 카메라는 상기 피촬상물의 RGB 정보를 센싱하는 RGB 센싱부와, 상기 피촬상물의 거리 정보를 센싱하는 거리 센싱부로 구성된다.

본 발명의 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법에 따르면, 네트워크에 접속된 복수의 사용자 단말이 3D 깊이 카메라에서 추출된 사용자 영상을 미디어 처리 서버로 전송하고, 미디어 처리 서버에서 사용자 영상들을 합성하여 사용자 단말로 재전송하면, 사용자 단말 측에서 영상 대화를 실시하는 그룹 내 참여자들에게 공유 콘텐츠에 합성 영상을 오버레이하여 표시함으로써, 영상 대화의 참여들이 가상의 동일 배경 속에 놓여져 몰입도 높은 영상 대화를 구현할 수 있으며, 원격 교육, 화상 회의, 게임 중 영상 대화 등 다양한 영상 대화 시스템에서 고 몰입형 사용자 경험(UX)을 제공할 수 있는 효과가 있다.

또한 영상 대화를 실시하는 그룹 내 2D 카메라를 사용한 사용자의 환경 속으로 3D 카메라 사용자 영상들이 놓이게 함으로써 마치 공간 이동 효과를 가져와 현장감 높은 대화를 제공할 수 있다.

또한 상기 미디어 처리 서버는, 상기 2D 카메라 사용자 이외의 2D 카메라 사용자들도 이러한 고 몰입도 영상대화에 참여할 수 있는 호환성을 제공하여 사용도를 높일 수 있다. 즉 상기 2D 카메라 사용자 이외의 2D 카메라를 사용하는 일반 사용자 단말도 미디어 처리 서버에서 합성 처리하게 함으로써 호환성을 유지하게 할 수 있다.

도 1은 본 발명에 따른 다자간 영상 대화 시스템을 예시한 블록도,
도 2는 본 발명에서 사용자 단말의 구성을 예시한 블록도, 및
도 3은 본 발명에서 오버레이 영상이 제공되는 것을 예시한 도면이다.
도 4는 본 발명에서 합성 영상을 제공하는 다른 예를 보이는 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.

명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.

실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

도 1은 본 발명에 따른 다자간 영상 대화 시스템을 예시한 블록도이다. 도 1을 참조하면, 본 발명의 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템은 복수의 사용자 단말(100)과, 이 사용자 단말(100)과 네트워크(500)를 통해 연결되는 데이터 중계 서버(200)와, 미디어 처리 서버(300)와, 콘텐츠 공유 서버(400)로 구성된다.

사용자 단말(100)은 PC, 노트북, 태블릿, 스마트폰 등 네트워크(500)를 통해 인터넷에 접속 가능한 단말을 의미하며, 본 발명에서의 사용자 단말(100)은 다자간 영상 대화를 위해 사용자를 촬영할 수 있는 카메라, 특히, 3차원 이미지 형성을 위한 3D 깊이 카메라(110)를 구비한 단말을 의미한다.

데이터 중계 서버(200)는 사용자 단말(100)에서 미디어 처리 서버(300)로 영상들을 전송할 때, 또는, 미디어 처리 서버(300)에서 사용자 단말(100)로 영상을 재전송할 때, 영상 데이터를 전담하여 전송하는 서버로서, 영상 대화에 참여하는 사용자가 많은 경우, 또는, 복수의 영상 대화 그룹이 존재하는 경우와 같이 영상 데이터 트래픽이 증가할 때 데이터 전송을 전담하는 서버이다. 영상 대화에 참여하는 사용자가 적은 경우에는 데이터 중계 서버(200)를 사용하지 않을 수도 있다.

미디어 처리 서버(300)는 영상 데이터를 합성하여 인코딩하는 서버로서, 다자간 영상 대화 서비스를 위해 복수의 사용자로부터 전송된 영상을 사용자 단말 그룹별로 하나의 영상으로 통합 처리하는 미디어 서비스를 제공하는 서버이다.

콘텐츠 공유 서버(400)는 복수의 사용자 단말(100) 간에 공유하는 콘텐츠를 제공하는 서버이다. 예를 들어, 본 발명의 다자간 영상 대화 시스템이 원격 교육 서비스에 부가되는 형태로 제공될 때, 콘텐츠 공유 서버(400)는 사용자 단말 그룹에 교육 콘텐츠를 제공하는 서버일 수 있다. 다른 예로서, 본 발명의 다자간 영상 대화 시스템이 멀티 유저가 접속하는 게임 환경 상에서 제공될 때, 콘텐츠 공유 서버(400)는 동일한 게임에 접속된 유저들에게 게임 환경과 매칭 서비스를 제공하는 서버일 수 있다.

도 2는 본 발명에서 사용자 단말의 구성을 예시한 블록도이다.

사용자 단말(100)은 사용자의 영상을 촬영하여 원격의 미디어 처리 서버(300)로 전송하고, 미디어 처리 서버(300)로부터 합성 영상을 수신하여 다자간 영상 대화를 실시하는 단말이다. 이러한 사용자 단말(100)은 도 2에서와 같이, 3D 깊이 카메라(110)와, 키 입력수단(120)과, 마이크(130)와, 스피커(140)와, 제어부(150)와, 디스플레이 수단(160)과, 영상 처리 모듈(170)과, 영상 오버레이 모듈(180)과, 통신 모듈(190)로 구성된다. 물론, 통상 알려진 PC와 같이 다른 주변기기들이 더 포함될 수 있다.

3D 깊이 카메라(110)는 피촬상물의 촬상하여 이미지로 변환하는 수단으로서, 일반적인 카메라와 달리 변환된 이미지 객체 각각에 대하여 거리 정보를 갖는다. 예를 들어, 3D 깊이 카메라(110)는 피촬상물의 RGB 정보를 센싱하는 RGB 센싱부와, 피촬상물의 거리 정보를 센싱하는 거리 센싱부로 구성된다. RGB 센싱부는 CCD 이미지 센서 등과 같이, 피촬상물을 구성하는 객체들을 검출하여 0 내지 255의 R, G, B 값으로 객체의 색상을 표현한다. 거리 센싱부는 적외선 센서나 초음파 센서 등과 같이, 피촬상물의 거리를 센싱한다. 통상적으로, 3D 깊이 카메라(110)는 3차원 이미지를 형성하기 위해 사용되지만, 본 발명에서는 사용자 영상을 추출하기 위해 사용된다.

키 입력수단(120)은 사용자가 대화 상대방과 문자를 주고받은 경우 문자를 입력하는 수단이며, 그밖에 키 입력 명령을 입력하기 위한 수단이다. 마이크(130)는 사용자의 음성 신호를 전기적 신호로 변환하며, 스피커(140)는 전기적 신호를 가청 주파수 대역으로 변환하여 음성 신호로 출력하는 수단이다. 마이크(130)와 스피커(140)는 영상 대화 시에 송수화부를 형성한다.

제어부(150)는 사용자 단말(100)의 동작을 제어하는 수단으로서, 예를 들어 마더 보드와 CPU를 포함할 수 있다. 또한, 주기억장치에 설치되는 운영체제(OS: Operation System)를 포함할 수 있다.

디스플레이 수단(160)은 사용자에게 영상을 화면 출력하는 수단이다. 디스플레이 수단(160)은 예컨대, LCD, AMOLED 등 알려진 디스플레이 장치이며, 여기에 사용자의 터치 입력을 지원하는 터치 유저 인터페이스(TUI: Touch User Interface)가 포함될 수 있다.

영상 처리 모듈(170)은 3D 깊이 카메라(110)에서 촬영된 이미지를 전처리하는 수단이다. 상술한 바와 같이, 3D 깊이 카메라(110)에서 촬영된 이미지는 피촬상물의 거리 정보를 포함한다. 영상 처리 모듈(170)은 피촬상물을 구성하는 객체의 거리 정보를 인식하고, 거리 정보로부터 사용자 객체 이미지(도 3에서 예시하는 바와 같은 사용자 영상)를 제외한 백그라운드 이미지(Background Image)를 제거한다. 예컨대, 백그라운드 추출 기법(Background Segmentation)이 사용될 수 있다. 그리고 백그라운드 이미지가 존재하던 영역들을 단색의 가상 배경 이미지로 대체한다.

도 3을 참조하면, 사용자 단말 A는 영상 회의의 발표자가 사용하는 단말로서, 사용자 단말 A는 발표자 뒤의 배경 이미지를 제거하고 단색의 가상 배경 이미지가 입혀진 제1 단말 영상(520)을 생성한다. 사용자 단말 B와 C는 일반 참석자가 사용하는 단말로서, 사용자 단말 A에서와 같이 참석자 뒤의 배경 이미지들을 제거하고 단색의 가상 배경 이미지가 입혀진 제2 단말 영상(530) 및 제3 단말 영상(540)을 생성한다.

이때, 영상 처리 모듈(170)은 가상 배경 이미지를 사용자 객체 이미지를 구성하는 색상, 또는, 사용자 객체 이미지의 경계부를 구성하는 색상과 다른 색상으로 구성한다. 이와 같이 다른 색상으로 가상 배경 이미지를 구성함으로써, 미디어 처리 서버(300)에서 사용자 객체 이미지를 용이하게 식별하여 합성을 수행할 수 있도록 한다.

각 사용자 단말(100)의 제어부(150)는 영상 처리 모듈(170)에서 생성된 영상(520, 530, 540)을 통신 모듈(190)을 통해 미디어 처리 서버(300)로 전송한다.

미디어 처리 서버(300)는 영상 대화를 실시하는 사용자 단말 그룹들에 대하여, 도 3에서와 같이 수신된 영상들을 합성하여 합성 영상(550)을 생성한다. 예를 들어, 사용자 객체 이미지가 중첩되지 않도록 수신된 영상들을 배열하고, 생성된 합성 영상을 인코딩하여 다시 각 사용자 단말(100)로 재전송한다.

사용자 단말(100)의 영상 오버레이 모듈(180)은 수신된 합성 영상을 공유 콘텐츠 상에 오버레이하여 오버레이 영상을 생성한다. 구체적으로는, 영상 오버레이 모듈(180)이 합성 영상을 수신하여 디코딩한다. 그리고, 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리한다. 투명화 처리된 합성 영상을 공유 콘텐츠 상에 오버레이하여 렌더링(Rendering) 처리하는 것으로 오버레이 영상을 생성한다.

여기서, '공유 콘텐츠'라 함은 다자간 영상 대화에 참여한 참여자들이 공유하는 콘텐츠를 의미한다. 예를 들어, 공유 콘텐츠는 원격 교육 또는 화상 회의에서 진행자에 의해 선택된 공유 문서 또는 이미지이다. 다른 예로서, 공유 콘텐츠는 멀티 유저가 접속한 게임 환경에서 사용자에 의해 선택된 게임 화면이다.

도 3에서는 발표자가 작성한 그래프를 포함한 발표자료가 공유 콘텐츠(510)이며, 공유 콘텐츠(510)는 사용자 단말(100)에서 직접 제공하는 문서나 이미지일 수 있겠으나, 대화에 참석하는 다른 사용자에게도 실시간으로 제공되기 위하여는 도 3에서와 같이 콘텐츠 공유 서버(400)에서 제공하는 콘텐츠인 것이 바람직하다.

도시한 바와 같이, 공유 콘텐츠(510) 상에 합성 영상(550)을 오버레이하여 오버레이 영상(560)이 생성되었으며, 영상 대화에 참석하는 단말 이외에도 표시 단말(600)을 통해 오버레이 영상(560)이 표시될 수 있다. 예컨대, 사용자 단말(100)은 원격 교육을 실시하는 복수 선생님의 단말이고, 표시 단말(600)은 원격 교육에 참석하는 불특정 다수의 학생 단말일 수 있다.

도 4는 본 발명에서 합성 영상을 제공하는 다른 예를 보인 도면이다. 도 4에서와 같이 사용자 단말(100) 중 일부는 2D 카메라(115)를 포함할 수 있다.

가령, 진행자 또는 발표자로 선택된 2D 카메라(105)가 설치된 사용자 단말 A는, 촬영된 2D 영상을 미디어 처리 서버(300)로 전송한다.

3D 깊이 카메라를 장착한 일반 사용자 단말 B, C는, 앞서 도 3을 참조하여 설명한 바와 같이 촬영된 3D 영상을 미디어 처리 서버(300)로 전송한다.

또 다른 2D 카메라(115)를 지닌 일반 사용자 단말 D가 존재하는 경우, 이를 통해 촬영된 2D 영상을 인코딩하여 미디어 처리 서버(300)로 전송할 수 있음은 도면에 도시된 바와 같다.

미디어 처리 서버(300)는 사용자 단말 A로부터 수신한 2D 영상과 사용자 단말 B, C로부터 수신한 3D 영상 및 사용자 단말 D로부터 수신한 2D 영상 등을 합성하여 합성 영상(550)을 생성한다. 이때, 진행자 또는 발표자로 선언된 사용자 A의 2D 영상을 합성 영상(550)의 기본 화면으로 하며, 사용자 단말 B, C의 3D 이미지는 상술한 바와 같이 깊이 정보를 이용하여 배경 색을 제거하며 2D 이미지에 중첩하여 합성 영상을 생성할 수 있다. 이때, 2D 카메라를 지닌 일반 사용자 단말 D(250)의 2D 영상은 미디어 처리 서버에서 합성 영상의 별도의 위치에 놓이게 하여 입체적 영상회의에 참여할 수 있는 호환성을 보장하게 한다.

여기서 상기 이미지는 배경에 이용하기 위하여 배경 색을 제거한 것을 말하는 것으로 영상회의 주최자 배경화면을 영상회의 참여자들과 공유하여 동일한 배경을 갖는 환경에서 회의가 이루어지는 효과를 갖게 하기 위한 것을 말하므로 동영상 이미지를 포함할 수 있다.

미디어 처리 서버(300)는 생성된 합성 영상을 인코딩하여 각 사용자 단말(100)로 재전송하며, 각 사용자 단말(100)에서는 미디어 처리 서버(300)로부터 수신한 영상을 렌더링하여 디스플레이할 것이다.

전술한 바와 같은, 본 발명의 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법은, 네트워크에 접속된 복수의 사용자 단말이 3D 깊이 카메라에서 추출된 사용자 영상을 미디어 처리 서버로 전송하고, 미디어 처리 서버에서 사용자 영상들을 합성하여 사용자 단말로 재전송하면, 사용자 단말 측에서 영상 대화를 실시하는 그룹 내 참여자들에게 공유 콘텐츠에 합성 영상을 오버레이하여 표시한다. 도 3을 참조하여 설명한 바와 같이, 영상 대화의 참여들이 가상의 동일 배경 속에 놓여지며, 가상의 동일 배경은 공유 문서 또는 이미지, 공통으로 진행중인 게임 화면 등이므로, 영상 대화 참여자들에게 몰입도 높은 영상 대화를 구현할 수 있다. 따라서, 본 발명은 원격 교육, 화상 회의, 멀티 유저 게임, 사이버 모델하우스, 양방향 세미나 중계, 재난/재해 대응 방송, 홈 쇼핑 등 다양한 영상 대화 시스템에서 고 몰입형 사용자 경험(UX)을 제공할 수 있다.

위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.

100 : 사용자 단말 110 : 3D 깊이 카메라
115 : 2D 카메라 120 : 키 입력수단
130 : 마이크 140 : 스피커
150 : 제어부 160 : 디스플레이
170 : 영상 처리 모듈 180 : 영상 오버레이 모듈
190 : 통신 모듈 200 : 데이터 중계 서버
300 : 미디어 처리 서버 400 : 콘텐츠 공유 서버
500 : 네트워크 510 : 공유 콘텐츠
520 : 제1 단말 영상 530 : 제2 단말 영상
540 : 제3 단말 영상 550 : 합성 영상
560 : 오버레이 영상 600 : 표시 단말

Claims

삭제
삭제
삭제
삭제
삭제
사용자의 영상을 촬영하여 원격의 서버로 전송하며 다자간 영상 대화를 실시하는 복수의 사용자 단말; 및
상기 사용자 단말에서 전송받은 영상들을 합성하여 합성 영상을 생성하고 생성된 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 미디어 처리 서버를 포함하며,
상기 사용자 단말은,
피촬상물을 촬상하여 이미지로 변환하되 변환된 이미지 객체 각각에 대하여 거리 정보를 갖는 3D 깊이 카메라;
상기 3D 깊이 카메라에서 촬영된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 영상 처리 모듈;
상기 미디어 처리 서버와 영상을 송수신하기 위해 통신하는 통신 모듈;
상기 사용자 단말 그룹의 공유 콘텐츠 상에 상기 미디어 처리 서버로부터 수신한 상기 합성 영상을 오버레이하여 오버레이 영상을 생성하는 영상 오버레이 모듈; 및
상기 오버레이 영상을 화면에 출력하는 디스플레이수단을 포함하되,
상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며,
상기 영상 오버레이 모듈은 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리하고,
상기 공유 콘텐츠는 원격 교육 또는 화상 회의에서 진행자에 의해 선택된 공유 문서 또는 이미지인 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템.
사용자의 영상을 촬영하여 원격의 서버로 전송하며 다자간 영상 대화를 실시하는 복수의 사용자 단말; 및
상기 사용자 단말에서 전송받은 영상들을 합성하여 합성 영상을 생성하고 생성된 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 미디어 처리 서버를 포함하며,
상기 사용자 단말은,
피촬상물을 촬상하여 이미지로 변환하되 변환된 이미지 객체 각각에 대하여 거리 정보를 갖는 3D 깊이 카메라;
상기 3D 깊이 카메라에서 촬영된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 영상 처리 모듈;
상기 미디어 처리 서버와 영상을 송수신하기 위해 통신하는 통신 모듈;
상기 사용자 단말 그룹의 공유 콘텐츠 상에 상기 미디어 처리 서버로부터 수신한 상기 합성 영상을 오버레이하여 오버레이 영상을 생성하는 영상 오버레이 모듈; 및
상기 오버레이 영상을 화면에 출력하는 디스플레이수단을 포함하되,
상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며,
상기 영상 오버레이 모듈은 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리하고,
상기 공유 콘텐츠는 멀티 유저가 접속한 게임 환경에서 사용자에 의해 선택된 게임 화면인 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템.
제6항 또는 제7항에 있어서,
상기 사용자 단말과 상기 미디어 처리 서버 사이에서 영상 데이터를 중계하는 데이터 중계 서버를 더 포함하는 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템.
제6항 또는 제7항에 있어서,
상기 공유 콘텐츠를 제공하는 콘텐츠 공유 서버를 더 포함하는 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 시스템.
삭제
삭제
삭제
삭제
삭제
사용자 단말에서 사용자의 영상을 촬영하여 전송하면 미디어 처리 서버에서 상기 사용자 단말로부터 전송받은 영상들을 합성하여 합성 영상을 생성하고 상기 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 다자간 영상 대화 방법에 있어서,
(a) 상기 사용자 단말에 설치된 3D 깊이 카메라에서 피촬상물을 촬상하는 단계;
(b) 촬상된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 단계;
(c) 단계(c)에서 생성된 영상을 상기 미디어 처리 서버로 전송하는 단계;
(d) 상기 미디어 처리 서버로부터 수신한 합성 영상을 상기 사용자 단말 그룹의 공유 콘텐츠 상에 오버레이하여 오버레이 영상을 생성하는 단계; 및
(e) 상기 오버레이 영상을 화면 출력하는 단계를 포함하되,
상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며,
상기 단계(d)는, 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리하고,
상기 공유 콘텐츠는 원격 교육 또는 화상 회의에서 진행자에 의해 선택된 공유 문서 또는 이미지인 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 방법.
사용자 단말에서 사용자의 영상을 촬영하여 전송하면 미디어 처리 서버에서 상기 사용자 단말로부터 전송받은 영상들을 합성하여 합성 영상을 생성하고 상기 합성 영상을 영상 대화를 실시하는 사용자 단말 그룹으로 재전송하는 다자간 영상 대화 방법에 있어서,
(a) 상기 사용자 단말에 설치된 3D 깊이 카메라에서 피촬상물을 촬상하는 단계;
(b) 촬상된 이미지로부터 사용자 객체 이미지를 제외한 백그라운드 이미지를 제거하고 단색의 가상 배경 이미지로 대체하는 단계;
(c) 단계(c)에서 생성된 영상을 상기 미디어 처리 서버로 전송하는 단계;
(d) 상기 미디어 처리 서버로부터 수신한 합성 영상을 상기 사용자 단말 그룹의 공유 콘텐츠 상에 오버레이하여 오버레이 영상을 생성하는 단계; 및
(e) 상기 오버레이 영상을 화면 출력하는 단계를 포함하되,
상기 미디어 처리 서버는 상기 합성 영상을 인코딩하여 상기 사용자 단말로 재전송하며,
상기 단계(d)는, 상기 합성 영상을 수신하여 디코딩 한 후에, 상기 합성 영상으로부터 단색의 가상 배경 이미지를 제거하고 투명화 처리하며, 투명화 처리된 합성 영상을 상기 공유 콘텐츠 상에 오버레이하여 렌더링 처리하고,
상기 공유 콘텐츠는 멀티 유저가 접속한 게임 환경에서 사용자에 의해 선택된 게임 화면인 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 방법.
제15항 또는 제16항에 있어서,
상기 사용자 단말과 상기 미디어 처리 서버 사이에서 데이터 중계 서버가 영상 데이터를 중계하는 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 방법.
제15항 또는 제16항에 있어서,
콘텐츠 공유 서버에서 상기 공유 콘텐츠를 제공하는 것을 특징으로 하는 3D 깊이 카메라를 이용한 다자간 영상 대화 방법.
삭제
삭제
삭제