KR102214193B1

KR102214193B1 - 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법

Info

Publication number: KR102214193B1
Application number: KR1020140034828A
Authority: KR
Inventors: 박상배; 방민혁; 이금옥; 이동진; 이정근; 정재훈; 조경선; 홍성설
Original assignee: 삼성전자 주식회사
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2021-02-09
Anticipated expiration: 2034-03-25
Also published as: KR20150111197A; US9843722B2; US20150281678A1

Abstract

3D 파노라마 영상과 같은 다양한 화각 및/또는 다양한 해상도를 가지는 3D 영상을 촬영할 수 있는 깊이 카메라 장치, 그것을 구비한 3D영상 디스플레이 시스템 및 그 제어방법이 개시된다. 깊이 카메라 장치는 IR을 이용하여 피사체의 깊이 영상을 촬영하는 깊이 카메라와; 외부에서 입력되는 광을 영상신호로 변환하여 피사체의 칼라 영상을 촬영하는 칼라 카메라와; 깊이 카메라 및 칼라 카메라와 피사체에 대해 회전하여 깊이 카메라와 칼라 카메라가 피사체를 촬영할 수 있는 화각의 위치를 일정각도로 변화시키는 화각 확장부와; 화각 확장부에 의해 화각 위치가 일정각도로 변화되는 동안 깊이 카메라에 의해 촬영되는 깊이 영상 프레임들과 칼라 카메라에 의해 촬영되는 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상을 형성하는 제어부를 포함하는 것을 특징으로 한다.

Description

깊이 카메라 장치, 그것을 구비한 3D 영상 디스플레이 시스템 및 그 제어방법{DEPTH CAMERA DEVICE, 3D IMAGE DISPLAY SYSTEM HAVING THE SAME AND CONTROL METHODS THEREOF}

본 발명은 3D 영상을 촬영할 수 있는 깊이 카메라 장치에 관한 것으로, 보다 상세하게는 3D 파노라마 영상과 같은 다양한 화각 및/또는 다양한 해상도의 3D 영상을 촬영할 수 있는 깊이 카메라 장치, 그것을 구비한 3D 영상 디스플레이 시스템 및 그 제어방법에 관한 것이다.

일반적으로, 깊이 카메라 장치는 3D 영상을 촬영할 수 있는 카메라 장치로써, 3D영상 촬영뿐 아니라 몸체인식, 얼굴인식 등을 필요로 하는 다양한 분야에 이용되고 있다.

이러한 깊이 카메라 장치는 통상 깊이 영상을 촬영하는 깊이 카메라와 일반 칼라 영상을 촬영하는 칼라 카메라를 구비한다.

깊이 카메라는 일반적으로 TOF (Top of Flight) 방식과 IR 패턴 방식으로 구분된다.

도 1에 도시된 바와 같이, TOF 방식은 TOF 센서를 통해 피사체까지의 거리를 계산하여 깊이 영상(10)을 촬영하는 방식이다. TOF 센서는 각각 발광부와 수광부가 배치된 복수의 셀에서 피사체에 IR을 전송한 후 피사체로부터 반사되어 되돌아오는 시간을 측정하여 피사체까지의 거리를 계산한다. TOF 방식은 단순히 거리만 측정하는 알고리즘이 적용되므로 구조가 간단하고 영상 처리가 빠른 반면, 깊이를 파사체의 거리 정보만 이용하여 판단하기 때문에 빛과 같은 외부 환경의 간섭에 영향을 많이 받는다.

도 2에 도시된 바와 같이, IR 패턴 방식은 피사체에 IR을 일정한 패턴으로 조사하고 조사된 IR 패턴에 대응하는 사물의 형태를 인식하여 깊이 영상(10')을 촬영하는 방식이다. IR 패턴 방식은 피사체의 형태 자체를 인식하기 때문에 TOF 방식에 비하여 외부 환경의 간섭에 영향을 적게 받는다. 따라서, IR패턴 방식이 TOF 방식에 비하여 더 선호되고 있다.

그러나, 이러한 IR패턴 방식과 TOF 방식 카메라는 모두 렌즈 화각이 일정하게, 예컨대, 38°로 고정되어 있기 때문에 깊이 영상을 정해진 38°의 화각 범위 이상으로는 촬영할 수 없는 문제점이 있다.

그 결과, 위와 같은 IR패턴 방식과 TOF 방식 카메라를 구비하는 종래의 깊이 카메라 장치는 3D 파노라마 영상 또는 다양한 해상도를 가지는 3D 영상을 제작할 수 없었다.

또한, 깊이 카메라 장치를 이용하여 모션 컨트롤 및/또는 몸체 인식 게임과 같은 3D 영상 게임을 이용할 때 깊이 카메라 장치에 의해 인식되는 3D 영상의 화각이 작기 때문에, 게임을 이용하는 사용자들은 좁게 붙어서 게임을 해야한다. 그 결과 사용자들이 게임을 하는 동안 서로 부딪혀 게임의 즐거움이 반감될 수 있었다.

본 발명은 상술한 종래 기술들의 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 3D 파노라마 영상과 같은 다양한 화각 및/또는 다양한 해상도를 가지는 3D 영상을 촬영할 수 있는 깊이 카메라 장치, 그것을 구비한 3D 영상 디스플레이 시스템 및 그 제어방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 양상에 따르면, 깊이 카메라 장치는, IR을 이용하여 피사체의 깊이 영상을 촬영하는 깊이 카메라와; 외부에서 입력되는 광을 영상신호로 변환하여 피사체의 칼라 영상을 촬영하는 칼라 카메라와; 깊이 카메라와 칼라 카메라가 촬영할 수 있는 화각의 위치를 일정각도로 변화시키는 화각 확장부와; 화각 확장부에 의해 화각 위치가 일정각도로 변화되는 동안 깊이 카메라에 의해 촬영되는 깊이 영상 프레임들과 칼라 카메라에 의해 촬영되는 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상을 형성하는 제어부를 포함하는 것을 특징으로 한다.

깊이 카메라는 IR을 일정한 패턴으로 발생하는 IR 패턴 발생기와, 피사체로부터 반사되어 오는 일정한 패턴의 IR을 깊이 영상 신호로 변환하는 이미지 센서를 포함할 수 있다. 이때, 깊이 영상 신호는 피사체와의 거리정보를 포함할 수 있다. 일정한 패턴은 선형 구조 또는 원형 구조를 포함할 수 있다.

화각 확장부는, 깊이 카메라 및 칼라 카메라와 피사체 사이의 광 경로에 배치되어 IR과 광의 방향을 전환하는 일정한 기울기를 갖는 반사면을 구비하는 방향전환부와, 방향전환부를 회전시키는 회전부를 포함할 수 있다. 이때, 반사면은 깊이 카메라에 의해 발생된 IR을 피사체에 전송하고 피사체에서 반사되어오는 IR을 깊이 카메라로 전송하도록 IR의 방향을 전환하고 외부에서 입력되는 광을 칼라 카메라로 향하도록 광의 방향을 전환할 수 있다.

방향전환부는 반사면을 구비한 프리즘 렌즈를 포함할 수 있다.

회전부는 구동축이 방향전환부에 연결된 모터와, 모터의 구동축에 설치되고 구동축의 회전을 감지하는 엔코더를 포함할 수 있다.

일정각도는 사용자에 의해 0°내지 270°, 바람직하게는 142° 내지 270°의 범위로 설정될 수 있다.

제어부는 피사체에서 반사되어 오는 일정한 패턴의 각 IR 지점에서 기준 IR에 대한 피사체와의 거리차를 계산하여 각 IR에 대한 픽셀 값에서 계산된 거리차에 대한 픽셀 값을 차감하여 반사면의 기울기로 인해 발생하는 피사체에 대한 거리 왜곡을 보정하고, 깊이 카메라와 칼라 카메라 사이의 위치 차이로 인해 발생하는 깊이 영상의 픽셀 위치와 칼라 영상의 픽셀 위치 사이의 편차를 깊이 카메라와 칼라 카메라 사이의 위치 차이를 고려하여 보정할 수 있다. 이때, 편차는 동일 특징점을 매칭시키거나, 깊이 영상과 칼라 영상에 대한 출력영상 위치 매트릭스를 이용하여 이동 매트릭스를 연산한 후 연산된 이동 매트릭스를 토대로 깊이 영상 또는 칼라 영상에 대한 영상 데이터를 크롭시키는 것에 의해 보정될 수 있다.

또한, 제어부는 깊이 영상과 칼라 영상을 동일한 해상도로 조절할 수 있다. 이때, 해상도는 깊이 영상을 기준으로 조절될 수 있다.

본 발명의 또 다른 실시 양상에 따르면, 깊이 카메라 장치의 제어 방법은, IR을 이용하여 피사체의 깊이 영상을 촬영하는 단계와; 외부에서 입력되는 광을 영상신호로 변환하여 피사체의 칼라 영상을 촬영하는 단계와; 촬영되는 깊이 영상과 칼라 영상의 화각 위치를 일정각도로 변화시키는 단계와; 화각 위치가 변화되는 동안 촬영되는 깊이 영상 프레임들과 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상으로 변환하는 단계를 포함하는 것을 특징으로 한다.

변화시키는 단계는 IR을 피사체에 일정한 패턴으로 전송하고 피사체에서 반사되어오는 IR을 깊이 카메라로 전송하도록 IR의 방향을 전환하고 외부에서 입력되는 광을 칼라 카메라로 향하도록 광의 방향을 전환하는 일정 기울기는 갖는 반사면을 일정각도로 회전시키는 단계를 포함할 수 있다.

변환 단계는 피사체에서 반사되어 오는 일정한 패턴의 각 IR 지점에서 기준 IR에 대한 피사체와의 거리차를 계산하여 각 IR에 대한 픽셀 값에서 계산된 거리차에 대한 픽셀 값을 차감하여 반사면의 기울기로 인해 발생하는 피사체에 대한 거리 왜곡을 보정하는 단계와; 촬영되는 깊이 영상의 픽셀 위치와 촬영되는 칼라 영상의 픽셀 위치 사이의 편차를 깊이 카메라와 칼라 카메라 사이의 위치 차이를 고려하여 보정하는 단계를 더 포함할 수 있다. 이때, 보정 단계는 깊이 영상과 칼라 영상을 동일 특징점을 기준으로 매칭시키는 단계, 또는 깊이 영상과 칼라 영상에 대한 출력영상 위치 매트릭스를 이용하여 이동 매트릭스를 연산한 후 이동 매트릭스를 토대로 깊이 영상 또는 칼라 영상에 대한 영상 데이터를 크롭시키는 단계를 포함할 수 있다.

변환 단계는 촬영된 깊이 영상과 칼라 영상을 동일한 해상도로 조절하는 단계를 더 포함할 수 있다. 이때, 해상도는 깊이 영상을 기준으로 조절될 수 있다.

본 발명의 또 다른 실시 양상에 따르면, 디스플레이 시스템은, 깊이 영상을 촬영하는 깊이 카메라와 칼라 영상을 촬영하는 칼라 카메라를 구비하는 위에서 설명한 깊이 카메라 장치와; 깊이 카메라 장치에 의해 촬영된 깊이 영상과 칼라 영상을 합성하여 3D영상을 형성하는 합성부를 구비하는 제2 제어부와; 합성부에 의해 형성된 3D 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.

제2 제어부는 깊이 카메라 장치에 의해 촬영된 깊이 영상 및/또는 칼라 영상을 토대로 필요한 어플리케이션을 실행하는 데 필요한 그래픽 데이터 및/또는 텍스트 데이터를 생성하여 출력하는 프로그램 엔진부를 더 포함할 수 있다.

프로그램 엔진부는, 깊이 카메라 장치에 의해 촬영된 깊이 영상 및/또는 칼라 영상을 토대로 사용자의 모션을 인식하고 인식된 모션에 따라 필요한 어플리케이션을 실행하기 위한 그래픽 데이터 및/또는 텍스트 데이터를 생성하는 프로그램 생성 블록과, 생성된 그래픽 데이터 및/또는 텍스트 데이터에 대해 영상 처리하여 합성부로 출력하는 영상처리 블록을 포함할 수 있다.

이때, 디스플레이 시스템은 3D TV 시스템, 3D PC 시스템, 또는 증강현실 안경을 포함할 수 있다.

본 발명의 또 다른 실시 양상에 따르면, 디스플레이 시스템의 제어방법은, 깊이 영상을 촬영하는 깊이 카메라와 칼라 영상을 촬영하는 칼라 카메라를 구비하는 깊이 카메라 장치를 포함하는 디스플레이 시스템의 제어방법에 있어서, 깊이 카메라와 칼라 카메라가 촬영할 수 있는 화각의 위치의 회전각도를 설정하는 단계와; 설정된 화각 위치의 회전각도를 토대로 깊이 카메라와 칼라 카메라의 화각 위치를 변화시키면서 깊이 영상과 칼라 영상을 촬영하는 단계와; 촬영된 깊이 영상과 칼라 영상을 합성하여 3D영상을 형성하는 단계와; 형성된 3D영상을 표시하는 단계를 포함하는 것을 특징으로 한다.

디스플레이 시스템의 제어방법은, 촬영 모드 또는 어플리케이션 실행 모드 인지를 판단하는 단계를 더 포함할 수 있다.

판단결과 촬영 모드일 경우, 형성단계는 수신된 깊이 영상과 칼라 영상만을 합성하여 3D영상을 형성하는 단계를 포함할 수 있다.

판단결과 어플리케이션 실행모드일 경우, 형성단계는 수신된 깊이 영상 및/또는 칼라 영상을 토대로 필요한 어플리케이션을 실행하는 데 필요한 그래픽 데이터 및/또는 텍스트 데이터를 생성하는 단계와, 생성된 그래픽 데이터 및/또는 텍스트 데이터에 대한 영상을 처리하는 단계와, 처리된 그래픽 데이터 및/또는 텍스트 데이터와 촬영된 깊이 영상 및 칼라 영상을 합성하여 3D 어플리케이션 영상을 형성하는 단계를 포함할 수 있다.

도 1은 TOF 방식 깊이 카메라를 이용하여 촬영된 깊이 영상의 일 예를 도시하는 도면,
도 2는 IR 패턴 방식 깊이 카메라를 이용하여 촬영된 깊이 영상의 일 예를 도시하는 도면,
도 3은 본 발명의 일 실시예에 따른 깊이 카메라 장치를 구비한 3D영상 디스플레이 시스템의 구성을 나타낸 블록도,
도 4는 도 3에 도시된 깊이 카메라 장치의 깊이 카메라에 의해 변환된 깊이 영상 신호의 IR 패턴의 예를 도시하는 도면,
도 5는 도 3에 도시된 깊이 카메라 장치의 화각 확장부에 의해 깊이 카메라와 칼라 카메라의 화각 위치를 변화시키는 예를 도시하는 도면,
도 6은 도 3에 도시된 깊이 카메라 장치의 회전부의 엔코더를 예시하는 부분 사시도,
도 7은 깊이 카메라에 의해 촬영되는 인접 깊이 영상 프레임들과 칼라 카메라에 의해 촬영되는 인접 칼라 영상 프레임들을 각각 순차적으로 합성하여 파노라마 깊이 영상과 파노라마 칼라 영상을 형성하는 과정을 설명하는 도면,
도 8은 칼라 영상 프레임들을 깊이 영상 프레임들의 해상도를 기준으로 순차적으로 합성하여 파노라마 칼라 영상을 형성하는 예를 예시하는 도면,
도 9는 파노라마 칼라 영상을 파노라마 깊이 영상의 해상도를 기준으로 해상도를 조절하는 예를 예시하는 도면,
도 10은 피사체가 동일 거리에 위치한 평면이라 하더라도 프리즘 렌즈의 반사면이 기울기를 가짐에 따라 피사체에 대한 깊이 영상 신호의 IR 패턴의 각 IR 지점이 다른 크기의 픽셀 값으로 표시되는 피사체에 대한 거리 왜곡을 설명하는 도면,
도 11은 깊이 카메라와 칼라 카메라 사이의 위치 차이 때문에 발생하는 깊이 카메라에 의해 촬영되는 깊이 영상의 픽셀 위치와 칼라 카메라에 의해 촬영되는 칼라 영상의 픽셀 위치 사이의 편차를 설명하는 도면,
도 12는 본 발명의 일 실시예에 따른 깊이 카메라 장치의 제어 프로세스를 예시하는 플로우 챠트,
도 13 및 도 14는 본 발명의 다른 실시예에 따른 깊이 카메라 장치를 구비한 3D영상 디스플레이 시스템의 구성을 나타낸 블록도, 및
도 15는 본 발명의 다른 실시예에 따른 3D영상 디스플레이 시스템의 제어 프로세스를 예시하는 플로우 챠트이다.

이하, 본 발명의 바람직한 실시예에 따른 깊이 카메라 장치, 그것을 구비한 3D 영상 디스플레이 시스템 및 그 제어 방법을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 3은 본 발명의 일 실시예에 따른 깊이 카메라 장치를 구비한 디스플레이 시스템의 구성을 나타낸 블록도이다.

본 발명의 3D영상 디스플레이 시스템(100)는 3D TV 시스템, 3D PC 시스템, 또는 증강현실 안경 등으로 구현될 수 있으며, 깊이 카메라 장치(200)에 의해 촬영된 화각이 확장된 깊이 영상과 칼라 영상, 예컨대, 파노라마 깊이 영상(PDI)(도 7 참조)과 파노라마 칼라 영상(PCI)(도 7 참조)을 합성 및 처리하여, 이에 기초한 3D 영상을 표시한다.

이하에서는 설명의 편의를 위해 3D영상 디스플레이 시스템(100)이 3D TV 시스템인 것을 예로써 설명한다.

도 3에 도시된 바와 같이, 3D영상 디스플레이 시스템(100)는 깊이 카메라 장치(200)와 디스플레이 장치(300)를 포함한다.

깊이 카메라 장치(200)는 화각이 확장된 깊이 영상과 칼라 영상, 즉, 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 촬영하기 위한 것으로, 깊이 카메라(210)와, 칼라 카메라(220)와, 화각 확장부(230)와, 제1 저장부(240)와, 제1 제어부(250)를 구비한다.

깊이 카메라(210)는 제1 제어부(250)의 제어하에 IR(infrared)을 이용하여 피사체(20)의 깊이 영상을 촬영한다. 이를 위해, 깊이 카메라(210)는 IR 패턴 발생기(211)와 제1 이미지 센서(213)를 포함한다.

IR 패턴 발생기(211)는 일정한 IR 패턴을 형성하도록 IR을 발생하여 후술하는 방향전환부(231)의 프리즘 렌즈(233)로 조사한다.

본 실시 예에서 일정한 IR 패턴은 픽셀 단위로 발생될 수 있다.

또한, 일정한 IR 패턴은 어레이 등과 같은 선형 구조 또는 원형 구조로 발생할 수 있다.

제1 이미지 센서(213)는 IR 패턴 발생기(211)에서 프리즘 렌즈(233)를 통해 입사개구(226)를 거쳐 피사체(20)에 조사된 후 피사체(20)로부터 반사되어 오는 일정 패턴의 IR을 깊이 영상 신호로 변환한다. 입사개구(226)는 도 5에 관하여 후술하는 깊이 카메라(210)와 칼라 카메라(220)에 의해 촬영할 수 있는 화각 범위를 확장하기 위한 화각 위치(P, P')의 변화를 가능하게 하기 위해 깊이 카메라 장치(200)의 본체 하우징(215)에 수평방향으로 배치된 약 270도 각도의 원호형 개구로 형성된다.

이때, IR로부터 변환된 깊이 영상 신호는 IR 패턴의 각 IR 지점에서 피사체(20)와의 거리에 따라 다른 크기의 점, 즉, 픽셀값으로 표시되도록 각 IR 지점에 대한 피사체(20)와의 거리정보를 포함한다. 즉, 도 4에 도시된 바와 같이, IR 패턴(11)의 각 IR 지점은 피사체(20)와의 거리정보에 따라 피사체(20)와의 거리가 멀면 상대적으로 작은 픽셀 값(12)으로 표시되고, 가까우면 상대적으로 큰 픽셀 값(12')으로 표시된다.

또한, 본 실시예에서 IR 패턴(11)은 픽셀 단위로 형성되는 것으로 예시하였지만, 만일 IR 지점들 사이의 거리가 픽셀들 사이의 간격 보다 크도록 IR 패턴이 형성되면, IR 지점들 사이에 위치한 픽셀은 제1 제어부(250)에 의해 해당 IR 지점들의 피사체와의 평균 거리값이 계산되어 계산된 평균 거리값에 따라 표시 픽셀값의 크기가 결정될 수 있다.

이러한 제1 이미지 센서(213)는 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor)로 구현될 수 있다.

칼라 카메라(220)는 제1 제어부(250)의 제어하에 입사개구(226)를 통해 외부에서 입력되는 광을 영상신호로 변환하여 칼라 영상을 촬영한다. 칼라 카메라(220)는 광을 영상신호로 변환하는 제2 이미지 센서(221)를 포함한다.

제2 이미지 센서(221)는 제1 이미지 센서(213)와 마찬가지로 CCD 또는 CMOS로 구현될 수 있다.

화각 확장부(230)는 깊이 카메라(210)와 칼라 카메라(220)에 의해 촬영할 수 있는 화각 범위를 확장하도록 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치(P, P'; 도 5 참조)를 변화시킨다.

여기서, 화각 위치(P, P')는 도 5에 도시된 바와 같이, 깊이 카메라(210)와 칼라 카메라(220)가 촬영할 수 있는 화각(α), 예컨대, 38°가 위치하는 위치를 의미한다.

화각 위치(P, P')는 깊이 카메라(210)와 칼라 카메라(220)가 촬영할 수 있는 화각(α) 보다 확장된 화각으로 촬영된 단일 깊이영상과 단일 칼라영상을 얻을 수 있도록 일정각도(β), 예컨대, 입사개구(226)를 고려하여 0˚ 내지 270˚, 바람직하게는 후술하는 180˚ 이상의 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 촬영할 수 있는 142˚ 내지 270˚ 범위의 각도로 변화될 수 있다.

일정각도(β)는 후술하는 디스플레이 장치(300)의 사용자 입력부(350)를 통한 사용자의 선택에 따라 제2 제어부(310)에 의해 실행되는 촬영제어 프로그램의 초기 화면에서 3D영상 촬영설정 화면(도시하지 않음)을 선택할 때 촬영모드 또는 어플리케이션 실행모드를 선택하기 위한 모드선택 탭(도시하지 않음)과 함께 표시되는 회전각도 선택탭(도시하지 않음)을 통해 설정될 수 있다.

화각 확장부(230)는 방향전환부(231)와, 회전부(236)를 포함한다.

방향전환부(231)는 깊이 카메라(210) 및 칼라 카메라(220)와 피사체(20) 사이의 광 경로에 배치되어 IR과 광의 방향을 전환하는 반사면(234)을 구비한다. 반사면(234)은 깊이 카메라(210)의 IR 패턴 발생기(211)에 의해 발생된 IR을 피사체(20)에 전송하고 피사체(20)에서 반사되어오는 IR을 깊이 카메라(210)의 제1 이미지 센서(213)로 전송하도록 IR의 방향을 전환하고 외부에서 입력되는 광을 칼라 카메라(220)의 제2 이미지 센서(221)로 향하도록 광의 방향을 전환시킨다. 이를 위해, 반사면(234)은 IR과 광의 방향을 예컨대 약 90°로 전환시킬 수 있는 기울기를 갖는다.

이러한 방향전환부(231)는 반사면(234)을 구비한 프리즘 렌즈(233)로 구현될 수 있다.

회전부(236)는 제1 제어부(250)의 제어하에 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치(P, P')를 일정각도(β)로 변화시키도록 방향전환부(231)의 프리즘 렌즈(233)를 회전시키기 위한 것으로, 모터(237)와, 엔코더(239; 도 6 참조)를 포함한다.

모터(237)는 방향전환부(231)의 프리즘 렌즈(233)를 회전시키도록 구동축(238)이 프리즘 렌즈(233)의 하부에 연결된다.

도 6에 도시된 바와 같이, 엔코더(239)는 모터(237)의 구동축(238)에 설치되도록 모터(237) 내에 내장되고, 구동축(238)의 회전을 감지한다.

엔코더(239)는 원판(271)과, 광센서(273)로 구성된다. 원판(271)은 구동축(238)에 설치되고, 가장자리를 따라 복수의 홀(272)이 형성된다. 광센서(273)는 홀(272)에 대향하게 설치되고, 발광부(275)와 수광부(276)를 구비한다.

따라서, 원판(271)이 모터(237)의 구동축(238)에 의해 회전할 때, 광센서(273)는 발광부(275)와 수광부(276)가 홀(272)과 일치하게 위치하면 '온'신호를 발생하고, 홀(272)이 형성되지 않은 원판 부분과 일치하게 위치하면 '오프'신호를 발생한다. 제1 제어부(250)는 광센서(273)에서 발생하는 '온'신호를 카운팅하여 카운팅되는 수에 따라 구동축(238)의 회전각도를 계산하고, 프리즘 렌즈(233)의 회전 각도를 추정한다. 제1 제어부(250)는 추정된 프리즘 렌즈(233)의 회전 각도에 따라 모터(237)의 구동을 제어하여 프리즘 렌즈(233)의 회전 각도를 사용자에 의해 설정된 일정 각도(β)로 조절한다.

제1 저장부(240)는 모터(237), IP패턴 발생기(211) 등의 구동을 포함하는 깊이 카메라 장치(200)의 전반적인 동작과 후술하는 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 형성하는 동작을 제어하기 위한 제어프로그램을 저장한다.

또한, 제1 저장부(240)는 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치(P, P')가 일정각도(β) 회전하는 동안 후술하는 바와 같이 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)이 형성될 때 마다 형성된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 저장한다.

이러한 제1 저장부(240)는 플래시메모리, 하드디스크 등의 비휘발성 메모리로 구현될 수 있다.

제1 제어부(250)는 깊이 카메라 장치(200)의 전반적인 동작을 제어한다.

또한, 제1 제어부(250)는 도 15에 관하여 후술하는 바와 같이 디스프레이 장치(300)의 제2 제어부(310)로부터 영상촬영 요청과 함께 사용자에 의해 설정된 화각 위치(P, P')의 회전각도를 수신하면, 화각 위치(P, P')의 회전각도에 따라 회전부(236)를 제어하면서 깊이 카메라(210)와 칼라 카메라(220)를 통해 화각이 확장된 단일 깊이영상과 단일 칼라영상, 즉, 파노라마 깊이 영상(PDI; 도 7)과 파노라마 칼라 영상(PCI; 도 7)을 형성한다.

즉, 제1 제어부(250)는 회전부(236)의 모터(237)에 의해 화각 확장부(230)의 프리즘 렌즈(233)가 회전함에 따라 깊이 카메라(210) 및 칼라 카메라(220)의 화각 위치(P, P')가 변화되는 동안, 깊이 카메라(210)와 칼라 카메라(220)에 의해 각각 촬영된 깊이 영상 프레임들과 칼라 영상 프레임들을 각각 합성하여 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)으로 변환한다.

보다 상세히 설명하면, 도 5에 도시된 바와 같이, 방향전환부(231)의 프리즘 렌즈(233)가 회전부(236)의 모터(237)에 의해 회전됨에 따라, 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치가 P에서 P'로, 예컨대, 270°회전할 때, 깊이 카메라(210)와 칼라 카메라(220)는 통상 1 초당 30장의 깊이 영상 프레임들과 칼라 영상 프레임들을 촬영한다.

따라서, 도 7에 도시된 바와 같이, 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치가 P에서 P'로 270° 회전한 후 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 만들기 위해, 제1 제어부(250)는 촬영되는 인접 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)과 인접 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)을 각각 순차적으로 합성한다.

이때, 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)은 인접한 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)과 인접한 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)을 공지의 특징점 매칭 알고리즘을 이용하여 동일 특징점(C)을 찾아서 순차적으로 매칭시키는 것에 의해 형성된다.

또한, 후술하는 디스플레이 장치(300)의 합성부(320)에서 3D 영상을 쉽게 형성하기 위해, 제1 제어부(250)는 깊이 카메라(210)에 의해 촬영되는 파노라마 깊이 영상(PDI)과 칼라 카메라(220)에 의해 촬영되는 파노라마 칼라 영상(PCI)이 동일한 해상도를 가지도록 조절할 수 있다. 이때, 해상도는 통상 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)이 칼라 영상 프레임들(CIF1, CIF2, CIF3,...) 보다 해상도가 낮기 때문에, 깊이 영상 프레임 기준으로 조절될 수 있다.

예컨대, 제1 제어부(250)는 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)과 인접한 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)을 각각 합성하는 동안 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)이 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)과 동일한 해상도를 가지도록 조절할 수 있다. 즉, 도 8에 도시된 바와 같이, 인접한 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)의 해상도가 1280 X 720 픽셀이고 인접한 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)의 해상도가 1280 X 1020 픽셀이라면, 제1 제어부(250)는 인접한 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)을 인접한 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)의 해상도와 동일한 1280 X 720 픽셀만(해칭 부분 제외) 순차적으로 합성하여 파노라마 칼라 영상(PCI)을 형성될 수 있다.

또는, 예컨대, 제1 제어부(250)는 인접한 칼라 영상 프레임들(CIF1, CIF2, CIF3,...)과 인접한 깊이 영상 프레임들(DIF1, DIF2, DIF3,...)을 각각 합성하여 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 형성한 후 파노라마 칼라 영상(PCI)이 파노라마 깊이 영상(PDI)과 동일한 해상도를 가지도록 조절할 수 있다. 즉, 도 9에 도시된 바와 같이, 파노라마 깊이 영상(PDI)의 해상도가 2000 X 720 픽셀이고 파노라마 칼라 영상(PCI)의 해상도가 2000 X 1020 픽셀이라면, 제1 제어부(250)는 파노라마 칼라 영상(PCI)을 파노라마 깊이 영상(PDI)의 해상도와 동일한 2000 X 720 픽셀만(해칭 부분 제외) 파노라마 깊이 영상(PDI)와 함께 디스플레이 장치(300)로 출력할 수 있다.

선택적으로, 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 동일한 해상도를 가지도록 조절하는 것은 제1 제어부(250)가 수행하는 대신, 디스플레이 장치(300)의 합성부(320)가 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 합성할 때 파노라마 칼라 영상(PCI)을 파노라마 깊이 영상(PDI)의 해상도와 동일한 해상도만 파노라마 깊이 영상(PDI)과 합성하여 3D 파노라마 영상을 형성할 수도 있다.

또한 제1 제어부(250)는 깊이 카메라(210)에 의해 깊이 영상이 촬영될 때 프리즘 렌즈(233)의 반사면(234)의 기울기를 고려하여 반사면(234)의 기울기로 인해 발생하는 피사체에 대한 거리 왜곡에 의한 깊이 영상의 왜곡을 보정한다.

보다 상세히 설명하면, 도 10에 도시된 바와 같이, 피사체(20')가 동일 거리에 위치한 평면이라 하더라도, 피사체(20')에 대한 IR 패턴(11')의 각 IR 지점에서 IR(IR1, IR2)로부터 변환된 깊이 영상 신호는 프리즘 렌즈(233)의 반사면(234)이 기울기를 가짐에 따라 발생하는 피사체(20')와의 거리차(d) 때문에 다른 크기의 픽셀 값(12a, 12b)으로 표시되는 피사체(20')에 대한 거리 왜곡이 발생된다.

따라서, 제1 제어부(250)는 Linear Curve Fitting 알고리즘을 이용하여 IR 패턴 발생기(211)에서 출력되는 IR 패턴의 크기와 프리즘 렌즈(233)의 반사면(234)의 기울기를 고려하여 피사체(20')에 대한 거리 왜곡을 보정한다. 즉, 피사체(20')에 대한 IR 패턴(11')의 각 IR 지점에서 기준 IR에 대한 피사체(20')와의 거리차를 계산하여 각 IR(IR1, IR2)에 대한 픽셀 값(1a, 1b)에서 계산된 거리차에 대한 픽셀 값을 차감하여 피사체(20')에 대한 거리 왜곡을 보정한다.

또한, 도 11에 도시된 바와 같이, 깊이 카메라(210)의 제1 이미지 센서(213)와 칼라 카메라(220)의 제2 이미지센서(221) 사이의 위치 차이(pd) 때문에, 깊이 카메라(210)에 의해 촬영되는 깊이 영상(DI)과 칼라 카메라(220)에 의해 촬영되는 칼라 영상(CI)은 위치 차이(pd) 만큼 픽셀 위치가 다르게 된다.

따라서, 제1 제어부(250)는 제1 이미지 센서(213)와 제2 이미지센서(221) 사이의 위치 차이(pd)를 고려하여 깊이 카메라(210)에 의해 촬영되는 깊이 영상(DI)의 픽셀 위치와 칼라 카메라(220)에 의해 촬영되는 칼라 영상(CI)의 픽셀 위치 사이의 편차를 보정한다.

이때, 깊이 영상(DI)과 칼라 영상(CI)의 픽셀 위치 사이의 편차는 공지의 특징점 매칭 알고리즘을 이용하여 동일 특징점을 찾아서 매칭시키거나, 깊이 영상(DI)과 칼라 영상(CI)에 대한 출력영상 위치 매트릭스들을 토대로 공지의 이동 매트릭스 연산 알고리즘을 이용하여 이동 매트릭스를 연산한 후 연산된 이동 매트릭스를 토대로 깊이 영상(DI) 또는 칼라 영상(CI)에 대한 영상 데이터를 크롭(crop)시키는 것에 의해 보정될 수 있다.

이상과 같은 제1 제어부(250)는 제1 저장부(240)에 저장된 상술한 제어프로그램을 실행하기 위한 CPU 및 RAM으로 구현된다.

선택적으로, 제1 제어부(250)는 상술한 제어프로그램을 내장하도록 설계된 ASIC 칩으로 구현될 수도 있다.

이상과 같이 같이 구성된 깊이 카메라 장치(200)의 제어 프로세스를 도 12를 참조하여 상세히 설명하면 다음과 같다.

먼저, 디스프레이 장치(300)의 제2 제어부(310)로부터 영상촬영 요청과 함께 사용자에 의해 설정된 화각 위치(P'P')의 회전각도를 수신하면(S100), 제1 제어부(250)는 깊이 카메라(210)를 통해 피사체의 깊이 영상을 촬영한다(S110).

또한, 제1 제어부(250)는 칼라 카메라(220)을 통해 외부에서 입력되는 광을 영상신호로 변환하여 칼라 영상을 촬영한다(S120).

또한, 제1 제어부(250)는 제2 제어부(310)로부터 수신된 화각 위치(P'P')의 회전각도, 예컨대, 270°에 따라 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치를 P에서 P'로 변화시킨다(S130).

이때, 제1 제어부(250)는 모터(237)의 구동을 제어하여 프리즘 렌즈(233)를270°로 회전시킬 수 있다.

제1 제어부(250)는 화각 위치(P, P')가 변화하는 동안 촬영되는 깊이 영상 프레임들과 칼라 영상 프레임들을 각각 도 7에 관하여 설명한 바와 같이 순차적으로 합성하여 화각이 270°로 확장된 단일 깊이영상과 단일 칼라 영상인 파노라마 깊이영상(PDI)과 파노라마 칼라영상(PCI)을 형성한다(S140).

이때, 제1 제어부(250)는 도 8 및 도 9에 관하여 설명한 바와 같이 깊이 카메라(210)에 의해 촬영되는 파노라마 깊이 영상(PDI)과 칼라 카메라(220)에 의해 촬영되는 파노라마 칼라 영상(PCI)이 동일한 해상도를 가지도록 조절할 수 있다. 이때, 해상도는 깊이 영상 기준으로 조절될 수 있다.

또한, 제1 제어부(250)는 도 10에 관하여 설명한 바와 같이 촬영된 깊이 영상을 프리즘 렌즈(233)의 반사면(234)의 기울기를 고려하여 보정한다.

또한, 제1 제어부(250)는 도 11에 관하여 설명한 바와 같이 제1 이미지 센서(213)와 제2 이미지센서(221) 사이의 위치 차이(pd)를 고려하여 깊이 카메라(210)에 의해 촬영되는 깊이 영상(DI)의 픽셀 위치와 칼라 카메라(220)에 의해 촬영되는 칼라 영상(CI)의 픽셀 위치 사이의 편차를 보정한다.

다시, 도 3을 참조하면, 디스플레이 장치(300)는 깊이 카메라 장치(200)에 의해 촬영된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 합성하여 3D 파노라마 영상을 형성하고 형성된 3D 파노라마 영상을 표시하기 위한 것으로, 프로그램 엔진 내장형 TV, 일반 TV, PC 등과 같은 영상을 표시할 수 있는 장치를 포함한다.

이하에서는 디스플레이 장치(200)는 프로그램 엔진 내장형 TV인 것을 예로써 설명한다.

디스프레이 장치(300)는 사용자 입력부(350)와, 제2 저장부(340)와, 제2 제어부(310)와, 디스플레이부(360)를 포함한다.

사용자 입력부(350)는 사용자의 입력을 수신한다. 사용자 입력부(310)는, 예컨대, 리모컨(도시하지 않음), 및 리모컨으로부터 사용자의 입력에 대응하는 키입력정보를 포함하는 리모컨신호를 수신하는 리모컨신호수신부(도시하지 않음)를 포함한다.

또한, 사용자 입력부(350)는 디스플레이 장치(300)의 전원의 온/오프를 선택할 수 있는 입력키를 포함할 수 있다.

사용자 입력부(350)에 의해 수신된 사용자의 입력은 제2 제어부(310)에 전달되고, 제2 제어부(310)는 사용자의 입력에 대응하여 해당하는 구성요소를 제어한다.

제2 저장부(340)는 디스플레이 장치(200)의 전반적인 기능을 제어하기 위한 제어프로그램, 깊이 카메라 장치(200)의 영상촬영을 제어하기 위한 촬영제어 프로그램, 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 합성하여 3D 영상을 형성하기 위한 영상 합성 프로그램, 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 토대로 몸체 등의 모션을 인식하고 인식된 모션에 따라 필요한 어플리케이션을 실행하기 위한 어플리케이션 실행 프로그램 등을 저장한다.

또한, 제2 저장부(340)는 합성부(320)에 의해 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)이 합성되어 3D 파노라마 영상이 형성될 때 형성된 3D 파노라마 영상을 저장한다.

이러한 제2 저장부(340)는 제1 저장부(240)와 마찬가지로 플래시메모리, 하드디스크 등의 비휘발성 메모리로 구현될 수 있다.

제2 제어부(310)는 디스플레이 장치(300)의 동작을 전반적으로 제어하며, 제2 저장부(340)에 저장된 제어프로그램 등을 실행하기 위한 CPU 및 RAM으로 구현된다.

또한, 제2 제어부(310)는 사용자 입력부(350)를 통한 사용자의 선택에 따라 제2 저장부(340)에 저장된 촬영제어 프로그램을 실행한다. 사용자가 제2 제어부(310)에 의해 실행되는 촬영제어 프로그램의 초기화면에서 3D영상 촬영설정 화면을 선택하여 모드선택 탭과 회전각도 선택탭을 통해 각각 실행하고자 하는 동작모드, 예컨대, 촬영모드 또는 어플리케이션 실행 모드와 원하는 화각 위치(P, P')의 회전각도를 선택하면, 제2 제어부(310)는 깊이 카메라 장치(200)의 제1 제어부(250)에 영상촬영을 요청함과 함께 사용자에 의해 설정된 화각 위치(P, P')의 회전각도, 예컨대, 270°를 전송한다. 제1 제어부(250)는 제2 제어부(310)로부터의 영상촬영 요청에 따라 도 12에 관하여 설명한 바와 같이 깊이 카메라(210), 칼라 카메라(220), 회전부(236)를 제어하여 화각이 270°까지 확장된 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 형성하여 제2 제어부(310)로 전송한다.

또한, 제2 제어부(310)는 합성부(320)와 프로그램 엔진부(330)를 포함한다.

합성부(320)는 제1 제어부(250)로부터 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 합성하여 3D 파노라마 영상 또는 2D 어플리케이션 파노라마 영상을 형성하여 디스플레이부(360)로 출력한다.

보다 상세히 설명하면, 사용자가 촬영모드를 선택한 경우, 합성부(320)는 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)만을 합성하여 3D 파노라마 영상을 형성하여 디스플레이부(360)로 출력한다.

사용자가 어플리케이션 실행 모드를 선택한 경우, 합성부(320)는 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 프로그램 엔진부(330)로부터 출력되는 어플리케이션을 실행하기 위한 그래픽 데이터 및/또는 텍스트 데이터와 합성하여 3D 어플리케이션 파노라마 영상을 형성하여 디스플레이부(360)로 출력한다.

이러한 합성부(320)는 제2 저장부(340)에 저장된 영상 합성 프로그램에 의해 구현될 수 있다.

프로그램 엔진부(330)는 프로그램생성 블록(331)과, 영상처리 블록(333)을 포함한다.

프로그램생성 블록(331)은 어플리케이션 실행모드 시 제1 제어부(250)로부터 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 수신하고, 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 분석하여 몸체(body) 등의 모션을 인식하고 인식된 모션에 따라 3D 게임, 증강현실 어플리케이션 등의 어플리케이션을 실행하기 위한 그래픽 데이터 및/또는 텍스트 데이터를 생성하여 영상처리 블록(333)으로 출력한다.

영상처리 블록(333)은 생성된 그래픽 데이터 및/또는 텍스트 데이터에 대해 영상 처리를 하여 합성부(320)로 출력한다. 영상처리 블록(333)은 디코딩, 이미지 인핸싱, 스케일링 등의 기능을 포함할 수 있다.

이러한 프로그램 엔진부(330)는 제2 저장부(340)에 저장된 어플리케이션 실행 프로그램에 의해 구현될 수 있다.

디스플레이부(360)는 합성부(320)로부터 출력되는 3D 파노라마 영상 또는 3D 어플리케이션 파노라마 영상을 수신하여 표시한다.

이러한 디스플레이부(360)는 3D 영상 및/또는 3D 파노라마 영상을 표시할 수 있는 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등의 평판 표시 패널의 형태로 구현될 수 있다.

이상에서 디스플레이 장치(300)는 프로그램 엔진 내장형 TV인 것을 예로써 설명하였지만, 일반 TV 또는 PC로 구현될 수 있다.

예컨대, 도 13에 도시된 바와 같이, 일반 TV로 구현될 경우, 디스플레이 시스템(100')의 디스플레이 장치(300')는 도 3에 도시된 바와 같은 프로그램 엔진 내장형 TV와 비교하여 프로그램 엔진부(330)가 삭제된 것을 제외하고는 동일하다.

또한, 도 14에 도시된 바와 같이, PC로 구현될 경우, 디스플레이 시스템(100")의 디스플레이 장치(300")는 도 3에 도시된 바와 같은 프로그램 엔진 내장형 TV와 비교하여 디스플레이부(360)가 3D 영상 및/또는 3D 파노라마 영상을 표시할 수 있는 모니터(360')로 변경되고 제2 제어부(310')가 PC 본체의 CPU 및 RAM으로 구현되는 된 것을 제외하고는 동일하다.

이상과 같이 구성된 3D영상 디스플레이 시스템(100)의 제어 프로세스를 도 15를 참조하여 설명하면 다음과 같다.

먼저, 3D영상 디스플레이 시스템(100)이 턴온된 후, 사용자는 사용자 입력부(350)를 통해 촬영 제어프로그램을 실행하여 나타나는 초기화면에서 3D영상 촬영설정 화면을 선택한다. 이어서, 사용자는 3D영상 촬영설정 화면에 표시되는 모드선택 탭과 회전각도 선택탭을 통해 실행하고자 하는 동작모드, 예컨대, 촬영모드 또는 어플리케이션 실행 모드와 원하는 화각 위치(P, P')의 회전각도(즉, 회전부(236)의 회전각도), 예컨대, 270˚를 선택함과 함께 실행버튼 누르면, 제2 제어부(310)는 영상촬영 요청과 함께 사용자에 의해 설정된 화각 위치(P, P')의 회전각도를 깊이 카메라 장치(200)의 제1 제어부(250)에 전송한다(S200).

제1 제어부(250)는 제2 제어부(310)로부터 영상촬영 요청과 함께 사용자에 의해 설정된 화각 위치(P, P')의 회전각도를 수신하면, 사용자에 의해 설정된 화각 위치(P, P')의 회전각도에 따라 회전부(236)를 제어하면서 깊이 카메라(210)와 칼라 카메라(220)를 통해 화각이 270˚까지 확장된 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 형성하여 제2 제어부(310)로 전송한다(S210).

제1 제어부(250)로부터 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 수신한 후, 제2 제어부(310)는 단계(S200)에서 사용자에 의해 선택된 현재 동작모드가 촬영모드인 지를 판단한다(S220).

판단 결과 촬영모드인 것으로 판단되면, 제2 제어부(310)는 합성부(320)에서 수신된 파노라마 깊이 영상(PDI)과 파노라마 칼라 영상(PCI)을 합성하여 3D 파노라마 영상을 형성하고, 형성된 3D 파노라마 영상을 디스플레이부(360)로 출력한다(S230).

단계(S220)에서 판단 결과 촬영모드가 아닌 것으로 판단되면, 제2 제어부(310)는 사용자에 의해 선택된 동작모드가 어플리케이션 실행모드인 지를 판단한다(S240).

판단 결과 어플리케이션 실행모드인 것으로 판단되면, 제2 제어부(310)는 프로그램 엔진부(330)에서, 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 분석하여 몸체 등의 모션을 인식하고 인식된 모션에 따라 필요한 어플리케이션을 실행하기 위한 그래픽 데이터 및/또는 텍스트 데이터를 생성하여 영상 처리를 한 후 합성부(320)로 출력한다(S245).

합성부(320)는 제1 제어부(250)로부터 수신된 파노라마 칼라 영상(PCI)과 파노라마 깊이 영상(PDI)을 프로그램 엔진부(330)로부터 출력되는 어플리케이션을 실행하기 위한 그래픽 데이터 및/또는 텍스트 데이터와 합성하여 3D 어플리케이션 파노라마 영상을 형성하여 디스플레이부(360)로 출력한다(S250).

디스플레이부(360)는 합성부(320)로부터 출력되는 3D 파노라마 영상 또는 3D 어플리케이션 파노라마 영상을 수신하여 표시한다(S260).

이상에서 설명한 바와 같이, 본 발명에 따른 깊이 카메라 장치(200), 그것을 구비한 3D영상 디스플레이 시스템(100) 및 그 제어방법에 의하면, 화각 확장부(230)가 깊이 카메라(210)와 칼라 카메라(220)의 화각 위치(P, P')를 일정각도(β)로 변화시키고, 화각 확장부(230)에 의해 화각 위치(P, P')가 일정각도(β)로 변화되는 동안 제1 제어부(250)가 촬영되는 깊이 영상의 영상 프레임들과 칼라 영상의 영상 프레임들을 각각 합성하여 화각이 확장된 단일 깊이 영상과 단일 칼라 영상으로 변환한다. 또한, 화각 위치(P, P')가 변화되는 일정각도는 사용자에 의해 0°내지 270°, 바람직하게는 142° 내지 270°의 범위로 설정될 수 있다. 따라서, 본 발명의 깊이 카메라 장치(200) 및 그것을 구비한 3D영상 디스플레이 시스템(100)은 3D 파노라마 영상과 같은 다양한 화각과 해상도를 가지는 3D 영상을 촬영할 수 있다.

이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.

100, 100', 100": 디스플레이 시스템 200: 깊이 카메라 장치
210: 깊이 카메라 221: IR 패턴 발생기
213: 제1 이미지 센서 220: 칼라 카메라
230: 화각 확장부 231: 방향전환부
233: 프리즘 렌즈 236: 회전부
237: 모터 239: 엔코더
240: 제1 저장부 250: 제1 제어부
300: 디스플레이 장치 310: 제2 제어부
320: 합성부 330: 프로그램 엔진부
331: 프로그램생성 블록 333: 영상처리 블록
360: 디스플레이부

Claims

제1광을 이용하여 피사체의 깊이 영상을 촬영하는 깊이 카메라와;
외부에서 입력되는 제2광을 영상신호로 변환하여 상기 피사체의 칼라 영상을 촬영하는 칼라 카메라와;
상기 깊이 카메라 및 상기 칼라 카메라와 상기 피사체 사이의 광 경로에 설치되고, 상기 깊이 카메라와 상기 칼라 카메라가 상기 피사체를 촬영할 수 있는 화각을 변화시키도록 회전할 수 있게 배치되어 상기 제1 및 제2광을 반사시킴과 함께 이동방향을 전환하는 반사면을 구비한 렌즈를 포함하는 화각 확장부와;
상기 깊이 카메라와 상기 칼라 카메라에 의해 상기 피사체가 촬영되는 상태에서 상기 반사면을 회전시켜서 상기 깊이 카메라와 상기 칼라 카메라의 화각을 변경시키도록 상기 화각 확장부 를 제어하고,
상기 깊이 카메라에 의해 촬영되는 깊이 영상 프레임들과 상기 칼라 카메라에 의해 촬영되는 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상을 형성하는 제어부를 포함하는 것을 특징으로 하는 깊이 카메라 장치.
제1항에 있어서,
상기 깊이 카메라는,
상기 제1광을 일정한 패턴으로 발생하는 패턴 발생기와;
상기 피사체로부터 반사되어 오는 상기 일정한 패턴의 제1광을 깊이 영상 신호로 변환하는 이미지 센서를 포함하는 것을 특징으로 하는 깊이 카메라 장치.
제2항에 있어서,
상기 깊이 영상 신호는 상기 피사체와의 거리정보를 포함하는 것을 특징으로 하는 깊이 카메라 장치.
제2항에 있어서,
상기 화각 확장부는,
상기 깊이 카메라 및 칼라 카메라와 상기 피사체 사이의 상기 광 경로에 배치되어 상기 제1 및 제2광의 방향을 전환하는 일정한 기울기를 갖는 상기 반사면을 구비하는 방향전환부와,
상기 방향전환부를 회전시키는 회전부를 포함하는 것을 특징으로 하는 깊이 카메라 장치.
삭제
제4항에 있어서,
상기 회전부는,
구동축이 상기 방향전환부에 연결된 모터와;
상기 모터의 구동축에 설치되고 상기 구동축의 회전을 감지하는 엔코더를 포함하는 것을 특징으로 하는 깊이 카메라 장치.
제1항에 있어서,
상기 화각은 사용자에 의해 0°내지 270°의 범위로 설정되는 것을 특징으로 하는 깊이 카메라 장치.
제4항에 있어서,
상기 제어부는 상기 피사체에서 반사되어 오는 상기 일정한 패턴의 상기 제1광의 각 지점에서 상기 제1광의 기준광에 대한 상기 피사체와의 거리차를 계산하여 상기 제1광의 각각에 대한 픽셀 값에서 상기 계산된 거리차에 대한 픽셀 값을 차감하여 상기 반사면의 기울기로 인해 발생하는 상기 피사체에 대한 거리 왜곡을 보정하는 것을 특징으로 하는 깊이 카메라 장치.
제8항에 있어서,
상기 제어부는 상기 깊이 카메라와 상기 칼라 카메라 사이의 위치 차이로 인해 발생하는 상기 깊이 영상의 픽셀 위치와 상기 칼라 영상의 픽셀 위치 사이의 편차를 상기 깊이 카메라와 상기 칼라 카메라 사이의 위치 차이를 고려하여 보정하는 것을 특징으로 하는 깊이 카메라 장치.
제9항에 있어서,
상기 편차는 동일 특징점을 매칭시키거나, 상기 깊이 영상과 상기 칼라 영상에 대한 출력영상 위치 매트릭스를 이용하여 이동 매트릭스를 연산한 후 상기 연산된 이동 매트릭스를 토대로 상기 깊이 영상 또는 상기 칼라 영상에 대한 영상 데이터를 크롭시키는 것에 의해 보정되는 것을 특징으로 하는 깊이 카메라 장치.
제1항에 있어서,
상기 제어부는 상기 깊이 영상과 상기 칼라 영상을 동일한 해상도로 조절하는 것을 특징으로 하는 깊이 카메라 장치.
제11항에 있어서,
상기 해상도는 깊이 영상을 기준으로 조절되는 것을 특징으로 하는 깊이 카메라 장치.
제1광을 이용하여 피사체의 깊이 영상을 촬영하는 단계와;
외부에서 입력되는 제2광을 영상신호로 변환하여 상기 피사체의 칼라 영상을 촬영하는 단계와;
상기 깊이 영상과 상기 칼라 영상이 촬영되는 화각을 변경시키도록 상기 제1 및 제2광을 반사시킴과 함께 이동방향을 전환하는 반사면을 구비한 프리즘 렌즈를 회전시키는 단계와;
상기 깊이 영상 프레임들과 상기 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 깊이 카메라 장치의 제어 방법.
제13항에 있어서,
상기 회전시키는 단계는 상기 제1광을 상기 피사체에 일정한 패턴으로 전송하고 상기 피사체에서 반사되어오는 상기 제1광을 깊이 카메라로 전송하도록 상기 제1광의 방향을 전환하고 상기 외부에서 입력되는 상기 제2광을 칼라 카메라로 향하도록 상기 제2광의 방향을 전환하는 일정 기울기는 갖는 상기 반사면을 일정각도로 회전시키는 단계를 포함하는 것을 특징으로 하는 깊이 카메라 장치의 제어 방법.
제14항에 있어서,
상기 변환 단계는 상기 피사체에서 반사되어 오는 일정한 패턴의 상기 제1광의 각 지점에서 상기 제1광의 기준 광에 대한 상기 피사체와의 거리차를 계산하여 상기 제1광의 각각에 대한 픽셀 값에서 상기 계산된 거리차에 대한 픽셀 값을 차감하여 상기 반사면의 기울기로 인해 발생하는 상기 피사체에 대한 거리 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 하는 깊이 카메라 장치의 제어 방법.
제15항에 있어서,
상기 변환 단계는 상기 촬영되는 깊이 영상의 픽셀 위치와 상기 촬영되는 칼라 영상의 픽셀 위치 사이의 편차를 상기 깊이 카메라와 상기 칼라 카메라 사이의 위치 차이를 고려하여 보정하는 단계를 더 포함하는 것을 특징으로 하는 깊이 카메라 장치의 제어 방법.
제16항에 있어서,
상기 변환 단계는 상기 촬영되는 깊이 영상과 칼라 영상을 동일한 해상도로 조절하는 단계를 더 포함하는 것을 특징으로 하는 깊이 카메라 장치의 제어 방법.
깊이 영상을 촬영하는 깊이 카메라와 칼라 영상을 촬영하는 칼라 카메라를 구비하는 제1항 내지 제4항 및 제6항 내지 제12항 중의 어느 한 항에 따른 깊이 카메라 장치와;
상기 깊이 카메라 장치에 의해 촬영된 깊이 영상과 칼라 영상을 합성하여 3D영상을 형성하는 합성부를 구비하는 제2 제어부와;
상기 합성부에 의해 형성된 3D 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 디스플레이 시스템.
제18항에 있어서,
상기 제2 제어부는 상기 깊이 카메라 장치에 의해 촬영된 깊이 영상과 칼라 영상 중의 적어도 하나를 토대로 필요한 어플리케이션을 실행하는 데 필요한 그래픽 데이터와 텍스트 데이터 중의 적어도 하나를 생성하여 출력하는 프로그램 엔진부를 더 포함하는 것을 특징으로 하는 디스플레이 시스템.
제19항에 있어서,
상기 프로그램 엔진부는,
상기 깊이 카메라 장치에 의해 촬영된 깊이 영상과 칼라 영상 중의 적어도 하나를 토대로 사용자의 모션을 인식하고 상기 인식된 모션에 따라 상기 필요한 어플리케이션을 실행하기 위한 그래픽 데이터와 텍스트 데이터 중의 적어도 하나를 생성하는 프로그램 생성 블록과;
상기 생성된 그래픽 데이터와 텍스트 데이터 중의 적어도 하나에 대해 영상 처리하여 상기 합성부로 출력하는 영상처리 블록을 포함하는 것을 특징으로 하는 디스플레이 시스템.
제18항에 있어서,
상기 디스플레이 시스템은 3D TV 시스템, 3D PC 시스템, 또는 증강현실 안경을 포함하는 것을 특징으로 하는 디스플레이 시스템.
제1광을 이용하여 깊이 영상을 촬영하는 깊이 카메라와 제2광을 이용하여 칼라 영상을 촬영하는 칼라 카메라를 구비하는 깊이 카메라 장치를 포함하는 디스플레이 시스템의 제어방법에 있어서,
상기 깊이 카메라와 상기 칼라 카메라가 촬영할 수 있는 화각을 설정하도록 상기 제1 및 제2광을 반사시킴과 함께 이동방향을 전환하는 반사면을 구비한 프리즘 렌즈를 회전시키는 단계와;
상기 깊이 영상과 상기 칼라 영상을 촬영하는 단계와;
상기 촬영된 깊이 영상과 칼라 영상을 합성하여 3D 영상을 형성하는 단계와;
상기 형성된 3D 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 디스플레이 시스템의 제어방법.
제22항에 있어서,
촬영 모드 또는 어플리케이션 실행 모드 인지를 판단하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 시스템의 제어방법.
제23항에 있어서,
상기 판단결과 상기 촬영 모드일 경우, 상기 형성단계는 상기 촬영된 깊이 영상과 칼라 영상만을 합성하여 상기 3D 영상을 형성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 시스템의 제어방법.
제23항에 있어서,
상기 판단결과 상기 어플리케이션 실행모드일 경우, 상기 형성단계는,
상기 촬영된 깊이 영상과 칼라 영상 중의 적어도 하나를 토대로 필요한 어플리케이션을 실행하는 데 필요한 그래픽 데이터와 텍스트 데이터 중의 적어도 하나를 생성하는 단계와;
상기 생성된 그래픽 데이터와 텍스트 데이터 중의 적어도 하나에 대한 영상을 처리하는 단계와;
상기 처리된 그래픽 데이터와 텍스트 데이터 중의 적어도 하나와 상기 촬영된 깊이 영상 및 칼라 영상을 합성하여 3D 어플리케이션 영상을 형성하는 단계를 포함하는 것을 특징으로 하는 디스플레이 시스템의 제어방법.