KR101723235B1

KR101723235B1 - 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법

Info

Publication number: KR101723235B1
Application number: KR1020100096565A
Authority: KR
Inventors: 이상경; 최광철
Original assignee: 삼성전자주식회사
Priority date: 2010-10-04
Filing date: 2010-10-04
Publication date: 2017-04-04
Anticipated expiration: 2030-10-04
Also published as: US20120081520A1; US9225960B2; KR20120035071A

Abstract

본 발명은 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 양안차가 반영된 입체 영상을 생성하기 위해 입체 영상 내의 적어도 하나의 오브젝트 중에서 입체감 감쇠를 수행할 오브젝트를 추출하고, 적어도 하나의 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출한 후 추출된 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입체 영상을 출력함으로써 디스플레이 화면 가장자리와 겹쳐서 표시되는 입체 영상의 입체감을 감쇠하여 눈의 피로와 불쾌감을 최소화할 수 있다.

Description

입체 영상의 입체감을 감쇠하기 위한 장치 및 방법{APPARATUS AND METHOD FOR ATTENUATING THREE DIMENSIONAL EFFECT OF STEREOSCOPIC IMAGE}

본 발명은 입체 영상 감쇠 장치 및 방법에 관한 것으로, 특히 화면 가장자리와 겹쳐서 디스플레이된 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법을 제공한다.

일반적으로 입체 영상은 사람이 좌, 우 눈을 통해 보는 영상의 양안차를 이용해서 공간감을 인식하는 원리를 이용하여 생성된다. 이러한 입체 영상을 생성하기 위해 두 대 이상의 카메라를 수평으로 배치하여 촬영하는데, 이렇게 촬영된 입체 영상 안의 사물들은 두 카메라에 의한 양안차가 반영되어 있다.

이처럼 좌 카메라, 우 카메라를 통해서 촬영된 두 장의 이미지를 조합하여 출력함으로써 사용자가 조합된 영상에 대한 입체감을 느끼게 된다.

이러한 원리는 컴퓨터 그래픽스 분야에도 동일하게 적용된다. 컴퓨터 그래픽 렌더링 과정에서 가상 카메라를 이용하여 공간감을 인식한 후 입체 영상을 생성하는데, 이러한 가상 카메라를 좌, 우 배치하여 입체 영상을 렌더링한다.

이와 같이 렌더링된 입체 영상은 디스플레이 화면에서 사용자에게 입체감을 주기 위해서 앞 또는 뒤에 위치하여 디스플레이된다.

상기와 같이 종래에는 카메라로 촬영된 영상, 후처리를 통하여 입체로 변환된 영상, 컴퓨터 그래픽스 기술 기반으로 렌더링된 스테레오 영상은 좌, 우 영상에 반영된 양안차를 이용하여 최종 입체 영상을 합성하고 화면에 출력하였다.

하지만 디스플레이 화면에 입체영상이 표시되는 경우, 화면 가장자리와 겹쳐서 표시되는 입체 영상은 입체감을 적용해도 입체로 보여지기 어렵고, 입체로 보여진다고 해도 디스플레이 장치의 화면 앞에 맺히는 영상이 겹쳐서 보이기 때문에 사용자에게 눈의 피로와 시각적 불쾌감을 줄 수 있는 문제점이 있다.

이를 방지하기 위해 디스플레이 속성에 따라 디스플레이 화면 가장자리에 허용되는 양안차가 달라지므로 이를 입체 영상 재생 중에 실시간으로 보정해야 하는 장치가 필요하다.

상술한 바를 달성하기 위한 본 발명은 입체감을 감쇠하기 위한 장치에 있어서, 양안차가 반영된 입체 영상을 생성하는 그래픽 처리부와, 상기의 입체 영상 내의 적어도 하나의 오브젝트의 위치에 따라 입체 감쇠를 수행하는 입체감 감쇠부와, 상기 그래픽 처리부를 통해서 상기 입체 영상을 생성할 시 상기 적어도 하나의 오브젝트 중에서 입체감 감쇠를 수행할 오브젝트를 추출하고, 상기 적어도 하나의 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출한 후 상기 추출된 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입체 영상을 출력하도록 상기 입체감 감쇠부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 입체감 감쇠 장치에서 입체감을 감쇠하기 위한 방법에 있어서, 양안차가 반영된 입체 영상을 생성하기 위해 상기 입체 영상 내의 적어도 하나의 오브젝트 중에서 입체감 감쇠를 수행할 오브젝트를 추출하는 과정과, 상기 적어도 하나의 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출하는 과정과, 상기 추출된 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입체 영상을 출력하는 과정을 포함함을 특징으로 한다.

본 발명은 입체 영상 내의 오브젝트가 디스플레이 화면 가장자리와 겹쳐서 디스플레이 될 시 오브젝트의 입체감을 감쇠하여 과도한 양안차에 의한 눈의 피로와 시각적 불쾌감을 최소화할 수 있다는 이점이 있다.

도 1은 본 발명의 실시 예에 따른 입체감 감쇠 장치의 구성도,
도 2 내지 도 7은 본 발명의 실시 예에 따라 입체 영상 감쇠 장치가 입체 영상의 입체감을 감쇠하는 과정을 설명하기 위한 예시도들,
도 8은 본 발명의 실시 예에 따라 입체 영상 감쇠 장치에서 입체 영상 내의 오브젝트에 대한 입체감 감쇠를 수행하는 과정을 나타내기 위한 흐름도,
도 9는 본 발명의 실시 예에 따라 입체감 감쇠부에서 두 대 이상의 카메라를 통해서 촬영된 이미지를 이용하여 양안차를 조정하는 과정을 나타내는 흐름도,
도 10 내지 도 12는 본 발명의 실시 예에 따라 두 대의 카메라를 통해서 촬영된 좌측, 우측 이미지를 조합한 오브젝트의 입체감을 감쇠하기 위한 과정을 설명하기 위한 예시도들,
도 13은 본 발명의 실시 예에 따라 산출된 허용 양안차를 바탕으로 분할된 입체 영역 각각에 대한 픽셀을 이동하여 양안차를 조정하는 과정을 설명하기 위한 예시도,
도 14는 본 발명의 실시 예에 따라 입체감 감쇠부에서 컴퓨터 그래픽스 기술을 기반으로 생성된 입체 영상의 양안차를 조정하는 과정을 나타내는 흐름도,
도 15 내지 16은 본 발명의 실시 예에서 디스플레이 화면의 위치에 따른 허용 양안차를 이용하여 오브젝트의 위치를 이동시켜 양안차를 조절하기 위한 과정을 설명하기 위한 예시도들,
도 17 내지 도 19는 본 발명의 실시 예에서 컴퓨터 그래픽스 기반의 오브젝트의 입체감을 감쇠하기 위한 과정을 설명하기 위한 예시도들.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 실시 예에 따른 입체 영상 감쇠 장치의 구성도이다.

본 발명의 입체 영상 감쇠 장치는 제어부(100), 키 입력부(110), 카메라부(120), 그래픽 처리부(130), 프리뷰 영상(Preview Image) 생성부(140), 입체감 감쇠부(150), 이미지 워핑(Warping)부(160), 메모리부(170), 디스플레이부(180)를 포함한다.

먼저, 제어부(100)는 전반적인 입체 영상 감쇠 장치의 키 입력부(110)를 통해서 입체 영상을 화면에 디스플레이하기 위한 요청이 있으면 메모리부(170)에 저장된 좌측 이미지와 우측 이미지를 조합하여 입체 영상을 생성하도록 그래픽 처리부(130)를 제어한다. 이때, 제어부(100)는 컴퓨터 그래픽스 기술을 기반으로 한 입체 영상을 생성하도록 그래픽 처리부(130)를 제어할 수 있다.

제어부(100)는 생성된 입체 영상 내의 오브젝트가 디스플레이부(180)의 화면 경계 영역에 겹쳐서 디스플레이 되는지 여부를 판단하고, 화면 경계 영역에 겹쳐서 디스플레이 된다고 판단될 경우 화면 경계 영역과 겹치는 오브젝트의 입체감이 감쇠되어 입체 영상의 양안차가 조정되도록 입체감 감쇠부(150)를 제어한다.

이와 같이 입체감이 감쇠된 입체 영상은 왜곡이 존재할 수 있기 때문에 제어부(100)는 이미지 워핑부(160)를 통해서 입체감이 감쇠된 입체 영상에 대한 왜곡을 최소화시킨다.

이후 제어부(100)는 최종 입체 영상을 메모리부(170)에 저장한 후 디스플레이부(180)를 통해서 화면에 표시한다.

한편, 제어부(100)는 키 입력부(110)를 통해서 프리뷰 영상을 화면에 디스플레이하기 위한 요청이 있으면 카메라부(120)를 통해서 입력된 영상을 이용하여 그래픽 처리부(130)를 통해서 입체 영상을 생성한다.

생성된 입체 영상 내의 오브젝트가 디스플레이부(180)의 화면 경계 영역에 겹쳐서 디스플레이 되는지 여부를 판단하고, 화면 경계 영역에 겹쳐서 디스플레이 된다고 판단될 경우 화면 경계 영역과 겹치는 오브젝트의 입체감이 감쇠되어 입체 영상의 양안차가 조정되도록 입체감 감쇠부(150)를 제어한다.

제어부(100)는 이미지 워핑부(160)를 통해서 입체감이 감쇠된 입체 영상에 대한 왜곡을 최소화시킨 최종 입체 영상을 출력하고, 최종 입체 영상을 프리뷰 화면 사이즈의 프리뷰 영상으로 변환하도록 프리뷰 영상 생성부(140)을 제어한다.

이후 제어부(100)는 생성된 프리뷰 영상을 디스플레이부(180)를 통해서 화면에 표시한다.

상기의 입체감 감쇠 과정을 도 2 내지 도 7을 참조하여 예시적으로 살펴보면 다음과 같다.

도 2 내지 도 7은 본 발명의 실시 예에 따라 입체 영상 감쇠 장치가 입체 영상의 입체감을 감쇠하는 과정을 설명하기 위한 예시도들이다.

먼저, 제어부(100)는 두 대의 카메라를 통해서 촬영된 좌측 이미지(200)와 우측 이미지(201)를 그래픽 처리부(130)를 통해서 조합하여 입체 영상(202)을 생성한다. 이때 생성된 입체 영상은 참조부호 203에 해당하는 양안차를 갖는다.

이와 같이 생성된 입체 영상은 좌측 이미지(200) 내의 좌측 오브젝트와 우측 이미지(201) 내의 우측 오브젝트의 양안 차이에 의해 사용자가 시각적으로 입체감을 느끼게 된다.

즉, 사용자는 도 3과 같이 디스플레이 화면(205)을 기준으로 입체 영상 내의 오브젝트들이 양안 차이에 의해서 앞 또는 뒤에 있는 느낌을 가질 수 있다.

여기서, 오브젝트의 형상(206)은 화면상에 그려진 우측 오브젝트 및 좌측 오브젝트에 의해서 결합되어 디스플레이 화면(205) 앞에 맺힌 상을 나타낸다.

이와 같이 디스플레이 화면(205)의 가장자리에 디스플레이되는 오브젝트의 형상(206)은 너무 큰 양안차가 반영되어 상이 디스플레이 장치 프레임(207)과 겹치게 되어 사용자에게 시각적으로 혼란을 일으키고, 눈의 피로를 증가시킬 수 있다.

이에 따라 제어부(100)는 도 5와 같이 화면 위치에 따라 허용되는 양안차를 나타내는 허용 양안차 정보(208)를 이용하여 오브젝트의 형상(206)에 대한 양안차를 조정한다. 즉, 제어부(100)는 오브젝트(206)의 형상에 대한 입체감이 화면 가장자리에서 허용되는 입체감보다 크면 오브젝트(206)의 양안차를 도 6의 참조부호 210과 같이 오른쪽 방향으로 이동시켜 양안차를 조절할 수 있다. 즉, 우측 화면(601)상의 오브젝트와 좌측 화면(600)상의 오브젝트에서 양안차를 조절하기 위해서 좌측 화면(600)상의 오브젝트의 위치를 오른쪽 방향으로 이동시킴으로써 입체감이 감쇠된 입체 영상(602)을 생성할 수 있게 된다.

도 5에서 오브젝트(209)의 형상은 입체감 감쇠가 적용된 상태를 나타내며, 도 7의 오브젝트(211)의 형상은 디스플레이 장치에서 감쇠 적용 전 화면 앞에 보이는 오브젝트(206)의 형상에 대한 입체감이 조정되어 디스플레이 화면 뒤에 맺히는 것을 나타낸다.

키 입력부(110)는 입체 영상을 화면에 디스플레이하기 위한 요청을 입력받는 키를 구비하고, 프리뷰 영상을 화면에 디스플레이하기 위한 요청을 입력받는 키를 구비한다. 또한, 키 입력부(110)는 카메라부(120)를 구동하기 위한 요청을 입력받는 키를 구비한다.

카메라부(120)는 렌즈를 통해서 입력된 광신호를 이미지로 변환하여 출력한다. 본 발명의 실시 예에서 카메라부(120)는 두 대 이상의 카메라를 구비하여 좌측 이미지와 우측 이미지를 촬영한다.

그래픽 처리부(130)는 전반적인 입체 영상에 대한 렌더링을 수행하는데, 특히, 메모리부(170)에 저장된 좌측 이미지와 우측 이미지를 결합한 입체 영상을 생성하거나, 컴퓨터 그래픽스 기술을 기반으로 한 입체 영상을 생성한다.

프리뷰 이미지 생성부(140)는 카메라부(120)를 통해서 들어오는 입력 영상을 디스플레이부(170)의 화면에 동시에 출력하기 위한 영상 처리를 수행한다. 예를 들어, 디지털 카메라 또는 휴대폰 카메라와 같은 소형의 영상 장치에서는 영상을 출력하는 LCD 화면 사이즈가 작기 때문에 프리뷰 이미지 생성부(140)는 입력 영상을 LCD 화면 사이즈에 맞는 프리뷰 이미지로 생성한다.

입체감 감쇠부(150)는 미리 설정된 허용 양안차 정보를 이용하여 렌더링된 입체 영상에 대한 입체감을 감쇠하여 입체 영상의 양안차를 조정한다. 여기서 허용 양안차 정보는 디스플레이부(170) 화면에서 입체 영상 내의 오브젝트의 위치에 따라 화면 위치에 따라 허용되는 양안차를 미리 설정한 정보를 의미한다. 이러한 허용 양안차 정보는 디스플레이 장치의 제조사에 따라 다르게 설정될 수 있다.

이미지 워핑(Warping)부(160)는 입체감 감쇠에 의한 입체 영상의 왜곡을 최소화하는 동작을 수행한다. 예를 들어 오른쪽 이미지 특정 영역의 양안차를 줄이기 위해 그 부분을 늘이기 되면 왼쪽 이미지와 양안차이는 줄어들지만 두 영상에서 형상 차이가 생기게 된다. 이런 차이를 최소화 하기 위해 왼쪽 이미지 역시 왜곡된 오른쪽 형상에 부합하는 형상으로 워핑시키게 된다.

메모리부(170)는 두 대 이상의 카메라로 촬영된 좌측 이미지, 우측 이미지를 저장하고, 좌측 이미지와 우측 이미지를 조합한 입체 영상을 저장한다. 또한, 메모리부(170)는 양안차가 조절된 최종 입체 영상을 저장한다.

디스플레이부(180)는 액정표시장치와 같이 입체 영상을 출력하는데, 최종 입체 영상을 화면에 디스플레이한다.

이와 같이 본 발명은 입체 영상 내의 오브젝트가 디스플레이 화면 가장자리에 가까운 경우 오브젝트의 입체감을 감쇠시킴으로써 과도한 양안차에 의한 시각적 피로감과 불쾌감을 최소화할 수 있다.

상기와 같이 본 발명에서는 두 대 이상의 카메라를 통해서 촬영된 이미지를 이용한 입체 영상의 입체감 감쇠를 수행하거나, 컴퓨터 그래픽스 기술을 기반으로 생성된 입체 영상의 입체감 감쇠를 수행한다.

상기와 같은 실시 예들에 대해서 구체적으로 하기에서 살펴보도록 한다.

도 8은 본 발명의 실시 예에 따라 입체 영상 감쇠 장치에서 입체 영상 내의 오브젝트에 대한 입체감 감쇠를 수행하는 과정을 나타내기 위한 흐름도이다.

800단계에서 제어부(100)는 키 입력부(110)를 통해서 입체 영상을 디스플레이하기 위한 요청이 있으면 요청에 따라 그래픽 처리부(130)를 통해서 양안차가 반영된 입체 영상을 생성한다. 이때, 양안차가 반영된 입체 영상은 두 대의 카메라를 통해서 입력된 좌측 이미지와 우측 이미지를 이용하여 생성된다.

801단계에서 제어부(100)는 생성된 입체 영상 내의 오브젝트들 중 허용 양안차보다 큰 양안차를 가지는 오브젝트를 추출한다. 여기서, 제어부(100)는 오브젝트의 위치에 따라 허용되는 양안차와 오브젝트를 비교하여 허용 양안차보다 큰 양안차를 가지는 오브젝트를 추출할 수 있다.

802단계에서 제어부(100)는 디스플레이 화면에서 미리 설정된 허용 양안차에 따른 감쇠 정도를 입체감 감쇠부(150)를 통해서 산출하고, 산출된 감쇠 정도를 이용하여 추출된 오브젝트에 대한 양안차를 조정한다.

본 발명의 실시 예에서는 두 대 이상의 카메라를 통해서 촬영된 이미지를 이용하여 양안차를 조정하는 과정과, 컴퓨터 그래픽스 기술을 기반으로 생성된 입체 영상의 양안차를 조정하는 과정으로 설명할 수 있다.

도 9는 본 발명의 실시 예에 따라 입체감 감쇠부에서 두 대 이상의 카메라를 통해서 촬영된 이미지를 이용하여 양안차를 조정하는 과정을 나타내는 흐름도이다.

900단계에서 입체감 감쇠부(150)는 양안차가 반영된 입체 영상 내의 오브젝트에 대한 허용되는 양안차를 산출한다. 이에 대해서 구체적으로 도 10 내지 도 12를 참조하여 설명하도록 한다.

도 10 내지 도 12는 본 발명의 실시 예에 따라 두 대의 카메라를 통해서 촬영된 좌측, 우측 이미지를 조합한 오브젝트의 입체감을 감쇠하기 위한 과정을 설명하기 위한 예시도들이다.

입체감 감쇠부(150)는 미리 설정된 디스플레이 화면의 위치에 따라 허용되는 양안차를 나타내는 허용 양안차 정보를 이용하여 화면 내에서 도 10의 오브젝트(500)의 x축(501) 위치 좌표와 y축(502) 위치 좌표에 대응하는 허용 양안차를 산출한다. 이때, 산출된 허용 양안차는 참조부호 503과 같다. 여기서, 입체감 감쇠도는 도 11과 같은 그래프로 나타낼 수 있다. 도 11에서 입체감 감쇠도 그래프는 다차 함수(504)로 표현 가능하며, 이러한 함수(504)는 화면상에 적용되는 허용 양안차를 나타낸다.

또한, 허용 양안차 그래프는 x축이 화면 가장자리에서 화면 중앙까지의 위치를 나타내고, y축이 화면 상의 위치에서 가질 수 있는 양안차 값을 나타낸다. 이때, 허용 양안차 그래프는 x축을 중심으로 화면 중앙이 최대 입체감을 가지도록 설정되고, 화면 가장자리가 최소 입체감을 가지도록 설정된다.

예를 들어, 좌, 우 영상이 합성되어 입체 영상(506)을 구성한다면 좌영상에 그려진 오브젝트(508)과 우영상에 그려진 오브젝트(507)는 양안차에 의해 도 12와 같이 위치하게 된다.

도 12와 같이 양안차이를 설정하게 되면 화면 가장자리에서 입체감이 큰 입체 영상을 출력하게 될 것이다.

따라서, 입체감 감쇠부(150)는 오브젝트(507)의 x축 위치에 따라 허용되는 양안차를 산출한다.

902단계에서 입체감 감쇠부(150)는 오브젝트를 미리 설정된 영역으로 분할한다. 여기서, 분할 영역 크기는 미리 설정될 수 있으며, 본 발명의 실시 예에서는 3등분으로 분할된 영역을 예로 설명하도록 한다.

903단계에서 입체감 감쇠부(150)는 산출된 허용 양안차를 바탕으로 분할된 입체 영역별로 각 분할 영역에 대한 픽셀을 이동시켜 양안차를 조정한다.

이에 대해서 구체적으로 도 13을 이용하여 살펴보면, 입체감 감쇠부(150)는 3개로 분할된 영역들 각각에 대한 대표 픽셀을 설정하고, 설정된 대표 픽셀들 각각의 위치에 허용하는 양안차를 입체감 감쇠도를 통해서 산출한다.

입체감 감쇠부(150)는 산출된 허용 양안차만큼 분할된 각 분할 영역별로 입체 영상을 구성하는 픽셀들을 이동시킨다.

예를 들어, 입체감 감쇠부(150)는 도 13의 참조부호 509과 같이 오브젝트를 3개의 영역을 분할하고, 분할된 각 영역에서 대표 픽셀을 설정한다.

입체감 감쇠부(150)는 이와 같이 설정된 대표 픽셀들 각각의 위치에 허용되는 양안차를 산출하고, 산출된 양안차에 대응되도록 분할 영역의 픽셀들을 이동시킨다. 도 12의 오브젝트(508)이 좌측으로 이동한다면, 양안차가 조절된 오브젝트는 도 13의 참조부호 511과 같이 나타낼 수 있다. 영역별로 픽셀 이동이 된 오브젝트(511)는 분할된 영역 마다 허용 양안차가 다르고, 이로 인해 픽셀 이동 거리 크기가 다르므로 원래 형상(511)과 다르게 왜곡될 수 있다. 예를 들어 영역(514)는 허용 양안차가 작기 때문에 영역(514)안에 있는 오브젝트(511)의 픽셀들의 위치가 오브젝트(510)과 거의 일치하지만, 영역(513)은 허용 양안차가 크기 때문에 오브젝트(511)의 픽셀들의 위치가 오브젝트(510)의 픽셀보다는 허용 양안차만큼 쉬프트된 위치에 위치하게 된다.

이와 같이 영역별로 크기가 다른 양안차가 적용되어 픽셀이 이동하게 되면 오브젝트의 형상이 왜곡되므로 803단계에서 제어부(100)는 이미지 워핑부(160)를 통해서 오브젝트의 형상을 워핑하여 왜곡을 최소화하여 최종 입체 영상을 생성한다. 즉, 오브젝트(510)을 왜곡된 오브젝트(511) 형상과 유사하게 워핑시킴으로서 형상을 일치시켜 최종 입체 영상에서 두 오브젝트 간의 일치성을 높일 수 있다.

804단계에서 제어부(100)는 생성된 최종 입체 영상을 디스플레이부(180)를 통해서 표시한다.

도 14는 본 발명의 실시 예에 따라 입체감 감쇠부에서 컴퓨터 그래픽스 기술을 기반으로 생성된 입체 영상의 양안차를 조정하는 과정을 나타내는 흐름도이다.

1400단계에서 제어부(100)는 그래픽 처리부(130)를 통해서 양안차가 반영된 오브젝트를 생성한다.

1401단계에서 제어부(100)는 생성된 오브젝트의 허용 양안차를 산출한다.

1402단계에서 제어부(100)는 생성된 오브젝트의 양안차가 산출된 허용 양안차보다 큰지 여부를 판단하여 크면 1403단계를 진행하고, 그렇지 않으면 1408단계로 진행한다. 여기서, 오브젝트의 양안차가 허용 양안차보다 큰지 여부를 판단하는 것은 입체감 감쇠를 위한 양안차 조절을 수행할 것인지 여부를 판단하기 위함이다.

1403단계에서 제어부(100)는 오브젝트의 분할이 필요한지 여부를 판단하여 필요하면 1405단계로 진행하고, 그렇지 않으면 1404단계에서 입체감 감소도에 따라 오브젝트의 양안차를 조절한다.

이에 대해서 구체적으로 도 15 내지 도 16을 참조하여 설명하도록 한다.

도 15 내지 도 16은 본 발명의 실시 예에서 디스플레이 화면의 위치에 따른 허용 양안차를 이용하여 오브젝트의 위치를 이동시켜 양안차를 조절하기 위한 과정을 설명하기 위한 예시도들이다.

도 15에서 오브젝트(600)는 좌측 카메라 시점(601)과 우측 카메라 시점(602)에 의한 양안차로 인해 렌더링 시 좌측 카메라 시점(601)에 따라 제1 입체 변환 매트릭스(M1)를 적용하고, 우측 카메라 시점(602)에 따라 제2 입체 변환 매트릭스(M2)를 적용하여 디스플레이 화면 가장자리 앞에 디스플레이 된다.

이와 같이 디스플레이된 오브젝트의 입체감을 감쇠시키기 위해 양안차를 조정하게 된다. 화면 가장자리에서 입체감을 감쇠시키는 것은 렌더링 되는 오브젝트(600)에 대한 좌측 영상(604), 우측 영상(603)간의 양안차가 작아지도록 하는 것을 의미한다.

즉, 도 16과 같이 오브젝트(600)가 좌측 영상(604)에 렌더링 될 때 우측 영상(603)과의 양안차를 작게 하기 위해서 입체감 감쇠부(150)는 오브젝트(600)의 위치에 따른 허용 양안차를 산출하여 좌측 영상(604) 내의 오브젝트 위치를 이동시켜 오브젝트(600)의 양안차를 조절할 수 있다.위의 경우는 오브젝트에 대응되는 하나의 변환 매트릭스를 허용 양안차에 맞게 변경하여 좌, 우 양안차를 줄이는 과정이다. 하지만 장면에 따라 하나의 오브젝트를 분할하여 분할한 영역마다 서로 다른 변환 매트릭스를 적용하는 경우도 있는데, 이러한 경우는 1405단계 이후부터 설명하도록 한다.

예를 들어, 오브젝트 형상의 위치가 다른 오브젝트 형상의 위치보다 앞에 있어서 하나의 입체 변환 매트릭스를 오브젝트에 적용하게 되면 입체 영상의 원근감은 망가지게 된다. 이를 보완하기 위해서 제어부(100)는 오브젝트를 미리 설정된 개수의 영역으로 분할하고, 분할된 영역마다 서로 다른 감쇠 정도가 적용되도록 서로 다른 변환 매트릭스를 적용할 수 있다.

이를 위해 1403단계에서 1405단계로 진행한 제어부(100)는 미리 설정된 개수의 영역으로 오브젝트를 분할하고, 분할 오브젝트마다 입체감 감소 정도에 따른 변환 매트릭스를 적용한다.이에 대해서 구체적으로 도 17 내지 도 19를 참조하여 설명하도록 한다.

도 17 내지 도 19는 본 발명의 실시 예에서 컴퓨터 그래픽스 기반의 오브젝트의 입체감을 감쇠하기 위한 과정을 설명하기 위한 예시도들이다.

도 17의 참조부호 610은 오브젝트를 분할하여 입체감 감쇠를 적용 할오브젝트를 나타낸다.

상기에서 설명한 1405단계와 같이 오브젝트(610)의 양안차를 조정할 경우 오브젝트(610)의 전체가 가지는 입체감이 감쇠되기 때문에 다른 오브젝트(600)와 오브젝트(610)간에 생성된 원근감이 망가지게 된다.

이를 방지하기 위해 입체감 감쇠부(150)는 디스플레이 화면 위치에 따른 허용 양안차를 이용하여 입체감 감쇠 정도를 산출하고, 산출된 입체감 감쇠 정도에 따라 도 18과 같이 디스플레이 화면(603) 상의 오브젝트(610)를 x축 방향을 가로지르는 미리 설정된 개수의 영역으로 분할하여 분할된 영역별로 차등 입체감 감쇠 정도가 적용되도록 입체 변환 매트릭스 값을 수정한다. 이때, 입체감 감쇠부(150)는 도 17 및 도 18과 같이 분할 영역별로 M11, M12, M13, M14와 같은 입체 변환 매트릭스 값을 수정할 수 있다.예를 들어, 도 19와 같이 오브젝트를 폴리곤으로 표현하는 경우 우측 영상 내에는 폴리곤(611)은 정점 V0, V1, V2, V3으로 구성되고, 좌측 영상 내에는 폴리곤(612)이 생성된다. 도 19에서는 폴리곤(611)을 폴리곤(612)보다 위쪽에 위치하도록 도시하였으나 실제 입체 영상으로 구성될 때에는 각 폴리곤들(611, 612)은 서로 겹쳐진다.

입체감 감쇠부(150)는 폴리곤(611)을 복수의 영역으로 분할하고, 분할된 영역별 정점에 대응하는 허용 양안차를 산출하여 산출된 허용 양안차에 따라 감쇠 정도를 차등적으로 적용한다.

이때, 폴리곤 상에서 정점의 위치는 Vn1, Vn3, Vn5와 이에 대응되는 Vn2, Vn4, Vn6이며, 입체감이 감쇠되는 구간 간격마다 위치하는 지점을 나타낸다.

또한, 점선(613)들은 시점을 기준으로 투영되는 투시선을 나타내며, 분할 간격에 따라 개수가 결정된다.

다시 말해서, 이러한 투시선들과 폴리곤(611)의 선분이 만나는 Vn1, Vn3, Vn5을 기준으로 수직으로 선을 그렸을 때, 폴리곤 아래 선분과 만나는 지점이 Vn2, Vn4, Vn6이 된다.

따라서, 입체감 감쇠부(150)는 정점 Vn1, Vn3, Vn5와 이에 대응되는 Vn2, Vn4, Vn6의 위치에 따라 허용 양안차를 산출하고, 산출된 허용 양안차를 바탕으로 감쇠 정도를 반영한 입체 변환 매트릭스 값을 수정하여 양안차를 조정한다.

이후 1406단계에서 제어부(100)는 입체 변환 매트릭스 값이 수정된 오브젝트가 원 형상과 차이가 있는지 판단하여 차이가 없으면 1408단계로 진행하고, 차이가 있으면 1407단계로 진행하여 이미지 워핑부(160)를 통해서 오브젝트의 기하정보를 변경한다.

상기와 같은 입체감 감쇠에 의해서 최종 입체 영상에서 오브젝트에 대해서 계단현상과 같은 왜곡이 일어날 수 있기 때문에 이미지 워핑부(160)는 왜곡을 최소화하기 위해 선택적으로 오브젝트 자체의 기하 정보를 변형한다. 여기서, 기하 정보는 분할된 영역에 대한 정점들을 포함한다.

예를 들어, 선분(615)을 폴리곤(611)을 y축 방향으로 내려다본 모양을 나타낸다고 가정하면 이미지 워핑부(160)는 분할된 영역의 정점들 각각에 대응하는 입체감 감쇠 정도를 고려해서 각 정점들을 z축 방향으로 이동 시킨다. 이때, 기하 정보의 크기, 이동 방향, 간격은 입체감 감쇠 정도에 의해서 결정된다.

즉, 이미지 워핑부는 도 19의 선분(615)의 분할 영역에 해당하는 정점 Vn1, Vn3, Vn5, V2를 입체감 감쇠정도에 따라 Vn1´, Vn3´, Vn5´, V2´로 이동시킨다. 이때, 선분(615)은 정점이 이동된 결과를 나타내며, 이는 폴리곤 형상도 감쇠 정도에 따른 깊이에 따라 보정됨을 나타낸다.

이와 같이 이동된 폴리곤(611)과 폴리곤(612)은 디스플레이 화면의 가장자리(614)에 가까워질수록 양안차가 줄어든 형태로 나타난다.

1402단계, 1404단계, 1406, 1407단계에서 1408단계로 진행한 제어부(100)는 그래픽 처리부(130)를 통해서 오브젝트를 렌더링한다.

1409단계에서 제어부(100)는 렌더링된 최종 입체 영상을 디스플레이부(180)를 통해서 화면에 표시한다.

이와 같은 본 발명은 이와 같이 본 발명은 입체 영상 내의 오브젝트가 디스플레이 화면 가장자리에 가까운 경우 오브젝트의 입체감을 감쇠시킴으로써 과도한 양안차에 의한 시각적 피로감과 불쾌감을 최소화할 수 있다. 또한, 본 발명에서는 두 시점을 이용하는 입체 영상(stereoscopic)을 중심으로 서술하였으나 다시점(multiview) 입체 영상에서도 적용할 수 있다.

100: 제어부
110: 키 입력부
120: 카메라부
130: 그래픽 처리부
140: 프리뷰 영상 생성부
150: 입체감 감쇠부
160: 이미지 워핑부
170: 메모리부
180: 디스플레이부

Claims

입체감을 감쇠하기 위한 장치에 있어서,
양안차가 반영된 입체 영상을 생성하는 그래픽 처리부와,
상기의 입체 영상 내의 적어도 하나의 오브젝트의 위치에 따라 입체 감쇠를 수행하는 입체감 감쇠부와,
상기 그래픽 처리부를 통해서 상기 입체 영상을 생성할 시 상기 적어도 하나의 오브젝트 중에서 입체감 감쇠를 수행할 오브젝트를 추출하고, 상기 추출된 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출한 후 상기 추출된 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입체 영상을 출력하도록 상기 입체감 감쇠부를 제어하는 제어부를 포함하는 것을 특징으로 하는 입체감 감쇠 장치.
제1항에 있어서, 상기 입체감 감쇠부는,
상기 입체 감쇠를 수행할 시 상기 입체 영상 내의 위치에서 허용되는 허용 양안차보다 큰 양안차를 가지는 오브젝트를 추출하고, 상기 산출된 입체 감쇠 정도를 이용하여 상기 추출된 오브젝트의 양안차를 조정하는 것을 특징으로 하는 입체감 감쇠 장치.
제2항에 있어서, 상기 입체 감쇠 정도는,
상기 허용 양안차와 상기 오브젝트에 적용된 적용 양안차 간의 차이값인 것을 특징으로 하는 입체감 감쇠 장치.
제3항에 있어서, 상기 입체감 감쇠부는,
상기 추출된 오브젝트의 위치에서 허용되는 허용 양안차를 산출하고, 상기 추출된 오브젝트를 미리 설정된 개수의 영역으로 분할한 후 상기 분할된 오브젝트의 영역별로 상기 산출된 허용 양안차에 따라 입체 감쇠 정도를 산출하여 상기 분할된 오브젝트 각각에 적용하는 것을 특징으로 하는 입체감 감쇠 장치.
제4항에 있어서, 상기 최종 입체 영상은,
적어도 두 개의 카메라를 통해서 촬영된 복수의 이미지를 조합하여 생성된 영상인 것을 특징으로 하는 입체감 감쇠 장치.
제4항에 있어서, 상기 최종 입체 영상은,
컴퓨터 그래픽스 기반으로 생성된 영상인 것을 특징으로 하는 입체감 감쇠 장치.
제1항에 있어서,
영상을 촬영하는 카메라와,
상기 카메라를 통해서 입력되는 입력 영상을 프리뷰 화면에 동시에 출력하기 위한 프리뷰 영상을 생성하는 프리뷰 영상 생성부를 더 포함하고,
상기 제어부는 상기 입력 영상 내에 상기 추출된 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출하고, 상기 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입력 영상을 처리하여 상기 프리뷰 영상을 생성하도록 상기 프리뷰 영상 생성부를 제어하는 것을 특징으로 하는 입체감 감쇠 장치.
제4항에 있어서,
상기 최종 입체 영상의 왜곡을 최소화하기 위한 영상 처리를 수행하는 이미지 워핑부를 더 포함하고,
상기 제어부는 상기 분할된 오브젝트에 대한 기하 정보를 변형하여 상기 최종 입체 영상의 왜곡을 최소화하도록 상기 이미지 워핑부를 제어하는 것을 특징으로 하는 입체감 감쇠 장치.
입체감 감쇠 장치에서 입체감을 감쇠하기 위한 방법에 있어서,
양안차가 반영된 입체 영상을 생성하기 위해 상기 입체 영상 내의 적어도 하나의 오브젝트 중에서 입체감 감쇠를 수행할 오브젝트를 추출하는 과정과,
상기 추출된 오브젝트의 위치에 대응하는 입체 감쇠 정도를 산출하는 과정과,
상기 추출된 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입체 영상을 출력하는 과정을 포함함을 특징으로 하는 입체감 감쇠 방법.
제9항에 있어서, 상기 입체감 감쇠를 수행할 오브젝트를 추출하는 과정은,
상기 입체 영상 내의 위치에서 허용되는 허용 양안차보다 큰 양안차를 가지는 오브젝트를 추출하는 과정인 것을 특징으로 하는 입체감 감쇠 방법.
제10항에 있어서, 상기 입체 감쇠 정도는,
상기 허용 양안차와 상기 오브젝트에 적용된 적용 양안차 간의 차이값인 것을 특징으로 하는 입체감 감쇠 방법.
제11항에 있어서, 상기 최종 입체 영상을 출력하는 과정은,
상기 추출된 오브젝트의 위치에서 허용되는 허용 양안차를 산출하는 과정과,
상기 추출된 오브젝트를 미리 설정된 개수의 영역으로 분할하는 과정과,
상기 분할된 오브젝트의 영역별로 상기 산출된 허용 양안차에 따라 입체 감쇠 정도를 산출하여 상기 분할된 오브젝트 각각에 적용하는 과정을 포함함을 특징으로 하는 입체감 감쇠 방법.
제12항에 있어서, 상기 최종 입체 영상은,
적어도 두 개의 카메라를 통해서 촬영된 복수의 이미지를 조합하여 생성된 영상인 것을 특징으로 하는 입체감 감쇠 방법.
제12항에 있어서, 상기 최종 입체 영상은,
컴퓨터 그래픽스 기반으로 생성된 영상인 것을 특징으로 하는 입체감 감쇠 방법.
제9항에 있어서,
상기 오브젝트에 상기 산출된 입체 감쇠 정도를 적용한 최종 입력 영상을 처리하여 프리뷰 영상을 생성하는 과정을 더 포함함을 특징으로 하는 입체감 감쇠 방법.
제12항에 있어서,
상기 분할된 오브젝트에 대한 기하 정보를 변형하여 상기 최종 입체 영상의 왜곡을 최소화하는 과정을 더 포함함을 특징으로 하는 입체감 감쇠 방법.