KR101691034B1

KR101691034B1 - 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법

Info

Publication number: KR101691034B1
Application number: KR1020100074845A
Authority: KR
Inventors: 이상경; 최광철
Original assignee: 삼성전자주식회사
Priority date: 2010-08-03
Filing date: 2010-08-03
Publication date: 2016-12-29
Anticipated expiration: 2030-08-03
Also published as: KR20120012698A; US10389995B2; US20120032950A1; US20170111631A1; US9558579B2

Abstract

본 발명은 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법에 관한 것이다. 본 발명에 따른 3차원 그래픽 기반 단말기에서 부가정보 합성 방법은, 깊이 버퍼를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하는 과정과, 상기 결정된 부가정보의 양안차를 고려하여 영상에 상기 부가정보를 오버레이하는 과정을 포함하는 것을 특징으로 한다.

Description

3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법{APPARATUS AND METHOD FOR SYNTHESIZING ADDITIONAL INFORMATION DURING RENDERING OBJECT IN 3D GRAPHIC TERMINAL}

본 발명은 3차원(3Dimension : 3D) 그래픽 기반 단말기에 관한 것으로서, 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법에 관한 것이다. 본 발명에서 사용한 3D 그래픽 기반 단말기란 입체 영상(stereoscopic, multiview) 출력이 가능한 단말기에서 3D 그래픽 기반 기술로 렌더링된 영상을 양안차 기반 입체영상으로 보일 수 있는 단말기를 뜻한다.

최근 들어, 가상 현실 시스템, 컴퓨터 게임 등이 급속하게 발달됨으로써, 컴퓨터 시스템을 이용하여 실제 세계의 객체(object) 및 지형(terrain) 등을 3D(Dimension)로 표현하기 위한 기술이 연구 및 개발되고 있다.

일반적으로, 사용자는 좌 안과 우 안을 통해 서로 다른 방향에서 대상 객체를 주시함으로써 입체감을 느낄 수 있다. 따라서, 2차원 평면 디스플레이 장치에서 좌 안과 우 안의 차이 즉, 양안차가 반영된 두 장의 영상을 동시에 디스플레이 하게 될 경우, 사용자는 해당 영상을 3차원적으로 느끼게 된다.

이에 따라, 종래에는 가상 카메라를 이용하여 상기 양안차가 반영된 두 장의 영상을 얻는 기법이 제공되고 있다. 즉, 일반적인 3D 그래픽 파이프라인(Pipeline)의 정점처리 단계에서 가상 카메라를 이용하여, 가상 카메라의 절두체(frustum) 파라미터 설정을 통해 가상 공간에서 양안차를 발생시키고, 이를 기존 파이프라인 대로 렌더링하여 상기 양안차가 반영된 두 장의 영상을 획득하는 방식이 제공되고 있다.

한편, 일반적으로 서비스 되고 있는 3D 컨텐츠는 가상세계를 렌더링한 영상 위에 다양한 부가정보, 예를 들어 사용자 인터페이스(UI: User Interface) 툴바, 자막, 채팅 창, 팝업 메뉴, 인터렉션 정보 표시 창, PC 상의 인터페이스를 위해 오버레이 되는 마우스 포인터, 커서 등을 오버레이한다.

이와 같은 부가정보가 오버레이될 영상이 입체감을 가지는 영상이기 때문에, 사용자에게 자연스러운 입체 영상을 제공하기 위해서는 부가정보 역시 양안차를 가진 상태로 렌더링 되어야 한다. 하지만, 입체 변환을 고려하지 않은 3D 컨텐츠를 자동변환 했을 경우, 부가정보들은 장면을 구성하고 있는 객체들의 양안차와 일관성이 없는 양안차를 가지거나, 양안차가 없는 상태로 렌더링된다. 이 경우 최종 영상에서 부가정보 뒤에 출력되는 객체의 양안차와 부가정보의 양안차가 이루고 있는 원근감이 자연스럽지 못하기 때문에 사용자가 느끼는 입체감을 방해하고 눈의 피로도가 증가하게 된다. 또한, 3D 컨텐츠 제작시 입체 변환을 고려한다고 해도 사용자의 자유도에 따라 다양한 장면이 연출되는 3D 컨텐츠에서 모든 장면에 대해 입체 변환을 고려하면서 부가 정보의 위치를 고려하기란 쉬운 작업이 아니다. 이에 따라 부가정보 위치와 최종 영상이 가지는 입체감을 한정하는 제약 조건이 발생하게 된다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 목적은 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 3D 그래픽 기반 단말기에서 그래픽 처리부 내 정점 처리부 또는 픽셀 처리부의 깊이 버퍼를 이용하여 부가정보를 합성하기 위한 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 3D 그래픽 기반 단말기에서 깊이 버퍼를 이용하여 부가정보에 의해 은폐되는 객체의 양안차보다 큰 값으로 부가정보의 양안차를 결정하고, 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 부가정보를 오버레이 하기 위한 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 3D 그래픽 기반 단말기에서 깊이 버퍼를 이용하여 부가정보의 허용 양안차보다 작거나 같은 양안차를 가지는 영역으로 합성영역을 결정하고, 상기 결정된 합성영역에 부가정보를 삽입하기 위한 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 3D 그래픽 기반 단말기에서 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 이용하여 부가정보에 의해 은폐되는 객체의 양안차보다 큰 값으로 부가정보의 양안차를 결정하고, 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 부가정보를 오버레이 하기 위한 장치 및 방법을 제공함에 있다.

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 3차원 그래픽 기반 단말기에서 부가정보 합성 방법은, 깊이 버퍼를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하는 과정과, 상기 결정된 부가정보의 양안차를 고려하여 영상에 상기 부가정보를 오버레이하는 과정을 포함하는 것을 특징으로 한다.

본 발명의 제 2 견지에 따르면, 부가정보 합성을 위한 3차원 그래픽 기반 단말기는, 깊이 버퍼를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하는 부가정보 양안차 결정 및 합성영역 검출부와, 상기 결정된 부가정보의 양안차를 고려하여 영상에 상기 부가정보를 오버레이하는 부가정보 합성부를 포함하는 것을 특징으로 한다.

본 발명은 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보를 합성함에 있어서, 장면을 구성하고 있는 객체들과 일관성 있는 양안차를 가지고 합성하거나, 부가정보의 허용 양안차를 가지는 영역에 부가정보를 합성함으로써, 컨텐츠 제공자가 의도한 입체감을 유지할 수 있어 사용자에게 자연스러운 입체 영상을 제공할 수 있으며, 사용자가 느끼는 피로감을 방지 할 수 있는 이점이 있다.

도 1은 본 발명에 따른 3D 그래픽 기반 단말기의 장치 구성을 도시한 블럭도,
도 2는 본 발명에 따른 3D 그래픽 기반 단말기에서 그래픽 처리부의 상세 구성을 도시한 블럭도,
도 3은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 픽셀 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도,
도 4는 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 픽셀 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도,
도 5는 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 픽셀 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도,
도 6은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 픽셀 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도,
도 7은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 정점 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도, 및
도 8은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 방법을 도시한 흐름도.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 본 발명에서는 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 방안을 제시한다. 본 발명에서 사용하는 3D 그래픽 기반 단말기란 입체 영상(stereoscopic, multiview) 출력이 가능한 단말기에서 3D 그래픽 기반 기술로 렌더링된 영상을 양안차 기반 입체영상으로 보일 수 있는 단말기를 뜻한다.

이하 본 발명에 따른 부가정보 합성 방안은, 깊이 버퍼의 이용이 가능한지 여부와, 깊이 버퍼의 이용이 가능하다면, 부가정보의 속성(특히, 위치 가변성)에 따라, 총 3가지로 구분된다. 즉, 부가정보와 최종 양안 영상의 합성에 있어서 깊이 버퍼의 이용이 가능한지 여부에 따라, 그래픽 처리부 내 픽셀 처리부를 통해 깊이 버퍼를 이용하여 부가정보를 합성하는 방법과, 그래픽 처리부 내 정점 처리부를 통해 부가정보를 합성하는 방법으로 구분되고, 깊이 버퍼를 이용하여 부가정보를 합성하는 방법 역시, 부가정보의 속성(특히, 위치 가변성)에 따라, 객체보다 큰 양안차를 가지도록 객체 위에 부가정보를 오버레이하는 방법과, 부가정보의 허용 양안차를 만족하는 영역에 부가정보를 삽입하는 방법으로 구분된다. 이와 같은 구분은 실시 예에 따른 것으로, 본원 발명에서는 구분의 기준을 한정하지는 않는다. 또한, 각각의 방법은 서로 독립적으로 구현 가능하며, 서로 의존성이 없고, 하나 또는 그 이상의 다른 조합으로 구현될 수도 있다.

이하 설명에서 단말기는 셀룰러 전화기(Cellular phone), 개인휴대통신 전화기(Personal Communication System : PCS), 복합무선단말기(Personal Data Assistant : PDA), IMT-2000(International Mobile Telecommunication-2000) 단말기, PC(Personer Computer), 노트북, TV(Television) 등을 모두 포함하는 의미이며, 이하 설명은 상기 예들의 일반적인 구성을 가지고 설명할 것이다.

또한, 이하 설명에서, 부가정보는, 3D 컨텐츠에 사용되는, 사용자 인터페이스(UI: User Interface) 툴바, 자막, 채팅 창, 팝업 메뉴, 인터렉션 정보 표시 창, PC 상의 인터페이스를 위해 오버레이 되는 마우스 포인터, 커서 등을 포함하는 의미이다.

도 1은 본 발명에 따른 3D 그래픽 기반 단말기의 장치 구성을 도시한 블럭도이다.

도시된 바와 같이, 단말기는 제어부(100), 그래픽 처리부(102), 통신부(106), 입력부(108), 표시부(110), 메모리(112)를 포함하여 구성되며, 여기서 상기 그래픽 처리부(102)는 정점 처리부(104)와 픽셀 처리부(105)를 포함하여 구성된다.

상기 도 1을 참조하면, 상기 제어부(100)는 단말기의 전반적인 동작을 제어하며, 본 발명에 따라, 3차원 그래픽 기반 단말기에서 객체 렌더링 시 최종 영상에 부가정보를 합성하기 위한 기능을 처리한다. 특히, 상기 제어부(100)는 부가정보와 최종 영상을 합성함에 있어서 깊이 버퍼의 이용이 가능한지 여부와, 깊이 버퍼의 이용이 가능하다면, 부가정보의 속성(특히, 위치 가변성)에 따라, 최종 영상에 부가정보를 합성하도록 정점 처리부(202) 또는 픽셀 처리부(206)를 제어한다.

상기 그래픽 처리부(102)는 정점 처리부(104)와 픽셀 처리부(105)를 구비하여 3차원 그래픽 데이터를 처리한다. 통상적인 기능에 더하여 본 발명에 따라 상기 그래픽 처리부(102)는 상기 제어부(100)의 제어에 따라 객체 렌더링 시 최종 영상에 부가정보를 합성하며, 상세 구성은 이후 도 2를 참조하여 살펴보도록 한다.

상기 통신부(106)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF(Radio Frequency)송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기 등을 포함한다.

상기 입력부(108)는 숫자키 버튼과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키입력 데이터를 상기 제어부(100)로 제공한다.

상기 표시부(110)는 상기 단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 특히, 상기 표시부(110)는 상기 처리된 3차원 그래픽 데이터(즉, 부가정보가 합성된 최종 영상)를 디스플레이한다. 상기 표시부(110)는 칼라 액정 디스플레이 장치(Liquid Crystal Display : LCD)를 사용할 수 있다. 또한 입체 (stereoscopic, multiview) 영상 출력을 지원하는 물리적인 특성을 가지고 있는 장치이다.

상기 메모리(112)는 상기 제어부(100)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장하고, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 특히, 본 발명에 따라 3차원 그래픽 기반 단말기에서 객체 렌더링 시 최종 영상에 부가정보를 합성하기 위한 프로그램을 저장한다. 또한, 상기 메모리(112)는 최종 영상에 합성하고자 하는 부가정보에 기 설정된 속성을 저장한다. 여기서, 상기 부가정보에 기 설정된 속성에는, 가로 픽셀 사이즈, 세로 픽셀 사이즈, 스케일의 허용 여부, 허용 양안차, 위치 가변성 여부 등이 포함될 수 있다.

도 2는 본 발명에 따른 3D 그래픽 기반 단말기에서 그래픽 처리부의 상세 구성을 도시한 블럭도이다.

상기 도 2를 참조하면, 그래픽 처리부(200)는 정점 처리부(202)와 픽셀 처리부(206)를 포함하여 구성되며, 여기서, 상기 정점 처리부(202)는 부가정보 양안차 결정부(204)를 포함하여 구성되고, 상기 픽셀 처리부(206)는 부가정보 양안차 결정 및 합성영역 검출부(208), 깊이 버퍼(210), 부가정보 합성부(212)를 포함하여 구성된다.

먼저, 상기 정점 처리부(104)는 3D 그래픽 파이프라인(Pipeline)의 정점처리 단계를 수행한다. 여기서, 상기 정점처리 단계는 주로 3차원 좌표계의 객체를 시점에 따라 변환하고, 2차원 좌표계로 투영 처리하는 단계이다. 즉, 상기 정점 처리부(104)는 공간에 존재하는 객체별 정점 정보(즉, 좌표 정보)를 기반으로, 해당 객체의 중심을 좌표축의 중심으로 하는 객체 좌표계를 정의하고, 상기 정의된 객체별 객체 좌표계를 기반으로, 가상 카메라 시점을 중심으로 하는 카메라 좌표계를 생성하며, 상기 카메라 좌표계를 투영하여 클립 좌표계로 변환한다.

통상적인 기능에 더하여 본 발명에 따라 상기 정점 처리부(104) 내 부가정보 양안차 결정부(204)는 제어부(100)의 제어에 따라 최종 양안 영상과 부가정보를 합성한다. 즉, 상기 부가정보 양안차 결정부(204)는 합성하고자 하는 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리(즉, 은폐되는 객체의 공간상의 깊이 값)를 이용하여, 상기 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정하고, 상기 결정된 부가정보의 양안차를 픽셀 처리부(105)의 부가정보 합성부(212)로 제공한다. 이때, 상기 픽셀 처리부(206)의 부가정보 합성부(212)는 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 상기 부가정보를 오버레이함으로써, 상기 부가정보를 최종 양안 영상에 합성할 수 있다.

다음으로, 상기 픽셀 처리부(105)는 3D 그래픽 파이프라인의 픽셀처리 단계, 예를 들어 알파 테스트, Z 테스트, 스텐실 테스트 등을 수행한다. 여기서, 상기 Z 테스트는 깊이 버퍼(210) 내 저장된 각 픽셀의 깊이 값을 기반으로 최종 영상 내 각 객체의 깊이를 판별하는 테스트이다.

통상적인 기능에 더하여 본 발명에 따라 상기 픽셀 처리부(105) 내 부가정보 양안차 결정 및 합성영역 검출부(208)는 제어부(100)의 제어에 따라 최종 양안 영상과 부가정보를 합성한다. 즉, 상기 부가정보 양안차 결정 및 합성영역 검출부(208)는 깊이 버퍼(210)를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정하고, 상기 결정된 부가정보의 양안차를 부가정보 합성부(212)로 제공한다. 이때, 상기 부가정보 합성부(212)는 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 상기 부가정보를 오버레이함으로써, 상기 부가정보를 최종 양안 영상에 합성할 수 있다.

혹은 다른 방법으로, 상기 부가정보 양안차 결정 및 합성영역 검출부(208)는, 깊이 버퍼(210)를 이용하여 합성하고자 하는 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역으로, 영상 내 상기 부가정보의 삽입이 가능한 후보합성영역을 검출한다. 즉, 도 3과 같이, 상기 부가정보 양안차 결정 및 합성영역 검출부(208)는, 합성하고자 하는 부가정보의 허용 양안차를 좌, 우 깊이 버퍼 상의 깊이 값으로 변환하고, 상기 허용 양안차에 대응하는 깊이 값을, 좌, 우 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하여, 상기 허용 양안차에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 선택된 부가정보의 후보합성영역으로 검출할 수 있다. 이후, 상기 부가정보 양안차 결정 및 합성영역 검출부(208)는 상기 부가정보의 픽셀 사이즈(즉, 가로 픽셀 사이즈와 세로 픽셀 사이즈)를 기반으로, 상기 검출된 후보합성영역 중 상기 부가정보의 삽입이 가능한 임의의 일부 영역을 최종합성영역으로 결정한 후, 상기 결정된 최종합성영역에 대한 정보를 부가정보 합성부(212)로 제공한다. 이때, 상기 부가정보 합성부(212)는 상기 결정된 최종합성영역에 상기 부가정보를 삽입함으로써, 상기 부가정보를 최종 양안 영상에 합성할 수 있다.

여기서, 상기 픽셀 처리부(105) 내 깊이 버퍼(depth buffer)(210)는 Z버퍼로 구현되어 각 픽셀의 깊이 값을 저장하며, 좌 영상과 우 영상 각각에 대해 생성된다. 여기서, 상기 깊이 버퍼(210) 내 각 픽셀의 깊이 값은 최종 양안 영상에 반영될 양안차를 반영한다.

도 4는 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 픽셀 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도이다.

상기 도 4를 참조하면, 가상공간 상에 도시된 평면은 양안차가 0인 제로 시차 영역을 나타내며, 이는 제로 시차 시점보다 앞에 상이 맺히는 음의 시차 영역과, 제로 시차 시점보다 뒤에 상이 맺히는 양의 시차 영역의 경계를 나타낸다. 시간 경과에 따라 객체의 상이 맺히는 영역이 제로 시차 영역에서 음의 시차 영역으로 진행하는 경우, 단말기는 상기 객체의 상보다 앞에 부가정보의 상이 맺힐 수 있도록, 상기 부가정보의 상이 맺히는 영역 역시 제로 시차 영역에서 음의 시차 영역으로 진행하면서 상기 부가정보를 영상에 합성할 수 있다. 이에 따라 입체감의 변화가 자연스럽게 반영되는 부가정보의 이동을 구현할 수 있다. 이때, 만약 부가정보(예를 들어 마우스포인트)가 위치 가변성을 가짐에 따라 영상에서 가변적인 위치를 가질 경우, 도 6과 같이, 영상 내 존재하는 각 객체의 위치 및 시차 영역에 따라 각 객체의 상보다 앞에 부가정보의 상이 맺힐 수 있도록 상기 부가정보 역시 가변적인 위치 및 크기를 가질 수 있다. 즉, 영상이 가지는 입체감 정도에 따라 앞으로 많이 돌출된 객체 앞을 지날 때는 그 보다 더 앞에 있는 느낌의 마우스 포인트를 화면에 출력하고, 상대적으로 함몰된 객체 앞을 지날 때는 그에 맞는 입체감을 가지도록 마우스 포인트를 화면에 출력할 수 있다. 또한, 마우스 포인트의 크기 역시 입체감에 따라 변화를 주어(즉, 앞으로 돌출 될수록 큰 이미지) 자연스러운 마우스 포인트가 가능하도록 한다.

또는 다른 방법으로, 단말기는 상기 부가정보의 상이 맺히는 영역을 제로 시차 영역 상에서 상기 객체의 원근감을 망치지 않는 영역으로 이동하고, 상기 이동된 영역에서 상기 부가정보를 영상에 합성할 수 있다. 이때, 만약 상기 부가정보를 합성할 영역의 사이즈가 상기 부가정보보다 작다면, 상기 단말기는, 도 5와 같이, 상기 부가정보를 스케일하여 축소시킴으로써 최종 영상에 적용할 수 있다. 이 경우 상기 부가정보에 기 설정된 속성에는 스케일 지원이 포함되어 있어야 한다.

도 7은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기 내 정점 처리부에서 객체 렌더링 시 부가정보 합성 방법을 도시한 예시도이다.

상기 도 7을 참조하면, 단말기는 합성하고자 하는 부가정보(701)에 의해 은폐되는 객체(702)와 화면 간 가상공간상의 거리(즉, 은폐되는 객체(702)의 공간상의 깊이 값)를 이용하여, 상기 은폐되는 객체(702)의 양안차 보다 기 결정된 값만큼 큰 값(혹은 동일한 값)으로 부가정보(701)의 양안차를 결정하고, 상기 결정된 부가정보(701)의 양안차를 반영하여 영상 내 해당 객체(702)에 상기 부가정보(701)를 오버레이함으로써, 상기 부가정보(701)를 최종 양안 영상에 합성할 수 있다.

이를 위해 먼저, 단말기는 가상공간(705)에 존재하는 객체(702)별 정점 정보(즉, 좌표 정보)를 기반으로, 해당 객체의 중심을 좌표축의 중심으로 하는 객체 좌표계(Object coordinate 또는 Local coordinate)를 정의하고, 상기 정의된 객체별 객체 좌표계를 기반으로, 가상 카메라 시점을 중심으로 하는 카메라 좌표계(Camera coordinate 또는 Eye coordinate)를 구성한다. 가상공간(705) 상에서 평면(704)는 양안차가 0인 제로 시차 영역을 나타내며, 이는 제로 시차 시점보다 앞에 상이 맺히는 음의 시차 영역과, 제로 시차 시점보다 뒤에 상이 맺히는 양의 시차 영역의 경계를 나타낸다.

이후, 상기 단말기는 합성을 통해 부가정보(701)가 최종 위치할 화면 상의 좌표(x,y)에서 Z축으로 선분을 연장하여 가상공간(705)에서 만나는 객체(702)의 정점을 결정한다. 이는 선분과 면의 방정식을 통해 결정할 수 있다. 상기 단말기는 이와 같이 결정된 객체(702)의 정점과 상기 부가정보(701)의 화면 상의 좌표를 이용하여 상기 객체(702)와 화면 간 거리(703)를 결정하고, 상기 결정된 거리(703)보다 기 결정된 값만큼 작은 거리(혹은 동일한 거리)로 상기 부가정보(701)와 화면 간 가상공간상의 거리를 결정한다. 이로써, 상기 단말기는 상기 부가정보(701)에 의해 은폐되는 객체(702)의 양안차 보다 기 결정된 값만큼 큰 값(혹은 동일한 값)으로 부가정보(701)의 양안차를 결정할 수 있으며, 이에 따라 상기 객체(702)가 가지는 입체감 만큼 음의 시차 영역에서 부가정보(701)를 합성시킬 수 있다.

도 8은 본 발명의 실시 예에 따른 3D 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 방법을 도시한 흐름도이다.

상기 도 8을 참조하면, 단말기는 801단계에서 기 선택되지 않은 부가정보 중 최종 양안 영상과의 합성이 필요한 하나의 부가정보를 선택한다.

이후, 상기 단말기는 803단계에서 부가정보와 최종 양안 영상과의 합성에 있어서 깊이 버퍼의 사용이 가능한지 여부를 검사한다.

상기 803단계에서, 깊이 버퍼의 사용이 가능함이 판단될 시, 상기 단말기는 805단계에서 상기 선택된 부가정보에 기 설정된 속성을 확인하여, 상기 선택된 부가정보가 위치 가변성이 설정된 부가정보인지 여부를 검사한다. 여기서, 상기 부가정보에 기 설정된 속성에는, 가로 픽셀 사이즈, 세로 픽셀 사이즈, 스케일의 허용 여부, 허용 양안차, 위치 가변성 여부 등이 포함될 수 있다. 여기서, 상기 허용 양안차란, 부가정보가 최종 양안 영상에서 가질 수 있는 최대 양안차가 된다.

상기 805단계에서, 상기 선택된 부가정보가 위치 가변성이 설정된 부가정보가 아님이 판단될 시, 즉 위치 고정성이 설정된 부가정보임이 판단될 시, 상기 단말기는 807단계에서 깊이 버퍼를 이용하여, 상기 선택된 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정한 후 809단계로 진행한다. 여기서, 상기 은폐되는 객체의 양안차는 깊이 버퍼 내 해당 픽셀들의 깊이 값에 따라 달라지므로, 예를 들어, 상기 단말기는 깊이 버퍼에서, 상기 선택된 부가정보에 의해 은폐되는 객체를 구성하는 픽셀들의 깊이 값을 검출하고, 상기 검출된 깊이 값보다 기 결정된 값 이상 큰 값(또는 상기 검출된 깊이 값)으로 상기 선택된 부가정보의 깊이 값을 결정함으로써, 상기 선택된 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정할 수 있다.

이후, 상기 단말은 상기 809단계에서 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 상기 선택된 부가정보를 오버레이한 후, 811단계로 진행한다.

반면, 상기 805단계에서, 상기 선택된 부가정보가 위치 가변성이 설정된 부가정보임이 판단될 시, 상기 단말기는 813단계에서 깊이 버퍼를 이용하여, 상기 선택된 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역으로, 영상 내 상기 선택된 부가정보의 삽입이 가능한 후보합성영역을 검출한 후, 815단계로 진행한다. 여기서, 상기 양안차는 깊이 버퍼 내 해당 픽셀들의 깊이 값에 따라 달라지므로, 예를 들어, 상기 단말기는 상기 선택된 부가정보의 허용 양안차를 깊이 버퍼 상의 깊이 값으로 변환하고, 상기 허용 양안차에 대응하는 깊이 값을, 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하여, 상기 허용 양안차에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 선택된 부가정보의 후보합성영역으로 검출할 수 있다.

예를 들어, 부가정보의 상이 상기 제로 시차 지점에 맺혀야 한다면, 상기 부가정보의 양안차(즉, 좌 화면과 우 화면상의 픽셀 차이)가 0을 항상 유지 해야 하며, 따라서 입체 영상에서 객체의 상이 양의 시차 영역에 맺히는 영역에서 부가정보가 합성해야 한다. 따라서, 단말기는 허용 양안차 0을 깊이 버퍼 상의 깊이 값으로 변환하고, 상기 허용 양안차 0에 대응하는 깊이 값을, 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하여, 상기 허용 양안차 0에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 부가정보의 후보합성영역으로 검출할 수 있다.

이후, 상기 단말기는 상기 815단계에서 상기 선택된 부가정보의 픽셀 사이즈(즉, 가로 픽셀 사이즈와 세로 픽셀 사이즈)를 기반으로, 상기 검출된 후보합성영역 중 상기 선택된 부가정보의 삽입이 가능한 임의의 일부 영역을 최종합성영역으로 결정한 후, 817단계로 진행한다.

이후, 상기 단말기는 상기 817단계에서 상기 결정된 최종합성영역에 상기 선택된 부가정보를 삽입한 후, 상기 811단계로 진행한다.

반면, 상기 803단계에서, 깊이 버퍼의 사용이 불가능함이 판단될 시, 상기 단말기는 819단계에서 상기 선택된 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리(즉, 은폐되는 객체의 공간상의 깊이 값)를 이용하여, 상기 선택된 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정한 후 821단계로 진행한다. 여기서, 상기 양안차는 객체와 화면 간 가상공간상의 거리에 따라 달라지므로, 예를 들어, 상기 단말기는 상기 선택된 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 결정하고, 상기 결정된 거리보다 기 결정된 값만큼 작은 거리(혹은 동일한 거리)로 상기 부가정보와 화면 간 가상공간상의 거리를 결정함으로써, 상기 선택된 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값(혹은 동일한 값)으로 부가정보의 양안차를 결정할 수 있다.

이후, 상기 단말은 상기 821단계에서 상기 결정된 부가정보의 양안차를 반영하여 영상 내 해당 객체에 상기 선택된 부가정보를 오버레이한 후, 상기 811단계로 진행한다.

이후, 상기 단말기는 상기 811단계에서 최종 양안 영상과의 합성이 필요한 부가정보가 더 존재하는지 여부를 검사한다.

상기 811단계에서, 최종 양안 영상과의 합성이 필요한 부가정보가 더 존재함이 판단될 시, 상기 단말기는 상기 801단계로 돌아가 이하 단계를 반복 수행한다.

반면, 상기 811단계에서, 최종 양안 영상과의 합성이 필요한 부가정보가 더 존재하지 않음이 판단될 시, 상기 단말기는 합성이 필요한 모든 부가정보에 대한 합성을 완료하였음을 판단하고, 본 발명에 따른 알고리즘을 종료한다.

한편, 부가정보에 속성이 기 결정되어 있지 않은 콘텐츠에 대해서는, 영상 내 존재하는 객체보다 항상 앞에 합성하도록 할 수 있다. 즉, 부가정보의 양안차를 상기 부가정보에 의해 은폐되는 객체보다 더욱 크게 설정하여 상기 부가정보가 항상 앞에 나와있도록 할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

부가정보 양안차 결정부 204, 부가정보 양안차 결정 및 합성영역 검출부 208, 깊이 버퍼 210, 부가정보 합성부 212

Claims

3차원 영상에 합성하고자 하는 부가정보의 속성을 검출하는 과정과,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 가변성을 가지는 부가정보임이 판단될 시, 상기 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역을 상기 부가정보의 삽입이 가능한 후보 합성 영역으로 검출하는 과정과,
상기 후보 합성 영역에 상기 부가정보를 합성하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 1 항에 있어서,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 고정성을 가지는 부가정보임이 판단될 시, 깊이 버퍼를 이용하여, 상기 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하는 과정과,
상기 결정된 부가정보의 양안차를 고려하여 영상에 상기 부가정보를 오버레이하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 2 항에 있어서, 상기 양안차를 결정하는 과정은,
상기 깊이 버퍼에서, 상기 부가정보에 의해 은폐되는 객체를 구성하는 픽셀들의 깊이 값을 검출하는 과정과,
상기 검출된 깊이 값보다 기 결정된 값 이상 큰 값으로 상기 부가정보의 깊이 값을 결정하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
삭제
제 1 항에 있어서, 상기 후보 합성 영역을 검출하는 과정은,
상기 부가정보의 허용 양안차를 깊이 버퍼 상의 깊이 값으로 변환하는 과정과,
상기 허용 양안차에 대응하는 깊이 값을, 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하는 과정과,
상기 허용 양안차에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 후보 합성 영역으로 검출하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 1 항에 있어서,
상기 부가정보의 픽셀 사이즈를 기반으로, 상기 후보 합성 영역 중 상기 부가정보의 삽입이 가능한 임의의 일부 영역을 최종 합성 영역으로 결정하는 과정과,
상기 결정된 최종 합성 영역에 상기 부가정보를 삽입하는 과정을 더 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 6 항에 있어서,
상기 최종 합성 영역이 상기 부가정보의 픽셀 사이즈보다 작을 시, 상기 부가정보를 스케일하는 과정을 더 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 1 항에 있어서,
깊이 버퍼의 사용이 가능한지 여부를 검사하는 과정과,
상기 깊이 버퍼의 사용이 불가능함이 판단될 시, 상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 이용하여, 상기 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값으로 부가정보의 양안차를 결정하는 과정을 더 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
제 8 항에 있어서, 상기 깊이 버퍼의 사용이 불가능함이 판단되는 경우, 상기 양안차 결정 과정은,
상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 결정하는 과정과,
상기 결정된 거리보다 기 결정된 값만큼 작은 거리로 상기 부가정보와 화면 간 가상공간상의 거리를 결정하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.
3차원 영상에 합성하고자 하는 부가정보의 속성을 검출하는 제어부와,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 가변성을 가지는 부가정보임이 판단될 시, 상기 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역을 상기 부가정보의 삽입이 가능한 후보 합성 영역으로 검출하는 부가정보 양안차 결정 및 합성영역 검출부와,
상기 후보 합성 영역에 상기 부가정보를 합성하는 부가정보 합성부를 포함하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 10 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 고정성을 가지는 부가정보임이 판단될 시, 깊이 버퍼를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하고,
상기 부가정보 합성부는,
상기 결정된 부가정보의 양안차를 고려하여 영상에 상기 부가정보를 오버레이하는 부가정보 합성부를 포함하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 11 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 깊이 버퍼에서, 상기 부가정보에 의해 은폐되는 객체를 구성하는 픽셀들의 깊이 값을 검출하고, 상기 검출된 깊이 값보다 기 결정된 값 이상 큰 값으로 상기 부가정보의 깊이 값을 결정함으로써, 상기 양안차를 결정하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
삭제
제 10 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 부가정보의 허용 양안차를 깊이 버퍼 상의 깊이 값으로 변환하고, 상기 허용 양안차에 대응하는 깊이 값을, 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하여, 상기 허용 양안차에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 후보 합성 영역으로 검출하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 10 항에 있어서,
상기 부가정보 양안차 결정 및 합성영역 검출부는, 상기 부가정보의 픽셀 사이즈를 기반으로, 상기 후보 합성 영역 중 상기 부가정보의 삽입이 가능한 임의의 일부 영역을 최종 합성 영역으로 결정하고,
상기 부가정보 합성부는, 상기 결정된 최종 합성 영역에 상기 부가정보를 삽입하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 15 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 최종 합성 영역이 상기 부가정보의 픽셀 사이즈보다 작을 시, 상기 부가정보를 스케일하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 10 항에 있어서,
상기 제어부는, 깊이 버퍼의 사용이 가능한지 여부를 검사하고,
상기 깊이 버퍼의 사용이 불가능할 시, 상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 이용하여, 상기 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값으로 부가정보의 양안차를 결정하는 부가정보 양안차 결정부를 더 포함하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 17 항에 있어서, 상기 부가정보 양안차 결정부는,
상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 결정하고, 상기 결정된 거리보다 기 결정된 값만큼 작은 거리로 상기 부가정보와 화면 간 가상공간상의 거리를 결정함으로써, 상기 양안차를 결정하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
3차원 영상에 합성하고자 하는 부가정보의 속성을 검출하는 제어부와,
상기 3차원 영상를 처리하는 그래픽 처리부와,
여기서, 상기 그래픽 처리부는,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 가변성을 가지는 부가정보임이 판단된 경우, 상기 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역을 상기 부가정보의 삽입이 가능한 후보 합성 영역으로 검출하는 부가정보 양안차 결정 및 합성영역 검출부와,
상기 후보 합성 영역에 상기 부가정보를 합성하는 부가정보 합성부를 포함하며,
상기 처리된 3차원 영상을 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 19 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 고정성을 가지는 부가정보임이 판단될 시, 깊이 버퍼를 이용하여, 합성하고자 하는 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값 이상 큰 값으로 부가정보의 양안차를 결정하는 것을 특징으로 하는 3차원 그래픽 기반 단말기
제 20 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 깊이 버퍼에서, 상기 부가정보에 의해 은폐되는 객체를 구성하는 픽셀들의 깊이 값을 검출하고, 상기 검출된 깊이 값보다 기 결정된 값 이상 큰 값으로 상기 부가정보의 깊이 값을 결정함으로써, 상기 양안차를 결정하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
삭제
제 20 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 부가정보의 허용 양안차를 깊이 버퍼 상의 깊이 값으로 변환하고, 상기 허용 양안차에 대응하는 깊이 값을, 깊이 버퍼 내 각 픽셀들의 깊이 값과 비교하여, 상기 허용 양안차에 대응하는 깊이 값보다 크거나 같은 깊이 값을 가지는 픽셀들을 포함하는 영역을 상기 후보 합성 영역으로 검출하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 19 항에 있어서,
상기 부가정보 양안차 결정 및 합성영역 검출부는, 상기 부가정보의 픽셀 사이즈를 기반으로, 상기 후보 합성 영역 중 상기 부가정보의 삽입이 가능한 임의의 일부 영역을 최종 합성 영역으로 결정하고,
상기 부가정보 합성부는, 상기 결정된 최종 합성 영역에 상기 부가정보를 삽입하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 24 항에 있어서, 상기 부가정보 양안차 결정 및 합성영역 검출부는,
상기 최종 합성 영역이 상기 부가정보의 픽셀 사이즈보다 작을 시, 상기 부가정보를 스케일하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 19 항에 있어서,
상기 제어부는, 깊이 버퍼의 사용이 가능한지 여부를 검사하고,
상기 깊이 버퍼의 사용이 불가능할 시, 상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 이용하여, 상기 부가정보에 의해 은폐되는 객체의 양안차 보다 기 결정된 값만큼 큰 값으로 부가정보의 양안차를 결정하는 부가정보 양안차 결정부를 더 포함하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
제 26 항에 있어서, 상기 부가정보 양안차 결정부는,
상기 부가정보에 의해 은폐되는 객체와 화면 간 가상공간상의 거리를 결정하고, 상기 결정된 거리보다 기 결정된 값만큼 작은 거리로 상기 부가정보와 화면 간 가상공간상의 거리를 결정함으로써, 상기 양안차를 결정하는 것을 특징으로 하는 부가정보 합성을 위한 3차원 그래픽 기반 단말기.
3차원 영상에 합성하고자 하는 부가정보의 속성을 검출하는 과정과,
상기 3차원 영상을 처리하는 과정과,
여기서, 상기 3차원 영상을 처리하는 과정은,
상기 부가정보의 속성으로부터 상기 부가정보가 위치 가변성을 가지는 부가정보임이 판단된 경우, 상기 부가정보에 기 설정된 허용 양안차보다 작거나 같은 값의 양안차를 가지는 영역을 상기 부가정보의 삽입이 가능한 후보 합성 영역으로 검출하는 과정과,
상기 후보 합성 영역에 상기 부가정보를 합성하는 과정을 포함하며,
상기 처리된 3차원 영상을 디스플레이하는 과정을 포함하는 것을 특징으로 하는 3차원 그래픽 기반 단말기에서 부가정보 합성 방법.