[go: up one dir, main page]

KR101911250B1 - 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 - Google Patents

입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 Download PDF

Info

Publication number
KR101911250B1
KR101911250B1 KR1020120027574A KR20120027574A KR101911250B1 KR 101911250 B1 KR101911250 B1 KR 101911250B1 KR 1020120027574 A KR1020120027574 A KR 1020120027574A KR 20120027574 A KR20120027574 A KR 20120027574A KR 101911250 B1 KR101911250 B1 KR 101911250B1
Authority
KR
South Korea
Prior art keywords
users
distance
sweet spot
adjusting
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120027574A
Other languages
English (en)
Other versions
KR20130106001A (ko
Inventor
정동만
박태수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120027574A priority Critical patent/KR101911250B1/ko
Priority to US13/793,509 priority patent/US9854229B2/en
Priority to EP13001223.0A priority patent/EP2642760A1/en
Priority to CN201310088265.7A priority patent/CN103327349B/zh
Publication of KR20130106001A publication Critical patent/KR20130106001A/ko
Application granted granted Critical
Publication of KR101911250B1 publication Critical patent/KR101911250B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법이 개시된다. 수신부는 복수의 시점 영상들을 포함하는 다시점 영상을 수신한다. 제어부는 시청 영역이 촬상된 이미지에서 복수의 사용자들을 탐지하고 탐지된 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득하고, 획득한 사용자 위치 정보를 이용하여 탐지한 복수의 사용자들 간의 거리를 지시하는 거리 정보 산출하며, 산출한 거리 정보 및 복수의 다시점 영상의 데드 존(Dead Zone)의 길이를 기초로 상기 복수의 시점 영상들을 시청하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하기 위한 제어 신호를 생성한다.

Description

입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법{Apparatus for processing a three-dimensional image and method for adjusting location of sweet spot for viewing multi-view image}
본 발명은 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 관한 것으로, 보다 상세하게는, 다시점 영상을 디스플레이할 수 있는 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 관한 것이다.
최근 3 차원 영상을 표현하는 디스플레이 기술이 다양한 분야에서 연구 및 활용되고 있다. 특히 3차원 영상을 디스플레이하는 기술을 활용하여, 3차원 영상을 디스플레이하는 전자 장치가 주목을 받고 있다.
3 차원 영상을 디스플레이하는 기술은 양안의 시차로 관찰자가 입체감을 느끼게 되는 양안 시차의 원리를 이용하는 것으로, 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식에는 사용자가 안경과 같은 별도의 장비를 착용해야 하는 문제점이 있으며, 무안경 방식에는 사용자가 특정 위치에서만 3차원 영상을 볼 수 있는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 무안경 방식으로 디스플레이되는 입체영상을 시청하는 복수의 사용자의 위치에 맞추어 스윗 스포트 영역을 조절할 수 있는 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법은, 복수의 시점 영상들을 포함하는 다시점 영상을 디스플레이하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하는 방법에 있어서, 시청 영역이 촬상된 이미지에서 복수의 사용자들을 탐지하고 상기 탐지된 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득하는 단계, 상기 획득된 사용자 위치 정보를 이용하여 상기 탐지된 복수의 사용자들 간의 거리를 지시하는 거리 정보를 산출하는 단계, 및 상기 산출된 거리 정보 및 상기 복수의 다시점 영상들의 데드 존(Dead Zone)의 길이를 기초로 상기 스윗 스포트의 위치를 조절하는 단계를 포함할 수 있다.
상기 스윗 스포트의 위치를 조절하는 단계는, 상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 상기 복수의 시점 영상들의 배치를 조절하는 단계를 포함할 수 있다.
상기 스윗 스포트의 위치를 조절하는 단계는, 상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 입체영상 픽셀주기를 산출하는 단계, 및 상기 산출된 입체영상 픽셀주기를 기초로 상기 복수의 시점 영상들의 배치를 조절하는 단계를 포함할 수 있다.
상기 스윗 스포트의 위치를 조절하는 단계는, 상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 디스플레이 패널과 필터 간의 간격을 지시하는 간격 정보를 산출하는 단계, 및 상기 산출된 간격 정보를 기초를 디스플레이 패널과 필터 간의 간격을 조절하는 단계를 포함할 수 있다.
상기 스윗 스포트의 위치를 조절하는 단계는, 상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 필터의 배리어 또는 렌즈의 위치를 조절하는 단계를 포함할 수 있다.
상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 큰 경우에는, 상기 다시점 영상의 데드 존이 상기 사용자들 사이에 위치되도록 상기 스윗 스포트의 위치가 조절될 수 있다.
상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 작은 경우에는, 상기 복수의 사용자들이 동일한 스윗 스포트에 위치되도록 상기 스윗 스포트의 위치가 조절될 수 있다.
상기 거리 정보를 산출하는 단계는, 상기 탐지된 복수의 사용자 간의 거리가 단위시역보다 큰 경우에는, 상기 복수의 사용자들 간의 거리가 단위시역 보다 작도록 상기 복수의 사용자들 중 적어도 하나를 이동시키는 단계, 및 상기 이동된 적어도 하나의 사용자와 나머지 사용자 간의 거리를 지시하는 거리 정보를 산출하는 단계를 포함할 수 있다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 입체영상 처리 장치는, 복수의 시점 영상들을 포함하는 다시점 영상을 수신하는 수신부, 및 시청 영역이 촬상된 이미지에서 복수의 사용자들을 탐지하고 상기 탐지된 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득하고, 상기 획득된 사용자 위치 정보를 이용하여 상기 탐지된 복수의 사용자들 간의 거리를 지시하는 거리 정보 산출하며, 상기 산출된 거리 정보 및 상기 복수의 다시점 영상의 데드 존(Dead Zone)의 길이를 기초로 상기 복수의 시점 영상들을 시청하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하기 위한 제어 신호를 생성하는 제어부를 포함할 수 있다.
상기 입체영상 처리 장치는, 상기 생성된 제어 신호에 따라 배치된 시점 영상들을 디스플레이하는 디스플레이를 더 포함하고, 상기 디스플레이는, 상기 시점 영상들을 디스플레이하는 디스플레이 패널, 및 상기 디스플레이된 시점 영상의 광경로를 조절하는 필터를 포함할 수 있다.
상기 제어부는, 상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 큰 경우에는, 상기 다시점 영상의 데드 존이 상기 사용자들 사이에 위치되도록 상기 스윗 스포트의 위치를 조절하기 위한 제어 신호를 생성할 수 있다.
상기 제어부는, 상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 작은 경우에는, 상기 복수의 사용자들이 동일한 스윗 스포트에 위치되도록 상기 스윗 스포트의 위치를 조절하기 위한 제어 신호를 생성할 수 있다.
상기 제어부는, 상기 탐지된 복수의 사용자들 간의 거리가 단위시역보다 큰 경우에는, 상기 복수의 사용자들 간의 거리가 단위시역 보다 작도록 상기 복수의 사용자들 중 적어도 하나를 이동시키고, 상기 이동된 적어도 하나의 사용자와 나머지 사용자 간의 거리를 지시하는 거리 정보를 산출할 수 있다.
상기 입체영상 처리 장치는, 상기 생성된 제어 신호에 따라 상기 복수의 시점 영상들을 배치하고, 상기 배치된 복수의 시점 영상을 합성하는 그래픽 프로세서를 더 포함할 수 있다.
상기 입체영상 처리 장치는, 상기 시청 영역을 촬상하는 카메라는 더 포함할 수 있다.
본 발명에 따른 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 의하면, 복수의 사용자 위치를 탐지하고, 탐지된 사용자 간의 거리 및 다시점 영상의 데드 존의 길이를 기초로 스윗 스포트의 위치를 조절하므로, 입체영상을 시청하는 복수의 사용자의 위치에 맞추어 스윗 스포트 영역을 조절할 수 있고, 이에 따라 복수의 사용자는 별도의 이동 없이 자신이 원하는 위치에서 입체영상을 시청할 수 있다.
도 1은 본 발명에 따른 영상 시스템에 대한 바람직한 일실시예의 구성을 도시한 구성도,
도 2는 본 발명에 따른 헤드 트레킹 시스템의 처리 과정의 일실시예를 도시한 시스템 흐름도,
도 3은 본 발명에 따른 영상 처리 시스템의 처리 과정의 일실시예를 도시한 시스템 흐름도,
도 4는 디스플레이된 다시점 영상의 이미지 중심의 위치의 일실시예를 도시한 도면,
도 5는 디스플레이된 다시점 영상의 이미지 중심의 위치의 다른 실시예를 도시한 도면,
도 6은 탐지된 복수의 사용자 간의 거리를 산출하는 방법을 도시한 도면,
도 7은 본 발명에 따른 영상 시스템이 사용자 간의 거리에 따라 스윗 스포트의 위치를 조절한 일실시예를 도시한 도면,
도 8은 본 발명에 따른 영상 시스템이 사용자 간의 거리에 따라 스윗 스포트의 위치를 조절한 다른 실시예를 도시한 도면,
도 9는 시점 테이블의 일실시예를 도시한 도면,
도 10은 시점 테이블의 다른 실시예를 도시한 도면,
도 11은 시 거리를 조절하는 방법을 설명한 도면,
도 12는 시점 테이블의 또 다른 실시예를 도시한 도면,
도 13은 시점 테이블의 또 다른 실시예를 도시한 도면,
도 14는 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열에 대한 일실시예를 도시한 도면,
도 15는 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열에 대한 다른 실시예를 도시한 도면,
도 16은 입체영상 픽셀 주기 및 디스플레이 패널과 필터 간의 간격에 대한 일실시예를 도시한 도면,
도 17은 도 16의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면,
도 18은 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격에 대한 다른 실시예를 도시한 도면,
도 19는 도 18의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면,
도 20은 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격에 대한 또 다른 실시예를 도시한 도면,
도 21은 도 20의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면,
도 22는 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 23은 본 발명에 따른 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도, 그리고,
도 24는 본 발명에 따른 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 순서도이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명에 따른 영상 시스템에 대한 바람직한 일실시예의 구성을 도시한 구성도이다.
도 1을 참조하면, 본 발명에 따른 영상 시스템(100)은 카메라(110), 헤드 트레킹 시스템(120), 영상 처리 시스템(130) 및 디스플레이 패널(140) 중 적어도 하나를 포함할 수 있다. 영상 시스템(100)은 복수의 사용자에게 3차원 영상을 제공할 수 있는 다시점 시스템(Multi-view system)일 수 있다. 영상 시스템(100)은 단위시역에서 보는 사용자(101, 102)의 위치가 옮겨질 때마다 그 위치에 맞는 두 개의 시점 영상을 사용자의 좌안 및 우안에 각각 보여 주어, 사용자로 하여금 상기 두 개의 시점 영상을 통해 입체감을 감지하게 한다.
단위시역은 스윗 스포트(Sweet Spot) 및 데드 존(Dead Zone)을 포함할 수 있다. 스윗 스포트는 왼쪽 눈에 좌안 시점 영상, 오른쪽 눈에 우안 시점 영상이 비춰져 정상적으로 입체가 보이는 영역을 의미하고, 데드 존은 왼쪽 눈에 좌안 시점 영상 이외의 영상이 보이고 오른쪽에 우안 시점 영상 이외의 영상이 보여 이중 상이 보이는 영역을 의미한다.
일부 실시예로, 영상 시스템(100)은 80cm의 단위시역에 55개의 시점 영상을 제공하는 다시점 시스템으로 구축될 수 있다. 영상 시스템(100)은 80cm의 단위시역에 44개의 시점 영상을 제공하는 다시점 시스템으로 구축될 수 있다.
카메라(110)는 시청영역을 촬상한다. 시청영역은 시역(Viewing zone)을 포함하고, 디스플레이 패널(140)의 주변 영역을 의미한다. 카메라(100)는 시청영역에 위치하는 복수의 사용자를 촬상할 수 있다. 카메라(110)는 시청영역을 촬상한 이미지를 헤드 트레킹 시스템(120)에 출력한다.
헤드 트레킹 시스템(120)은 카메라(110)로부터 출력된 이미지에서 복수의 사용자들을 탐지하고, 탐지한 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득한다. 헤드 트레킹 시스템(120)은 여러 사람의 눈의 위치를 추적해서 사용자의 위치를 파악할 수 있다. 사용자 위치 정보는 사용자(101)의 위치를 지시하는 사용자 위치 정보 및 사용자(102)의 위치를 지시하는 사용자 위치 정보를 포함할 수 있다. 또한 사용자 위치 정보는 사용자의 눈의 위치를 지시하는 눈 위치 정보를 포함할 수 있다.
일부 실시예로, 헤드 트레킹 시스템(120)은 카메라(110)로부터 출력된 이미지에서 사용자(101)의 눈을 탐지하고, 눈의 위치를 파악하여 눈의 위치를 지시하는 눈 위치 정보를 생성할 수 있다. 헤드 트레킹 시스템(120)은 사전에 촬상된 사용자(101)의 안면 이미지를 이용하여 사용자(101)의 눈을 탐지할 수 있다.
영상 처리 시스템(130)은 헤드 트레킹 시스템(120)이 획득한 사용자 위치 정보를 이용하여 사용자 간의 거리를 산출한다. 예를 들면, 영상 처리 시스템(130)은 헤드 트레킹 시스템(120)이 획득한 사용자 위치 정보를 이용하여 사용자(101) 및 사용자(102) 간의 거리(d)를 산출한다.
영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 스윗 스포트 위치를 조절할 수 있다.
일부 실시예로, 영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 복수의 시점 영상의 배치를 결정하고, 결정한 배치에 따라 시점 영상들을 배치하여 합성할 수 있다. 그리고 영상 처리 시스템(130)은 합성한 시점 영상들이 디스플레이되도록 디스플레이 패널(140)을 제어한다.
일부 실시예로, 영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기를 결정하고, 결정한 입체영상 픽셀주기에 따라 시점 영상들을 배치하여 합성할 수 있다. 그리고 영상 처리 시스템(130)은 합성한 시점 영상들이 디스플레이되도록 디스플레이 패널(140)을 제어한다.
일부 실시예로, 영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 디스플레이 패널(140)과 필터 간의 간격을 결정하고, 결정된 간격에 따라 디스플레이 패널과 필터 간의 간격을 조절할 수 있다. 여기서 필터는 디스플레이 패널(140)이 디스플레이한 시점 영상들의 광경로를 조절하는 입체영상 필터일 수 있다.
일부 실시예로, 필터는 일정한 간격으로 배열된 투과영역들과 불투과영역들을 포함할 수 있다. 디스플레이 패널(140)에서 방출된 빛은 투과영역을 통해 투과되어 사용자의 우안 또는 좌안에 도달된다. 필터가 액정 패럴랙스 배리어인 경우에는, 불투과영역은 배리어로 구성될 수 있고, 한쌍의 투과영역과 불투과영역은 피치(Pitch)로 명명될 수 있다. 필터의 투과영역 및 불투과영역은 영상 처리 시스템(130)의 제어에 따라 이동될 수 있다. 이때, 필터는 디스플레이 패널(140)에 고정될 수 있다. 또한 필터는 불투과영역의 위치를 지시하는 복수의 스위치 모드를 갖는다. 즉 필터는 불투과영역의 위치별로 상기 불투과영역의 위치를 지시하는 스위치 모드를 가질 수 있다.
일부 실시예로, 필터가 액정 렌티큘러 필터인 경우에는, 투과영역과 불투과영역은 렌즈에 의해 구분될 수 있고, 하나의 렌즈는 피치(Pitch)로 명명될 수 있다. 필터의 렌즈는 영상 처리 시스템(130)의 제어에 따라 이동될 수 있다. 이때, 필터는 영상 처리 시스템(130)에 고정될 수 있다. 또한 필터는 렌즈의 위치를 지시하는 복수의 스위치 모드를 갖는다. 즉 필터는 렌즈의 위치별로 상기 렌즈의 위치를 지시하는 스위치 모드를 가질 수 있다.
일부 실시예로, 영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 필터의 배리어 또는 렌즈의 위치를 결정하고, 결정한 위치에 따라 필터의 배리어 또는 렌즈의 위치를 조절할 수 있다.
일부 실시예로, 영상 처리 시스템(130)은 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기 및 디스플레이 패널과 필터 간의 간격을 결정할 수 있다. 그리고, 영상 처리 시스템(130)은 결정한 입체영상 픽셀주기에 따라 시점 영상들을 배치하여 합성하고, 합성한 시점 영상들이 디스플레이되도록 디스플레이 패널(140)을 제어한다. 또한 영상 처리 시스템(130)은 결정한 간격에 따라 디스플레이 패널과 필터 간의 간격을 조절할 수 있다.
디스플레이 패널(140)은 영상 처리 시스템(120)의 제어에 따라 다시점 영상을 디스플레이한다. 디스플레이 패널(140)은 2시점 이상의 배리어(Barrier) 방식의 무 안경 3D 디스플레이일 수 있고, lenticular 방식의 무 안경 3D 디스플레이일 수 있다. 또한 디스플레이 패널(140)은 뷰 포멧(View format)이 sub-pixel 단위 또는 pixel 단위의 무 안경 3D 디스플레이일 수 있다.
도 2는 본 발명에 따른 헤드 트레킹 시스템의 처리 과정의 일실시예를 도시한 시스템 흐름도이다.
도 2를 참조하면, 헤드 트레킹 시스템(120)은 입력 데이터(Iuput data)(210)를 수신한다. 여기서 입력 데이터(210)는 카메라 이미지(212)를 포함할 수 있다. 또한 입력 데이터(210)는 카메라 이미지(212)에 포함된 객체에 대한 깊이 정보를 더 수신할 수 있다. 카메라 이미지(212)는 카메라(110)가 시청영역을 촬상한 영상 프레임일 수 있고, 복수의 사용자의 이미지를 포함할 수 있다.
헤드 트레킹 시스템(120)은 카메라 이미지(212)에서 복수의 사용자 탐지(220)를 수행한다. 여기서 헤드 트레킹 시스템(120)은 기존에 저장된 사용자의 안면 이미지를 이용하여 사용자를 탐지할 수 있고, 사용자의 눈을 탐지할 수 있다.
헤드 트레킹 시스템(120)은 사용자 위치 정보 생성(230)을 수행한다. 사용자 위치 정보는 복수의 사용자 각각에 대한 사용자의 위치를 지시하는 사용자 위치 정보를 포함할 수 있다. 사용자 위치 정보는 사용자의 좌안 및 우안 각각의 눈의 위치를 지시하는 위치 정보를 포함할 수 있다.
헤드 트레킹 시스템(120)은 사용자 위치 정보를 영상 처리 시스템(130)으로 전송(240)을 수행한다.
도 3은 본 발명에 따른 영상 처리 시스템의 처리 과정의 일실시예를 도시한 시스템 흐름도이다.
도 3을 참조하면, 영상 처리 시스템(130)은 입력 이미지(Input image)(310)를 수신한다. 입력 이미지(310)는 깊이값 맵(Depth Map)(312) 및 원본 이미지(314)를 포함할 수 있다.
영상 처리 시스템(130)은 입력 이미지(310)를 이용하여 다시점 영상 생성(320)을 수행한다. 일부 실시예로, 영상 치러 시스템(130)은 55개의 시점 영상을 포함하는 다시점 영상을 생성할 수 있고 44개의 시점 영상을 포함하는 다시점 영상을 생성할 수 있다.
영상 처리 시스템(130)은 헤드 트레킹 시스템(120)으로부터 사용자 위치 정보를 수신한다. 수신한 사용자 위치 정보가 한 명의 사용자에 대한 사용자 위치 정보를 포함하는 경우에는, 영상 처리 시스템(130)은 사용자 위치 정보를 기초로 시점 영상들의 멀티플렉싱(330)을 수행한다. 수신한 사용자 위치 정보가 복수의 사용자에 대한 사용자 위치 정보를 포함하는 경우에는, 영상 처리 시스템(130)은 수신한 사용자 위치 정보를 기초로 사용자 간의 거리를 산출한다. 영상 처리 시스템(130)은 산출한 사용자 간의 거리 및 데드 존의 길이를 기초로 시점 영상들의 멀티플렉싱(330)을 수행한다.
영상 처리 시스템(130)은 멀티플렉싱(330)을 통해 출력 이미지(output image)(340)를 생성한다. 출력 이미지(340)는 멀티플렉싱(330)을 통해 합성된 이미지(342)를 포함한다. 합성된 이미지(342)는 다시점 영상에 포함된 시점 영상들이 합성된 이미지일 수 있다.
영상 처리 시스템(130)은 출력 이미지(340)가 디스플레이되도록 최종 화면 출력(350)을 제어한다. 디스플레이 패널(140)은 출력 이미지(340)를 디스플레이한다.
도 4는 디스플레이된 다시점 영상의 이미지 중심의 위치의 일실시예를 도시한 도면이고, 도 5는 디스플레이된 다시점 영상의 이미지 중심의 위치의 다른 실시예를 도시한 도면이다.
도 4 및 도 5를 참조하면, 사용자(401) 및 사용자(402) 간의 거리가 거리(d)일 때, 영상 처리 시스템(130)은 사용자(401) 및 사용자(402) 사이의 중심에 이미지 중심(410)이 디스플레이되도록 이동시키고, 이미지 중심(410)을 기점으로 시점 영상을 배치할 수 있다.
사용자(402)가 지점(502)으로 이동하여, 사용자(401) 및 사용자(502) 간의 거리가 거리(d)보다 커진 경우에는, 영상 처리 시스템(130)은 이미지 중심이 위치(520)에 디스플레이되도록 이동시키고, 이미지 중심(520)을 기점으로 시점 영상을 배치할 수 있다.
도 6은 탐지된 복수의 사용자 간의 거리를 산출하는 방법을 도시한 도면이다.
도 6을 참조하면, 제1 사용자가 지점(601)에 위치하고, 제2 사용자가 지점(602)에 위치한 경우에, 영상 처리 시스템(120)은 제1 사용자 또는 제2 사용자의 위치를 단위시역에 대응하는 거리만큼 옮겨, 제1 사용자와 제2 사용자의 거리가 단위시역 보다 작도록 조절한다. 예를 들면, 제1 사용자와 제2 사용자 간의 거리가 단위시역보다 작도록, 영상 처리 시스템(120)은 지점(602)에 위치하는 제2 사용자를 단위시역에 대응하는 거리(620)만큼 옮겨, 지점(601)과 동일한 단위 시역(610)에 있는 지점(602')에 위치하도록 한다. 거리(620)는 하나 또는 복수의 단위시역의 거리일 수 있다.
도 7은 본 발명에 따른 영상 시스템이 사용자 간의 거리에 따라 스윗 스포트의 위치를 조절한 일실시예를 도시한 도면이다.
도 7을 참조하면, 제1 사용자(701)와 제2 사용자(702') 간의 거리가 데드 존 크기보다 작은 경우에는, 영상 처리 시스템(120)은 제1 사용자(701)와 제2 사용자(702')가 동일한 스윗 스포트에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다.
일부 실시예로, 제1 사용자(701)와 제2 사용자(702') 간의 거리가 데드 존 크기보다 작은 경우에는, 영상 처리 시스템(120)은 스윗 스포트의 중심이 제1 사용자(701)와 제2 사용자(702') 사이에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다. 제2 사용자의 위치(702')는 도 6에서 전술된 방식에 따라 이동된 위치일 수 있다.
일부 실시예로, 제1 사용자(701)와 제2 사용자(702') 간의 거리가 데드 존 크기보다 작은 경우에는, 영상 처리 시스템(120)은 스윗 스포트의 중심이 제1 사용자(701)와 제2 사용자(702') 사이의 중앙에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다. 제2 사용자의 위치(702')는 도 6에서 전술된 방식에 따라 이동된 위치일 수 있다.
일부 실시예로, 제1 사용자(701)와 제2 사용자(702') 간의 거리가 데드 존 크기보다 작은 경우에는, 영상 처리 시스템(120)은 이미지 중심이 제1 사용자(701)와 제2 사용자(702') 사이에 중앙에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다.
도 8은 본 발명에 따른 영상 시스템이 사용자 간의 거리에 따라 스윗 스포트의 위치를 조절한 다른 실시예를 도시한 도면이다.
도 8을 참조하면, 제1 사용자(801)와 제2 사용자(802') 간의 거리가 데드 존 보다 큰 경우에는, 영상 처리 시스템(120)은 데드 존이 제1 사용자(801)와 제2 사용자(802') 사이에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다. 제2 사용자의 위치(802')는 도 6에서 전술된 방식에 따라 이동된 위치일 수 있다.
일부 실시예로, 영상 처리 시스템(120)은 데드 존의 중앙이 제1 사용자(801)와 제2 사용자(802') 사이의 중앙에 위치하도록 시점 영상의 배치, 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격 중 적어도 하나를 조절할 수 있다. 제2 사용자의 위치(802')는 도 6에서 전술된 방식에 따라 이동된 위치일 수 있다.
도 9는 시점 테이블의 일실시예를 도시한 도면이다.
도 9를 참조하면, 시점 테이블(900)은 원점 상태에서의 시점 영상들의 배치를 나타낸다. 시점 테이블(900)에서는 행 방향으로 청색(B), 적색(R) 및 녹색(G) 서브 픽셀이 서로 교번적으로 배열되고, 열 방향으로 동일한 색의 서브 픽셀이 배열된다.
시점 테이블(900)에서 각 서브 픽셀에 표시된 숫자는 해당 서브 픽셀이 디스플레이할 시점 영상의 번호를 의미한다. 예를 들면, '1'은 1번째의 시점 영상을 의미하고, '6'은 6번째의 시점 영상을 의미하며, '11'은 11번째의 시점 영상을 의미한다.
일부 실시예로, 시점 테이블(900)의 서브 픽셀(m, n)에 표시될 시점 영상 View은 다음의 수학식1을 기초로 결정될 수 있다. 여기서, m은 행의 인덱스이고, n은 열의 인덱스이다.
Figure 112012021841014-pat00001
여기서, Initial View는 서브 픽셀(0,0)에 표시된 시점 영상의 번호이고, Horizontal View Step은 행방향으로 증가되는 숫자이고, Vertical View Step은 열방향으로 증가되는 숫자이며, NView는 시점 영상의 개수이다.
시점 테이블(900)은 Horizontal View Step이 5이고, Vertical View Step이 6이며, 시점 영상의 개수가 40인 다시점 영상에 대한 원점 상태의 시점 영상들의 배치를 나타낸다. 원점 상태는 서브 픽셀(0,0)에 표시된 시점 영상이 첫번째 시점 영상인 상태를 의미한다.
도 10은 시점 테이블의 다른 실시예를 도시한 도면이다.
도 10을 참조하면, 시점 테이블(1000)은 Horizontal View Step이 5이고, Vertical View Step이 6이며, 시점 영상의 개수가 40인 다시점 영상에 대한 원점 상태로부터 4시점 이동 상태의 시점 테이블이다. 원점 상태로부터 4시점 이동 상태는 원점 상태로부터 4시점만큼 이동된 것으로, 시점 테이블(1000)의 서브 픽셀(0, 0)에 표시된 시점 영상은 다섯 번째 시점 영상이 된다.
도 9에 도시된 시점 테이블(900)이 디스플레이 패널(110)에 디스플레이되고 있는 상태에서, 영상 처리 시스템(130)이 시점 영상들을 시점 테이블(1000)에 따라 배치하여 합성하고, 합성한 시점 영상을 디스플레이 패널(110)로 출력하면, 단위시역 내에 4개의 시점 영상이 차지하는 크기만큼 단위 시역이 이동하게 되고, 이에 따라 스윗 스포트가 이동하게 된다. 즉, 영상 처리 시스템(130)은 시점 영상들의 배치를 조절하여 스윗 스포트의 위치를 조절할 수 있다.
도 11은 시 거리를 조절하는 방법을 설명한 도면이다.
도 11을 참조하면, 영상 처리 시스템(130)은 입체영상 픽셀주기(P)를 조절하여 단위시역(L)의 위치 및 크기를 조절할 수 있다. 또한 영상 처리 시스템(130)은 단위시역(L)의 위치 및 크기를 조절하여, 스윗 스포트의 위치 및 크기를 조절할 수 있다. 즉 영상 처리 시스템(130)은 입체영상 픽셀주기(P)를 조절하여 사용자(1101)의 위치에 맞추어 스윗 스포트를 조절할 수 있다.
영상 처리 시스템(130)은 스케일 팩터(SF : Scale Factor)를 조절하여 시 거리(D)를 조절할 수 있고, 시 거리(D)에 따라 단위시역(L)의 위치 및 크기가 조절된다.
스케일 팩터 SF는 다음의 수학식 2로 정의된다.
Figure 112012021841014-pat00002
여기서, d는 디스플레이 패널(1110) 및 필터(1120) 간의 간격이고, D는 단위시역이며, p'는 조절된 입체영상 픽셀주기, D'는 조절된 시 거리이다.
영상 처리 시스템(130)이 입체영상 픽셀주기 P를 P'로 증가시킨 경우에는, 시 거리 D는 시 거리 D'로 감소되고, 단위시역 L은 단위시역 L'로 조절된다.
영상 처리 시스템(130)이 입체영상 픽셀주기 P를 P''로 감소시킨 경우에는, 시 거리 D는 시 거리 D''로 증가되고, 단위시역 L은 단위시역 L''로 조절된다.
도 12는 시점 테이블의 또 다른 실시예를 도시한 도면이다.
도 12는 최적 시거리에서의 시점 테이블을 도시한 도면이다.
도 12를 참조하면, 시점 테이블(1200)은 도 9에 도시된 시점 테이블(900)과 동일한 시점 영상의 배치를 갖는다. 라인(1210) 및 라인(1220)은 필터의 불투과영역의 폭을 규정하는 테두리 또는 필터의 렌즈의 테두리를 의미한다.
일부 실시예로, 시점 테이블(1200)의 서브 픽셀(m, n)에 표시될 시점 영상의 시점 거리 VD(View distance)는 다음의 수학식 3을 기초로 결정될 수 있다. 여기서, m은 행의 인덱스이고, n은 열의 인덱스이다.
Figure 112012021841014-pat00003
여기서, Initial View는 서브 픽셀(0,0)에 표시된 시점 영상의 번호이고, NView는 시점 영상의 총 개수이다.
Dist_x는 다음의 수학식 4로 정의된다.
Figure 112012021841014-pat00004
여기서, PH는 서브 픽셀의 가로 길이이다.
Dist_y는 다음의 수학식 5로 정의된다.
Figure 112012021841014-pat00005
여기서, Pv는 서브 픽셀의 세로 길이다.
DPV_x는 다음의 수학식 6으로 정의된다.
Figure 112012021841014-pat00006
여기서, Hstep은 행방향으로 증가되는 숫자이고, SF는 스케일 팩터이다.
DPV_y는 다음의 수학식 7로 정의된다.
Figure 112012021841014-pat00007
여기서, Vstep은 열방향으로 중가되는 숫자이다.
시점 테이블(1100)은 Hstep이 5이고, Vstep이 6이며, 시점 영상의 총개수가 40이고, SF가 1인 원점 상태의 시점 테이블이다.
도 13은 시점 테이블의 또 다른 실시예를 도시한 도면이다.
도 13은 시거리가 최적 시거리로부터 변경되었 때의 시점 테이블을 도시한 도면이다.
도 13을 참조하면, 시점 테이블(1300)은 Hstep이 5이고, Vstep이 6이며, 시점 영상의 총개수가 40이고, SF가 1.001989인 원점 상태의 시점 테이블이다. 시점 테이블(1300)의 서브 픽셀(m, n)에 표시될 시점 영상 View은 다음의 수학식 8을 기초로 산출될 수 있다.
Figure 112012021841014-pat00008
수학식 8은 수학식 7로부터 유도된다.
라인(1310) 및 라인(1320)은 필터의 불투과영역의 폭을 규정하는 테두리 또는 필터의 렌즈의 테두리를 의미한다.
도 14는 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열에 대한 일실시예를 도시한 도면이고, 도 15는 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열에 대한 다른 실시예를 도시한 도면이다.
도 14 및 도 15를 참조하면, 영역(1410) 및 영역(1420)은 각각 최적 시거리에서의 스윗 스포트 및 데드 존이다. 시거리는 변경한 경우에, 스윗 스포트(1410) 및 데드 존(1420)은 각각 영역(1510) 및 영역(1520)으로 변경된다. 시거리의 변경으로, 스윗 스포트 및 데드 존의 길이 및 위치 중 적어도 하나가 변경된다.
도 16은 입체영상 픽셀 주기 및 디스플레이 패널과 필터 간의 간격에 대한 일실시예를 도시한 도면이고, 도 17은 도 16의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면이다.
도 16 및 도 17을 참조하면, 영상 처리 시스템(130)은 디스플레이 패널(1610) 및 필터(1620)과의 간격(d)을 조절하여 단위시역(L)의 위치 및 크기를 조절할 수 있다. 또한 영상 처리 시스템(130)은 단위시역(L)의 위치 및 크기를 조절하여, 스윗 스포트의 위치 및 크기를 조절할 수 있다.
디스플레이 패널(1610) 및 필터(1620)과의 간격이 d이고, 입체영상 픽셀주기가 P인 경우에는, 스윗 스포트와 데드 존은 각각 영역(1710) 및 영역(1720)이 된다.
도 18은 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격에 대한 다른 실시예를 도시한 도면이고, 도 19는 도 18의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면이다.
도 18 및 도 19를 참조하면, 디스플레이 패널(1810)과 필터(1820) 간의 간격(d')은 도 16의 디스플레이 패널(1610)과 필터(1620) 간의 간격(d) 보다 작다.
디스플레이 패널(1810)과 필터(1820) 간의 간격이 d'이고, 입체영상 픽셀주기가 P인 경우에는, 스윗 스포트와 데드 존은 각각 영역(1910) 및 영역(1920)이 된다.
영상 처리 시스템(130)이 디스플레이 패널과 필터 간의 간격을 d에서 d'로 조절한 경우에, 스윗 스포트 영역은 도 17의 영역(1710)에서 도 19의 영역(1910)으로 조절되고, 데드 존은 도 17의 영역(1720)에서 도 19의 영역(1920)으로 조절된다.
도 20은 입체영상 픽셀 주기, 디스플레이 패널과 필터 간의 간격에 대한 또 다른 실시예를 도시한 도면이고, 도 21은 도 20의 실시예에 따른 스윗 스포트(Sweet Spot)와 데드 존(Dead Zone)의 배열을 도시한 도면이다.
도 20 및 도 21을 참조하면, 디스플레이 패널(2010)과 필터(2020) 간의 간격(d')은 도 16의 디스플레이 패널(1610)과 필터(1620) 간의 간격(d) 보다 크다.
디스플레이 패널(2010)과 필터(2020) 간의 간격이 d''이고, 입체영상 픽셀주기가 P''인 경우에는, 스윗 스포트와 데드 존은 각각 영역(2110) 및 영역(2120)이 된다.
영상 처리 시스템(130)이 디스플레이 패널과 필터 간의 간격을 d에서 d1'로 조절하고, 입체영상 픽셀주기를 P에서 P'로 조절한 경우에는, 스윗 스포트는 도 17의 영역(1710)에서 도 21의 영역(2110)으로 조절되고, 데드 존은 도 17의 영역(1720)에서 도 21의 영역(2120)으로 조절된다.
도 22는 본 발명에 따른 입체영상 처리 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.
도 22를 참조하면, 본 발명에 따른 입체영상 처리 장치(2200)는 수신부(2201), 역다중화부(2230), 비디오 디코더(2234), 오디오 디코더(2238), 버퍼(2240), 그래픽 프로세서(2245), 디스플레이(2250), 음성 출력부(2260), 입력장치(2270), 저장부(2280) 및 제어부(2290) 중 적어도 하나를 포함할 수 있다. 실시예에 따라서 입체영상 처리 장치(2200)는 카메라(2295)를 포함할 수 있다.
입체영상 처리 장치(2200)는 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이기기로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린, 터치 패드 또는 매직 리모컨 등 사용에 편리한 인터페이스를 갖출 수 있다. 그리고 입체영상 처리 장치(2200)는 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다. 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 보다 구체적으로 예를 들면, 입체영상 처리 장치(2200)는 네트워크 TV, HBBTV, 스마트 TV 및 오픈하이브리드TV(OHTV) 등이 될 수 있으며, 경우에 따라 이동 단말기, 스마트폰, PC 및 가전기기에도 적용 가능하다.
입체영상 처리 장치(2200)는 도 1의 영상 시스템(100)의 기능을 수행한다. 영상 시스템(100)은 입체영상 처리 장치(2200)로 구현될 수 있다.
수신부(2201)는 방송 데이터, 영상 데이터, 음성 데이터, 정보 데이터 및 애플리케이션 데이터를 수신할 수 있다. 영상 데이터는 2차원 영상을 디스플레이하기 위한 영상 데이터 및 3차원 영상을 디스플레이하기 위한 영상 데이터일 수 있다. 또한 상기 3차원 영상은 스테레오 이미지 또는 다시점 영상 중 적어도 하나를 포함할 수 있다. 또한 3차원 영상은 도 3에 도시된 입력 이미지(310)를 포함할 수 있다.
상기 3차원 영상은 복수의 입체 영상 프레임을 포함하는 3차원 동영상(3차원 비디오)일 수 있다. 일부 실시예로, 입체 영상 프레임은 특정 폭과 넓이를 갖는 2차원 영상 프레임과 이에 대응하는 깊이 영상을 포함할 수 있다. 여기서 2차원 영상 프레임은 칼라 영상 데이터를 포함한다. 상기 칼라 영상 데이터는 픽셀값을 포함한다. 이하에서 2차원 영상 프레임을 칼라 영상이라고 명명한다. 상기 깊이 영상은 그레이 레벨(Grey Level)로 표현될 수 있고, 상기 2차원 영상 프레임의 픽셀 해상도와 동일한 해상도를 가질 수 있다. 상기 깊이 영상에 포함된 픽셀들은 각각 상기 2차원 영상 프레임에 포함된 픽셀들과 일대 일로 대응되는 깊이값을 가질 수 있다. 상기 깊이값은 그레이 레벨로 표시될 수 있다. 일예로, 상기 그레이 레벨은 0에서 255의 값을 가질 수 있다.
수신부(2201)는 튜너부(2210), 복조부(2220), 이동 통신부(2215), 네트워크 인터페이스부(2225), 음성 감지부(2233) 및 외부 신호 수신부(2235)를 포함할 수 있다. 튜너부(2210)는 방송망을 통해 데이터를 포함하는 스트림 신호를 수신할 수 있고, 복조부(2220)는 상기 수신된 스트림 신호를 복조한다. 이동 통신부(2215)는 2G 통신망, 3G 통신망, 4G 통신망 등의 이동 통신망을 통해 데이터를 수신할 수 있다. 또한 네트워크 인터페이스(2225)는 네트워크를 통해 데이터를 송수신할 수 있으며, 외부 신호 수신부(2225)는 외부 장치로부터 애플리케이션 및 컨텐츠를 수신할 수 있고, 촬영장치(2295)로부터 영상 프레임을 수신할 수 있다. 여기서 상기 영상 프레임은 사용자가 촬상된 영상 프레임일 수 있다.
역다중화부(2230)는 복조부(2220)가 출력한 스트림 신호를 비디오 신호 및 오디오 신호로 역다중화한다. 또한 역다중화부(2230)는 이동 통신부(2215), 네트워크 인터페이스부(2225) 및 외부 신호 수신부(2235)로부터 영상 데이터, 음성 데이터, 방송 데이터, 정보 데이터 및 애플리케이션 데이터를 수신할 수 있다.
비디오 디코더(2234)는 역다중화부(2230)가 역다중화한 비디오 신호를 디코딩하고, 디코딩한 비디오 신호를 버퍼(2240)에 저장한다.
그래픽 프로세서(2245)는 버퍼(2240)에 저장된 영상 데이터가 디스플레이되도록 디스플레이(2260)를 제어한다. 그래픽 프로세서(2245)는 영상 데이터에 포함된 시점 영상들의 배치하여 합성하고, 합성된 이미지를 디스플레이(226)에 출력할 수 있다. 그래픽 프로세서(2245)는 제어부(2290)의 제어에 따라 시점 영상들을 배치할 수 있다. 즉 그래픽 프로세서(2245)는 제어부(2290)가 생성한 시점 영상의 배치를 조절하기 위한 제어 신호에 따라 시점 영상들을 배치할 수 있다.
오디오 디코더(2238)는 역다중화부(2230)가 역다중화한 오디오 신호를 디코딩하고, 디코딩한 오디오 신호를 음성 출력부(2260)로 출력한다.
디스플레이(2250)는 영상(2252)을 디스플레이한다. 영상(2252)은 다시점 영상에 포함된 시점 영상들이 합성된 이미지일 수 있다. 또한 영상(2252)은 도 3에 도시된 출력 이미지(340)를 포함할 수 있다. 디스플레이(2250)는 도 1에 도시된 디스플레이 패널(140)을 포함할 수 있고, 필터를 포함할 수 있다. 필터는 디스플레이 패널(140)이 디스플레이한 시점 영상들의 광경로를 조절하는 입체영상 필터일 수 있다.
또한, 디스플레이(2250)는 제어부(2290)와 연결되어 동작할 수 있다. 디스플레이(2250)는 입체영상 처리 장치의 사용자와 운영 체제 또는 운영 체제상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(2253)를 디스플레이할 수 있다.
음성 출력부(2260)는 오디오 디코더(2238) 및 제어부(2290)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(2261)을 출력할 수 있다.
입력장치(2270)는 디스플레이(2250) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있고 리모컨(2211)으로부터 신호를 수신하는 통신부일 수 있다. 입력장치(2270)는 리모컨(2211)으로부터 리모컨 전송 신호를 수신할 수 있다.
일부 실시예에 따라 수신부(2201)가 리모컨(2211)으로부터 신호를 수신하는 통신부일 수 있다. 즉 외부 신호 수신부(2235)는 리모컨(2211)으로부터 리모컨 전송 신호를 수신할 수 있다.
저장부(2280)는 일반적으로 입체영상 처리 장치(2200)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 여기서 프로그램 코드는 수신부(2201)가 수신한 애플리케이션의 프로그램 코드 및 입체영상 처리 장치(2200)의 제조시 저장된 애플리케이션의 프로그램 코드일 수 있다. 또한 애플리케이션은 HTML, XML, HTML5, CSS, CSS3, 자바스크립트, 자바, C언어, C++, Visual C++ 및 C# 등의 프로그래밍 언어로 작성될 수 있다.
저장부(2280)는 카메라(2295)가 촬상한 사용자의 안면 이미지를 저장할 수 있다. 제어부(2290)는 저장부(2280)에 저장된 사용자의 안면 이미지를 이용하여, 카메라(2295)가 촬상한 영상에서 사용자를 탐지할 수 있다.
저장부(2280)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 입체영상 처리 장치(2200) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.
제어부(2290)는 명령어를 실행하고 입체영상 처리 장치(2200)와 연관된 동작을 수행한다. 예를 들면, 저장부(2280)로부터 검색된 명령어를 사용하여, 제어부(2290)는 입체영상 처리 장치(2200)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다.
제어부(2290)는 운영 체제와 함께 프로그램 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(2290)와 연결되어 동작하는 저장부(2280) 내에 존재할 수 있다.
제어부(2290)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(2290)에 대해 사용될 수 있다.
제어부(2290)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 입체영상 처리 장치(2200)를 제어할 수 있다. 여기서 사용자 조치는 입체영상 처리 장치 또는 리모컨의 물리적인 버튼의 선택, 터치 스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬상 장치(2295)로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 제스처는 터치 제스처와 공간 제스처를 포함할 수 있다.
입력장치(2270)는 제스처(2271)를 수신하고, 제어부(2290)는 제스처(2271)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(2280)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(2281)을 포함할 수 있다. 제스처 작동 프로그램(2281)은 일반적으로 제스처(2271)의 발생을 인식하고 그 제스처(2271) 및/또는 제스처(2271)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.
제어부(2290)는 도 1의 헤드 트레킹 시스템(120)의 기능을 수행할 수 있다. 헤드 트레킹 시스템(120)은 소프트웨어로 제작되어서 제어부(2290) 상에서 구동될 수 있다. 도 1에 도시된 카메라(110)는 카메라(2295)일 수 있다.
제어부(2290)는 카메라(2295)로부터 출력된 이미지에서 복수의 사용자들을 탐지하고, 탐지한 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득한다. 제어부(2290)는 여러 사람의 눈의 위치를 추적해서 사용자의 위치를 파악할 수 있다. 사용자 위치 정보는 제1 사용자의 위치를 지시하는 사용자 위치 정보 및 제2 사용자의 위치를 지시하는 사용자 위치 정보를 포함할 수 있다. 또한 사용자 위치 정보는 사용자의 눈의 위치를 지시하는 눈 위치 정보를 포함할 수 있다.
일부 실시예로, 제어부(2290)는 카메라(2295)로부터 출력된 이미지에서 사용자의 눈을 탐지하고, 눈의 위치를 파악하여 눈의 위치를 지시하는 눈 위치 정보를 생성할 수 있다. 제어부(2290)는 사전에 촬상되어 저장부(2280)에 저장된 사용자의 안면 이미지를 이용하여 사용자의 눈을 탐지할 수 있다.
또한 제어부(2290)는 도 1의 영상 처리 시스템(130)의 기능을 수행할 수 있다. 영상 처리 시스템(130)은 소프트웨어로 제작되어서 제어부(2290) 상에서 구동될 수 있다.
제어부(2290)는 획득한 사용자 위치 정보를 이용하여 사용자 간의 거리를 산출한다. 예를 들면, 제어부(2290)는 획득한 사용자 위치 정보를 이용하여 복수의 사용자 간의 거리(d)를 산출한다. 제어부(2290)는 도 4에서 전술된 방식에 따라 사용자 간의 거리를 산출할 수 있다.
제어부(2290)는 산출한 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 스윗 스포트 위치를 조절할 수 있다.
일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 복수의 시점 영상의 배치를 결정하고, 결정한 배치에 따라 시점 영상들을 배치하여 합성할 수 있다. 그리고 제어부(2290)는 합성한 시점 영상들이 디스플레이되도록 디스플레이(2250)를 제어한다.
일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 복수의 시점 영상의 배치를 조절하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 그래픽 프로세서(2245)로 출력할 수 있다.
일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기를 결정하고, 결정한 입체영상 픽셀주기에 따라 시점 영상들을 배치하여 합성할 수 있다. 그리고 제어부(2290) 합성한 시점 영상들이 디스플레이되도록 디스플레이(2250)를 제어한다.
일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기를 결정하고, 결정한 입체영상 픽셀주기에 따라 복수의 시점 영상의 배치를 조절하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 그래픽 프로세서(2245)로 출력할 수 있다.
일부 실시예로, 제어부(2290) 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 디스플레이(2250)의 디스플레이 패널과 필터 간의 간격을 결정하고, 결정된 간격에 따라 디스플레이 패널과 필터 간의 간격을 조절할 수 있다. 여기서 필터는 디스플레이 패널이 디스플레이한 시점 영상들의 광경로를 조절하는 입체영상 필터일 수 있다.
일부 실시예로, 제어부(2290) 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 필터의 배리어 또는 렌즈의 배치를 결정하고, 결정한 배치에 따라 필터의 배리어 또는 렌즈의 위치를 조절할 수 있다.
일부 실시예로, 제어부(2290) 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기 및 디스플레이 패널과 필터 간의 간격을 결정할 수 있다. 그리고, 제어부(2290)는 결정한 입체영상 픽셀주기에 따라 시점 영상들을 배치하여 합성하고, 합성한 시점 영상들이 디스플레이되도록 디스플레이(2250)를 제어한다. 또한 제어부(2290)는 결정한 간격에 따라 디스플레이 패널과 필터 간의 간격을 조절할 수 있다.
일부 실시예로, 일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기 및 디스플레이 패널과 필터 간의 간격을 결정할 수 있다. 제어부(2290)는 결정한 입체영상 픽셀주기에 따라 복수의 시점 영상의 배치를 조절하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 그래픽 프로세서(2245)로 출력할 수 있다.
도 23은 본 발명에 따른 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 순서도이다.
도 23을 참조하면, 카메라(2295)는 시청 영역을 촬상한다(S100).
제어부(2290)는 카메라(2295)가 촬상한 이미지에서 복수의 사용자들을 탐지한다(S110). 제어부(2290)는 카메라(2295)로부터 출력된 이미지에서 사용자의 눈을 탐지할 수 있다. 제어부(2290)는 사전에 촬상되어 저장부(2280)에 저장된 사용자의 안면 이미지를 이용하여 사용자의 눈을 탐지할 수 있다.
제어부(2290)는 탐지한 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득한다(S120). 사용자 위치 정보는 사용자의 눈의 위치를 지시하는 눈 위치 정보 및 사용자의 좌안 및 우안의 중심점의 위치를 지시하는 정보 중 적어도 하나를 포함할 수 있다.
제어부(2290)는 획득한 사용자 위치 정보를 이용하여 탐지한 복수의 사용자 간의 거리를 산출한다(S130). 제어부(2290)는 도 4에서 전술된 방식에 따라 사용자 간의 거리를 산출할 수 있다.
제어부(2290)는 산출한 거리 및 다시점 영상의 데드 존의 길이를 기초로 시점 영상들의 배치를 결정한다(S140). 일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기를 결정하고, 결정한 입체영상 픽셀주기에 따라 시점 영상들의 배치를 결정할 수 있다. 일부 실시예로, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 입체영상 픽셀주기 및 디스플레이 패널과 필터 간의 간격을 결정하고, 결정한 입체영상 픽셀주기에 따라 시점 영상들의 배치를 결정할 수 있다. 제어부(2290)는 도 5 내지 도 6에서 전술된 방식에 따라 스윗 스포트 영역이 조절되도록 시점 영상들의 배치를 결정할 수 있다.
그래픽 프로세서(2245)는 제어부(2290)가 결정한 배치에 따라 시점 영상들을 배치하고, 배치된 시점 영상들을 합성한다(S150).
디스플레이(2260)는 합성된 시점 영상들을 디스플레이한다(S160).
도 24는 본 발명에 따른 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 순서도이다.
도 24를 참조하면, 카메라(2295)는 시청 영역을 촬상한다(S200).
제어부(2290)는 카메라(2295)가 촬상한 이미지에서 복수의 사용자들을 탐지한다(S210). 제어부(2290)는 카메라(2295)로부터 출력된 이미지에서 사용자의 눈을 탐지할 수 있다. 제어부(2290)는 사전에 촬상되어 저장부(2280)에 저장된 사용자의 안면 이미지를 이용하여 사용자의 눈을 탐지할 수 있다.
제어부(2290)는 탐지한 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득한다(S220). 사용자 위치 정보는 사용자의 눈의 위치를 지시하는 눈 위치 정보 및 사용자의 좌안 및 우안의 중심점의 위치를 지시하는 정보 중 적어도 하나를 포함할 수 있다.
제어부(2290)는 획득한 사용자 위치 정보를 이용하여 탐지한 복수의 사용자 간의 거리를 산출한다(S230). 제어부(2290)는 도 4에서 전술된 방식에 따라 사용자 간의 거리를 산출할 수 있다.
제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 디스플레이(2250)의 디스플레이 패널과 필터 간의 간격을 결정한다(S240). 제어부(2290)는 도 5 내지 도 6에서 전술된 방식에 따라 스윗 스포트 영역이 조절되도록 디스플레이 패널과 필터 간의 간격을 결정할 수 있다.
제어부(2290)는 결정된 간격에 따라 디스플레이 패널과 필터 간의 간격이 조절되도록 제어한다(S250). 여기서, 그래픽 프로세서(2245)는 제어부(2290)가 결정한 배치에 따라 시점 영상들을 배치하고, 배치된 시점 영상들을 합성할 수 있고, 디스플레이(2260)는 디스플레이 패널과 필터 간의 간격을 조절하고, 상기 조절된 디스플레이 패널 상에 합성된 시점 영상들을 표시할 수 있다.
일부 실시예로, 단계 S240에서, 제어부(2290)는 거리(d) 및 데드 존(Dead Zone)의 길이를 기초로 필터의 배리어 또는 렌즈의 배치를 결정할 수 있고, 단계 S250에서 제어부(2290)는 결정한 배치에 따라 필터의 배리어 또는 렌즈가 배치되도록 제어할 수 있다.
본 발명에 따른 입체영상 처리 장치 및 그 동작 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 입체영상 처리 장치의 동작방법은 입체영상 처리 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

Claims (25)

  1. 복수의 시점 영상들을 포함하는 다시점 영상을 디스플레이하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하는 방법에 있어서,
    시청 영역이 촬상된 이미지에서 복수의 사용자들을 탐지하고 상기 탐지된 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득하는 단계;
    상기 획득된 사용자 위치 정보를 이용하여 상기 탐지된 복수의 사용자들 간의 거리를 지시하는 거리 정보를 산출하는 단계; 및
    상기 산출된 거리 정보 및 상기 복수의 다시점 영상들의 데드 존(Dead Zone)의 길이를 기초로 상기 스윗 스포트의 위치를 조절하는 단계를 포함하고,
    상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 큰 경우에는, 상기 다시점 영상의 데드 존이 상기 사용자들 사이에 위치되도록 상기 스윗 스포트의 위치가 조절되는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  2. 제 1항에 있어서,
    상기 스윗 스포트의 위치를 조절하는 단계는,
    상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 상기 복수의 시점 영상들의 배치를 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  3. 제 1항에 있어서,
    상기 스윗 스포트의 위치를 조절하는 단계는,
    상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 입체영상 픽셀주기를 산출하는 단계; 및
    상기 산출된 입체영상 픽셀주기를 기초로 상기 복수의 시점 영상들의 배치를 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  4. 제 1항에 있어서,
    상기 스윗 스포트의 위치를 조절하는 단계는,
    상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 디스플레이 패널과 필터 간의 간격을 지시하는 간격 정보를 산출하는 단계; 및
    상기 산출된 간격 정보를 기초를 디스플레이 패널과 필터 간의 간격을 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  5. 제 1항에 있어서,
    상기 스윗 스포트의 위치를 조절하는 단계는,
    상기 거리 정보 및 상기 다시점의 데드 존의 길이를 기초로 필터의 배리어 또는 렌즈의 위치를 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 작은 경우에는, 상기 복수의 사용자들이 동일한 스윗 스포트에 위치되도록 상기 스윗 스포트의 위치가 조절되는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  8. 제 1항에 있어서,
    상기 거리 정보를 산출하는 단계는,
    상기 탐지된 복수의 사용자 간의 거리가 단위시역보다 큰 경우에는, 상기 복수의 사용자들 간의 거리가 단위시역 보다 작도록 상기 복수의 사용자들 중 적어도 하나를 이동시키는 단계; 및
    상기 이동된 적어도 하나의 사용자와 나머지 사용자 간의 거리를 지시하는 거리 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  9. 복수의 시점 영상들을 포함하는 다시점 영상을 수신하는 수신부; 및
    시청 영역이 촬상된 이미지에서 복수의 사용자들을 탐지하고 상기 탐지된 복수의 사용자들의 위치를 지시하는 사용자 위치 정보를 획득하고, 상기 획득된 사용자 위치 정보를 이용하여 상기 탐지된 복수의 사용자들 간의 거리를 지시하는 거리 정보 산출하며, 상기 산출된 거리 정보 및 상기 복수의 다시점 영상의 데드 존(Dead Zone)의 길이를 기초로 상기 복수의 시점 영상들을 시청하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하기 위한 제어 신호를 생성하는 제어부를 포함하고,
    상기 제어부는,
    상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 큰 경우에는, 상기 다시점 영상의 데드 존이 상기 사용자들 사이에 위치되도록 상기 스윗 스포트의 위치를 조절하기 위한 제어 신호를 생성하는 것을 특징으로 하는 입체영상 처리 장치.
  10. 제 9항에 있어서,
    상기 생성된 제어 신호에 따라 배치된 시점 영상들을 디스플레이하는 디스플레이를 더 포함하고,
    상기 디스플레이는,
    상기 시점 영상들을 디스플레이하는 디스플레이 패널; 및
    상기 디스플레이된 시점 영상의 광경로를 조절하는 필터를 포함하는 것을 특징으로 하는 입체영상 처리 장치.
  11. 삭제
  12. 제 9항에 있어서,
    상기 제어부는,
    상기 탐지된 복수의 사용자들 간의 거리가 상기 다시점 영상의 데드 존의 길이 보다 작은 경우에는, 상기 복수의 사용자들이 동일한 스윗 스포트에 위치되도록 상기 스윗 스포트의 위치를 조절하기 위한 제어 신호를 생성하는 것을 특징으로 하는 입체영상 처리 장치.
  13. 제 9항에 있어서,
    상기 제어부는,
    상기 탐지된 복수의 사용자들 간의 거리가 단위시역보다 큰 경우에는, 상기 복수의 사용자들 간의 거리가 단위시역 보다 작도록 상기 복수의 사용자들 중 적어도 하나를 이동시키고, 상기 이동된 적어도 하나의 사용자와 나머지 사용자 간의 거리를 지시하는 거리 정보를 산출하는 것을 특징으로 하는 입체영상 처리 장치.
  14. 제 9항에 있어서,
    상기 생성된 제어 신호에 따라 상기 복수의 시점 영상들을 배치하고, 상기 배치된 복수의 시점 영상을 합성하는 그래픽 프로세서를 더 포함하는 것을 특징으로 하는 입체영상 처리 장치.
  15. 제 9항에 있어서,
    상기 시청 영역을 촬상하는 카메라를 더 포함하는 것을 특징으로 하는 입체영상 처리 장치.
  16. 복수의 시점 영상들을 포함하는 다시점 영상을 디스플레이하기 위한 스윗 스포트(Sweet Spot)의 위치를 조절하는 방법에 있어서,
    복수의 사용자들의 위치 정보를 획득하는 단계;
    상기 획득된 복수의 사용자 위치 정보를 이용하여 상기 획득된 복수의 사용자들 간의 거리정보를 산출하는 단계; 및
    상기 산출된 사용자들 간의 거리 정보 및 데드 존(Dead Zone)의 정보를 기초로 상기 스윗 스포트의 위치를 조절하는 단계를 포함하고,
    획득된 복수의 사용자들 간의 거리가 데드 존의 너비보다 큰 경우에는, 데드 존이 상기 사용자들 사이에 위치되도록 상기 스윗 스포트의 위치가 조절되는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  17. 제 16항에 있어서,
    스윗 스포트의 위치를 조절하는 단계는,
    획득된 사용자의 거리 정보 및 데드 존의 정보로부터 복수의 시점 영상들의 배치를 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  18. 제 17항에 있어서,
    복수의 시점 영상들의 배치를 조절하는 단계는,
    획득된 사용자의 거리 정보와 데드 존의 위치 및 너비 정보로부터 입체영상 픽셀주기(P)를 산출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  19. 제 16항에 있어서,
    스윗 스포트의 위치를 조절하는 단계는,
    획득된 사용자의 거리 정보, 필터의 주기 및 입체 영상 픽셀 주기(P)를 기초로 디스플레이 패널과 필터 간의 간격을 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  20. 제 16항에 있어서,
    스윗 스포트의 위치를 조절하는 단계는,
    획득된 사용자의 거리 정보와 데드 존의 정보로부터 필터의 주기를 조절하는 단계를 포함하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  21. 삭제
  22. 제 16항에 있어서,
    획득된 복수의 사용자들 간의 거리가 데드 존의 너비 보다 작은 경우에는, 상기 복수의 사용자들이 동일한 스윗 스포트에 위치되도록 상기 스윗 스포트의 위치가 조절되는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  23. 제 16항에 있어서,
    획득된 복수의 사용자들 간의 거리 정보를 산출하는 단계는 사용자들의 실제 위치를 단위시역의 너비의 정수 배만큼 이동하여, 하나의 단위시역 안으로 이동시킨 후 사용자들의 거리 정보를 산출하는 것을 특징으로 하는 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법.
  24. 삭제
  25. 삭제
KR1020120027574A 2012-03-19 2012-03-19 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 Expired - Fee Related KR101911250B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120027574A KR101911250B1 (ko) 2012-03-19 2012-03-19 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US13/793,509 US9854229B2 (en) 2012-03-19 2013-03-11 Three-dimensional image processing apparatus and method for adjusting location of sweet spot for displaying multi-view image
EP13001223.0A EP2642760A1 (en) 2012-03-19 2013-03-12 Three-dimensional image processing apparatus and method for adjusting location of sweet spot for displaying multi-view image
CN201310088265.7A CN103327349B (zh) 2012-03-19 2013-03-19 三维图像处理装置和调整显示图像的最佳点的位置的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120027574A KR101911250B1 (ko) 2012-03-19 2012-03-19 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법

Publications (2)

Publication Number Publication Date
KR20130106001A KR20130106001A (ko) 2013-09-27
KR101911250B1 true KR101911250B1 (ko) 2018-10-24

Family

ID=47998122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120027574A Expired - Fee Related KR101911250B1 (ko) 2012-03-19 2012-03-19 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법

Country Status (4)

Country Link
US (1) US9854229B2 (ko)
EP (1) EP2642760A1 (ko)
KR (1) KR101911250B1 (ko)
CN (1) CN103327349B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
US9258547B2 (en) * 2012-03-21 2016-02-09 Laurence Chen Intelligent device with both recording and playing back 3D movies and the relevant apparatus and methods
US20150145977A1 (en) * 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
TWI549476B (zh) * 2013-12-20 2016-09-11 友達光電股份有限公司 顯示系統及調整可視範圍的方法
JP2016092765A (ja) * 2014-11-11 2016-05-23 株式会社リコー 情報処理装置、ユーザー検知方法、プログラム
CN104601981A (zh) * 2014-12-30 2015-05-06 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的调整观看角度的方法及全息显示装置
CN104602097A (zh) * 2014-12-30 2015-05-06 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的调整观看距离的方法及全息显示装置
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
CN115398889A (zh) * 2021-04-30 2022-11-25 纵深视觉科技(南京)有限责任公司 基于人眼跟踪的显示处理方法、装置、设备及存储介质
CN114079765B (zh) * 2021-11-17 2024-05-28 京东方科技集团股份有限公司 图像显示方法、装置及系统
CN115278197A (zh) * 2022-07-29 2022-11-01 北京芯海视界三维科技有限公司 处理装置及显示器件

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2306826A (en) * 1995-10-18 1997-05-07 Sharp Kk Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
DE19836681B4 (de) 1997-09-19 2008-03-27 Carl Zeiss Ag Stereoskopisches Aufnahme- und Wiedergabesystem
KR20040026693A (ko) * 2001-07-27 2004-03-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 관찰자 추적 시스템을 구비한 오토스테레오스코픽 이미지디스플레이
GB0322681D0 (en) * 2003-09-27 2003-10-29 Koninkl Philips Electronics Nv Multi-view display
DE10359403B4 (de) 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
US20060215018A1 (en) * 2005-03-28 2006-09-28 Rieko Fukushima Image display apparatus
JP5342796B2 (ja) * 2008-03-27 2013-11-13 株式会社東芝 三次元画像表示方法および装置
US20100002006A1 (en) * 2008-07-02 2010-01-07 Cisco Technology, Inc. Modal Multiview Display Layout
KR101615111B1 (ko) * 2009-06-16 2016-04-25 삼성전자주식회사 다시점 영상 표시 장치 및 방법
JP2012010085A (ja) 2010-06-24 2012-01-12 Sony Corp 立体表示装置及び立体表示装置の制御方法
KR101685981B1 (ko) 2010-07-29 2016-12-13 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
US20130027772A1 (en) * 2011-07-27 2013-01-31 Microsoft Corporation Variable-depth stereoscopic display

Also Published As

Publication number Publication date
CN103327349B (zh) 2015-12-23
US20130242067A1 (en) 2013-09-19
KR20130106001A (ko) 2013-09-27
CN103327349A (zh) 2013-09-25
EP2642760A1 (en) 2013-09-25
US9854229B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
KR101911250B1 (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
KR101719980B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US8930838B2 (en) Display apparatus and display method thereof
KR101719981B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR101924058B1 (ko) 영상표시장치 및 그 동작방법
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
TWI651960B (zh) 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品
US20110248989A1 (en) 3d display apparatus, method for setting display mode, and 3d display system
EP2582144A2 (en) Image processing method and image display device according to the method
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
JP5132804B1 (ja) 映像処理装置および映像処理方法
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
JP5433763B2 (ja) 映像処理装置および映像処理方法
KR20150012692A (ko) 입체 영상 처리 장치 및 방법
KR20130079044A (ko) 디스플레이 장치 및 그 제어 방법
KR20120126897A (ko) 전자 장치 및 입체영상 처리 방법
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
KR20120009897A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR20130115036A (ko) 다중 사용자 입체영상 처리 장치 및 다중 사용자 입체영상 처리 장치의 시야각을 확장하기 위한 방법
KR101598916B1 (ko) 사용자 인터페이스 제공 방법 및 그 방법을 채용한 디지털 방송 수신기
KR20120023218A (ko) 2ｄ 및 3ｄ 겸용 디스플레이 장치, 3ｄ 보조 장치 및 선택적인 디스플레이 방법
KR20130020209A (ko) 입체영상 처리 장치 및 입체영상 처리 장치의 영상 모드를 전환하기 위한 방법
KR20130011384A (ko) 3차원 영상 처리 장치 및 3차원 영상 처리 장치의 설정값을 조절하기 위한 방법
KR20130123693A (ko) 무안경 입체영상 처리 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120319

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170320

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120319

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180524

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181005

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181018

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181019

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220729