KR101651441B1

KR101651441B1 - ３차원 디스플레이 시스템

Info

Publication number: KR101651441B1
Application number: KR1020117012002A
Authority: KR
Inventors: 펠릭스 게. 그렘세; 바산쓰 필로민; 마르텐 베. 토비아스
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2008-10-28
Filing date: 2009-10-26
Publication date: 2016-08-26
Anticipated expiration: 2029-10-26
Also published as: EP2340648A1; JP2012507183A; US9134540B2; RU2011121668A; RU2541936C2; EP2340648B1; BRPI0914482A2; US20110193863A1; TW201027980A; CN102197653B; KR20110090960A; WO2010049868A1; CN102197653A; TWI527429B; JP5514219B2

Abstract

3차원 디스플레이 시스템은 장면에 관한 복수의 뷰(view)들을 표시하기 위한 디스플레이(207)를 포함하고, 각각의 뷰는 그 장면의 뷰잉(viewing) 방향에 대응한다. 렌더링 유닛(203)은 그 뷰들 각각에 대하여 이미지를 생성한다. 렌더링 유닛(203)은 이웃한 뷰들이 시청자의 상이한 눈들에 의해 시청될 때 3차원 깊이 효과를 제공하는 차등 이미지 데이터를 포함하는 이웃한 뷰들에 대하여 차등 이미지들을 생성할 수 있다. 이용자 프로세서(209)는 디스플레이 시스템에 대하여 뷰잉 영역에 있는 이용자의 시도 방향에 따라 이용자 존재 예측을 생성한다. 3D 모드 제어기(213)는 이용자 존재 예측에 따라 3차원 효과를 변경한다. 예를 들면, 디스플레이 시스템은 어떠한 이용자도 존재하지 않는 경우에는 2차원 이미지를 제공하고, 이용자가 존재하는 경우에는 3차원 이미지를 제공한다. 이것은 차선 상태의 위치에 있는 시청자들에 의해 경험되는 불쾌감을 감소시킨다.

Description

３차원 디스플레이 시스템{A THREE DIMENSIONAL DISPLAY SYSTEM}

본 발명은 3차원 디스플레이 시스템 및 그것의 동작 방법에 관한 것이다.

3차원 디스플레이들은 관심이 증가하고 있으며, 이용자가 특정 안경 또는 다른 불편한 장비를 추가하거나 이용자들의 눈을 특정 위치에 머무르게 하지 않고도 3차원 뷰잉(viewing) 인식을 제공하는 방법에서 상당한 연구가 행해진다.

3차원(3D) 디스플레이들은 시청자의 두 눈에 시청되고 있는 장면에 관한 다른 뷰들을 제공함으로써 뷰잉 경험에 3차원을 부가한다. 이것은 디스플레이되는 2개 뷰들을 따로 분리하기 위해 이용자에게 안경을 쓰게 함으로써 달성될 수 있다. 그러나, 이것이 이용자에게 불편할 수 있기 때문에, 뷰들을 분리시키는 수단을 디스플레이(예, 양면 볼록 렌즈, 또는 장벽들)에서 이용하고, 분리된 뷰들이 개별적으로 이용자의 눈들에 도달하게 상이한 방향으로 보내는 자동 입체 디스플레이들을 이용하는 것이 많은 시나리오에서 바람직하다.

자동 입체 디스플레이들은 통상적으로 뷰들의 "콘들(cones)"을 생성하고, 그 각각의 콘은 장면의 상이한 뷰잉 각도들에 해당하는 2개 또는 가끔은 더 많은 뷰들을 포함한다. 인접한 뷰들 간의 뷰잉 각도 차이는 이용자의 오른쪽과 왼쪽 눈 간의 뷰잉 각도 차이에 해당하도록 생성된다. 따라서, 눈으로 2개의 인접한 뷰들을 보는 시청자는 3차원 효과를 인식하게 된다. 9개의 상이한 뷰들이 뷰잉 콘에서 생성되는 이러한 시스템의 예는 도 1에서 기술된다.

그러나, 기술되는 자동 입체 디스플레이들이 3차원 경험에 매우 바람직하지만, 그것들은 또한 몇 가지 관련된 단점이 있다. 예를 들면, 자동 입체 디스플레이들은 시청자들 위치에 매우 민감하고, 따라서 다이나믹 시나리오들에 있어서는 보다 덜 적절하고, 그 점에서 사람이 매우 특정한 위치에 있을 때는 보장될 수 없다. 특히, 정확한 3차원 인식은 정확한 뷰잉 각도에 해당하는 이용자의 눈이 뷰들을 인식하도록 배치되는 이용자에 매우 의존한다. 그러나, 어떤 상황에서는, 이용자의 눈들이 적정 이미지 뷰들을 수신하기에 최적으로 배치되지 않고, 그로 인해 임의 자동 입체 디스플레이 애플리케이션들과 시나리오들, 특히 적절한 뷰들에서 시청자의 눈들에 향해진 것들은 유쾌하지 못한 감정을 유발하는 인간 영상 시스템을 혼란시키는 경향이 있다. 이러한 경험은 부정확한 뷰들이 수신되는 위치들에 있는 이용자들에게 제한되지 않고, 인간이 디스플레이를 직접 보지 않고 그의 주변 시각의 일부로서 보기만 할 때에 경험될 수 있다. 특히, 경험은 사람들이 다수의 뷰들을 통과시키는 디스플레이에 따라 이동하는 실시예들에 대하여 진술될 수 있다.

따라서, 향상된 3차원 디자인 시스템이 바람직하고, 특히 유연성이 증가되고, 이용자 경험이 향상되고, 이용자 불쾌함이 감소되고, 및/또는 성능이 향상된 시스템이 바람직하다.

따라서, 본 발명은 바람직하게는 단독으로 또는 임의 결합으로 전술된 단점들 중 하나 그 이상을 완화, 경감 또는 제거하기 위한 것이다.

본 발명의 한 양태에 따르면, 3차원 디스플레이 시스템은: 한 장면의 복수의 뷰들을 표시하기 위한 디스플레이를 포함하고, 각각의 뷰는 상기 장면의 뷰잉 방향에 해당하고; 상기 복수의 뷰들 각각에 대한 이미지를 생성하기 위한 렌더링 유닛(rendering unit)을 포함하고, 상기 렌더링 유닛은 이웃한 뷰들이 시청자의 상이한 눈들에 의해 보여질 때 3차원 깊이 효과를 제공하는 차등 이미지 데이터를 포함한 이웃한 뷰들에 대하여 차등 이미지들을 생성할 수 있고; 상기 디스플레이 시스템에 대하여 뷰잉 영역의 이용자의 시도된 방향에 따라 이용자 존재 예측(presence estimate)을 생성하는 수단; 및 상기 이용자 존재 예측에 따라 상기 3차원 효과에 적합하도록 상기 이웃한 뷰들에 대하여 상기 차등 이미지들을 수정하기 위한 수정 수단을 포함한다.

본 발명은 많은 실시예들 및 시나리오들에서 향상된 이용자 경험을 제공한다. 특히, 효과적인 3D 경험은 전용 이용자들에게 제공되고, 동시에 임의 환경들 및 시나리오들에서 경험될 수 있는 불쾌함 및 불편함을 감소시킬 수 있다.

예를 들면, 상기 디스플레이 시스템은 어떠한 이용자들도 나타나지 않았다고 예측될 때 2차원(2D) 모드로 동작하고, 이용자가 디스플레이를 시청하고 있을 것 같다고 검출될 때는 3차원(3D) 모드로 전환할 수 있다. 이것은 최적의 3D 뷰잉에 배치되지 않은 사람들에게 초래될 수 있는 불편함과 불쾌함을 감소시키는 동시에, 3D 경험에 제시된 이용자들에 대하여 타협되지 않은 3D 성능을 허용할 수 있다.

이용자 존재 예측은 임의 이용자가 검출 여부를 나타내는 표시를 제공하는 2진 표시일 수 있다. 뷰잉 영역은 임의 적절한 영역일 수 있고, 이용자 존재 예측 자체를 결정하는 수단에 의해 정해질 수 있다. 예를 들면, 이용자 존재 예측은 카메라 커버링(covering)에 기초하여 생성되고 뷰잉 각도는 그 카메라에 의해 커버링되는 영역일 수 있다.

이용자 존재 예측은 임의 실시예들에서 이용자 존재의 예측된 특성을 나타낼 수 있다. 예를 들면, 디스플레이와 관련된 위치 또는 거리는 예측될 수 있고, 이용자 존재 예측에 반영될 수 있다. 또 다른 실시예에서, 이용자 존재 예측은 이용자의 이동 특성을 나타낼 수 있고, 특히 이용자가 현재 어떻게 이동하고 있는지를 반영한 특성을 나타낼 수 있다. 따라서, 향상된 3차원 효과는 예를 들면 검출된 이용자 이동 여부에 따라 상이하다.

바람직하게는, 본 발명에 따른 3차원 디스플레이 시스템은, 각각의 렌즈들과 셔터들이 이용자의 눈들에 뷰 정보를 제공하는 데 이용되는, 예를 들면 양면 볼록 렌즈 또는 장벽 디스플레이 시스템과 같은 자동 입체 디스플레이 시스템이다. 더욱 바람직하게는, 디스플레이는 3개 이상의 뷰들을 동시에 제공한다. 양면 볼록 렌즈 자동 입체 디스플레이 시스템에서, 각각의 뷰들은 디스플레이와 관찰자 사이에 디스플레이에 배치되는 렌즈들에 의한 특정 각도들로 대체로 향해진다.

본 발명의 선택적 특징에 따르면, 수정 수단은 이용자 존재 예측에 따라 차등 이미지들에 의해 표시되는 장면에 대하여 깊이 범위를 조절하도록 배치된다.

이것은 특히 관심을 끄는 이용자 경험을 허용하고 제공된 3D 경험의 조절 및 제어를 향상시키고 및/또는 촉진시킬 수 있다. 깊이 범위는 최고 전경과 최고 배경 이미지 픽셀들 간의 지각있는 깊이 차이일 수 있다. 깊이 범위는 예를 들면 이웃한 뷰들의 이미지들의 대응 이미지 영역들 사이에서 차단 데이터 및/또는 불일치 특성으로 차등 데이터에 의해 반영될 수 있다.

본 발명의 선택적 특징에 따르면, 수정 수단은 이용자 존재 예측에 따라 차등 이미지들의 대응 이미지 영역들에 대하여 불일치 특성을 변화시키기 위해 차등 이미지를 변경하도록 배치된다.

이것은 3D 효과를 제어하는 특히 효율적이고 높은 성능 수단을 허용한다. 예를 들면, 렌더링 유닛은 장면의 깊이 데이터에 기초하여 불일치 값들을 생성하고, 그 생성된 불일치 값들은 이용자 존재 예측에 따라 단순 변경될 수 있다.

예를 들면, 수정 수단은 이용자 존재 예측에 따라 이웃한 뷰들의 대응 이미지 영역 간의 불일치 오프셋을 조절하도록 배열될 수 있다. 특히, 수정 수단은 이용자 존재 예측이 존재하지 않은 이용자를 표시할 때에 관하여 이용자 존재 예측이 존재하는 이용자를 표시할 때 이웃한 뷰들의 대응 이미지 영역들 간의 불일치 오프셋을 줄이도록 배열될 수 있다.

본 발명의 선택적 특징에 따르면, 렌더링 유닛은 장면의 깊이 맵 데이터에 따라 차등 이미지 데이터를 생성하도록 배열되고, 수정 수단은 이용자 존재 예측에 따라 깊이 맵 값들과 불일치 값들 간의 관계를 변경하도록 배열된다.

이것은 생성된 3D 효과를 제어하는 데 특히 효율적이고 실질적인 방법이다. 특히, 복잡함, 계산 리소스 장비들 및/또는 비용을 줄이는 동시에, 향상된 이용자 경험을 제공한다. 예를 들면, 스크린 깊이 레벨에 관련된 픽셀의 깊이 값(또는, 예를 들면 최고 전면 또는 최고 후면 레벨)은 렌더링에 기초한 깊이 값 이전에 배율 계수에 의해 크기 조정될 수 있다. 배율 계수는 수정 수단에 의해 단순 제어될 수 있다.

본 발명의 선택적 특징에 따르면, 수정 수단은 이용자 존재 예측에 따라 차등 이미지 간의 뷰잉 각도 오프셋을 변경시키기 위해 차등 이미지 데이터를 변경하도록 배열된다.

이것은 생성된 3D 효과를 제어하는 특히 효과적이고 실질적인 방법을 허용한다. 특히, 복잡함, 계산 리소스 장비들 및/또는 비용을 줄이는 동시에, 향상된 이용자 경험을 제공한다. 예를 들면, 렌더링은 관련된 깊이 맵 데이터를 가지는 하나 그 이상의 공통 이미지들에 기초하여 행해지고, 렌더링 유닛은 그 이미지들의 뷰잉 각도를 명시하는 입력 값에 기초하여 상이한 뷰들에 대한 이미지들을 생성하도록 배열될 수 있다. 3D 효과는 상이한 뷰들에 도시되는 상이한 이미지들을 렌더링하는데 이용되는 상대 뷰잉 각도들의 차이를 변경함으로써 단순 제어될 수 있다.

본 발명의 선택적 특징에 따르면, 수정 수단은 새로운 이용자의 방향에 따라서 제 1 동작 모드에서 제 2 동작 모드로 디스플레이 시스템은 전이하도록 배열되고, 제 1 동작 모드는 제 2 동작 모드에 비해 감소된 3차원 효과에 해당한다.

이것은 향상된 이용자 경험을 허용하고, 이용자 및/또는 시스템이 최적의 경험을 제공할 수 있기 이전에 다른 시청자들 또는 이용자에게 불편함을 제공하지 않고도 전용 이용자에게 매우 효과적인 3D 경험을 허용한다.

예를 들면, 이용자 존재 예측이 어떠한 이용자도 뷰잉 영역에 없음을 표시할 때 디스플레이 시스템은 2D 모드로 동작하고, 이것에 의해 이용자들, 즉 뷰잉 영역 바깥에 있는 이용자들을 통과시키도록 하여 임의 불편함을 야기하지 않는다. 시스템이 새로운 이용자가 존재한다고 검출할 경우, 시스템은 이용자에게 3D 경험을 제공하도록 3D 모드로 전환한다.

새로운 이용자는 이전에 검출되지 않은 이용자일 수 있다. 따라서, 전이는 이전에 검출되지 않은 이용자의 검출에 의해 트리거링(triggering)될 수 있다. 새로운 이용자는 뷰잉 영역에 있는 유일한 이용자일 수 있다. 특정 예로서, 이용자 존재 예측은 하나 그 이상의 이용자가 존재하거나 전혀 이용자가 존재하지 않은 지에 관한 예측을 나타내는 2진 예측을 제공한다. 그 예측이 어떠한 이용자도 존재하지 않다는 표시에서 하나 그 이상의 이용자들이 존재하고 있다는 표시로 변화할 경우, 2D 동작 모드에서 3D 동작 모드로의 전이가 일어날 수 있다.

본 발명의 선택적 특징에 따르면, 수정 수단은 0.5초 내지 10초의 전이 시간을 가지도록 그 전이를 제어하도록 배열된다.

이것은 향상된 이용자 경험을 제공한다. 사실상, 이용자는 2D가 3D로 점차 바뀌는(즉, 깊이 인식이 느리게 점차 바뀌는) 보다 즐거운 경험을 할 수 있다. 이것은 향상된 경험을 제공하고, 또한 예를 들면, 특정 위치의 이용자에 대하여 최적의 뷰들을 제공하는 것처럼, 시스템이 특정 시나리오에 적합하게끔 한다.

본 발명의 선택적 특징에 따르면, 수정 수단은 이용자의 부재 검출에 따라 제 2 동작 모드에서 제 1 동작 모드로 디스플레이 시스템을 전이시키도록 배열되고, 제 1 동작 모드는 제 2 동작 모드에 비해 감소된 3차원 효과에 해당한다.

이것은 향상된 이용자 경험을 허용하고, 특히 이용자들 및/또는 시스템이 최적의 경험을 제공할 수 있기 이전에 다른 시청자들 또는 이용자에게 불편함을 제공하지 하고도 전용 이용자에게 매우 효율적인 3D 경험을 허용한다.

예를 들면, 이용자 존재 예측이 이용자가 존재한다고 표시하는 경우, 시스템은 이용자에게 3D 경험을 제공하도록 3D 모드로 동작한다. 그러나, 이용자가 떠났다고 검출되는 경우, 디스플레이 시스템은 2D 모드로 전환하고, 이로써 시청자들을 통과시키는 어떠한 불편함을 야기하지 않는다.

이용자의 부재가 뷰잉 영역에 있는 임의 이용자의 부재이거나 임의 실시예에서는 이전에 존재하였던 이용자의 부재에 해당한다. 따라서, 전이는 이전에 검출되었던 이용자를 검출하는 실패로 인해 트리거링될 수 있다. 특정 예로서, 이용자 존재 예측은 하나 그 이상의 이용자들이 존재하거나 어떤 이용자도 존재하지 않음에 관한 예측을 나타내는 2진 예측을 제공한다. 그 예측이 하나 그 이상의 이용자들이 존재하고 있다고 하는 표시에서 어떤 이용자도 존재하지 않는다고 하는 표시로 변화하는 경우, 3D 동작 모드에서 2D 동작 모드로의 전이가 일어날 수 있다.

임의 실시예에서, 수정 수단은 0.5초 내지 10초의 전이 시간을 가지도록 그 전이를 제어하도록 배열될 수 있다. 이것은 향상된 이용자 경험을 제공한다.

본 발명의 선택적 특징에 따르면, 3차원 디스플레이 시스템은 또한 복수의 인접한 그룹들의 뷰들을 나타내도록 배열되고, 각 그룹의 뷰들은 복수의 뷰들 중 적어도 약간을 포함한다.

이것은 향상된 이용자 경험을 허용하고, 디스플레이에 관하여 상이한 위치들에 있는 이용자들에게 고품질 3D 경험이 제공되게 한다. 이 방법은 또한 촉진되고 및/또는 향상된 디자인 및 제조 디스플레이들을 허용한다.

본 발명의 선택적 특징에 따르면, 3차원 디스플레이 시스템은 제 1 그룹의 뷰들 중 제 2 뷰에 관하여 적어도 제 1 뷰의 광도를 감소시키도록 배열되고, 제 2 뷰는 제 1 뷰보다 제 1 그룹의 뷰들에서 보다 더 중앙에 있다.

이것은 향상된 이용자 경험을 허용하고, 특히 임의 시나리오의 임의 이용자들에 의해 인식될 수 있는 불편함 및 불쾌함을 줄이게 된다.

구체적으로, 단일 그룹 내의 복수의 뷰들이 좌우 눈 각각에 대응하는 이미지 방향들에 해당하도록 정렬되지만, 이러한 관계는 그룹의 끝에서 파괴된다. 특히, 최우측 뷰잉 방향은 최좌측 뷰잉 방향에 해당하는 이웃한 그룹에서 한 뷰에 인접한 그룹(콘)의 끝에 있는 것이 통상적이다. 따라서, 3D 이미지 인식이 증가된 뷰잉 각도에 의해 왜곡될 뿐만 아니라, 반전되고/반사되는 뷰잉 방향에 의해서도 파괴될 것이다. 이것은 왜곡된 뷰를 야기하고 이용자에게는 불편함 및 불쾌감을 주게 된다. 이러한 효과는 그룹들의 엣지들을 향한 광도를 감소시킴으로써 감소될 수 있다. 예를 들면, 이용자가 그룹/뷰잉 콘의 엣지쪽으로 이동할 때, 이미지는 다음 그룹/뷰잉 콘으로 이동하는 이용자의 눈들 중 한쪽의 지각 충돌을 완화하게 된다. 선택적으로 또는 부가적으로, 그룹/콘 엣지들에서 떨어져 있는 이용자에게 치우쳐 있는 피드백을 이용자에게 제공한다.

광도는 예를 들면 이미지에 대하여 평균 광도이거나 그 이미지들에 대하여 디폴트 또는 배경 광도일 것이다.

본 발명에 따르면, 3차원 디스플레이 시스템은 뷰들의 적어도 한 그룹의 적어도 한 엣지 뷰에 장면의 한 이미지를 나타내지 않도록 또한 정렬된다.

이것은 향상된 이용자 경험을 허용하고, 특히 임의 시나리오들에서 임의 이용자들에 의해 인식될 수 있는 불편함 및 불쾌감을 감소시키게 된다. 구체적으로, 전술된 것과 마찬가지로, 이것은 이용자가 2개 인접한 그룹/뷰잉 콘들 간의 엣지에 있으므로 해서 반전된 3D 콘들을 수신하는 것을 경감하게 된다.

장면의 이미지 미 출현은, 구체적으로 완전한 화이트 또는 블랙 이미지(예, 무 광도에 해당하는)와 같이 이미지에 어떠한 상술도 제공하지 않음으로써 달성될 수 있다. 이 방법은 2개 이상의 뷰들에 미치도록 디스플레이에 관하여 수직 뷰잉 위치에 이용자가 쉽게 있을 수 없거나 그것이 불가능할 때 이용자가 반사된/반전된 3D 콘들을 인식하는 것을 방지한다. 선택적으로 또는 부가적으로, 그룹/콘 엣지들에서 떨어져 있는 이용자에게 치우쳐 있는 피드백을 이용자에게 제공한다.

본 발명의 선택적 특징에 따르면, 이용자 존재 예측은 디스플레이에 관하여 검출된 새로운 이용자의 상대 이용자 위치의 표시를 표함하고, 3차원 디스플레이 시스템은 또한 뷰들의 그룹이 상대 이용자 위치로 향하게 하기 위한 수단을 또한 포함한다.

이것은 향상된 이용자 경험을 제공하고, 특히 본 발명의 전술된 특징들 및 옵션들과 상호 의존적인 상호 작용에 기초하여 향상된 이용자 경험을 제공한다.

예를 들면, 그 방법은 스크린에 관하여 그의 현재 위치 쪽으로 설정된 3D 효과가 이용자에게 제공되게 한다. 예를 들면, 새로운 이용자가 디스플레이 전면에 위치하고 있을 때 이용자가 그룹/뷰잉 콘의 중앙에 있는 것으로 출력이 적응되도록 디스플레이는 적응한다. 그러나, 시스템의 적응 시간 동안뿐만 아니라 이용자가 그 위치 위에 있는 시간 동안에, 이용자에게 2D 이미지들을 제공하여, 부적절하게 정렬된 3D 표시의 바람직하지 못한 효과들을 피하게 된다. 이용자가 그의 위치에 안정되고 그 안정된 위치에 대하여 시스템이 뷰잉 콘에 적응할 때, 3차원 특징은 풀(full) 3D 경험을 제공할 때까지 점차 나타낼 수 있다.

본 발명의 선택적 특징에 따르면, 이용자 존재 예측은 디스플레이에 관한 이용자 주의를 나타내는 이용자 주의 예측을 포함한다.

이것은 향상된 구동을 허용하고, 특히 특정 이용자 환경 및 특징에 관한 시스템의 향상된 적응을 허용한다.

본 발명에 따르면, 3차원 디스플레이 시스템의 구동 방법이 제공되고, 그 방법은: 디스플레이에 장면의 복수의 뷰들을 표시하는 단계를 포함하고, 각각의 뷰는 그 장면에 대한 뷰잉 방향에 해당하고; 그 복수의 뷰들 각각에 대하여 이미지를 생성하는 단계를 포함하고, 이 이미지 생성 단계는, 이웃한 뷰들이 시청자들의 상이한 눈들에 의해 시청될 때 3차원 깊이 효과를 제공하는 차등 이미지 데이터를 포함한 이웃한 뷰들에 대하여 차등 이미지들을 생성하는 것을 포함하고; 디스플레이 시스템에 대한 뷰잉 영역에 있는 이용자의 시도 검출에 따라서 이용자 존재 예측을 생성하는 단계; 및 그 이용자 존재 예측에 따라서 3차원 효과에 적응하도록 이웃한 뷰들에 대하여 차등 이미지들을 수정하는 단계를 포함한다.

본 발명의 한 양태에 따르면, 전술된 방법을 실행하기 위한 컴퓨터 프로그램 제품이 제공된다.

본 발명의 상기 및 다른 양태들, 특징들 및 이점들은 후술 될 실시예(들)를(을) 참조하여 분명해지고 설명될 것이다.

본 발명에 관한 실시예들은 한 예시로서만 도면들을 참조하여 기술될 것이다.

도 1은 종래 기술에 따른 복수의 뷰들을 제공하는 3차원 디스플레이 시스템을 도시한 도면.
도 2는 본 발명의 임의 실시예들에 따른 3차원 디스플레이 시스템의 일례를 도시한 도면.
도 3은 3차원 디스플레이 시스템에 의해 생성되는 복수의 뷰들을 도시한 도면.
도 4는 본 발명의 임의 실시예에 따른 3차원 디스플레이 시스템에 관한 구동 방법의 일례를 도시한 도면.

도 2는 본 발명의 임의 실시예들에 따른 3차원 디스플레이 시스템의 일례를 도시하고 있다. 3차원 디스플레이 시스템은 2 눈으로 상이한 뷰들을 보고 있는 이용자가 3차원 이미지를 인식하도록 동일 장면의 상이한 뷰잉 각도들에 해당하는 복수의 뷰들을 생성하도록 정렬된다.

예에서, 3차원 디스플레이 시스템은 3차원 인식을 위해 이미지들의 생성을 허용하는 이미지 데이터와 관련된 데이터를 제공하는 이미지 데이터 소스(201)를 포함한다. 특정 예에서, 제공된 데이터는 배경 이미지에 대하여 배경 층과 하나 그 이상의 전경 층들에 대응하는 복수의 이미지 층들에 의해 제공된다. 또한, 제공된 데이터는 이미지 층의 각 픽셀에 대하여 깊이 값을 포함하는 각 이미지 층에 대한 깊이 맵을 포함한다.

명확하고 간결하게 하기 위해, 이하의 기술은 정지 이미지와 같은 싱글 이미지의 처리에 초점을 맞추게 된다. 그러나, 기술된 원리들이 예를 들면, 3차원 애니메이션들 및 동영상들의 표현들에 동일하게 적용한다. 예를 들면, 기술된 처리는 층을 이루고 있는 깊이 모델이 3차원 비디오 신호로 이용되는 경우 각각의 이미지와 3차원 비디오 신호의 깊이 맵에 개별적으로 적용될 수 있다.

이미지 데이터 소스(201)는 그 이미지 데이터 소스(201)로부터 수신된 이미지 데이터에 의해 표현되는 장면의 상이한 뷰들에 대하여 복수의 이미지들을 렌더링하도록 정렬되는 렌더링 프로세서(203)에 결합된다. 이미지들은 시청자의 오른쪽 또는 왼쪽 눈에 의해 인식되는 이미지들에 각각 해당하도록 렌더링된다.

특히, 렌더링 프로세서(203)는 일정 범위의 이미지들을 생성하고, 각각의 이미지는 한 눈의 뷰에 해당하고 인접한 뷰는 다른 눈의 뷰에 해당한다. 이미지들은 2개 인접 뷰들이 이용자의 각각의 좌우 눈에 의해 인식되는 경우 소망의 3D 효과는 이용자에 의해 인식되도록 생성된다.

예로서, 풀 3D 모드로 동작하는 경우, 렌더링 프로세서(203)는 장면 바로 앞에서 눈에 의해 보여지는 이미지에 해당하는 중앙 뷰에 대하여 이미지를 생성한다. 이미지는 수신된 이미지 층들과 깊이 맵에 기초하여 생성된다. 바로 오른쪽의 뷰에 대한 이미지는 소망의 거리에 있는 좌우 눈들 간의 뷰잉 각도들의 통상적인 차이에 해당하는 양만큼 오른쪽으로 치우친 뷰잉 각도에서 보여지는 뷰에 해당하도록 생성될 수 있다. 이러한 뷰의 오른쪽의 뷰에 대한 이미지는 이러한 처리를 반복함으로써, 즉 소망의 거리에 있는 좌우 눈들 간의 뷰잉 각도들의 통상적인 차이에 해당하는 양만큼 오른쪽으로 더 치우친 뷰잉 각도에 해당하는 이미지를 생성함으로써 생성된다. 동일한 방법은 중앙 뷰의 왼쪽 뷰에 해당하는 이미지들에 이용될 것이다(2개 이미지 사이에서 치우친 뷰잉 각도는 반대 방향이다). 따라서, 좌우 눈들이 인접한 뷰들로부터 이미지들을 수신하도록 배치되는 이용자는 상이한 뷰잉 각도들을 반영하는 차등 이미지 데이터를 포함하는 차등 이미지들을 수신할 것이다. 따라서, 이용자는 3차원 깊이 효과를 인식한다. 특정 예에서, 렌더링 프로세서(203)는 9개 인접 뷰들에 대하여 9개 이미지를 생성한다(도 1의 일례와 동일함).

후술되는 바와 같이, 렌더링 프로세서(203)는 3D 모드로 항상 동작하지 않고, 생성된 모든 이미지들이 동일한, 즉 동일 이미지가 모든 뷰들에 이용되는 2D 모드를 포함한 축소된 3D 모드로 동작한다.

3차원 모델 또는 비디오 신호로부터 주어진 뷰잉 각도에 대하여 이미지를 생성하는 임의 적정 알고리즘이 본 발명으로부터 이탈하지 않고 이용될 수 있음을 이해할 것이다. 예를 들면, 3차원 층형 깊이 모델과 같은 3차원 모델에 기초하는 멀티-뷰 디스플레이들에 대하여 뷰들을 렌더링하는 알고리즘들은 당업자에게 공지되어 있다. 층형 깊이 모델에 기초하여 뷰들을 렌더링하는 적정 알고리즘의 일례는 세이드, 제이 등에 의해 SIGGRAPH98에서 출판된 "층형 깊이 이미지들"에서 찾아볼 수 있다. 뷰들을 렌더링하는 알고리즘들에 대한 다른 소스들은 컴퓨터 그래픽스 텍스트북들에서 찾아볼 수 있다.

생성된 이미지들은 뷰들의 복수의 인접 그룹들을 생성하는 그룹 제어기(205)에 제공된다. 그룹 제어기(205)는 각각의 그룹이 동일 뷰들을 포함하도록 뷰들의 복수의 그룹들을 생성하도록 정렬된다. 그룹 제어기(205)는 그룹들의 뷰들을 표시하도록 정렬되는 3D 디스플레이에 결합된다. 따라서, 뷰들의 각 그룹은 도 1에 도시된 바와 같이 뷰잉 콘에 해당한다.

따라서, 일례에서, 3D 디스플레이는 넌-오버랩핑(non-overlapping) 뷰들을 디스플레이하지 않고 오히려 디스플레이 전역에 복사되거나 즉 되풀이되는 뷰들의 그룹을 디스플레이한다. 구체적으로, 뷰들의 각 그룹은 도 1에 도시된 것과 동일한 뷰잉 콘에 표시될 수 있지만 뷰잉 콘들은 디스플레이 전역에 복사된다. 따라서, 뷰들의 한 그룹의 최고 좌측 뷰는 뷰들의 인접 그룹의 최고 우측 뷰(바로 그 뷰들의 그룹의 최우측 뷰와 동일함)에 인접할 것이다. 동일하게는, 뷰들의 한 그룹의 최고 우측 뷰는 뷰들의 인접 그룹의 최고 좌측 뷰(바로 그 그룹 뷰들의 최고 좌측 뷰와 동일함)에 인접할 것이다.

따라서, 일례에서, 뷰들의 기본 세트는 디스플레이 전역에서 반복되고, 이로 인해 예를 들면 디스플레이에 관하여 상이한 위치들에 있는 이용자들이 효과적인 3D 인식을 감지하게 된다. 따라서, 도 3에 도시된 바와 같이, 뷰잉 콘들은 상이한 콘들에 있는 사람들이 동일 콘텐츠를 시청할 수 있도록 디스플레이 전역에 주기적으로 반복한다.

그룹 제어기(205)는 그룹들에서 적정 뷰들에 상이한 뷰잉 각도들에 해당하는 렌더링된 이미지들을 할당한다. 구체적으로, 최고 좌측 뷰잉 각도에 해당하는 이미지는 각각의 그룹/콘의 최고 좌측 뷰에 배정되고, 다음의 최고 우측 뷰잉 각도에 대응하는 이미지는 각각의 그룹/콘의 다음 최고 좌측 뷰에 배정된다.

그러나, 추가로 도 1의 시스템은 차선 상태 위치들에 있는 시청자들에게 주는 불편함과 불쾌감을 줄이기 위해 하나 그 이상의 이용자들의 존재에 관한 예측들에 응답하여 행동에 적응하도록 배열된다.

구체적으로, 시청자가 상이한 그룹들에서 뷰들을 시청하고 있도록 콘 경계선에 위치하고 있는 경우, 그는 인간 영상 시스템을 혼동시키는 좌우 반전된 뷰들을 보게 되고, 따라서 불쾌한 느낌을 갖게 된다(예를 들면, 좌측 눈은 도 3의 +4 이미지를 보고, 우측 눈은 -4를 보게 된다). 이러한 그룹/콘 경계 전이는 최고의 자동 입체 3D 디스플레이들에 주요 단점들 중 하나를 제공한다. 사실상, 인간이 디스플레이를 직접 보고 있지 않고 그의 주변 비전의 일부로서 그것을 시청하고만 있는 경우에도, 불쾌감은 콘 경계선들에 근접하여 유발될 수 있다. 이것은 몇몇 콘 경계선들을 통과시키기 때문에 사람이 디스플레이를 따라 이동할 때 특히 중요하다.

도 2의 시스템에서, 적정 영역에서 이용자 존재에 관한 생성된 예측에 따라 동작이 적응된다. 구체적으로는, 새로운 이용자가 검출될 경우, 뷰잉 그룹/콘들이 뷰잉 콘의 중앙에 있는 이용자에게서 생성되기 쉽도록 그룹 제어기(205)가 그룹의 뷰들을 생성하도록 이용자 예측은 뷰잉 콘을 적응시키는 데 이용된다.

그러나, 이용자의 위치에 관한 뷰잉 콘/그룹의 적응이 대체로 이용자 경험을 개선하고, 불편함과 불쾌감을 경감시키지만, 이용자는 처음에 뷰잉 그룹들 사이에서 가장자리들에 배치될 수 있다. 예를 들면, 통상적으로 이용자가 그가 소망하는 위치에 있게 될 때까지 스크린을 시청하기 시작할 때로부터 시간 간격 동안에, 이용자는 불쾌감을 초래하는 왜곡 또는 반사된 3D 큐들(cues)을 경험한다. 또한, 초기 뷰잉 콘의 적응은 예를 들면, 디스플레이를 거쳐 이동하는 시청자들과 같은 우발적 시청자들의 문제점을 경감시키지 못한다.

도 2의 시스템에서, 이것은 상이한 뷰들의 이미지들에 의해 제공되는 3D 효과를 제어하는 데 이용되기도 하는 이용자 존재 예측에 의해 경감된다.

특정 예로서, 이용자 존재 예측은 2D 동작 모드와 3D 동작 모드 사이에서 디스플레이 시스템을 전환하는데 이용될 수 있다. 예를 들면, 이용자 존재 예측이 어떠한 이용자도 주어진 시간 간격 동안에 검출되지 않았다고 표시하는 경우, 디스플레이 시스템은 2D 동작 모드로 동작한다. 이것은, 예를 들면 모든 뷰들에 동일 콘텐츠를 디스플레이함으로써, 즉 뷰들의 모든 그룹들의 모든 뷰들에서 렌더링된 동일 이미지를 표시함으로써 달성될 수 있다. 이 경우에, 디스플레이를 시청하기 위해 위치를 취하는 처리에서의 우발적 시청자들, 또는 이용자들은 임의 왜곡 또는 불쾌감을 경험하지 않고, 단지 2차원 장면을 경험하게 된다. 그러나, 이용자가 검출되는 경우, 디스플레이 시스템은 예를 들면, 깊이 효과를 예로 2초 이상 점차 증가시킴으로써 2D에서 3D 동작 모드로 서서히 전이할 수 있다. 이것은 2D에서 3D로 객체를 서서히 변화시키는 느낌을 이용자에게 제공할 것이다. 또한, 3D로 전이하기 전에, 뷰잉 그룹 또는 콘은 이용자로 향하게 할 수 있거나 다수 이용자 위치들에 관하여 최적의 방법으로 배치될 수 있다.

다수 이용자가 검출되는 경우, 뷰잉 그룹 또는 콘의 적응은 최소의 이용자들이 콘 경계선과 부딪치도록 뷰들의 콘들/그룹들을 조준함으로써 또는 검출된 페이스들(faces)의 중앙에서 그것들의 가장 근접한 콘 경계선들까지의 평균 거리를 최소화함으로써 달성될 수 있다. 예를 들면, 2명 이용자가 검출되는 경우, 각각의 검출된 페이스와 가장 근접한 콘 경계선 간의 평균 또는 총 거리는, 예를 들면 콘들의 모든 가능한 정렬들에 대하여(예, 콘마다 9개 뷰를 제공하는 디스플레이에 대한 9개의 상이한 가능성에 대하여) 평가될 수 있다. 그런 다음, 콘 경계선들에 결합된 최대 거리를 제공하는 정렬이 선택될 수 있다. 동일 방법은 예를 들면 콘들의 중앙에서 페이스의 중앙까지의 결합된 거리를 최소화하는데 이용될 수 있다. 대안적으로, 각각의 정렬에 대하여, 검출된 페이스 위치들 중 임의 페이스가 콘 경계선에 너무 근접한 지가 결정될 수 있다. 그 다음, 정렬은 주어진 콘 경계선 간격 내에 검출된 페이스 위치들이 없을 경우에 선택될 수 있다. 어떠한 정렬도 가능하지 않은 경우, 콘 경계선 간격에 있는 오직 한 페이스만을 초래하는 정렬이 선택될 수 있다. 만일 이것이 불가능한 경우, 콘 경계선 간격들에서 오직 2개 페이스만을 가지는 정렬이 선택될 수 있다.

이용자들의 수와 위치에 따라, 뷰잉 콘들 사이에서 경계선에 이용자가 전혀 없도록 뷰잉 콘들/그룹들을 적응시키는 것이 항상 가능한 것은 아니다는 것을 이해하게 될 것이다. 임의 실시예들에서, 이것은 받아들일 수 있게 고려될 수 있다(예, 경계선들 내에 위치하는 이용자들은 수용 가능 3D 이미지를 인식하지 못하는 경우에 통상적으로 이동하게 된다). 그러나, 다른 실시예들에서, 3D 효과는 그룹의 뷰들에 대하여 경계선 간격에서의 이용자 검출에 따라 조절될 수 있다. 예를 들면, 장치는 뷰잉 그룹들/콘들의 정렬이 뷰잉 콘 경계선 간격에 위치하는 임의 이용자들이 없을 경우에도 가능하다고 검출될 때까지 2D 동작 모드 상태가 된다.

주어진 간격에서 어떠한 이용자도 없는 경우, 디스플레이는 2D 동작 모드로 다시 서서히 전이한다. 결과가 고정된 깊이 효과와 정적 콘 경계선들을 이용하는 것보다 훨씬 더 기분 좋게 인식되는, 입증되어 온 실험들이 행해져 왔다. 특히, 2D와 3D 사이에서 이전으로의 전이는 불쾌하게 인식되지 않는다.

따라서, 도 2의 디스플레이 시스템은 명확하게 이용자 존재 여부 예측을 나타내는 2진 값인 이용자 존재 예측을 생성하도록 정렬되는 이용자 프로세서(209)를 포함한다.

일례에서, 이용자 프로세서(209)는 디스플레이(207) 전면에 영역을 캡쳐(capture)하도록 정렬되는 카메라에 결합된다. 카메라(211)는 예를 들면 디스플레이 상부 또는 하부에 배치될 수 있다. 카메라(211)로부터의 신호는 이용자의 존재를 검출하기 위해 신호를 평가하도록 처리하는 이용자 프로세서(209)에 제공된다. 특정 예에서, 이용자 프로세서(209)는 수신된 비디오 신호에서 페이스 검출을 실행한다. 따라서, 페이스 검출 알고리즘은 수신된 신호에서 페이스를 검출하도록 시도함으로써 이용자의 존재를 검출하려고 한다. 페이스가 검출되는 경우, 이용자 존재 예측은 이용자가 존재함을 나타내도록 설정되거나, 그렇지 않으면 이용자가 존재하지 않음을 나타내도록 설정된다. 이것이 존재하고 있는 시청자뿐만 아니라, 시청자가 디스플레이의 이용자일 것이다, 즉 검출된 페이스가 디스플레이되는 이미지(들)를(을) 시청하기 위해 디스플레이를 향하고 있음을 나타내는 표시를 제공할 경우, 페이스 검출 알고리즘은 카메라(211) 및 디스플레이(207)를 향하고 있는 페이스들을 검출하도록 정렬된다. 따라서, 이러한 방법은 이용자들과 우발적 시청자들 사이에서 바람직한 차이를 제공하고, 따라서 존재 표시뿐만 아니라 관심 표시도 제공한다.

이용자 존재 검출이 충족되는 다양한 요구 조건들을 필요로 할 수 있다는 것을 이해하게 된다. 예를 들면, 이용자가 존재함을 나타내는 이용자 존재 표시에 대하여, 최소한의 소정 시간 간격 동안 이용자가 검출된다고 하는 것이 요구될 수 있다. 동일하게는, 이용자가 존재하지 않음을 나타내는 이용자 존재 표시에 대해서는, 최소한의 소정 시간 간격 동안 어떠한 이용자도 검출되지 않는 것이 요구될 수 있다.

페이스 검출에 대한 상이한 알고리즘들이 당업자들에게 이미지 공지되어 있음을 이해하게 된다. 또한, 이용자 존재 예측을 판정하는 다른 알고리즘들이 다른 실시예에서 선택적으로 또는 부가적으로 이용될 수 있다는 것을 이해하게 된다.

일례에서, 이용자 프로세서(209)는 이용자 존재 여부를 나타낼 뿐만 아니라 디스플레이에 관하여 이용자의 위치의 예측을 제공하기도 하는 이용자 존재 예측을 생성한다. 예를 들면, 카메라(211)에 의해 캡쳐링된 이미지에서 페이스의 위치는 디스플레이(207)에 따라 이용자의 위치를 예측하는데 이용될 수 있다. 이 위치 정보는 특정 예에서 그것을 디스플레이에 따라 예측되는 위치에 해당하는 뷰잉 그룹/콘을 생성하는데 이용하는 그룹 제어기(205)에 제공된다. 예를 들면, 뷰들은 이용자의 위치에 해당하는 빔이 이미지 그룹의 중앙 뷰에 할당되도록(예, 도 3의 일례의 뷰 0) 특정 디스플레이 뷰 빔들에 할당될 수 있다.

일례에 대하여, 디스플레이(207)는 구체적으로 콘/그룹마다 9개 뷰들과 총 8개의 콘/그룹들을 가진다. 따라서, 총 개수의 뷰는 72개이다. 페이스 검출 알고리즘은 말하자면 뷰 37에 위치한 사람을 검출한다. 디스플레이의 양면 볼록 렌즈의 물리적 특성 때문에, 뷰들은 9개 뷰들마다 반복한다. 즉, 뷰 i는 모든 i에 대하여 뷰 i+9와 동일하다. 렌더링은 9개 상이한 뷰들, -4~+4를 계산하고, 뷰 0은 본래 2D 이미지이다. 렌더링된 중앙 뷰는 72 뷰들 중 하나에 지정된다. 중앙 뷰를 지정하는 데에는 9개의 상이한 구성만이 있다. 다른 렌더링된 뷰들은 도 3에 예시되는 바와 같이 중앙 주변에 배치된다. 따라서, 위치 37에 있는 시청자에 대하여 최적화하기 위해, 그룹 제어기(205)는 중앙 뷰를 위치 37에 지정한다.

이 일례에서, 시청자가 최적의 뷰잉 거리에 있다고 가정된다. 디스플레이를 특정 시청자 거리에 적응시키는 것은 더 복잡해질 수 있다. 예를 들면, 시청자가 말하자면 4m 거리에 있다고 가정하면, 위치 37에서 및 4m 거리에서 픽셀들을 볼 수 있고 중앙 뷰는 이러한 픽셀 서브셋에 배치되는 것으로 판정된다. 그 다음, 렌더링된 뷰 1은 위치 38에서 및 4m 거리에서 볼 수 있는 픽셀 서브셋에 배치된다. 렌더링된 뷰 -1은 위치 36에서 및 4m 거리에서 볼 수 있는 픽셀 서브셋에 배치된다.

거리 및 위치는 페이스 검출을 이용하여 얻어질 수 있다는 것을 이해하게 된다. 구체적으로, 검출된 페이스를 나타내는 직사각형을 제공하는 페이스 검출 알고리즘들이 공지되어 있다. 직사각형의 중심은 페이스의 위치로서 이용될 수 있다. 정확한 눈 위치들은 특정 시스템에 대해서 통상적으로 요구되지 않는다. 또한, 콘/뷰잉 그룹 조준에 대하여, 오직 수평 위치만이 요구된다(거리 또는 수직 위치는 전혀 요구되지 않는다). 직사각형의 크기는 사람까지의 거리를 예측하는데 이용될 수 있다. 거리는, 예를 들면 멀리 떨어져 있는 사람을 무시하는데 유용한 동시에, 이것들로 하여금 그들이 더 근접해질 때까지 추적되게 한다. 통상적으로, 임의 최소 크기 이상의 오직 직사각형들(20×20픽셀들)만이 거리 범위를 종종 제한함으로써 생성된다. 따라서, 장거리 범위에서 초래되는 뷰의 협폭 필드와 단거리 범위에서 초래되는 뷰의 광폭 필드를 가지는 개별 실시예와 시나리오에 대하여 뷰의 적정 필드가 요구된다. 보다 더 높은 해상도 카메라는 보다 더 큰 거리 범위를 허용한다. VGA 카메라들(640×480)은 최상의 시나리오들에 충분하다.

또한, 다양한 카메라 개선들이 페이스 검출 알고리즘의 정밀도 및 신뢰도를 증가시키는데 이용될 수 있다는 것을 이해하게 된다. 예를 들면, 카메라(211)는 스테레오 카메라, 적외선 카메라, 높은 동적 범위 카메라 및/또는 깊이 카메라(구체적으로는 빛의 플라이트(flight)에 기초함)일 수 있다.

또한, 다른 실시예들에서, 이용자 존재 예측을 검출하는 다른 방법들과 원리들이 이용될 수 있다. 예를 들면, 간단한 적외선 열 감지기(예, 수동 적외선 검출기,PID)는 감지기가 미치는 영역 내에 사람이 존재하는지의 여부에 관한 간단한 2진 예측을 제공하는데 이용될 수 있다.

또한, 디스플레이 시스템은 이용자 프로세서(209) 및 렌더링 프로세서(203)에 결합되는 3D 제어기(213)를 포함한다. 3D 제어기(213)는 이용자 프로세서(209)로부터 이용자 존재 예측을 수신하고, 그 예측에 기초하여 렌더링 프로세서(203)에 의해 생성되는 이미지들에 의해 제공되는 3D 효과를 제어하도록 처리한다.

일례에서, 3D 제어기(213)는 이미지들에 의해 제공되는 3D 인식의 정도를 제어한다. 따라서, 렌더링 프로세서(203)에 의해 렌더링되는 상이한 이미지들에 대한 이미지 데이터의 차이는 소망의 3D 효과를 제공하게 된다. 구체적으로, 장면에 대한 깊이 범위는 이용자 예측에 따라 3D 제어기(213)에 의해 적응될 수 있다. 따라서, 시청자로부터 각각 가장 멀리 떨어져 있고 및 가장 근접한 것으로 인식되는 픽셀 소자들의 깊이 차이는 이용자 존재 예측에 따라 적응될 수 있다. 예에서, 깊이 범위는 디스플레이 시스템이 정상 3D 동작 모드로 동작하는 경우(즉, 이용자가 주어진 시간 보다 더 많은 시간 동안에 존재해 온 경우) 이미지 데이터 소스(201)로부터의 장면 데이터로 표시되는 전 레벨에 있을 수 있지만, 시스템이 2D 동작 모드로 동작하는 경우(즉, 소정 시간 동안 보다 더 많은 시간 동안에 존재해 온 경우) 어떠한 깊이 범위도 포함하고 있지 않다.

또한, 일례에서, 3D 제어기(213)는 2D 동작 모드와 3D 동작 모드 간의 전이를 아주 천천히 제어한다. 사실, 이용자가 검출되는 경우(예, 페이스가 소정 기간보다 더 길게 검출되어 온 경우), 3D 제어기(213)는 플랫 이미지(모든 뷰들에서 동일 이미지)에 해당하는 것에서 풀 3D 뷰(즉, 좌우 눈에 대하여 상이한 뷰잉 각도들에 해당하는 차등 이미지를 가짐)에 해당하는 것으로 변화하는 이미지들을 생성하도록 렌더링 프로세서를 점차 제어한다.

동일하게는, 이용자가 소정 시간 간격 이상으로 존재하지 않는 것으로 검출되는 경우(예, 이전에 검출된 페이스가 더 이상 검출되지 않거나 게다가 어떠한 페이스도 소정 간격 동안에 검출되지 않은 경우), 3D 제어기(213)는 풀 3D 뷰(즉, 좌우 눈에 대하여 상이한 뷰잉 각도들에 해당하는 차등 이미지 데이터를 가짐)에 해당하는 것에서 플랫 이미지(모든 뷰들에서 동일한 이미지)에 해당하는 것으로 변화하는 이미지들을 생성하도록 렌더링 프로세서를 점차 제어한다.

일례에서, 3D 제어기(213)는 전이들이 비교적 느리게 행해지도록 렌더링 프로세서(203)를 제어한다. 특별히 관심을 끄는 이용자 경험은 0.5초 내지 10초, 특히 1 내지 5초의 전이 시간을 가지는 한번 또는 2번 전이에 대해서 발견된다. 이 방법은 이용자가 디스플레이 전면에 앉아 있는 경우 표시된 이미지가 자동으로 및 점차 3차원이 되는 경험을 이용자에게 제공한다. 또한, 이미지는 이용자가 떠난 경우에는 2D 이미지도 자동 전환되어, 다른 이들에 미치는 불편함 및 불쾌감을 줄이게 된다.

일례에서, 3D 인식 큐들은 서로에 대하여 차등 이미지 데이터를 가지는 상이한 이미지들에 의해 제공된다. 즉, 3D 효과가 제공되는 경우, 이미지들은 동일하지 않다. 차등 이미지 데이터는 구체적으로 이미지 영역의 특정 깊이에 대하여 시차 효과(좌우 눈 사이에서)를 나타내는 불일치 값에 해당하는 이미지 영역들의 시프팅(shifting)에 포함된다. 예를 들면, 불일치 값들은 이미지 대상이 이용자를 향하고 있을수록 증가할 것이고, 따라서 이웃한 뷰들에 대하여 이미지들 간의 이미지 영역들의 오프셋은 이러한 이미지 영역들이 전방에 있을수록 증가할 것이다. 사실, 불일치 값들과 오프셋들은 많은 배경 이미지 영역들에 있어서 제로인 경향이 있다. 부가적으로, 차등 이미지 데이터는 예를 들면 차단 데이터를 포함한다. 예를 들면, 배경 이미지 영역은 전경 이미지 대상에 의해 차단되는 한 이미지에 있지만 볼 수 있는 다른 이미지에는 없다. 따라서, 대응하는 픽셀 값들은 한 이미지에서 전경 이미지 대상에 해당하고 이웃한 이미지에서는 배경 이미지에 해당한다.

상이한 실시예들에서, 상이한 방법들이 이용자 존재 예측에 따른 3D 효과를 수정하는데 이용될 수 있다는 것을 이해하게 된다. 예를 들면, 임의 실시예들에서, 이용자 존재 예측은 렌더링 알고리즘의 일부로서 상세하게 고려될 수 있다. 그러나, 다른 실시예에서는 3D 제어기(213)는 한 또는 그 이상의 파라미터들에 의해 렌더링 프로세서의 동작을 제어한다.

예를 들면, 3D 효과의 변경은 차등 이미지들 간의 뷰잉 각도 오프셋이 이용자 존재 예측에 따라 변경되도록 차등 이미지 데이터를 변경함으로써 달성될 수 있다. 따라서, 2D 동작 모드에서의 경우, 모든 이미지들의 뷰잉 각도는 동일하고, 게다가 어떤 차등 이미지 데이터도 없다. 그러나, 3D 동작 모드로 동작하는 경우, 차등 이미지 데이터는 인간의 눈들 간의 뷰잉 각도 오프셋에 해당하는 상이한 이미지들에 대하여 상이한 뷰잉 각도들의 충돌을 반영한다.

임의 실시예들에서, 3D 제어기(213)는 구체적으로는 이웃한 뷰들간의 뷰잉 각도 오프셋을 렌더링 프로세서(203)에 제공한다. 그 다음, 렌더링 프로세서는 그것들이 이미지 뷰잉 오프셋에 해당하도록 상이한 이미지들을 생성하는데 그 이미지 뷰잉 오프셋을 이용한다. 따라서, 차단 및 불일치 처리는 생성된 이미지들이 전술된 뷰잉 각도 오프셋을 가지는 장면의 이미지들을 표시하도록 실행되게 된다. 그 다음, 3D 제어기(213)는 뷰잉 각도 오프셋을 제로에서 좌우 눈에 대하여 풀 뷰잉 각도 오프셋에 해당하는 값으로 점차 증가시킴으로써 2D에서 3D로 디스플레이 시스템을 간단하게 전이한다. 3D에서 2D로의 전이는 뷰잉 각도 오프셋을 풀 값에서 제로로 감소시킴으로써 달성될 수 있다.

따라서, 시스템에서, 이웃한 이미지들 간의 차등 이미지 데이터에 대한 불일치 특성은 이용자 존재 예측에 따라 변화될 것이다. 이미지 데이터를 생성하는 데 이용되는 불일치 값들은 깊이 맵에 의해 정의되는 이미지 영역의 깊이 레벨의 함수로서 종종 생성될 수 있다. 따라서, 배경에서 떨어져 있는 이미지 대상의 일부인 픽셀은 두 눈에 의한 대략 동일 각도에서 보여지는 낮은 불일치를 가지게 된다(및 구체적으로는 어떠한 불일치도 없다). 그러나, 이용자에 가까운 이미지 대상의 픽셀은 높은 불일치를 가진다. 렌더링 알고리즘은 통상적으로 깊이의 함수로서 불일치를 판정하고, 도 2의 시스템에서, 3D 제어기(213)는 이러한 함수를 이용자 존재 예측에 따라 변경하도록 정렬될 수 있다. 예를 들면, 소정 값의 깊이를 가지는 픽셀에 대한 불일치는 이용자 존재 예측에 따라 변경된다. 특정 예에서, 픽셀을 포함하는 깊이 맵으로부터의 깊이 값은 불일치 값으로 변환되기 전에 변경될 수 있다. 간단한 예로서, 불일치 값은 다음과 같이 판정될 수 있다:

dis=f(c·d)

f(x)는 불일치 값에 대한 깊이의 표준 전환이며, d는 픽셀의 깊이이고 c는 3D 제어기(213)에 의해 제어되는 배율 계수이다. 따라서, 어떠한 이용자도 존재하는 것으로 나타나지 않는 것으로 예측되는 경우, 3D 제어기(213)는 생성되는 2D 디스플레이 출력을 초래하는 제로로 배율 계수를 설정하고, 이용자가 검출되는 경우에는 배율 계수는 3D 깊이 효과의 점진적 출현을 초래하는 1로 서서히 증가될 수 있다.

임의 실시예들에서, 이용자 존재 예측은 이용자 존재 예측 여부를 나타낼 뿐만 아니라, 이용자가 스크린에 활동적으로 초점을 맞추고 있는 것으로 예측되는 지에 관한 표시를 포함한다. 예를 들면, 디스플레이에 관한 이용자 관심의 예측은 페이스 검출 알고리즘이 스크린 쪽으로 향한 페이스를 검출하는 기간을 판정함으로써 예측될 수 있다. 따라서, 알고리즘이 장시간 기간 동안에 스크린 쪽으로 향하는 페이스를 검출하는 경우, 이용자가 디스플레이를 활동적으로 시청하고 있고, 그에 따라 강한 3D 효과가 제공될 것 같다. 그러나, 페이스 검출이 비교적 짧은 기간에 페이스를 검출하기만 하는 경우, 이것은 이용자가 그의 머리를 디스플레이로부터 계속해서 멀리 향하게 하고 따라서 활동적으로 디스플레이를 시청하고 있지 않기 때문이다는 것이 가능하고, 그 결과 콘 엣지들에 의해 더욱 불쾌하게 될 것이다. 따라서, 3D 효과는 감소될 것이다.

임의 실시예들에서, 이용자 존재 예측은 이용자에 대한 이동 특성에 관한 표시를 포함한다. 예를 들면, 페이스 검출 알고리즘은 검출된 페이스의 이동을 검출하고, 이용자 존재 예측은 이러한 이동의 특성, 예를 들면 페이스가 얼마나 빠르게 이동하는지 또는 그 이동이 연속 방향(예, 디스플레이를 지나쳐 걸어가는 시청자에 대응)인지를 나타낸다. 그 다음, 제공되는 3D 효과는 이동 특성에 따라 변경될 수도 있다. 예를 들면, 장치는 이동하고 있지 않은 이용자가 검출되는 경우 2D 동작 모드에서 3D 동작 모드로 전이만 한다. 따라서, 빠르게 이동하는 시청자, 예를 들면 디스플레이를 지나 걸어가는 시청자에 대하여, 어떠한 차등 3D 뷰들도 제공되지 않으며 이로써 불쾌감을 줄이게 된다.

임의 실시예에서, 디스플레이 장치는 또한 이미지가 나타나는 그룹의 뷰들 중 어느 한 뷰에 따라 이미지들의 특성을 변경하도록 배열될 수 있다.

예를 들면, 그룹 제어기(205)는 콘/그룹의 더 많은 중앙 뷰의 광도에 관하여 콘/그룹의 엣지를 향하여 적어도 한 뷰의 광도를 감소시키도록 정렬될 수 있다. 따라서, 콘들의 엣지들을 향하여, 이미지들은 더 어두워지게 되고, 그로 인해 교차되는 콘/그룹 뷰들의 충돌을 감소시키고 3D 효과가 떨어지는 영역에 근접해 있는 이용자에게 피드백을 제공하게 된다.

구체적으로, 그룹 제어기(205)는 그룹들의 적어도 한 엣지 뷰에 장면의 이미지를 표시하지 않도록 정렬된다. 예를 들면, 전체적으로 화이트 또는 블랙 이미지가 대신에 표시되어, 그로 인해 이용자는 반사된 3D 큐들을 수신하지 못하고 이용자에게 피드백을 제공하게 된다. 예를 들면, 도 3에서 -4 와 +4에 해당하는 모든 뷰들은 균일한 블랙 이미지들이 되고, 그로 인해 피드백을 제공하고 거울 반사 효과를 방지하게 된다. 많은 실시예들에서, 오버랩 위험은 각 그룹의 한 뷰를 수정하는 것만으로 경감될 수 있다는 것을 이해하게 된다. 예를 들면, 도 3의 뷰 +4에 해당하는 모든 이미지들을 어둡게 함으로써 2개의 인접 뷰들이 거울 반사된 이미지 3D 큐들을 전혀 표시하지 않게 된다.

특정 일례로서, 디스플레이 시스템은 콘/그룹 엣지들에 근접한 뷰들을 어둡게 하도록 처리한다. 어둡게 하는 정도는 콘/그룹 엣지 바로 옆에 있는 뷰가 완전히 블랙이 될 때까지 콘/그룹 엣지를 쪽으로 갈수록 점차 증가될 수 있다. 이것은 콘/그룹 경계선에 있는 시청자가 반전된 뷰들과 3D 큐들과 관련하여 종종 불쾌함을 초래하지 않는 블랙 디스플레이를 보게 되는 효과를 가진다. 이 방법은 또한 이용자가 차선 상태의 위치에 있는 경우 이용자에게 피드백을 제공하기도 한다. 사실상, 엣지들로부터 멀리 떨어져 있는 이용자에게 잠재의식적으로 편향하는 경향이 있다. 트레이드-오브(trade-of)는, 임의 뷰들이 3D 표현에 이용 가능하지 않지만, 이것은 디스플레이들이 그룹/콘마다 상당 수의 뷰들을 제공할 수 있도록 증가함에 따라 단점들이 점점 적어지게 될 것 같다는 것이다(및, 상당수는 증가할 것으로 기대된다). 이 방법은 특히 다수-이용자 시나리오에 바람직하다.

특정 일례에서, 렌더링 프로세서(203), 그룹 제어기(205), 이용자 프로세서(209), 3D 제어기(213)는 디스플레이 시스템의 일부인 프로세서 또는 계산 플랫폼과 같은 계산 디바이스에서 펌웨어 동작으로 구현될 수 있다. 계산 플랫폼은 예를 들면, 도 4의 방법을 실행하는 디지털 신호 프로세서이다.

단계(401)에서, 복수의 뷰 각각의 이미지가 생성된다. 이것은 이웃한 뷰들이 시청자의 상이한 눈들에 의해 시청되는 경우 3차원 깊이 효과를 제공하는 차등 이미지를 포함한 이웃한 뷰들에 대하여 차등 이미지들을 때때로 생성하는 것을 포함한다.

단계(401)은 단계(403)이 다음에 오며, 단계(403)에서 이용자 존재 예측은 디스플레이 시스템에 대하여 뷰잉 영역의 이용자의 시도된 방향에 따라서 생성된다.

단계(403)은 단계(405)가 다음에 오며, 단계(405)에서 복수의 뷰들의 이미지들에 의해 제공되는 3차원 효과는 이용자 존재 예측에 따라 변경된다.

단계(405)는 단계(407)가 다음에 오며, 단계(407)에서 복수의 뷰들은 장면에 대하여 뷰잉 방향에 해당하는 각 뷰와 함께 디스플레이에 표시된다.

상기 방법은 그런 다음 단계(401)로 되돌아간다.

상기 설명은 정지 이미지가 표시되는 애플리케이션에 초점을 맞추고 있는데 반해, 상기 방법은 예를 들면, 동영상에 동일하게 적용 가능하다는 것을 이해하게 된다. 예를 들면, 도 4의 방법에 관한 각각의 반복은 동일한 정지 이미지를 처리하거나 동영상의 시퀀스로 새로운 이미지를 처리한다. 예를 들면, 각각의 반복은 새로운 프레임의 비디오 신호를 처리한다.

명료한 상기 설명이 상이한 기능 유닛들과 프로세서들을 참조하여 본 발명의 실시예들을 설명하고 있다는 것을 이해하게 된다. 그러나, 상이한 기능 유닛들 또는 프로세서들의 임의 적정 분배는 본 발명에서 벗어나지 않고 이용될 수 있다는 것을 이해하게 된다. 예를 들면, 별도의 프로세서들 또는 제어기들에 의해 실행되도록 설명되는 기능은 동일 프로세서 또는 제어기들에 의해 실행된다. 따라서, 특정한 기능 유닛들에 관한 참조 부호들은 엄격한 논리적 또는 물리적 구조 또는 구성을 표시하기보다는 기술된 기능을 제공하는 적정 수단들에 관한 참조 부호들로 보여질뿐이다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이것들의 임의 결합을 포함하는 미의 적정 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 그 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서에서 동작하는 컴퓨터 소프트웨어로서 최소한 부분적으로 구현될 수 있다. 본 발명의 실시예의 소자들 및 구성 소자들은 임의 적정 방법으로 물리적으로, 기능적으로 및 논리적으로 구현될 수 있다. 기능성은 단일 유닛, 복수 유닛에서 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에서 구현될 수 있거나 상이한 유닛들과 프로세서들 사이에서 물리적으로 및 기능적으로 분배될 수 있다.

본 발명이 임의 실시예와 연결하여 기술되고 있지만, 본 명세서에서 설명되는 특정 형태에 한정되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부되는 청구항들에 의해서만 한정된다. 부가적으로, 특징이 특정 실시예들과 연결하여 기술되는 것으로 나타나 있지만, 당업자는 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결합될 수 있다는 것을 인지한다. 청구항들에서, 용어 "포함하는(comprising)"는 다른 소자들 또는 단계들의 존재를 배제하지 않는다.

또한, 각각 작성되었지만, 복수의 수단, 소자들 또는 방법 단계들은 예를 들면, 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 각각의 특성들이 상이한 청구항들에 포함되지만, 이것들은 가능하게는 바람직하게 결합될 수 있고, 상이한 청구항들에의 포함은 특징들의 결합이 용이하고 및/또는 바람직하지 않다는 것을 의미하지는 않는다. 또한, 청구항들의 한 카테고리에서 특징의 포함은 이 카테고리에 있어서의 한정을 의미하지 않고, 오히려 특징이 적절한 다른 청구항 카테고리들에 동일하게 적용 가능하다는 것을 나타낸다. 또한, 청구항들의 특징들의 순서는 그 특징들이 동작되어야 하는 임의 특정 순서를 의미하지 않으며, 특히 방법 청구항에서 각 단계들에서의 순서는 단계들이 그 순서로 실행되어야 함을 의미하지는 않는다. 오히려, 단계들은 임의 적정 순서로 실행될 수 있다. 또한, 단수는 복수를 배제하지 않는다. 따라서, "a", "an", "first", "second" 등의 참조 부호들은 복수를 제외하지 않는다. 청구항들에서의 참조 부호 기호들은 전술된 일례가 임의 방법으로 청구항들의 범위를 한정하는 것으로 해석되지 않아야 하기 때문에 단지 제공될 뿐이다.

203: 렌더링 프로세서 205: 그룹 제어기
207: 디스플레이 209: 이용자 프로세서
211: 카메라 213: 3D 제어기

Claims

3차원 디스플레이 시스템에 있어서:
장면에 관한 복수의 뷰(view)들을 표시하기 위한 디스플레이(207)로서, 각각의 뷰는 상기 장면의 뷰잉(viewing) 방향에 대응하는, 상기 디스플레이(207);
상기 복수의 뷰들 각각에 대한 상기 디스플레이 상의 이미지를 생성하기 위한 렌더링 유닛(rendering unit)(203)으로서, 이웃한 뷰들이 시청자의 상이한 눈들에 의해 시청될 때 3차원 깊이 효과를 제공하는 차등 이미지 데이터를 포함하는 이웃한 뷰들에 대한 상기 디스플레이 상의 차등 이미지(defferentiated image)를 생성할 수 있는, 상기 렌더링 유닛(203);
상기 디스플레이 시스템에 대한 뷰잉 영역에 있는 이용자의 시도된 검출(attempted detection)에 따라서 이용자 존재 예측(user presence estimate)을 생성하기 위한 수단들(209, 211); 및
상기 이용자 존재 예측에 따라 상기 3차원 효과에 적응하도록 이웃한 뷰들에 대한 상기 디스플레이 상의 상기 차등 이미지들을 수정하기 위한 수정 수단(213)을 포함하고,
상기 수정 수단(213)은 새로운 이용자의 검출에 응답하여 제 1 동작 모드에서 제 2 동작 모드로 상기 디스플레이 시스템을 전이하도록 구성되고, 상기 제 1 동작 모드는 상기 제 2 동작 모드에 비해 감소된 3차원 효과에 대응하는, 3차원 디스플레이 시스템.
삭제
제 1 항에 있어서,
상기 감소된 3차원 효과는 2차원 효과를 포함하는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 생성된 차등 이미지들은 상기 디스플레이 상의 상이한 위치들에 할당되고 상기 수정 수단(213)은 상기 디스플레이 상의 상기 상이한 위치들에 관한 차등 이미지들을 수정하도록 구성된, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 수정 수단(213)은 상기 이용자 존재 예측에 따라 상기 차등 이미지들에 의해 표시되는 상기 장면의 깊이 범위를 조절하도록 구성되는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 수정 수단(213)은 상기 이용자 존재 예측에 따라서 상기 차등 이미지들의 이미지 영역들을 대응시키는 불일치 특성들을 바꾸기 위해 상기 차등 이미지 데이터를 변경하도록 구성되는, 3차원 디스플레이 시스템.
제 6 항에 있어서,
상기 렌더링 수단(203)은 상기 장면의 깊이 맵 데이터에 따라 상기 차등 이미지 데이터를 생성하도록 구성되고, 상기 수정 수단(213)은 상기 이용자 존재 예측에 따라 깊이 맵 값들과 불일치 값들(disparity values) 간의 관계를 변경하도록 구성되는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 수정 수단(213)은 상기 이용자 존재 예측에 따라 상기 차등 이미지들 간의 뷰잉 각도 오프셋(offset)을 바꾸기 위해 상기 차등 이미지 데이터를 변경하도록 구성되는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 수정 수단(213)은 0.5초 내지 10초의 전이 시간을 갖게 상기 전이를 제어하도록 구성되는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 수정 수단(213)은 이용자의 부재에 따라 제 2 동작 모드에서 제 1 동작 모드로 상기 디스플레이 시스템을 전이하도록 구성되고, 상기 제 1 동작 모드는 상기 제 2 동작 모드에 비해 감소된 3차원 효과에 해당하는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
또한 복수의 인접 그룹들의 뷰들을 표시하도록 구성되고, 각 그룹의 뷰들은 상기 복수의 뷰들 중 적어도 일부를 포함하는, 3차원 디스플레이 시스템.
제 11 항에 있어서,
제 1 그룹 뷰들의 제 2 뷰에 관하여 적어도 제 1 뷰의 광도를 감소시키도록 구성되고, 상기 제 2 뷰는 상기 제 1 그룹의 뷰들에서 상기 제 1 뷰보다 더 중앙에 있거나, 또는,
적어도 한 그룹의 뷰들 중 적어도 한 엣지 뷰에 상기 장면의 이미지를 표시하지 않도록 구성되거나, 또는,
상기 이용자 존재 예측은 상기 디스플레이에 관하여 검출된 새로운 이용자의 상대 이용자 위치의 표시를 포함하고, 상기 3차원 디스플레이 시스템은,
상기 상대 이용자 위치 쪽으로 한 그룹의 뷰들을 향하게 하기 위한 수단(205)을 추가로 포함하는, 3차원 디스플레이 시스템.
제 1 항에 있어서,
상기 이용자 존재 예측은 상기 디스플레이에 관한 이용자 관심(user attention)을 나타내는 이용자 관심 예측을 포함하는, 3차원 디스플레이 시스템.
3차원 디스플레이 시스템을 위한 동작 방법에 있어서:
디스플레이 상에 장면의 복수의 뷰들을 표시하는 단계(407)로서, 각각의 뷰는 상기 장면에 대한 뷰잉 방향에 대응하는, 상기 복수의 뷰 표시 단계(407);
상기 복수의 뷰들 각각에 대한 상기 디스플레이 상의 이미지를 생성하는 단계(401)로서, 이웃한 뷰들이 시청자의 상이한 눈들에 의해 시청될 때 3차원 깊이 효과를 제공하는 차등 이미지 데이터를 포함하는 이웃한 뷰들에 대하여 상기 디스플레이 상의 차등 이미지들을 생성하는 단계를 포함하는, 상기 이미지 생성 단계(401);
상기 디스플레이 시스템에 대한 뷰잉 영역에 있는 이용자의 시도된 검출에 따라 이용자 존재 예측을 생성하는 단계(403); 및
상기 이용자 존재 예측에 따라 상기 3차원 효과에 적응하도록 상기 이웃한 뷰들에 대하여 상기 디스플레이 상의 상기 차등 이미지들을 수정하는 단계(405)를 포함하고,
상기 차등 이미지들을 수정하는 단계는 새로운 이용자의 검출에 응답하여 제 1 동작 모드에서 제 2 동작 모드로 상기 디스플레이 시스템을 전이하도록 구성되고, 상기 제 1 동작 모드는 상기 제 2 동작 모드에 비해 감소된 3차원 효과에 대응하는, 3차원 디스플레이 시스템을 위한 동작 방법.
제 14 항의 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.