KR101654750B1

KR101654750B1 - 3d 시각적 다이나믹 레인지 코딩

Info

Publication number: KR101654750B1
Application number: KR1020147021301A
Authority: KR
Inventors: 콘스탄티노스 콘스탄티니데스; 티롬 와이. 브라운
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2012-03-12
Filing date: 2013-03-06
Publication date: 2016-09-06
Anticipated expiration: 2033-03-06
Also published as: EP2826245A1; CN104160705A; US20160029044A1; JP5905610B2; CN104160705B; KR20160108567A; KR101957904B1; JP2015513388A; KR20140110989A; US9973779B2; JP2016149782A; WO2013138127A1

Abstract

모노스코픽 SDR 기본 계층과 하나 또는 그 이상의 향상 계층들을 이용하여 3D VDR 이미지들과 3D SDR 이미지들의 시퀀스가 인코딩된다. 제 1 및 제 2 코딩된 신호들을 출력하기 위해 제 1 VDR 뷰와 제 1 SDR 뷰가 DVDL 인코더로 인코딩된다. 예측된 3D VDR 신호가 생성되며, 이는 제 1 및 제 2 예측된 VDR 뷰들을 갖는다. 제 1 및 제 2 VDR 잔차들이 그들 각각의 VDR 뷰들과 예측된 VDR 뷰들에 기초하여 생성된다. DVDL 인코더는 제 3 및 제 4 코딩된 신호들을 출력하기 위해 제 1 및 제 2 VDR 잔차들을 인코딩한다. 두개의 DVDL 디코더들을 갖는 3D VDR 디코더와 SDR-VDR 예측기들은 단일-뷰 SDR, 3D SDR, 단일-뷰 VDR, 3D VDR 신호들을 생성하기 위해 4개의 코딩된 입력 신호들을 이용한다. 대응하는 디코더가 또한 설명되며, 이는 이러한 인코딩된 3D VDR 및 SDR 이미지들을 디코딩할 수 있다.

Description

3D 시각적 다이나믹 레인지 코딩{3D VISUAL DYNAMIC RANGE CODING}

본 출원은 전체가 본 문서에 참조로 포함되는, 2012년 3월 12일 출원된 미국 특허 임시 출원 번호 60/609,542의 우선권을 청구한다.

본 발명은 일반적으로 이미지들에 관한 것이다. 보다 특별하게, 본 발명의 실시예는 3차원(3D) 시각적 다이나믹 레인지(VDR) 이미지들의 계층적 인코딩과 디코딩에 관한 것이다.

3D 비디오 시스템들이 극장이나 집에 있는 소비자의 경험치를 높이는데 큰 관심을 모으고 있다. 이러한 시스템들은 표현의 입체 또는 자동입체 방법들을 사용하며, 이들은 다음을 포함한다.

(i) 애너글리프(anaglyph) - 두가지 색상의 필터, 일반적으로 하나의 눈에 대해 적색, 다른 하나의 눈에 대해 청록색의 필터를 통해 광을 필터링하는 것에 의해 좌측/우측 눈의 이격을 제공한다.

(ii) 선형 편광(linear polarization) - 좌측 눈을 (일반적으로) 수직으로 배향된 선형 편광자를 통해 필터링하고, 우측 눈의 이미지를 수평으로 배향된 선형 편광자를 통해 필터링하는 것에 의해 프로젝터에 이격을 제공한다.

(iii) 원형 편광 - 좌측 눈의 이미지를 (일반적으로) 왼손 방향의 원형 편광자를 통해 필터링하고, 우측 눈의 이미지를 오른손 방향의 원형 편광자를 통해 필터링하는 것에 의해 프로젝터에 이격을 제공한다.

(iv) 셔터 글래스(shutter glasses) - 적시의 좌측 및 우측 이미지들의 멀티플렉싱에 의해 이격을 제공한다.

(v) 스펙트럼 이격 - 좌측과 우측 눈을 스펙트럼으로 필터링하는 것에 의해 프로젝터에 이격을 제공하며, 좌측 및 우측 눈 각각이 적색, 녹색 및 청색 스펙트럼들의 상보적 부분을 수신한다.

불행하게도, 이러한 시스템들은 걸음마 수준의 착각의 깊이를 제공하는 - 진정한 현실감이 상당히 부족한 약한 다이나믹 레인지를 갖는 입체 이미지 쌍들을 사용한다. 다이나믹 레인지(DR)는, 예를 들면, 가장 어두운 검정으로부터 가장 밝은 밝기들까지의 이미지의 강도(예를 들면, 루미넌스, 루마)의 레인지이다. 이러한 입체 이미지 쌍들은 약 3 자릿수의 다이나믹 레인지(예를 들면, 표준 다이나믹 레인지, SDR)를 특징으로 하며, 이는 종래의 텔레비전들과 컴퓨터 모니터들의 제한된 랜더링 역량들에 대응한다. 이는 인지 시각 시스템에서 (적응으로) 감지가능한 약 14 내지 15 자릿수의 다이나믹 레인지(예를 들면, 하이 다이나믹 레인지, HDR), 또는 5 내지 6 자릿수의 동시 감지가능 다이나믹 레인지(예를 들면, VDR)에 비하면 초라한 표현이다.

그저 다이나믹 레인지를 증가시키는 것은 특히 3D 콘텐트에 대해서는 종종 대역폭과 저장장치 제한들로 실현가능하지 않다. 두배의 이미지들(예를 들면, 좌측 및 우측 눈의 원근 이미지들)을 갖는 3D 입체 비디오는 2차원(2D) 비디오에 대해 이미 2배의 대역폭과 저장장치를 필요로 한다. 발명자들에 의해 인식되는 것과 같이, 3D 이미지 처리를 위한 개선된 기술들은, 실질적인 대역폭과 저장장치 필요들을 가정하면, 우수한 몰입 경험을 위해 바람직하다. 이러한 개선된 기술들은 바람직하게 단일-뷰 SDR 시스템들, 단일-뷰 VDR 시스템들, 및 3D SDR 시스템들과 하위 호환적임이 또한 인식된다.

본 섹션에서 설명된 접근들은 추구될 수 있는 접근들이지만, 필연적으로 이전에 상상되었거나 추구되었던 접근들은 아니다. 따라서, 다르게 지시되지 않는 한, 본 섹션에서 설명된 어떠한 접근들도 단지 본 섹션에 그들이 포함되었다는 것에 의해 종래 기술로 인정되는 것으로 가정되어서는 안된다. 유사하게, 다르게 지시되지 않는 한, 하나 또는 그 이상의 접근들과 동일한 이슈들이 본 섹션에 기초하여 임의의 종래 기술에서 인식되었다고 가정되어서는 안된다.

본 발명의 실시예는 동일 참조 숫자들이 동일 소자들을 나타내는 첨부 도면들의 형태들에 제한이 아닌 예시로써 도시된다:
도 1은 본 발명의 실시예에 따른, VDR-SDR 시스템에 대한 예시적인 데이터 흐름을 도시하고;
도 2는 본 발명의 실시예에 따른, 예시적인 이중-뷰-이중-계층 인코딩 모듈을 도시하고;
도 3은 본 발명의 실시예에 따른, 예시적인 3D VDR 인코더를 도시하고;
도 4는 본 발명의 실시예에 따른, 예시적인 이중-뷰-이중-계층 디코딩 모듈을 도시하고;
도 5는 본 발명의 실시예에 따른, 예시적인 3D VDR 디코더를 도시한다.

3D VDR 이미지들의 계층적(layered) 인코딩 및 디코딩이 여기서 설명된다. 한 쌍의 대응하는 3D VDR 및 SDR 이미지들, 즉, 동일한 장면을 표현하나 다이나믹 레인지의 상이한 뷰들과 상이한 레벨들로 표현하는 이미지들을 가정하면, 본 명세서는 인코더가 3D 비디오를 효율적으로 인코딩하게 하여 디코더들이 임의의 다음 신호들: 단일-뷰 SDR, 3D SDR, 단일-뷰 VDR, 또는 3D VDR을 쉽게 추출할 수 있도록 하는 방법들을 설명한다. 다음 서술에서, 설명을 위하여, 본 발명의 완전한 이해를 제공하도록 다양한 특정의 상세한 설명들이 제시된다. 그러나, 본 발명은 이러한 특정의 상세한 설명들 없이도 수행될 수 있다는 것이 명백할 것이다. 다른 예들에서, 본 발명의 불필요한 애매함을 피하기 위하여 잘 알려진 구조들과 디바이스들은 자세하고 상세하게 설명되지 않는다.

개관

여기서 설명된 예시적인 실시예들은 3D VDR 이미지들의 계층적 인코딩과 디코딩에 관한 것이다. 3D VDR 이미지들과 3D SDR 이미지들의 시퀀스는 모노스코픽 SDR 기본 계층과 하나 또는 그 이상의 향상 계층들을 이용하여 인코딩될 수 있다. 인코더에서, 제 1 코딩 신호와 제 2 코딩 신호를 출력하기 위하여 제 1 VDR 뷰와 제 1 SDR 뷰는 이중 뷰 이중 계층(DVDL) 인코더를 이용하여 인코딩된다. 제 1 예측 VDR 뷰와 제 2 예측 VDR 뷰를 포함하는 예측 3D VDR 신호가 생성된다. 제 1 잔류 VDR이 제 1 VDR 뷰와 제 1 예측 VDR 뷰에 기초하여 생성된다. 제 2 잔류 VDR이 제 2 VDR 뷰와 제 2 예측 VDR 뷰에 기초하여 생성된다. 제 3 코딩 신호와 제 4 코딩 신호를 출력하기 위하여 제 1 잔류 VDR과 제 2 잔류 VDR이 DVDL 인코더를 이용하여 인코딩된다. 두개의 DVDL 디코더들을 포함하는 3D VDR 디코더와 SDR-VDR 예측기들이 4개의 코딩 입력 신호들을 이용하여 단일 뷰 SDR, 3D SDR, 단일 뷰 VDR, 또는 3D VDR 신호를 생성할 수 있다.

표기 & 명명법

여기서 사용되는 것과 같은, 하이 다이나믹 레인지(high dynamic range;HDR)라는 용어는 인지 시각 시스템(human visual system)의 약 14 내지 15 자릿수에 걸친 DR 폭에 관한 것이다. 예를 들어, (예를 들어, 통계학적, 생리학적, 생체측정학적 또는 안과학적 감각의 하나 또는 그 이상에서) 기본적으로 정상인 잘 적응된 사람들은 약 15 자릿수에 걸친 강도 레인지(intensity range)를 갖는다. 적응된 사람들은 단지 한줌의 광자들만큼 적은 어두운 광소스들을 감지할 수 있다. 그렇지만, 이러한 동일한 사람들은 사막, 바다 또는 설원의 한낮의 태양(또는 태양을 흘낏, 그러나 손상을 방지하기 위해 간단히 바라보는 것)의 고통에 가까운 밝기의 강도를 감지할 수 있다. 그러나 이러한 폭은, 예를 들면, 그들의 시각적 시스템이 리셋 및 조절을 위한 시간 주기를 갖는 '적응된(adapted)' 사람들에게서 사용가능하다.

그에 반하여, 사람이 강도 레인지의 넓은 폭을 동시에 감지할 수 있는 DR은 HDR에 대하여 다소 줄어들 수 있다. 여기서 사용되는 것과 같은, 시각적(visual) 다이나믹 레인지 또는 가변(variable) 다이나믹 레인지(VDR)라는 용어는 HVS에 의해 동시에 감지가능한 DR에 개별적으로 또는 교환적으로 관련될 수 있다. 여기서 사용되는 것과 같은, VDR은 5 내지 6 자릿수에 걸친 DR과 관련될 수 있다. 따라서 진짜 장면 관련 HDR에 비해 아마도 다소 좁더라도, VDR은 넓은 DR 폭을 표현한다.

스케일러블(scalable) 비디오 코딩과 고해상도 텔레비전(HDTV) 기술들로, 이미지 DR을 확장하는 것은 전형적으로 두갈래의 접근을 포함한다. 예를 들어, 현대의 HDR 가능 카메라로 포착되는 장면 관련 HRD 콘텐트는 종래의 SDR 디스플레이들 상에 디스플레이될 수 있는 콘텐트의 SDR 버전을 생성하는데 사용될 수 있다. 한 접근에서, 포착된 VDR 버전으로부터 SDR 버전을 생성하는 것은 전반적인 톤 매핑 연산자(tone mapping operator;TMO)를 HDR 콘텐트의 강도(예를 들면, 루미넌스(luminance), 루마(luma)) 관련 픽셀 값들로 적용하는 것을 포함할 수 있다. 두번째 접근에서, SDR 이미지를 생성하는 것은 VDR 데이터 상에 가역 연산자(또는 예측기)를 적용하는 것을 포함할 수 있다. 대역폭을 보호하기 위하여 또는 다른 고려사항들을 위하여, 실제 포착된 VDR 콘텐트와 대응하는 SDR 버전 모두의 전송이 실질적인 접근이 되지 못할 수 있다.

따라서, 원래의 TMO에 대해 역전된 역 톤 매핑 연산자(iTMO), 또는 원래의 예측기에 대한 역 연산자들이, 생성되었던 SDR 콘텐트 버전에 인가될 수 있으며, 이는 VDR 콘텐트의 버전이 예측되는 것을 허용한다. 예측된 VDR 콘텐트 버전은 원래 포착된 HDR 콘텐트와 비교될 수 있다. 예를 들어, 원래의 VDR 버전으로부터 예측된 VDR 버전을 빼는 것으로 잔차 이미지를 생성할 수 있다. 인코더는 생성된 SDR 콘텐트를 기본 계층(BL)으로 보낼 수 있고, 생성된 SDR 콘텐트 버전, 임의의 잔차 이미지, 및 iTMO나 다른 예측기들을 향상 계층(EL) 또는 메타데이터로 패키지(package) 할 수 있다.

비트스트림에서 그의 SDR 콘텐트, 잔차 및 예측기들을 갖는 EL과 메타데이터를 보내는 것은 전형적으로 HDR과 SDR 콘텐트들 모두를 비트스트림으로 직접 보내는데 소비될 수 있는 것보다 작은 대역폭을 소비한다. 인코더에 의해 보내진 비트스트림을 수신하는 호환가능한 디코더들은 종래의 디스플레이들 상에서 SDR을 디코딩하고 랜더링한다. 그러나 호환가능한 디코더들은 더 많은 가능한 디스플레이들에서 이용하기 위하여 그로부터 HDR 콘텐트의 예측된 버전을 계산하기 위하여 잔차 이미지, iTMO 예측기들, 또는 메타데이터를 또한 이용할 수 있다.

입체 또는 3D 이미징은 VDR 이미지들에 복잡성의 부가적인 레벨을 더한다. 입체 이미징 하에서, 각 이미지 또는 비디오 프레임은 적어도 두개의 뷰들에 의해 표현된다. 하위 호환성(backward compatibility)을 위해, 레거시(legacy) 디코더들은 뷰들의 적어도 하나를 디코딩할 수 있으나; 그러나, 입체 디코더들은 두개의 뷰들 모두를 재구성하고 디스플레이할 수 있다. 여기서 설명되는 예시적인 3D VDR 비디오 인코딩 및 디코딩 해법들은 SDR HDTV들로부터 3D VDR HDTV들로의 이동을 용이하게 한다. 예시적인 실시예들은 3D VDR 이미지들의 계층적 인코딩과 디코딩에 관한 것이며, 이들이 도들 1-5를 참조하여 여기서 설명된다.

예시적인 VDR-SDR 시스템

도 1은 본 발명의 실시예에 따른 계층적 VDR-SDR 시스템(100)의 예시적인 데이터 흐름을 도시한다. 3D HDR 카메라(110) 또는 다른 유사한 수단을 이용하여 3D HDR 이미지 또는 비디오 시퀀스가 포착되거나 생성된다. 포착 후에, 포착된 이미지 또는 비디오가 타겟 3D VDR 이미지(125)를 생성하기 위해 마스터링 프로세스(mastering process)에 의해 처리된다. 마스터링 프로세스는: 편집, 1차 및 2차 색상 보정, 색상 변환, 및 소음 필터링과 같은 다양한 처리 단계들을 조합할 수 있다. 이러한 프로세스의 VDR 출력(125)은 전형적으로 포착된 이미지가 (영화 VDR 프로젝션 시스템을 포함하는) 타겟 VDR 디스플레이 상에 어떻게 디스플레이될 것인지에 대한 감독의 의도를 표현한다.

마스터링 프로세스는 또한 포착된 이미지가 레거시 SDR 디스플레이 상에 어떻게 디스플레이될 것인지에 대한 감독의 의도를 표현하는, 대응하는 3D SDR 이미지(145)를 출력할 수 있다. SDR 출력(145)은 마스터링 회로(120)로부터 직접 제공될 수 있거나 또는 개별적인 VDR-SDR 변환기(140)로 생성될 수 있다.

이러한 예시적인 실시예에서, VDR(125)과 SDR(145) 신호들이 인코더(130)로 입력된다. 인코더(130)의 목적은 VDR과 SDR 신호들을 송신하는데 필요한 대역폭을 감소시키는 코딩된 비트스트림을 생성하는 것이지만, 또한 대응하는 디코더(150)가 SDR 또는 VDR 신호들을 디코딩하고 랜더링하는 것을 허용한다. 예시적인 실시예에서, 인코더(130)는 그의 출력을 기본 계층, 하나 또는 그 이상의 향상 계층들, 그리고 메타데이터로 표현하는 계층적 인코더일 수 있다. 여기서 사용되는 것과 같이, "메타데이터(metadata)"라는 용어는 코딩된 비트스트림의 일부로 송신되고 디코더가 디코딩된 이미지를 랜더링하도록 돕는 임의의 보조 정보를 나타낸다. 이러한 메타데이터는: 여기서 설명되는 것과 같은, 색상 공간 또는 영역 정보, 다이나믹 레인지 정보, 톤 매핑 정보, 또는 예측기 연산자들을 포함할 수 있으나 이로 제한되지는 않는다.

타겟 디스플레이의 역량들에 따라, 수신기 상에서, 디코더(150)는 두개의 SDR 뷰들(예를 들면, 153 및 155)에 기초하여 단일-뷰 SDR 이미지(153), 3D SDR 이미지를 랜더링하거나 두개의 VDR 뷰들(예를 들면, 157 및 159)에 기초하여 단일-뷰 VDR 이미지(157) 또는 3D VDR 이미지(159)를 랜더링하기 위해 수신된 코딩된 비트스트림들과 메타데이터를 이용한다. 예를 들어, 모노스코픽 SDR 디스플레이는 단일-뷰 SDR 이미지를 랜더링하기 위해 기본 계층과 메타데이터 만을 이용할 수 있다. 이와 반대로, 3D VDR 디스플레이는 3D VDR 신호를 랜더링하기 위해 모든 입력 계층들과 메타데이터로부터의 정보를 이용할 수 있다. 본 발명의 실시예는 두개의 뷰들을 사용하는 디스플레이로 수행될 수 있다. 부가적으로 또는 대안적으로, 본 발명의 실시예는 또한 두개보다 더 많은 뷰들(예를 들면, 3, 4, 5 또는 그 이상의 뷰들)을 사용하는 디스플레이로 수행될 수 있다. 예를 들어, 실시예는 자동-입체 디스플레이로 수행될 수 있다.

두개의 관련된 비디오 신호들(예를 들면, S1(202)과 S2(204))을 가정하면, 도 2는 기본 계층(BL), 및 향상 계층(EL)을 이용한 그들의 효율적인 인코딩을 위한 이중-뷰-이중-계층(DVDL) 인코더 모듈의 실시예의 블록도를 도시한다. 예를 들어, 한 실시예에서, S1은 3D VDR 신호의 뷰(예를 들면, 좌측 뷰 또는 우측 뷰)에 대응할 수 있고 S2는 대응하는 SDR 신호의 동일 뷰에 대응할 수 있다. 다른 실시예에서, S1은 3D VDR 또는 SDR 신호의 제 1 뷰에 대응할 수 있고 S2는 동일 신호의 제 2 뷰에 대응할 수 있다.

도 2에 도시된 바와 같이, 신호(S1;202)는 BL 인코더(210)를 이용하여 기본 계층(BL;212)으로 코딩된다. BL 인코더는 MPEG-1, MPEG-2, 또는 H.264 규정들에 의해 정의된 것과 같은, 임의의 잘 알려진 비디오 인코더들 중 하나일 수 있다. BL 인코더의 출력이 또한 디코딩될 수 있으며(도시되지 않음), 출력된 프레임들은 BL 참조 저장 영역(215)에 저장될 수 있다. 이러한 프레임들은 참조 프로세서 유닛(RPU;220)에 의해 후처리(post-process)될 수 있다.

RPU와 관련하여 여기서 사용되는 것과 같은, "참조(reference)"라는 용어는 (예를 들면, "참조 화면(reference picture)"의 의미에서) 이러한 화면이 완전한 코딩 프로세스 내에서 참조로 명백하게 사용되는 것을 나타내거나 표현하는 것을 의미하지 않으며, 이를 의미하는 것으로 번역되어서도 안된다. RPU는 PCT(Patent Cooperation Treaty)에 따라 출원되고, 전체적으로 제시된 내용이 사실상 참조로 본 문서에 포함되는 다음의 두 특허 출원 등록들에서 개시된 설명에 따를 수 있는데: (1)Tourapis, A., 등에 의한, 발명의 명칭이 Directed Interpolation/Post-processing Methods for Video Encoded Data인 WO 2010/123909 A1과; (2)Tourapis, A.,등에 의한, 발명의 명칭이 Encoding and Decoding Architecture for Frame Compatible 3D Video Delivery인 WO 2011/005624 A1이다. RPU를 적용하는 다음 설명들은 그와 반대로 명확히 규정되지 않는 한, 모두 인코더의 RPU와 디코더의 RPU에 대한 것이다. 본 명세서를 읽으면서 비디오 코딩에 관한 분야의 당업자들은 인코더에 특정된, 디코더에 특정된, 그리고 일반적인 RPU의 설명들, 기능들 및 프로세스들 사이의 차이점들을 이해할 것이며, 이를 구분할 수 있을 것이다. 도 2에 도시된 것과 같은 3D 비디오 코딩 시스템의 문맥에서, RPU(220)는 상이한 RPU 필터들을 선택하는 규칙들의 세트에 따라 디코딩된 이미지(S1;202)를 액세스하고 보간한다.

RPU(220)는 보간 프로세스가 화면/시퀀스의 각 영역이 그 영역의 특징들에 따라 보간되는 영역 레벨에서 적응되게 할 수 있다. RPU(220)는 수평, 수직, 또는 2차원(2D) 필터들, 에지 적응 또는 주파수 기반 영역 의존 필터들, 및/또는 픽셀 복제 필터들이나 보간을 위한 다른 방법들 또는 수단들을 사용할 수 있다.

예를 들어, 하나의 픽셀 복제 필터는 단순히 영차 홀드(zero-order-hold)를 수행할 수 있는데, 예를 들어, 보간된 이미지의 각 샘플이 낮은 해상도 이미지의 이웃하는 샘플의 값과 같게 될 것이다. 다른 픽셀 복제 필터는 크로스-뷰(cross-view) 복사 동작을 수행할 수 있는데, 예를 들면, 하나의 뷰의 각 보간된 샘플이 반대 뷰로부터의 보간되지 않은 함께 위치된 샘플과 같게 될 것이다.

부가적으로 또는 대안적으로, 변위-보정된(disparity-compensated) 복사 스킴이 또한 RPU에서 이용될 수 있다. 예를 들어, 필터는 또한 상이한 뷰로부터의 영역이 될 수 있는 복제될 영역의 위치가 변위 벡터를 이용하여 규정될 수 있는 샘플들의 비동일(non-colocated) 영역을 복사할 수 있다. 변위 벡터는 정수 또는 서브픽셀 정밀도를 이용하여 규정될 수 있으며, 간단한, 예를 들면 번역 움직임 파라미터나, 또는 아핀(affine)이나 원근 움직임(perspective motion) 정보와 같은 더 복잡한 움직임 모델들 등을 포함할 수 있다.

인코더는 RPU 필터들을 선택하고 영역의 처리 신호들을 출력할 수 있으며, 이들은 디코더 RPU에 입력 데이터로 제공된다. 시그널링은 영역별 기반으로 필터링 방법을 규정한다. 예를 들어, 숫자, 크기, 모양 및 다른 특징들과 같은 영역 특성들에 관한 파라미터들은 RPU 관련 데이터 헤더에서 규정될 수 있다. 필터들의 일부는 고정된 필터 계수들을 포함할 수 있으며, 이러한 경우에 필터 계수들은 RPU에 의해 명백히 시그널링될 필요가 없다. 다른 필터 모드들은 계수 값들과 수평/수직 탭들의 수와 같은 필터 파라미터들이 명백하게 시그널링되는 명시적 모드들을 포함할 수 있다.

필터들은 또한 각 색상 구성성분마다 규정될 수 있다. RPU는 선형 필터들을 규정할 수 있다. 에지-적응형 필터들, 양방향(bi-lateral) 필터들 등과 같은 비선형 필터들이 또한 RPU에 규정될 수 있다. 또한, 아핀이나 원근 움직임 모델들과 같은 진보된 움직임 보정 방법들을 규정하는 예측 모델들이 또한 시그널링될 수 있다.

RPU 데이터 시그널링은 인코딩된 비트스트림에서 구현되거나, 또는 디코더로 개별적으로 송신될 수 있다. RPU 데이터는 RPU 처리가 수행되는 계층을 따라 시그널링될 수 있다. 부가적으로 또는 대안적으로, 모든 계층들의 RPU 데이터는 하나의 RPU 데이터 패킷 내에서 시그널링될 수 있고, 이는 계층 2의 인코딩된 데이터로 들어가기 전에 또는 그 후에 비트스트림으로 들어간다. RPU 데이터의 제공은 주어진 층에 대하여 선택적일 수 있다. PRU 데이터가 사용가능하지 않은 경우에는, 내정된 스킴이 따라서 그러한 계층의 상위변환을 위해 사용될 수 있다. 다르지 않게, 향상 계층의 인코딩된 비트스트림의 제공이 또한 선택적이다.

실시예는 각 RPU의 필터들과 필터링된 영역들을 최적으로 선택하는 많은 가능한 방법들을 허용한다. 최적의 RPU 선택을 결정하는데 개별적으로 또는 함께 많은 기준들이 이용될 수 있다. 최적의 RPU 선택 기준들은 기본 계층 비트스트림의 디코딩된 품질, 향상 계층 비트스트림들의 디코딩된 품질, RPU 데이터를 포함하는 각 계층의 인코딩을 위해 필요한 비트 레이트, 및/또는 데이터의 디코딩 및 RPU 처리의 복잡성을 포함할 수 있다.

RPU는 향상 계층의 다음 처리에 독립하여 최적화될 수 있다. 따라서, RPU를 위한 최적의 필터 선택이 결정되어서 비트레이트와 필터 복잡성과 같은 다른 제약들을 받는 보간된 기본 계층 이미지들과 원래의 좌측 및 우측 눈의 이미지들 사이의 예측 에러가 최소화된다.

EL 인코더(230)의 향상 계층에 대한 잠재적인 예측기인 이러한 정보를 사용하기 전에, RPU(220)는 BL 인코더(210)로부터의 정보를 처리하는 전처리 단(pre-processing stage)으로서 동작할 수 있다. RPU 처리에 관한 정보는 RPU 계층(RPUL) 스트림(222)을 이용하여 디코더(예를 들면, 150)로 통신될 수 있다(예를 들면, 메타데이터로서). RPU 처리는 다음과 같은 다양한 이미지 처리 동작들을 포함할 수 있다: 색상 공간 변환들, 비선형 양자화, 루마 및 크로마 업샘플링, 필터링, 또는 SDR-VDR 매핑. 전형적인 수행에서, EL(234), BL(212), 및 RPUL(222) 신호들은 단일의 코딩된 비트스트림(도시되지 않음)으로 멀티플렉싱된다.

도 3은 실시예에 따른 예시적인 3D VDR 인코더를 도시한다. 인코딩 시스템(300)으로의 입력들은 한 쌍의 VDR 신호들(302 및 304)과 한 쌍의 대응하는 SDR 신호들(312 및 307)을 포함한다. 예를 들어, LV-VDR(302)은 입력 VDR 신호의 좌측 뷰를 표현할 수 있으며 RV-VDR(304)은 대응하는 우측 뷰를 표현할 수 있다. SDR 신호들(312 및 307)은 선택적인 대응 VDR-SDR 톤 매핑 프로세서들을 통해 또는 색상 그레이딩 프로세스(310 및 305)를 통해 생성될 수 있다.

DVDL 인코더(315)(예를 들면, 300)는 두개의 SDR 입력들(307 및 312)을 수신하고 신호들(C1;319 및 C2;317)을 출력한다. 신호(C1;319)는 기본선 SDR 신호의 하나의 뷰(예를 들면, 우측 뷰)를 표현한다. 신호(C2;317)는 C1 신호에 대한 향상 계층을 표현한다. C1과 C2를 이용하여, DVDL 디코더 모듈(예를 들면, 340 또는 400)은 입력 SDR 신호(예를 들면, 좌측 뷰)의 제 2 뷰를 재구성할 수 있다. 따라서, 조합된 C1(319)과 C2(317)는 코딩된 기본라인 3D SDR 신호를 표현한다.

신호들(C1;317 및 C2;319)은 DVDL 디코더(340)로의 입력으로 사용될 수 있고, 이는 앞서 설명된 바와 같이 그들이 대응하는 디코더에 의해 수신될 입력 SDR 신호들(307 및 312)의 두개의 뷰들을 재구성하도록 적용될 수 있다. 대안의 실시예들에서, DVDL 디코더가 제거될 수 있으며 원래의 SDR 입력들을 사용할 수 있는데; 즉, 신호(342)가 신호(307)에 의해 대체될 수 있고 신호(344)는 신호(312)에 의해 대체될 수 있다. 또 다른 실시예에서, 신호들(342 및 344)은 DVDL 인코더(315)의 신호들로부터 직접 추출될 수 있다. 예를 들어, 신호(342)는 DVDL 인코더 모듈(315)의 BL 저장 유닛(415)의 출력에 의해 대체될 수 있다.

SDR 신호들(342 및 344)은 SDR-VDR 예측기들(320 및 330)로 입력된다. 이러한 예측기들의 각각은, SDR 입력(342 또는 344)을 가정하면, 대응하는 VDR 신호에 대한 예측 값을 생성한다. 이러한 예측기들은 또한 부가적인 메타데이터(도시되지 않음)를 생성할 수 있으며, 이는 디코더로 송신되는 다중층의 인코딩된 비트스트림의 일부로 멀티플렉싱될 수 있다.

3D SDR 신호들(307 및 312)의 인코딩은 각 뷰의 수직 또는 수평 필터링과 같은 부가적인 전처리 단계들을 포함할 수 있다. 실시예에서, 3D 신호의 두개의 뷰들(예를 들면, 302 및 304 또는 312 및 307)은 수평으로 다운샘플링되기 전에 수평의 로우패스 필터에 의해 필터링되어 단일의 나란한 프레임으로 조합된다. 유사하게, 동일한 두개의 뷰들이 수직으로 다운샘플링되기 전에 로우패스 수직 필터에 의해 필터링되어 단일의 상하 프레임으로 조합된다. 이후, 전해상도 뷰들 또는 전해상도 잔차들을 직접 코딩하기 위해 DVDL 인코더들(예를 들먼, 315 및 345)을 사용하는 대신, 생성된 상하 및 나란한 프레임들의 시퀀스와 그들의 대응하는 잔차들을 인코딩하기 위해 DVDL 인코더들(315 및 345)을 이용할 수 있다. 본 발명의 불필요한 가림, 모호함, 또는 애매함을 피하기 위하여, 이러한 단계들은 도 3에는 도시되지 않는다.

320과 330의 SDR-VDR 예측들 후에, 두개의 VDR-잔차 신호들(327 및 337)을 생성하기 위해 예측된 VDR 뷰들이 원래의 VDR 뷰들(302 및 304)에서 빼진다. 따라서, 신호(337)는 좌측 뷰 VDR의 잔차 신호를 표현할 수 있고 신호(327)는 우측 뷰의 VDR 잔차 신호를 표현할 수 있다. 이러한 두개의 신호들은 출력 신호들(C3;347 및 C4;349)을 생성하기 위해 제 2 DVDL 인코더 모듈(345)로 입력될 수 있다. 신호들(C3 및 C4)은 3D 잔차 VDR 신호의 코딩된 표현을 나타내며, 기본라인 SDR C1 및 C2 신호들과 함께 입력 3D VDR 신호를 전체적으로 재구성할 수 있다.

VDR 잔차 신호들(327 및 337)의 코딩 효율성을 개선하기 위하여, 이러한 신호들의 각각은 비선형 양자화기에 의해 후처리될 수 있다.

신호들(C1, C2, C3 및 C4)과 모든 연관된 메타데이터(도시되지 않음)는 수신기로 송신될 수 있는 단일 코딩된 비트스트림으로 멀티플렉싱될 수 있다.

일부 실시예들에서 DVDL 인코더들(315 및 345)은 H.264 규정의 부록 H에 규정된 것과 같은 멀티-뷰(MVC) 인코더를 이용하여 수행될 수 있다. 유사하게, DVDL 디코더(340)는 또한 MVC H.264 디코더에 따를 수 있다.

일부 실시예들에서, 특별한 VDR-SDR 및 SDR-VDR 매핑 알고리즘들이 예측된 VDR 신호들의 대부분의 동일한 재생들을 허용할 수 있다. 이러한 실시예들에서, 잔차 신호들(327 및 337)은 매우 작거나 또는 0에 가까울 수 있다. 이러한 경우들에서, DVDL 인코더(345)는 제거될 수 있으며 SDR-VDR 변환 파라미터들이 메타데이터를 이용하여 적절한 디코더로 지나갈 수 있다.

시스템(300)이 전형적으로 원래의 VDR 입력보다 매우 낮은 다이나믹 레인지를 갖는 레거시 SDR 신호들과 잔차들의 조합을 처리하는 것에 기초하므로, 시스템(300)은 현존하는 상업적으로 사용가능한 SDR 비디오 인코더들(예를 들면, 8-비트/픽셀 배관을 갖는 MPEG 인코딩 IC들)을 이용하여 비용면에서 효율적인 하드웨어 수행으로 처리될 수 있다.

이미지 디코딩

도 4는 본 발명의 실시예에 따른 DVDL 디코더 모듈(예를 들면, 340)의 예시적인 구현을 도시한다. 디코딩 모듈(400)은 기본 계층(402), 향상 계층(404)과 RPU 계층(406)을 조합할 수 있는 코딩된 비트스트림을 수신한다. BL(402)은 제 1 신호(S1;412)를 생성하기 위하여 BL 디코더(410)를 이용하여 그 자신 상에서 디코딩될 수 있다. BL 디코더(410)는 BL 인코더(210)에 대응하는 임의의 디코더(예를 들면, MPEG-2, MPEG-4, MPEG-4, 등의 디코더)일 수 있다. BL 디코더로부터의 프레임들은 또한 참조 BL 저장 유닛(415)에 저장될 수 있으며, 따라서 그들은 향상 계층 스트림(404)의 디코딩 시 참조 프레임들로 사용될 수 있다. RPUL(406)에 저장된 메타데이터를 고려하면, RPU(420)는 BL 저장장치들의 데이터를 후처리하고 참조 프레임들을 EL 저장 유닛(425)으로 출력한다. EL 디코더(430)는 EL 스트림(404) 또는 BL(402)로부터의 참조 프레임들을 이용하여 제 2 신호에 대응하는 출력 신호(S2;432)를 생성하고, 이는 제 1 신호(S1;412)와 관련된다.

도 5는 실시예에 따른 3D VDR 디코더의 예시적인 수행을 도시한다. 디코더(500)는 코딩된 신호들(C1, C2, C3, C4)을 포함하는 코딩된 비트스트림 더하기 수신된 코딩된 비트스트림에 관련된 메타데이터를 포함하는 선택적인 RPU 스트림(도시되지 않음)을 수신한다. 신호들(C1 및 C2)은 3D SDR 신호의 코딩된 표현들을 나타낸다. 신호들(C3 및 C4)은 3D VDR 신호를 재생성하는데 사용될 수 있는 향상 계층들의 코딩된 표현들을 나타낸다.

DVDL 디코더(510)(예를 들면, 디코딩 모듈(400))는 모노스코픽 SDR 신호(512)와 SDR 신호의 제 2 뷰(SDR-2;517)를 생성하기 위해 C1과 C2의 코딩된 비트스트림들을 디코딩할 수 있다. 따라서, 레거시 모노스코픽 SDR 재생기들은 신호 SDR(512)을 사용할 수 있으며, 3D SDR 디코더들은 3D 뷰잉을 위하여 SDR과 SDR-2를 모두 사용할 수 있다.

모노스코픽(단일 뷰) VDR 뷰잉을 위하여, VDR 디코더는 또한 디코딩된 VDR 잔차 신호들(522 및 524)을 생성하는 제 2 DVDL 디코더(520)를 포함할 수 있다. SDR-VDR 예측기(530)를 이용하여, 디코더는 예측된 VDR 신호(532)를 생성할 수 있으며, 디코딩된 잔차(522)로 부가될 때 VDR 신호(552)를 생성한다.

3D VDR 뷰잉을 위하여, SDR-VDR 예측기(540)는 제 2 VDR 예측된 신호(542)를 계산할 수 있고, 디코딩된 잔차(524)에 부가될 때 제 2 뷰, 신호(VDR-2;562)를 생성할 수 있다. 따라서, 3D 디스플레이 시스템은 수신된 신호의 3D VDR 랜더링을 디스플레이하기 위해 VDR(552)과 VDR-2(562)를 사용할 수 있다.

인코더(예를 들면, 300) 상에서 대응하는 처리를 매칭하기 위하여, 시스템(500)은 또한 개선된 3D 처리를 위한 수평 및 수직 필터들, 색상 변환 프로세서들, 또는 비선형 역양자화기들과 같은 부가적인 구성성분들을 포함할 수 있다.

예시적인 HDR 디스플레이 수행

본 발명의 실시예들은 SDR보다 높은 DR로 콘텐트를 랜더링할 수 있는 HDR 디스플레이를 위해 수행될 수 있다. 예를 들어, 발광 다이오드(LED) 어레이를 포함하는 후광 유닛(backlight unit;BLU)을 갖는 LCD 디스플레이들이 사용될 수 있다. BLU 어레이의 LED들은 활성 LCD 소자들의 편광 상태들의 변조로부터 개별적으로 변조될 수 있다. 이러한 이중 변조 접근은 BLU 어레이와 LCD 스크린 소자들 사이의 제어가능한 간섭 계층들과 같이 확장가능하다(예를 들면, N개의 변조 계층들, 여기서 N은 2보다 큰 정수를 포함한다). 그들의 LED 어레이 기반 BLU들과 이중(또는 N개의) 변조는 이러한 특성들을 갖는 LCD 모니터들의 디스플레이 관련 DR을 효율적으로 증가시킨다.

이러한 HDR 디스플레이가 랜더링할 수 있는 색상 영역은 또한 많은 종래의 디스플레이들의 색상 영역을 상당히, 심지어 넓은 색상 영역(WCG)을 훌륭하게 랜더링할 수 있는 점까지 초과할 수 있다. "다음 세대" 영화와 텔레비전 카메라들에 의해 생성될 수 있을, 장면 관련 HDR 또는 VDR과 WCG 이미지 콘텐트는 이제 HDR 디스플레이들로 더욱 신뢰성있고 효율적으로 디스플레이될 수 있다.

대안적으로, 본 발명의 실시예들이 프로젝션 시스템, 예를 들면, 본 문서에 사실상 포함되는 미국 임시 특허 출원 번호 61/476,949에 설명된 것과 같은 이중 프로젝터 시스템인 HDR 디스플레이에 대해 수행될 수 있다. 이러한 디스플레이에서, 높은 피크의 루미넌스와 증가된 다이나믹 레인지가 메인 프로젝터(기본 이미지를 쏘는)와 하이라이트 프로젝터(기본 이미지 상에 겹쳐지는 하이라이트 이미지를 쏘는)에 의해 제공된다. 3D VDR에 대하여, 두개의 이중 프로젝터들이 다음 4개의 이미지들: 좌측 원근 기본 이미지, 우측 원근 기본 이미지, 좌측 하이라이트 이미지, 및 우측 하이라이트 이미지를 제공하도록 사용될 수 있다.

예시적인 컴퓨터 시스템 수행

본 발명의 실시예들은 컴퓨터 시스템, 전기 회로와 구성성분들, 마이크로컨트롤러, 필드 프로그램가능 게이트 어레이(FPGA)와 같은 집적 회로(IC) 디바이스, 또는 다른 구성가능 또는 프로그램가능 논리 디바이스(PLD), 이산 시간 또는 디지털 신호 프로세서(DSP), 주문형 IC(ASIC)로 구성된 시스템들, 및/또는 이러한 시스템들, 디바이스들 또는 구성성분들의 하나 또는 그 이상을 포함하는 장치로 수행될 수 있다. 컴퓨터 및/또는 IC는 여기서 설명된 것과 같은 3D VDR 인코딩 및 디코딩에 관한 명령들을 수행, 제어 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 여기서 설명된 것과 같은 3D VDR 인코딩 및 디코딩에 관한 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 이미지와 비디오의 다이나믹 레인지 확장 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 그들의 다양한 조합들로 수행될 수 있다.

본 발명의 일정한 수행들은 프로세서들이 본 발명의 방법을 실행하도록 하는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들어, 디스플레이, 인코더, 셋탑 박스, 트랜스코더 등의 하나 또는 그 이상의 프로세서들은 프로세서들에 액세스가능한 프로그램 메모리의 소프트웨어 명령들을 수행하는 것에 의해 위에서 설명된 바와 같은 3D VDR 인코딩 및 디코딩 방법들을 수행할 수 있다. 본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은 데이터 프로세서에 의해 수행될 때 데이터 프로세서가 본 발명의 방법을 수행하게 하는 명령들을 포함하는 한 세트의 컴퓨터 판독가능한 신호들을 전달하는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 임의의 폭넓은 다양한 형태들일 수 있다. 프로그램 제품은, 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들 등과 같은 물리적 매체들을 포함할 수 있다. 프로그램 제품 상의 컴퓨터 판독가능한 신호들은 선택적으로 압축되거나 또는 암호화될 수 있다.

구성성분(예를 들면, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로, 등)이 상기에서 참조될 때, 다르게 지시되지 않는 한, 그 구성성분으로의 참조("수단"으로의 참조를 포함하여)는 설명된 구성성분의 기능을 수행하는(예를 들면, 기능적으로 동등한) 임의의 구성성분인 그 구성성분의 동등물들을 포함하고, 본 발명의 설명된 예시적 실시예들의 기능을 수행하는, 개시된 구조와 구조적으로는 동등하지 않은 구성성분들을 포함하는 것으로 해석되어야 한다.

동등물들, 확장들, 대안들 및 기타

따라서 3D VDR 및 SDR 이미지들을 인코딩하고 디코딩하는 것에 관한 예시적인 실시예들이 설명된다. 앞의 명세서에서, 본 발명의 실시예들이 수행마다 변화할 수 있는 다양한 특정의 상세한 설명들을 참조하여 설명되었다. 따라서, 무엇이 발명인지, 그리고 무엇이 출원자들에 의해 발명으로 의도되는지에 대한 유일하고 배타적인 지시자는, 임의의 다음 교정을 포함하여 청구항들이 발표되는 일정항 형식으로 본 출원서로부터 발표되는 청구항들에서 기재된 것과 같은 세트이다. 이러한 청구항들에 포함된 용어들에 대해 여기서 명시적으로 개시된 임의의 정의들은 청구항들에서 사용됨에 따라 이러한 용어들의 의미를 갖게 된다. 따라서, 청구항에서 명시적으로 표현되지 않은 어떠한 제한, 소자, 특성, 특징, 장점 또는 속성도 어떠한 방식으로도 이러한 청구항의 범위를 제한하지 않는다. 명세서와 도면들은 따라서, 제한적인 방식보다는 예시적인 방식으로 여겨진다.

110: 3D HDR 카메라 120: 마스터링 회로
130: 인코더 145: SDR 출력
150: 디코더

Claims

멀티-계층 인코딩된 비디오 비트스트림을 생성하기 위한 방법에 있어서,
상기 멀티-계층 인코딩된 비디오 비트스트림은 기본 계층과 하나 이상의 향상 계층들을 포함하고,
제 1 다이나믹 레인지를 갖는 제 1의 3D 비디오 신호에 대하여, 상기 제 1 다이나믹 레인지를 갖는 제 1 뷰(304) 및 제 2 뷰(302)를 포함하는 상기 제 1의 3D 비디오 신호와,
제 2 다이나믹 레인지를 갖는 제 2의 3D 비디오 신호에 대하여, 상기 제 2 다이나믹 레인지를 갖는 제 3 뷰(307) 및 제 4 뷰(312)를 포함하는 상기 제 2의 3D 비디오 신호를 포함하고,
상기 제 1 다이나믹 레인지는 상기 제 2 다이나믹 레인지보다 높은 다이나믹 레인지인, 상기 방법은:
상기 제 2 다이나믹 레인지를 갖는 제 1 코딩된 비디오 신호(319) 및 제 2 코딩된 비디오 신호(317)를 출력하기 위해 제 1 인코더(315)를 이용하여 상기 제 3 뷰(307)와 상기 제 4 뷰(312)를 인코딩하는 단계와;
상기 제 2의 3D 비디오 신호에 기초하여 상기 제 1 다이나믹 레인지를 갖는 예측된 3D 비디오 신호를 생성하는 단계로서, 상기 예측된 3D 비디오 신호는 상기 제 1 다이나믹 레인지를 갖는 제 1 예측된 뷰 및 제 2 예측된 뷰를 포함하는, 상기 예측된 3D 비디오 신호를 생성하는 단계와;
상기 제 1 뷰(304)와 상기 제 1 예측된 뷰에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 1 잔차 신호(327)를 생성하는 단계와;
상기 제 2 뷰(302)와 상기 제 2 예측된 뷰에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 2 잔차 신호(337)를 생성하는 단계와;
제 1 코딩된 잔차 신호(347)와 제 2 코딩된 잔차 신호(349)를 출력하기 위해 제 2 인코더(345)를 이용하여 상기 제 1 잔차 신호(327)와 상기 제 2 잔차 신호(337)를 인코딩하는 단계와;
상기 제 1 코딩된 비디오 신호(319)를 상기 멀티-계층 인코딩된 비디오 비트스트림의 상기 기본 계층으로 삽입하는 단계와;
상기 제 2 코딩된 비디오 신호(317), 상기 제 1 코딩된 잔차 신호(347), 및 상기 제 2 코딩된 잔차 신호(349)를 하나 이상의 상기 멀티-계층 인코딩된 비디오 비트스트림의 상기 향상 계층들로 삽입하는 단계를 포함하는, 방법.
제 1 항에 있어서, 상기 제 2의 3D 비디오 신호는 상기 제 1 다이나믹 레인지로부터 상기 제 2 다이나믹 레인지로의 매핑 함수(305, 310)를 이용하여 상기 제 1 다이나믹 레인지를 갖는 상기 3D 비디오 신호로부터 얻어지는, 방법.
제 1 항에 있어서, 상기 예측된 3D 비디오 신호를 생성하는 단계는:
상기 제 2 다이나믹 레인지를 갖는 제 1 디코딩된 뷰(342) 및 제 2 디코딩된 뷰(344)를 출력하기 위해 디코더(340)를 이용하여 상기 제 1 코딩된 비디오 신호(319) 및 상기 제 2 코딩된 비디오 신호(317)를 디코딩하는 단계와;
상기 제 1 예측된 뷰를 생성하기 위해 상기 제 2 다이나믹 레인지부터 상기 제 1 다이나믹 레인지까지 제 1 예측기(320)를 상기 제 1 디코딩된 뷰(342)에 적용하는 단계와;
상기 제 2 예측된 뷰를 생성하기 위해 상기 제 2 다이나믹 레인지부터 상기 제 1 다이나믹 레인지까지 제 2 예측기(330)를 상기 제 2 디코딩된 뷰(344)에 적용하는 단계를 포함하는, 방법.
제 1 항에 있어서, 상기 제 1(315) 및/또는 제 2(345) 인코더(200)는 H.264 멀티-뷰 인코더를 포함하는, 방법.
제 1 항에 있어서, 상기 인코딩하는 단계들은:
제 1 결과적인 비디오 신호(212)를 생성하기 위해 기본 계층 인코더(210)를 이용하여 제 1 비디오 신호(202)를 인코딩하는 단계와;
상기 제 1 결과적인 비디오 신호(212)에 기초하여 복수의 기본 계층 참조 프레임들을 생성하는 단계와;
상기 복수의 기본 계층 참조 프레임들에 기초하여 복수의 향상 계층 참조 프레임들을 생성하는 단계와;
제 2 결과적인 비디오 신호(234)를 생성하기 위해 향상 계층 인코더(230)를 이용하여 제 2 비디오 신호(204)를 인코딩하는 단계로서, 상기 향상 계층 인코더(230)는 상기 제 2 비디오 신호(204) 또는 상기 복수의 향상 계층 프레임들 모두로부터 참조 프레임들을 사용할 수 있는, 상기 제 2 비디오 신호(204)를 인코딩 단계를 포함하고;
상기 인코딩이 상기 제 1 인코더(315)에 의해 수행되면, 상기 제 1 비디오 신호(202)는 상기 제 3 뷰(307)를 표현하고, 상기 제 2 비디오 신호(204)는 상기 제 4 뷰(312)를 표현하며, 상기 제 1 결과적인 비디오 신호(212)는 상기 제 1 코딩된 비디오 신호(319)이고, 상기 제 2 결과적인 비디오 신호(234)는 상기 제 2 코딩된 비디오 신호(317)이며;
상기 인코딩이 상기 제 2 인코더(345)에 의해 수행되면, 상기 제 1 비디오 신호(202)는 상기 제 1 잔차 신호(327)이고, 상기 제 2 비디오 신호(204)는 상기 제 2 잔차 신호(337)이며, 상기 제 1 결과적인 비디오 신호(212)는 상기 제 1 코딩된 잔차 신호(347)이고, 상기 제 2 결과적인 비디오 신호(234)는 상기 제 2 코딩된 잔차 신호(349)인, 방법.
제 5 항에 있어서, 상기 복수의 기본 계층 참조 프레임들에 기초하여 상기 복수의 향상 계층 참조 프레임들을 생성하는 단계는, 상기 향상 계층 인코더(230)에서 상기 향상 계층에 대한 잠재적 예측기로서 정보를 사용하기 전에 상기 기본 계층 인코더(201)로부터 이러한 정보를 처리하기 위해 참조 프로세싱 유닛(220)을 이용하는 단계를 포함하며, 상기 참조 프로세싱 유닛(220)에 의한 상기 프로세싱과 관련된 상기 정보는 메타데이터로서 상기 멀티-계층 인코딩된 비디오 비트스트림으로 삽입되는, 방법.
프로세서를 포함하여 제 1 항 내지 제 6 항 중 어느 한 항을 수행하도록 구성된 장치(300).
제 1 항 내지 제 6 항 중 어느 한 항을 수행하기 위해 컴퓨터에서 실행가능한 명령들이 저장된 비-일시적 컴퓨터 판독가능한 저장 매체.
멀티-계층 인코딩된 비디오 비트스트림을 생성하기 위한 시스템(300)에 있어서,
상기 멀티-계층 인코딩된 비디오 비트스트림은 기본 계층과 하나 이상의 향상 계층들을 포함하고,
제 1 다이나믹 레인지를 갖는 제 1의 3D 비디오 신호에 대하여, 상기 제 1 다이나믹 레인지를 갖는 제 1 뷰(304) 및 제 2 뷰(302)를 포함하는 상기 제 1의 3D 비디오 신호와,
제 2 다이나믹 레인지를 갖는 제 2의 3D 비디오 신호에 대하여, 상기 제 2 다이나믹 레인지를 갖는 제 3 뷰(307) 및 제 4 뷰(312)를 포함하는 상기 제 2의 3D 비디오 신호를 포함하고,
상기 제 1 다이나믹 레인지는 상기 제 2 다이나믹 레인지보다 높은 다이나믹 레인지인, 상기 시스템(300)은:
상기 제 2 다이나믹 레인지를 갖는 제 1 코딩된 비디오 신호(319) 및 제 2 코딩된 비디오 신호(317)를 출력하기 위해 제 1 인코더(315)를 이용하여 상기 제 3 뷰(307)와 상기 제 4 뷰(312)를 인코딩하기 위한 수단(315)과;
상기 제 2의 3D 비디오 신호에 기초하여 상기 제 1 다이나믹 레인지를 갖는 예측된 3D 비디오 신호를 생성하는 단계로서, 상기 예측된 3D 비디오 신호는 상기 제 1 다이나믹 레인지를 갖는 제 1 예측된 뷰 및 제 2 예측된 뷰를 포함하는, 상기 예측된 3D 비디오 신호를 생성하기 위한 수단과;
상기 제 1 뷰(304)와 상기 제 1 예측된 뷰에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 1 잔차 신호(327)를 생성하기 위한 수단(325)과;
상기 제 2 뷰(302)와 상기 제 2 예측된 뷰에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 2 잔차 신호(337)를 생성하기 위한 수단(335)과;
제 1 코딩된 잔차 신호(347)와 제 2 코딩된 잔차 신호(349)를 출력하기 위해 제 2 인코더(345)를 이용하여 상기 제 1 잔차 신호(327)와 상기 제 2 잔차 신호(337)를 인코딩하기 위한 수단(345)과;
상기 제 1 코딩된 비디오 신호(319)를 상기 멀티-계층 인코딩된 비디오 비트스트림의 상기 기본 계층으로 삽입하기 위한 수단과;
상기 제 2 코딩된 비디오 신호(317), 상기 제 1 코딩된 잔차 신호(347), 및 상기 제 2 코딩된 잔차 신호(349)를 하나 이상의 상기 멀티-계층 인코딩된 비디오 비트스트림의 상기 향상 계층들로 삽입하기 위한 수단을 포함하는, 시스템(300).
제 9 항에 있어서:
제 2 항 내지 제 6 항 중 어느 한 항의 상기 단계들 중 하나 또는 그 이상을 수행하거나 실행하기 위한 수단을 더 포함하는, 시스템(300).
멀티-계층 인코딩된 비디오 비트스트림들을 생성하기 위한 인코더(300)에 있어서, 상기 인코더(300)는 제 1 항 내지 제 6 항 중 어느 한 항의 상기 단계들 중 하나 또는 그 이상을 수행하는, 인코더(300).
제 1 다이나믹 레인지를 갖는 코딩된 3D 비디오 신호를 디코딩하기 위한 방법에 있어서,
제 1 코딩된 비디오 신호(319)는 상기 코딩된 3D 비디오 신호의 기본 계층을 표현하고, 상기 제 1 다이나믹 레인지는 제 2 다이나믹 레인지보다 높은 다이나믹 레인지인, 상기 제 2 다이나믹 레인지를 갖는 상기 제 1 코딩된 비디오 신호(319)에 대하여, 그리고 상기 코딩된 3D 비디오 신호의 하나 또는 그 이상의 향상 계층들을 표현하는 상기 제 2 다이나믹 레인지를 갖는 제 2 코딩된 비디오 신호(317), 제 1 코딩된 잔차 신호(347), 및 제 2 코딩된 잔차 신호(349)에 대하여, 상기 방법은:
상기 제 2 다이나믹 레인지를 갖는 제 1 뷰 비디오 신호(512) 및 제 2 뷰 비디오 신호(517)를 생성하기 위해 제 1 디코더(510)를 이용하여 상기 제 1 코딩된 비디오 신호(319) 및 상기 제 2 코딩된 비디오 신호(317)를 디코딩하는 단계와;
상기 제 1 뷰 비디오 신호(512)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 1 뷰 기본 계층 비디오 신호(532)를 생성하는 단계와;
상기 제 2 뷰 비디오 신호(517)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 2 뷰 기본 계층 비디오 신호(542)를 생성하는 단계와;
상기 제 1 다이나믹 레인지를 갖는 제 1 뷰 잔차 신호(522) 및 제 2 뷰 잔차 신호(524)를 생성하기 위해 제 2 디코더(520)를 이용하여 상기 제 1 코딩된 잔차 신호(347) 및 상기 제 2 코딩된 잔차 신호(349)를 디코딩하는 단계와;
상기 제 1 뷰 잔차 신호(522) 및 상기 제 1 뷰 기본 계층 비디오 신호(532)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 3 뷰 비디오 신호(552)를 생성하는 단계와;
상기 제 2 뷰 잔차 신호(524) 및 상기 제 2 뷰 기본 계층 비디오 신호(542)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 4 뷰 비디오 신호(562)를 생성하는 단계를 포함하는, 디코딩하기 위한 방법.
제 12 항의 상기 단계들 중 하나 또는 그 이상을 수행하도록 적응된, 디코더(500).
제 1 다이나믹 레인지를 갖는 코딩된 3D 비디오 신호를 디코딩하기 위한 디코딩 시스템(500)에 있어서,
제 1 코딩된 비디오 신호(319)는 상기 코딩된 3D 비디오 신호의 기본 계층을 표현하고, 상기 제 1 다이나믹 레인지는 제 2 다이나믹 레인지보다 높은 다이나믹 레인지인, 상기 제 2 다이나믹 레인지를 갖는 상기 제 1 코딩된 비디오 신호(319)에 대하여, 그리고 상기 코딩된 3D 비디오 신호의 하나 또는 그 이상의 향상 계층들을 표현하는 상기 제 2 다이나믹 레인지를 갖는 제 2 코딩된 비디오 신호(317), 제 1 코딩된 잔차 신호(347), 및 제 2 코딩된 잔차 신호(349)에 대하여, 상기 디코딩 시스템은:
상기 제 2 다이나믹 레인지를 갖는 제 1 뷰 비디오 신호(512) 및 제 2 뷰 비디오 신호(517)를 생성하기 위해 제 1 디코더(510)를 이용하여 상기 제 1 코딩된 비디오 신호(319) 및 상기 제 2 코딩된 비디오 신호(317)를 디코딩하기 위한 수단(510)과;
상기 제 1 뷰 비디오 신호(512)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 1 뷰 기본 계층 비디오 신호(532)를 생성하기 위한 수단(530)과;
상기 제 2 뷰 비디오 신호(517)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 2 뷰 기본 계층 비디오 신호(542)를 생성하기 위한 수단(540)과;
상기 제 1 다이나믹 레인지를 갖는 제 1 뷰 잔차 신호(522) 및 제 2 뷰 잔차 신호(524)를 생성하기 위해 제 2 디코더(520)를 이용하여 상기 제 1 코딩된 잔차 신호(347) 및 상기 제 2 코딩된 잔차 신호(349)를 디코딩하기 위한 수단(520)과;
상기 제 1 뷰 잔차 신호(522) 및 상기 제 1 뷰 기본 계층 비디오 신호(532)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 3 뷰 비디오 신호(552)를 생성하기 위한 수단(550)과;
상기 제 2 뷰 잔차 신호(524) 및 상기 제 2 뷰 기본 계층 비디오 신호(542)에 기초하여 상기 제 1 다이나믹 레인지를 갖는 제 4 뷰 비디오 신호(562)를 생성하기 위한 수단(560)을 포함하는, 디코딩 시스템(500).