KR20120118432A

KR20120118432A - 3ｄ 비디오 신호 코딩 및 디코딩 방법

Info

Publication number: KR20120118432A
Application number: KR1020120039867A
Authority: KR
Inventors: 뽈 께르비류; 빠트릭 로뻬즈; 기욤 부와쏭; 띠이리 비예이야르
Original assignee: 톰슨 라이센싱
Priority date: 2011-04-18
Filing date: 2012-04-17
Publication date: 2012-10-26
Also published as: US20120262545A1; CN102752615A; JP2012227929A; EP2515539A1

Abstract

본 발명은 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 3D 비디오 신호를 코딩하는 방법에 관한 것이다. 코딩 방법은 현 영상, 깊이 영상 및 현 폐색 영상을 코딩하는 단계(40, 42, 44)를 포함한다. 본 발명에 따라서, 상기 현 폐색 영상은 상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내는 바이너리 식별자를 코딩하는 단계(440, 446); 및 상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 각 블록에 대하여 폐색 데이터를 코딩하는 단계(44)에 따라서 코딩된다(44).

Description

3Ｄ 비디오 신호 코딩 및 디코딩 방법{METHOD FOR CODING A 3D VIDEO SIGNAL AND CORRESPONDING METHOD FOR DECODING}

본 발명은 일반적으로 3D 비디오 신호 코딩 분야에 관한 것으로, 특히 현 영상(current image), 깊이 영상(depth image) 및 현 폐색 영상(current occlusion image)을 포함하는 3D 비디오 신호의 코딩 및 디코딩 방법에 관한 것이다.

일반적으로 3D 비디오 신호는 각각이 깊이 영상 및 폐색 영상과 연관된 수 개의 영상으로 이루어진 2D 비디오를 포함한다. 깊이 영상 또는 깊이 맵(depth map)은 비디오 신호의 제3의 차원에 대한 정보를 제공한다.

폐색 영상 또는 폐색 맵은 장면의 전경(foreground)에 위치한 대상체(object)에 의해 가려진 구역(zone)들에 대한 정보를 제공한다. 그와 같은 폐색 영상을 깊이 영상으로서 전송하는 것도 알려져 있다.

폐색 영상은 도 1 및 2에 도시된 것과 같이 그것들과 연관된 영상과 매우 유사한 콘텐츠를 갖고 있다. 도 1은 위쪽은 비디오의 현 영상을, 아래쪽은 그 연관된 폐색 영상을 보여준다. 도 2는 위쪽은 깊이 영상을, 아래쪽은 이 깊이 영상과 연관된 폐색 영상을 보여준다. 폐색 영상을 더 효율적으로 코딩하기 위해, 도 3에 도시된 바와 같이 모든 픽셀이 그것들과 연관된 영상의 픽셀과 똑같은 구역(또는 블록)을 마스킹하는 것이 알려져 있다. 도 3은 도 1 및 2에 도시된 영상의 세부를 보여준다. 흑색 구역은 그 픽셀이 현 영상의 대응 픽셀과 똑같은 폐색 영상 구역이다. 깊이 영상과 그 관련 폐색 영상을 이용하여 동일 유형의 마스킹된 영상이 얻어진다는 것에 유의한다. 도 3에서 마스킹은 16x16 블록의 그리드 상에 정렬된다. 실제로, 대부분의 기존 코딩 방법은 이러한 16x16 블록을 이용하여 영상 데이터(즉, 휘도와 색도)를 코딩한다.

3D 비디오 신호를 코딩하기 위해서, 2D 현 영상들, 및 그 각각에 대하여, 그 관련 깊이 영상, 현 영상과 연관된 마스킹된 폐색 영상, 및 어쩌면 깊이 영상과 연관된 마스킹된 폐색 영상을 코딩하는 것이 알려져 있다. 현재, 마스킹된 폐색 영상은 문헌 ISO/IEC 14496-10에 규정된 H.264/MPEG4-AVC 표준에 따라 코딩된다. 이 폐색 영상은 하나의 관련 정보 항목을 포함하는 감소된 수의 블록만을 포함하지만, 그와 같은 마스킹된 폐색 영상은 코딩하는데 거의 그만큼의 비용이 든다. 즉, 마스킹된 폐색 영상은 대응하는 마스킹되지 않은 폐색 영상 만큼의 비트로 코딩된다. 실제로, 비트레이트가 많이 감소될 수 있는 스킵 모드는 그와 같은 마스킹된 폐색 영상에 거의 이용하지 않는다. 스킵 모드가 코딩에 이용되려면, 특정 조건이 확인되어야 한다. 특히, 이웃 블록들은 INTRA에서 코딩되지 않아야 하며, 캐주얼(causal) 이웃 블록의 중앙 벡터(median vector)는 현 블록의 모션 벡터와 같아야 하며, 잔여 비용은 0(null)이어야 한다. 따라서, 마스킹되지 않은 부분 상의 블록이 INTRA 모드에서 코딩되자마자, 이 INTRA 모드는 다음 블록으로 심지어 마스킹된 블록들로도 전파되어 스킵 모드를 해치게 된다.

본 발명의 목적은 종래 기술의 단점들 중 적어도 한 가지를 해소하는 것이다. 이를 위해, 본 발명은 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 3D 비디오 신호를 코딩하는 방법에 관한 것이다. 이들 영상은 블록들로 분할된다.

본 발명의 코딩 방법은 현 영상, 깊이 영상 및 현 폐색 영상을 코딩하는 단계를 포함한다. 양호하게는, 상기 현 폐색 영상은,

상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내는 바이너리 식별자를 코딩하는 단계; 및

상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 각 블록에 대하여 폐색 데이터를 코딩하는 단계에 따라서 코딩된다.

본 발명의 특정 특징에 따라서, 바이너리 식별자의 상기 현 폐색 영상의 각 블록에 대한 상기 코딩 단계는 바이너리 영상의 손실없이 코딩하는 단계를 포함한다.

본 발명의 다른 양상에 따라서, 코딩 방법은 상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 상기 현 폐색 영상의 블록을 충전(filling)하기 위한 제1 영상 데이터 항목을 코딩하는 단계를 더 포함한다.

다른 실시예에 따라서, 상기 3D 비디오 신호는 블록들로 분할되는 깊이 폐색 영상을 더 포함하고, 코딩 방법은 상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 깊이 폐색 영상의 각 블록에 대하여 깊이 폐색 데이터를 코딩하는 단계를 포함한다.

본 발명의 다른 양상에 따라서, 코딩 방법은 상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 상기 깊이 폐색 영상의 상기 블록을 충전하기 위한 제2 영상 데이터 항목을 코딩하는 단계를 더 포함한다.

본 발명의 특정 특징에 따라서, 상기 바이너리 식별자는 상기 현 폐색 영상의 상기 블록의 모든 픽셀이 상기 현 영상의 대응 블록의 픽셀과 똑같을 때에 블록이 코딩되지 않은 것을 나타낸다.

또한, 본 발명은 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 3D 비디오 신호를 디코딩하는 방법에 관한 것이다. 디코딩 방법은 현 영상, 깊이 영상 및 현 폐색 영상을 디코딩하는 단계를 포함한다.

양호하게는, 상기 현 폐색 영상은,

상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내는 바이너리 식별자를 디코딩하는 단계;

상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 현 폐색 영상의 각 블록을 디코딩하는 단계; 및

상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 블록을 미리 결정된 제1 충전 데이터 항목으로 충전하는 단계에 따라서 디코딩된다.

본 발명의 특정 특징에 따라서, 바이너리 식별자의 상기 현 폐색 영상의 각 블록에 대한 상기 디코딩 단계는 바이너리 영상의 손실 없이 디코딩하는 단계를 포함한다.

바람직하게는, 디코딩 방법은 상기 미리 결정된 제1 충전 데이터 항목을 디코딩하는 단계를 더 포함한다.

다른 실시예에 따라서, 상기 3D 비디오 신호는 블록들로 분할되는 깊이 폐색 영상을 더 포함하고, 디코딩 방법은,

상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 깊이 폐색 영상의 각 블록을 디코딩하는 단계; 및

상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 상기 블록을 미리 결정된 제2 충전 데이터 항목으로 충전하는 단계를 더 포함한다.

본 발명의 특정 특징에 따라서, 디코딩 방법은 상기 제2 충전 데이터 항목을 디코딩하는 단계를 더 포함한다.

본 발명은 첨부된 도면을 참조로 실시예와 바람직한 구현을 통해 설명되며 더 잘 이해될 수 있으나, 이들에 한정되는 것은 아니다.
도 1은 위쪽은 2D 영상을, 아래쪽은 대응 폐색 영상을 도시한 도.
도 2는 위쪽은 깊이 영상을, 아래쪽은 대응 깊이 폐색 영상을 도시한 도.
도 3은 마스킹된 폐색 영상을 도시한 도.
도 4는 본 발명에 따른 코딩 방법을 보여주는 도.
도 5는 본 발명에 따른 코딩 방법의 단계를 상세히 보여주는 도.
도 6은 본 발명에 따른 코딩 방법의 변형을 보여주는 도.
도 7은 본 발명에 따른 디코딩 방법을 보여주는 도.
도 8은 본 발명에 따른 디코딩 방법의 단계를 상세히 보여주는 도.
도 9는 본 발명에 따른 디코딩 방법의 변형을 보여주는 도.
도 10은 본 발명에 따른 코딩 장치를 보여주는 도.
도 11은 본 발명에 따른 디코딩 장치를 보여주는 도.

본 발명의 원리는 여러 가지 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합으로 구현될 수 있다. 바람직하게는, 본 발명의 원리는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 더욱이, 소프트웨어는 바람직하게는 프로그램 저장 장치에 유형적으로 구체화되는 응용 프로그램으로서 구현된다. 응용 프로그램은 적당한 구조의 기계로 업로드되어 실행될 수 있다. 바람직하게는, 이 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 입/출력(I/O) 인터페이스와 같은 하드웨어를 가진 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제와 마이크로명령 코드를 포함한다. 여기서 설명되는 여러 가지 프로세스와 기능은 운영 체제를 통해 실행되는 마이크로명령 코드의 일부나 응용 프로그램의 일부(또는 이들의 조합)일 수 있다. 게다가, 부가 데이터 저장 장치와 프린트 장치와 같은 여러 가지 다른 주변 장치가 컴퓨터 플랫폼에 연결될 수 있다.

본 발명은 대응하여 구성된 코딩 또는 디코딩 수단을 포함하는 전자 장치 상에서 실현될 수 있다. 예컨대, 본 발명은 텔레비전, 모바일 비디오폰, 개인용 컴퓨터, 디지털 비디오 카메라, 네비게이션 장치 또는 카 비디오 장치에서 실현될 수 있다.

3D 비디오 신호는 적어도 하나의 현 영상(Ic), 깊이 영상(Ip) 및 현 폐색 영상(Iocc)을 포함한다. 이들 영상은 블록들로 나누어진다. 현 영상에 대해 설명된 발명은 각각이 깊이 영상 및 폐색 영상과 연관된 몇 개의 영상으로 이루어진 비디오를 포함하는 3D 비디오 신호에 바로 적용된다.

도 4는 본 발명에 따른 3D 비디오 신호의 코딩 방법을 보여준다. 이 코딩 방법은 현 영상을 코딩하여 코딩 데이터 스트림(Fc)을 만드는 단계(40)를 포함한다. 간단한 예로서, 영상(Ic)이 H.264 표준에 따라 코딩된다. 예컨대, 코딩 방법은 다음의 단계들, 즉, 잔여물을 생성하도록 코딩될 데이터의 예측, 잔여물의 계수로의 변환, 계수의 양자화, 및 양자화된 계수의 엔트로피 코딩 중 일부를 포함한다. 그러나, 예측 단계나 변환 단계와 같은 일부 단계는 생략가능하다. 일 변형에 따라서, 영상(Ic)은 문헌 ISO/IEC 13818-2에 규정된 MPEG-2 표준에 따라 코딩된다. 당업자라면 임의의 영상 코딩 방법을 적용하여 현 영상(Ic)을 코딩할 수 있다. 그러나, 본 발명은 현 영상(Ic)을 코딩하는데 단계(40)에서 이용된 방법에만 한정되는 것은 아니다.

단계(42)에서, 깊이 영상(Ip)이 코딩되어 코딩 데이터 스트림(Fc)이 된다. 간단한 예로서, 깊이 영상(Ip)이 H.264 표준에 따라 코딩된다. 일 변형에 따라서, 깊이 영상(Ip)은 MPEG-2 표준에 따라 코딩된다. 당업자라면 임의의 영상 코딩 방법을 적용하여 깊이 영상(Ip)을 코딩할 수 있다. 그러나, 본 발명은 깊이 영상(Ip)을 코딩하는데 단계(40)에서 이용된 방법에만 한정되는 것은 아니다.

단계(44)에서, 현 폐색 영상(Iocc)이 코딩되어 코딩 데이터 스트림(Focc)이 된다. 단계(44)는 도 5를 참조로 설명한다. 인덱스(I)는 코딩되는 현 폐색 영상의 블록의 인덱스를 나타낸다.

단계(440)에서, 폐색 정보 항목이 현 블록(Bi)에 대해 코딩되어야 하는지를 판단한다. 도 3에서, 코딩되지 않은 블록은 마스킹된 폐색 영상 상에 흑색으로 나타낸 것, 즉, 유용한 폐색 정보가 없는 것이다. 흑색 블록은 현 폐색 영상(Iocc)의 픽셀이 현 영상(Ic)의 대응 픽셀과 똑같은 블록이다. 블록(Bi)이 유용한 폐색 정보 항목을 포함한다면, 본 방법은 단계(442)로 진행하고, 포함하지 않는다면, 단계(446)로 진행한다.

단계(442)에서, 현 블록이 코딩된 것을 나타내는 바이너리 식별자(Idi)가 현 블록(Bi)에 대해 코딩된다. 예컨대, 블록(Bi)이 코딩된 것을 나타내기 위해 값 1이 코딩된다.

단계(444)에서, 블록(Bi)의 폐색 데이터가 예컨대 H.264 표준의 코딩 원리를 이용하여 명시적으로 코딩되어 스트림(Focc)이 된다.

단계(446)에서, 현 블록이 코딩되지 않은 것을 나타내는 바이너리 식별자(Idi)가 현 블록(Bi)에 대해 코딩된다. 예컨대, 블록(Bi)이 코딩되지 않은 것을 나타내기 위해 값 0이 코딩된다.

단계(448)에서, 현 폐색 영상의 N(정수임)개 블록 세트가 처리되었는지를 확인한다. YES라면, 이 방법은 현 폐색 영상에 대해 종료하고, NO라면, 이 방법은 다음 Bi 블록을 처리한다. 이를 위해, 단계(450)에서 인덱스(i)가 1만큼 증분된다.

본 발명의 특정 특징에 따라서, 현 폐색 영상에 대한 바이너리 식별자(Idi)가 마스크라고도 불리는 바이너리 영상 형태로 코딩된다. 이 코딩은 무손실로 실시되어야 한다. 그와 같은 영상은 예컨대 허프만 코딩으로 코딩되어 스트림(Fm)이 된다. 일 변형에 따라서, 각 바이너리 식별자는 블록 헤더, 예컨대 스트림(Focc)의 블록 헤더에 코딩된다. 실제로, 영상을 코딩하기 위해, 영상 헤더를 코딩하고, 그 다음에, 각 영상 블록에 대해 블록 헤더와 유용한 데이터(예컨대 양자화된 DCT 계수)를 코딩하는 것이 알려져 있다. 블록 헤더에는 그 블록에 대한 일반적인 정보, 예컨대 그 코딩 모드를 코딩하는 것이 알려져 있다.

일 변형에 따라서, 블록(Bi)이 코딩된 것을 나타내기 위해 값 0이 코딩되고, 블록(Bi)이 코딩되지 않은 것을 나타내기 위해 값 1이 코딩된다. 도 6은 다른 실시예를 보여준다. 도 4의 제1 실시예와 같은 단계들은 도 6에서 동일 도면부호로 나타낸다. 이 실시예에 따라서, 코딩 방법은 단계(40, 42, 44)를 포함한다. 이 코딩 방법은 코딩되지 않은 현 폐색 영상(Iocc)의 블록(Bi)의 제1 MVF 충전(filling) 데이터 항목을 코딩하는 단계(46)도 포함한다. 디코딩 장치는 그와 같은 값을 이용하여 현 폐색 영상을 재구성한다. 실제로, 코딩되지 않은 Bi 블록은 디코더 측에서 소정 값으로 충전되어야 한다. 그와 같은 MVF 충전값은 2D 영상과 연관된 모든 코딩된 폐색 영상에 대해서 똑같다. 그러므로, 전체 3D 비디오 신호에 대해 그 값을 한 번만 코딩하는 것이 바람직하다. 예컨대, 그와 같은 값은 스트림(Fc, Fp, Focc)과 멀티플렉싱되는 사용자 데이터 또는 비밀 데이터에 코딩될 수 있다. 그와 같은 데이터 항목을 MPEG-2 전송 스트림 레벨에서 코딩하는 것이 가능하다. 일 변형에 따라서, 그와 같은 MVF 데이터 항목은 SEI(Supplemental Enhancement Information) 타입 메시지에 코딩될 수 있다.

선택적 단계(50)에서 세 개의 스트림(Fc, Fp, Focc)과 어쩌면 비밀 데이터(예컨대 제1 MVF 충전 데이터 항목)는 멀티플렉싱되어 네트워크 상에서 전송될 전송 스트림이 된다. 일 변형에 따라서, 이 세 개의 스트림과 어쩌면 비밀 데이터는 DVD 또는 하드 디스크와 같은 지원 장치에 저장된다.

바이너리 식별자가 스트림(Fm)에서 바이너리 마스크 형태로 코딩되는 경우에는, 이 스트림(Fm)도 단계(50)에서 멀티플렉싱되어 전송 스트림이 되거나 지원 장치에 저장된다.

일 변형에 따라서, 3D 비디오 신호는 또한 블록들로 나누어진 깊이 폐색 영상(Ipocc)을 포함한다. 그러면 이 코딩 방법은 각 블록(바이너리 식별자는 이 블록이 코딩된 것을 나타냄)에 대해 깊이 폐색 데이터를 코딩하는 추가 단계를 포함한다. 이 단계는 단계(444)와 같지만, 깊이 폐색 영상 블록에 적용된다. 블록당 하나의 바이너리 식별자가 코딩되거나, 현 폐색 영상과 깊이 폐색 영상 양자를 위해 이용되는 단일 바이너리 영상이 코딩됨에 유의한다. 실제로, 동일 블록들이 현 폐색 영상과 깊이 폐색 영상에 코딩되고, 폐색 데이터만 다르다.

일 변형에 따라서, 제2 충전 데이터가 스트림에 코딩되고, 이 데이터 항목은 디코딩 방법에서 깊이 폐색 영상에서 코딩되지 않은 블록들을 충전하는 데 이용된다. 예컨대, 그와 같은 값은 스트림(Fc, Fp, Focc)과 멀티플렉싱될 사용자 데이터 또는 비밀 데이터에 코딩될 수 있다. 그와 같은 데이터 항목을 MPEG-2 전송 스트림 레벨에서 코딩하는 것이 가능하다. 일 변형에 따라서, 그와 같은 MVF 데이터 항목은 SEI(Supplemental Enhancement Information) 타입 메시지에 코딩될 수 있다. 이 제2 데이터 항목은 제1 충전 데이터 항목과 다를 수 있다.

도 7은 본 발명에 따른 3D 비디오 신호 디코딩 방법을 보여준다.

선택적 단계(70)에서 세 개의 스트림(Fc, Fp, Focc)과 어쩌면 비밀 데이터(예컨대 제1 MVF 충전 데이터 항목)가 디멀티플렉싱된다. 일 변형에 따라서, 이 세 개의 스트림과 어쩌면 비밀 데이터는 DVD 또는 하드 디스크와 같은 지원 장치에서 읽혀진다.

단계(72)에서, 현 영상(Ic)이 디코딩된다. 간단한 예로서, 영상(Ic)은 H.264 표준에 따라 디코딩된다. 단계(72)는 단계(40)의 역이다.

단계(74)에서, 깊이 영상(Ip)이 디코딩된다. 간단한 예로서, 영상(Ip)은 H.264 표준에 따라 디코딩된다. 단계(74)는 단계(42)의 역이다.

단계(76)에서, 폐색 영상(Iocc)이 디코딩된다. 단계(76)는 단계(44)의 역이다. 단계(76)는 도 8을 참조로 설명한다. 인덱스(I)는 현 폐색 영상의 블록의 인덱스를 나타낸다.

단계(760)에서, 현 블록이 코딩되었는지 여부를 나타내는 바이너리 식별자(Idi)가 현 블록(Bi)에 대해 디코딩된다. 예컨대, 블록(Bi)이 코딩된 것을 나타내기 위해 값 1이 디코딩되고, 값 0은 블록(Bi)이 코딩되지 않은 것을 나타낸다. 일 변형에 따라서, 블록(Bi)이 코딩된 것을 나타내기 위해 값 0이 디코딩되고, 블록(Bi)이 코딩되지 않은 것을 나타내기 위해 값 1이 디코딩된다.

단계(762)에서, 폐색 정보 항목이 현 블록(Bi)에 대해 디코딩되어야 하는지를 판단한다. 식별자(Idi)가 1이면, 즉 블록(Bi)이 코딩된 것을 나타내면, 이 방법은 단계(764)로 진행하고, 그렇지 않으면 단계(766)로 진행한다.

단계(764)에서, 블록(Bi)이 디코딩된다. 더 구체적으로, 블록(Bi)의 폐색 데이터는 예컨대 H.264 표준의 코딩 원리를 이용하여 디코딩되고, 블록(Bi)에는 이들 데이터 항목이 충전된다. 이 단계는 단계(444)의 역이다.

단계(766)에서, 코딩되지 않은 것으로 식별된 블록(Bi)은 미리 결정된 제1 MVF 충전 데이터 항목으로 충전된다. 블록(Bi)의 코딩되지 않은 각 픽셀에는 동일한 MVF 값이 할당된다. 따라서 블록(Bi)은 균일하다. 그와 같은 미리 결정된 충전 데이터는 디코딩 방법으로부터 알게 된다. 예컨대 이 데이터는 본 발명에 따른 디코딩 방법을 구현하는 디코딩 장치의 메모리에 저장된다. 이 데이터는 구성자 데이터 항목일 수 있다. 일 변형에 따라서, 이 데이터는 디폴트로 정의되며, 코딩되지 않은 흑색 블록(Bi)에 대응하는 값 0을 취한다.

단계(768)에서, 현 폐색 영상의 N(정수임)개 블록 세트가 처리되었는지를 확인한다. YES라면, 이 방법은 현 폐색 영상에 대해 종료하고, NO라면, 이 방법은 다음 Bi 블록을 처리한다. 이를 위해, 단계(770)에서 인덱스(i)가 1만큼 증분된다.

본 발명의 특정 특징에 따라서, 바이너리 식별자가 스트림(Fm)에서 마스크라고도 불리는 바이너리 영상 형태로 코딩된 경우에 현 폐색 영상에 대한 바이너리 식별자(Idi)가 그러한 바이너리 영상 형태로 디코딩된다. 이 영상은 예컨대 허프만 디코딩으로 무손실 디코딩된다. 일 변형에 따라서, 각 바이너리 식별자는 블록 헤더에 디코딩된다. 이 경우에 스트림(Fm)은 어쩌면 단계(70)에서 디멀티플렉싱된다.

도 9는 다른 실시예를 보여준다. 도 7의 제1 실시예와 같은 단계들은 도 9에서 동일 도면부호로 나타낸다. 이 실시예에 따라서, 디코딩 방법은 단계(72, 74, 76)를 포함한다. 이 디코딩 방법은 코딩되지 않은 현 폐색 영상(Iocc)의 블록(Bi)의 제1 MVF 충전 데이터 항목을 디코딩하는 단계(78)도 포함한다. 디코딩 방법은 그와 같은 값을 이용하여 폐색 영상을 재구성한다. 실제로, 코딩되지 않은 Bi 블록은 디코더 측에서 소정 값으로 충전되어야 한다.

그와 같은 충전 데이터 항목은 모든 디코딩된 폐색 영상에 대해서 똑같다. 예컨대, 그와 같은 값은 단계(70)에서 디멀티플렉싱되는 사용자 데이터 또는 비밀 데이터에 디코딩된다. MPEG-2 전송 스트림의 레벨에서 그러한 데이터 항목을 디코딩하는 것이 가능하다. 일 변형에 따라서, 그와 같은 MVF 데이터 항목은 SEI(Supplemental Enhancement Information) 타입 메시지를 이용하여 디코딩될 수 있다.

일 변형에 따라서, 3D 비디오 신호는 또한 블록들로 나누어진 깊이 폐색 영상(Ipocc)을 포함한다. 그러면 이 디코딩 방법은 각 블록(바이너리 식별자는 이 블록이 코딩된 것을 나타냄)에 대해 깊이 폐색 데이터를 디코딩하는 단계를 포함한다. 이 단계는 단계(764)와 같지만, 깊이 폐색 영상 블록에 적용된다. 블록당 하나의 바이너리 식별자가 디코딩되거나, 현 폐색 영상과 깊이 폐색 영상 양자를 위해 이용되는 단일 바이너리 영상이 디코딩됨에 유의한다. 실제로, 동일 블록들이 현 폐색 영상과 깊이 폐색 영상에 코딩되고, 폐색 데이터만 다르다. 코딩되지 않은 것으로 식별된 블록(Bi)은 미리 결정된 제2 충전 데이터 항목으로 충전된다. 블록(Bi)의 코딩되지 않은 각 픽셀에는 동일한 값이 할당된다. 따라서 블록(Bi)은 균일하다. 이 미리 결정된 제2 충전 데이터 항목은 디코딩 방법으로부터 알게 된다. 예컨대 이 데이터는 본 발명에 따른 디코딩 방법을 구현하는 디코딩 장치의 메모리에 저장된다. 이 데이터는 구성자 데이터 항목일 수 있다. 일 변형에 따라서, 이 데이터는 디폴트로 정의되며, 코딩되지 않은 백색 블록(Bi)에 대응하는 값 255를 취한다. 다른 변형에 따라서, 제2 충전 데이터 항목이 디코딩되고, 이 데이터 항목은 디코딩 방법에서 깊이 폐색 영상에서 코딩되지 않은 블록들을 충전하는 데 이용된다. 예컨대, 그와 같은 값은 단계(70)에서 디멀티플렉싱되는 사용자 데이터 또는 비밀 데이터에 디코딩된다. 이 제2 데이터 항목은 제1 충전 데이터 항목과 다를 수 있다. 이 데이터는 제1 충전 데이터 항목과 동일한 방식으로 디코딩된다.

본 발명으로 인해 자유롭게 된 대역폭은 다른 데이터 항목을 더 정확하게 따라서 개선된 품질로 코딩하는데 이용될 수 있다. 얻어진 비트레이트의 이득은 콘텐트의 복잡성(가려진 구역의 수 등)에 따라서는 다소 클 수 있으나, 식별자 코딩으로 인한 추가 비용은 적다.

코딩 방법의 (시간적 측면에서의) 성능이 개선된다. 실제로, "스킵" 모드와는 달리, 이 코딩 방법은 "최적" 모드를 탐색할 필요가 없다. 코딩된 블록 또는 코딩되지 않은 블록 선택이 외부의 정보 항목에 의해 제공된다. 이 정보는 현 영상(Ic)과 현 폐색 영상(Iocc)의 비교에 의해 얻어진다. 이 정보는 디코더는 물론 코더에 이익을 준다. 이 이익은 4개의 스트림(현 영상, 깊이 영상, 현 폐색 영상 및 깊이 폐색 영상)을 동시에 코딩/디코딩하는 경우에 매우 클 수 있다.

본 발명에 따른 코딩 방법은 쉽게 응용될 수 있다. 실제로 사용자는 응용 시에 자신에게 맞는 충전 데이터 항목을 전송할 수 있다.

도 7 및 9를 참조로 설명하면, 영상(Ic, Ip, Iocc 및 어쩌면 Ipocc)은 다른 영상 또는 뷰(view)를 생성하는데 이용된다(단계(R)). 그렇게 생성된 뷰는 3D 비디오 신호를 뷰 세트 형태로 디스플레이할 수 있는 적당한 스크린(멀티뷰 자동 입체 스크린) 상에 디스플레이된다(단계(D)). 그와 같은 스크린은 3D 효과를 보기 위해 특수 안경을 착용할 필요가 없다. 단계(R, D)는 본 발명에 따른 디코딩 방법의 일부가 아님에 유의한다.

도 10을 참조하면, 본 발명은 본 발명에 따른 코딩 방법을 구현할 수 있는 코딩 장치(ENC)에도 관한 것이다. 선택적 모듈은 도 10에서 점선으로 나타낸다.

이 코딩 장치는 영상 시퀀스(Ic, Ip, Iocc)를 수신할 수 있는 적어도 3개의 입력부(IN1, IN2, IN3)를 포함한다. 코딩 장치는 영상(Ic, Ip, Iocc)를 코딩할 수 있는 코딩 모듈(ENC1, ENC2, ENC3)도 포함한다. ENC1은 코딩 방법의 단계(40)를 구현하고, ENC2는 코딩 방법의 단계(42)를 구현하고, ENC3은 코딩 방법의 단계(44)를 구현한다. 일 변형에 따라서, 코딩 장치(ENC)는 영상 시퀀스(Ipocc)를 수신할 수 있는 제4 입력부(IN4)를 포함한다. 입력부(IN4)는 깊이 폐색 영상의 코딩을 구현할 수 있는 코딩 모듈(ENC4)에 연결된다. 이 코딩 장치는 코딩 모듈로부터의 스트림을 전송 스트림이 되도록 멀티플렉싱할 수 있는 멀티플렉싱 모듈(MUX)을 포함한다. 멀티플렉싱 모듈의 출력부는 코딩 장치(ENC)의 출력부(OUT)에 연결된다. 일 변형에 따라서, 멀티플렉싱 모듈은 코딩 장치의 외부에 있으며, 이 경우에, 각 코딩 모듈은 코딩 장치의 특정 출력부에 연결된다. 다른 실시예에 따라서, 코딩 장치는 충전 데이터 또는 하나의 충전 데이터 항목을 코딩하는 ENCMVF 모듈을 포함한다. 이들 충전 데이터는 예컨대 인터페이스(IF)를 통해 사용자에 의해 특정된다.

도 11을 참조하면, 본 발명은 본 발명에 따른 디코딩 방법을 구현할 수 있는 디코딩 장치(DEC)에도 관한 것이다. 선택적 모듈은 도 11에서 점선으로 나타낸다.

이 디코딩 장치(DEC)는 예컨대 코딩 장치(ENC)로부터 들어오는 3D 비디오 신호를 나타내는 스트림을 수신할 수 있는 입력부(IN)를 포함한다. 이 입력부는 입력부(IN)에서 수신된 스트림을 적어도 3개의 스트림이 되도록 디멀티플렉싱할 수 있는 디멀티플렉싱 모듈(DEMUX)에 연결된다. 일 변형에 따라서, 디멀티플렉싱 모듈은 디코딩 장치의 외부에 있으며, 이 경우에, 디코딩 장치(DEC)는 각각이 스트림(Fc, Fp, Focc) 중 하나를 수신하도록 구성된 적어도 3개의 입력부를 포함한다. 이 디코딩 장치는 깊이 폐색 영상을 나타내는 스트림을 수신하는 다른 입력부를 포함할 수 있다.

디코딩 장치(DEC)는 디멀티플렉싱 모듈(DEMUX)의 출력부에 연결되어 영상(Ic, Ip, Iocc)를 디코딩할 수 있는 디코딩 모듈(DEC1, DEC2, DEC3)도 포함한다. DEC1은 디코딩 방법의 단계(72)를 구현하고, DEC2는 디코딩 방법의 단계(74)를 구현하고, DEC3은 디코딩 방법의 단계(76)를 구현한다. 일 변형에 따라서, 디코딩 장치(DEC)는 깊이 폐색 영상의 디코딩을 구현할 수 있는 제4 디코딩 모듈(DEC4)을 포함한다. 이들 디코딩 모듈의 각 출력부는 디코딩 장치(DEC)의 특정 출력부(OUT1, OUT2, OUT3, OUT4)에 연결된다.

다른 실시예에 따라서, 디코딩 장치는 충전 데이터 또는 하나의 충전 데이터 항목을 디코딩하는 DECMVF 모듈을 포함한다. 이들 충전 데이터는 코딩되지 않은 블록을 충전시키기 위해 폐색 영상 디코딩 모듈(DEC3 및 어쩌면 DEC4)에 제공된다. 일 변형에 따라서, 충전 데이터는 디코딩 장치의 메모리에 저장되며, 이 경우에, 디코딩 장치는 디코딩 모듈(DECMVF)을 포함하지 않는다.

당연히, 본 발명은 상기 실시예들에 한정되지 않는다.

특히, 당업자라면 상기 실시예들을 여러 가지로 변형할 수 있으며, 이들 실시예들을 조합하여 다양한 이점을 얻을 수 있을 것이다. 깊이 영상, 현 폐색 영상 및 어쩌면 깊이 폐색 영상과 연관된 현 영상에 대해 설명된 본 발명은 그와 같은 영상 시퀀스에 적용될 수 있다.

Claims

비디오 코더에서, 각각이 블록들로 분할되는 현 영상(current image), 깊이 영상(depth image) 및 현 폐색 영상(current occlusion image)을 포함하는 비디오 인코더 내의 3D 비디오 신호를 코딩하는 방법으로서, 상기 현 영상, 깊이 영상 및 현 폐색 영상을 코딩하는 단계(40, 42, 44)를 포함하고,
상기 현 폐색 영상은,
상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내고, 만일 상기 블록이 코딩되어 있지 않으면, 디코딩될 때에 제1 충전 데이터 항목(item of filling data)으로 상기 블록이 충전되는 것을 나타내는 바이너리 식별자를 코딩하는 단계(440, 446); 및
상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 각 블록에 대하여 폐색 데이터를 코딩하는 단계(44)
에 따라서 코딩되는(44) 것을 특징으로 하는 코딩 방법.
제1항에 있어서,
상기 현 폐색 영상의 각 블록에 대하여 바이너리 식별자를 코딩하는 상기 단계(440, 446)는 바이너리 영상의 손실 없이 코딩하는 단계를 포함하는 코딩 방법.
제2항에 있어서,
상기 제1 충전 데이터 항목을 코딩하는 단계(46)를 더 포함하는 코딩 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 3D 비디오 신호는 블록들로 분할되는 깊이 폐색 영상을 더 포함하고, 상기 방법은 상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 깊이 폐색 영상의 각 블록에 대하여 깊이 폐색 데이터를 코딩하는 단계를 포함하는 코딩 방법.
제4항에 있어서,
상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 상기 깊이 폐색 영상의 상기 블록들을 충전하기 위한 제2 영상 데이터 항목을 코딩하는 단계를 더 포함하는 코딩 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 바이너리 식별자는 상기 현 폐색 영상의 상기 블록의 모든 픽셀들이 상기 현 영상의 대응 블록의 픽셀들과 똑같을 때에 블록이 코딩되지 않은 것을 나타내는 코딩 방법.
비디오 디코더에서, 각각이 블록들로 분할되는 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 비디오 디코더 내의 3D 비디오 신호를 디코딩하는 방법으로서, 상기 현 영상, 깊이 영상 및 현 폐색 영상을 디코딩하는 단계(72, 74, 76)를 포함하고,
상기 현 폐색 영상은,
상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내고, 만일 상기 블록이 코딩되어 있지 않으면, 디코딩될 때에 제1 충전 데이터 항목으로 상기 블록이 충전되는 것을 나타내는 바이너리 식별자를 디코딩하는 단계(760);
상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 현 폐색 영상의 각 블록을 디코딩하는 단계(764); 및
상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 블록들을 상기 제1 충전 데이터 항목으로 충전하는 단계(766)
에 따라서 디코딩되는(76) 것을 특징으로 하는 디코딩 방법.
제7항에 있어서,
상기 현 폐색 영상의 각 블록에 대하여 바이너리 식별자를 디코딩하는 상기 단계(78)는 바이너리 영상의 손실 없이 디코딩하는 단계를 포함하는 디코딩 방법.
제7항 또는 제8항에 있어서,
상기 제1 충전 데이터 항목을 디코딩하는 단계를 더 포함하는 디코딩 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 3D 비디오 신호는 블록들로 분할되는 깊이 폐색 영상을 더 포함하고, 상기 방법은,
상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 깊이 폐색 영상의 각 블록을 디코딩하는 단계; 및
상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 상기 블록들을 제2 충전 데이터 항목으로 충전하는 단계
를 더 포함하는 디코딩 방법.
제10항에 있어서, 상기 방법은 상기 제2 충전 데이터 항목을 디코딩하는 단계를 더 포함하는 디코딩 방법.
각각이 블록들로 분할되는 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 3D 비디오 신호를 코딩하는 장치로서, 상기 현 영상, 깊이 영상 및 현 폐색 영상을 코딩하기 위한 수단을 포함하고,
상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내고, 만일 상기 블록이 코딩되어 있지 않으면, 디코딩될 때에 제1 충전 데이터 항목으로 상기 블록이 충전되는 것을 나타내는 바이너리 식별자를 코딩하기 위한 수단; 및
상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 각 블록에 대하여 폐색 데이터를 코딩하기 위한 수단
을 포함하는 것을 특징으로 하는 코딩 장치.
제12항에 있어서,
제1항 내지 제6항 중 어느 한 항에 따른 코딩 방법의 단계들을 실행하도록 구성된 코딩 장치.
각각이 블록들로 분할되는 현 영상, 깊이 영상 및 현 폐색 영상을 포함하는 3D 비디오 신호를 디코딩하는 장치로서, 상기 현 영상, 깊이 영상 및 현 폐색 영상을 디코딩하기 위한 수단을 포함하고,
상기 현 폐색 영상의 각 블록에 대해서, 상기 블록의 코딩 여부를 나타내고, 만일 상기 블록이 코딩되어 있지 않으면, 디코딩될 때에 제1 충전 데이터 항목으로 상기 블록이 충전되는 것을 나타내는 바이너리 식별자를 디코딩하기 위한 수단;
상기 바이너리 식별자가 상기 블록이 코딩된 것을 나타내는 상기 현 폐색 영상의 각 블록을 디코딩하기 위한 수단; 및
상기 바이너리 식별자에 의해 코딩되지 않은 것으로 나타내어진 블록들을 상기 제1 충전 데이터 항목으로 충전하기 위한 수단
을 포함하는 디코딩 장치.
제14항에 있어서,
제7항 내지 제11항 중 어느 한 항에 따른 디코딩 방법의 단계들을 실행하도록 구성된 디코딩 장치.