KR20130135244A - 부호화방법, 표시장치, 복호방법 - Google Patents

Abstract

부호화방법은 원화를 압축 부호화함으로써 얻어지는 2D 영상을 구성하는 비디오 스트림 및 3D 영상을 구성하는 복수의 비디오 스트림을 1개의 트랜스포트 스트림 내에 저장한다. 이때 트랜스포트 스트림에 저장된 3D 영상을 구성하는 비디오 스트림을 특정하는 디스크립터를 PMT(Program Map Table) 내에 저장한다.

Description

부호화방법, 표시장치, 복호방법{ENCODING METHOD, DISPLAY DEVICE, DECODING METHOD}

본 발명은 부호화방법의 기술에 관한 것으로, 특히 3D 영상에 관한 트랜스포트 스트림의 부호화방법 기술에 관한 것이다.

현재, 3D프로그램의 방송은 사이드 바이 사이드(side-by-side) 방식으로 3D 재생을 실현하는 비디오 스트림을 1TS(1개의 트랜스포트 스트림이다)에 다중화하여, 방송국이 이와 같은 1TS를 각 세대의 텔레비전 표시장치에 공급함으로써 이루어진다. 사이드 바이 사이드 방식이란 입체 시(stereoscopic viewing)에 필요한 좌측 눈 영상과 입체 시에 필요한 우측 눈 영상을 횡 방향으로 배열하여 1개의 프레임의 영역 내에 패키징함으로써 3D 재생을 실현하는 방식이다(특허문헌 1 참조).

종래의 3D 표시장치는 입력되어 오는 비디오 스트림이 3D 영상인가 여부의 판정을 실행하여, 3D 영상이라고 판정하면 비디오 스트림을 구성하는 개개의 프레임의 픽처 데이터는 반드시 사이드 바이 사이드 방식의 화상이며, 우측 절반에 우측 눈 화상, 좌측 절반에 좌측 눈 화상이 저장되어 있다는 전제에서 우측 눈 화상, 좌측 눈 화상의 복호를 실행한다.

특허문헌 1 : 일본국 특허 제3789794호 공보

종래의 3D 텔레비전방송은 1TS-1VS방식(1개의 트랜스포트 스트림으로 1개의 비디오 스트림을 전송하는 방식)이며, 3D 모드-2D 모드 간의 전환은 실현되고 있지 않다. 따라서 사용자는 3D 텔레비전방송을 3D 영상으로밖에 시청할 수 없어서 사용자에 대하여 충분한 배려가 이루어지고 있다고는 할 수 없다.

한편, BD-ROM 재생장치에서는 우측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림, 좌측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림을 BD-ROM에서 판독하여 디코더에 제공함으로써 2D 모드, 3D 모드의 자유로운 모드 전환을 실현하고 있다. 우측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림, 좌측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림을 함께 판독하므로, 이들 2개의 트랜스포트 스트림(2TS)은 인터리브 형식의 파일로 전환된 다음에 BD-ROM에 기록되고 있다. 그러나 디지털 텔레비전방송의 TV 프로그램에서는 1개의 TV 프로그램에 사용할 수 있는 트랜스포트 스트림은 1TS라고 하는 전제가 있으므로, 상기 우측 눈 용의 비디오 스트림, 좌측 눈 용의 비디오 스트림을 2개의 TS를 이용하여 전송할 수 없다. 또, 디지털 텔레비전방송에서 TV 프로그램은 파일이라고 하는 단위로 전송되는 것은 아니므로, 우측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림, 좌측 눈 용의 비디오 스트림을 저장한 트랜스포트 스트림을 파일에 의해 대응시킬 수 없으며, 이와 같은 BD-ROM에서의 대응관계를 디지털 텔레비전방송에 그대로 응용하는 것은 불가능하다.

본 발명의 목적은 1개의 TV 프로그램에 사용할 수 있는 트랜스포트 스트림은 1TS라고 하는 전제 하에서 2D 모드, 3D 모드 간의 자유로운 모드 전환을 실현할 수 있는 부호화방식을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명에 관한 부호화방법은 화상을 압축 부호화하여 비디오 스트림을 생성하는 부호화스텝과 부호화스텝에 의해 생성되는 복수의 비디오 스트림에 대하여 다중화 처리를 시행함으로써, 1개의 트랜스포트 스트림을 얻는 다중화스텝을 가지며, 상기 복수의 비디오 스트림은 2D 영상을 구성하는 2D 비디오 스트림을 포함하는 동시에, 복수의 비디오 스트림을 조합시킴으로써 3D 영상을 구성하고, 3D 영상을 구성하는 비디오 스트림의 조합에서는 상기 2D 비디오 스트림과 1개의 다른 비디오 스트림의 조합과 2D 비디오 스트림 이외의 2개 이상의 다른 비디오 스트림의 조합이 있으며, 상기 트랜스포트 스트림은 3D 영상을 구성하는 비디오 스트림을 특정하는 3D 영상 특정정보를 포함하는 것을 특징으로 한다.

3D 재생에 필요한 조합이 기재되어 있는 3D 영상 특정정보가 1개의 트랜스포트 스트림에 존재하므로, 표시장치가 2D 재생을 실행하고 있어서 이를 3D 재생으로 전환하는 경우, 트랜스포트 스트림 내의 관련 정보를 참조함으로써, 3D 재생에 필요한 비디오 스트림이 어떤 것인가를 알 수 있다.

청구항 2에 의하면 3D 영상 특정정보가 콘텐츠테이블에 존재하므로, 이와 같은 콘텐츠테이블이 트랜스포트 스트림의 선두부에 배치되거나 소정의 시간간격으로 배치되어 있는 경우, 이 콘텐츠테이블을 저장한 패킷을 트랜스포트 스트림으로부터 인출하여 3D 영상 특정정보를 참조함으로써, 다중 분리해야 할 비디오 스트림을 용이하게 특정할 수 있으며 3D 영상을 재생할 수 있다.

청구항 3에 의하면 2D 비디오 스트림을 특정하는 2D 영상 특정정보가 트랜스포트 스트림에 존재하므로, 2D 재생에 필요한 비디오 스트림이 어떤 것인가를 알 수 있으며, 2D 재생, 3D 재생의 호환 재생이 가능해진다.

청구항 4에 의하면 2D 비디오 스트림, 좌측 눈 영상을 구성하는 좌측 눈 비디오 스트림, 우측 눈 영상을 구성하는 비디오 스트림에 각각 대응하는 스트림 식별자를 나타내는 정보가 트랜스포트 스트림에 존재하므로, 2D 재생, 또는 3D 재생에서 다중 분리해야 할 비디오 스트림을 특정할 수 있으며, 2D 모드와 3D 모드의 사이에서의 다중 분리 대상의 전환을 고속으로 할 수 있다.

청구항 5에 의하면 2D 비디오 스트림과 3D 영상을 구성하는 복수의 비디오 스트림 중 한쪽이 일치하는가 여부를 나타내는 플래그가 콘텐츠테이블에 존재하므로, 이 콘텐츠테이블을 저장한 패킷을 트랜스포트 스트림으로부터 인출하여 이 플래그를 참조함으로써, 트랜스포트 스트림의 스트림 구성을 특정할 수 있다.

청구항 6에 의하면 프레임에의 좌측 눈 화상, 우측 눈 화상의 패키징에 다양한 저장방식을 채용할 수 있으므로, 사이드 바이 사이드, 탑 앤드 바텀(Top and Bottom) 등, 기존의 촬영 행위로 취득 가능한 다양한 3D 소재를 콘텐츠 작성에 이용할 수 있다.

청구항 7에 의하면 스트림 디스크립터 (descripter)에서의 카메라 어사인먼트(assignment)에서는 카메라의 채널 구성이 나타나고 있으므로, 촬영시의 카메라 환경을 재생시에 재현할 수 있다.

청구항 8에 의하면 2D 비디오 스트림, 다른 비디오 스트림 중, 어느 쪽의 비디오 스트림에 존재하는 자막 방송의 자막 데이터를 이용하는가를 나타내는 정보가 콘텐츠테이블에 기술되어 있으므로, 이 콘텐츠테이블을 저장한 패킷을 트랜스포트 스트림으로부터 인출하여 참조함으로써, 2D 재생 또는 3D 재생에서 이용해야 할 자막 방송의 데이터를 식별할 수 있다.

청구항 10에 의하면 3D 영상 특정정보를 콘텐츠테이블에서의 스트림 정보 내의 스트림 디스크립터 내에 기술하므로, 스트림 정보를 참조함으로써, 다중 분리해야 할 비디오 스트림을 특정할 수 있으며 3D 영상을 재생할 수 있다.

청구항 11에 의하면 콘텐츠테이블에서의 각 비디오 스트림에 대응하는 스트림 정보에 조합의 상대 측이 되는 비디오 스트림의 스트림 식별자를 기술하고 있으므로, 스트림 정보를 참조함으로써 3D 재생에서 필요한 또 다른 비디오 스트림을 특정할 수 있다.

도 1은 Side-by-Side 방식의 영상을 배신하는 경우의 과제를 설명하는 도면이다.
도 2는 재생장치와 2D 디지털 텔레비전의 이용형태를 나타내는 도면이다.
도 3은 입체 시 화상의 표시의 일례를 나타내는 도면이다.
도 4는 Side-by-Side 방식에 의한 영상 표시의 예를 나타내는 도면이다.
도 5는 입체 시를 위한 프레임의 구성의 일례를 나타내는 도면이다.
도 6은 트랜스포트 스트림의 구성을 설명하는 도면이다.
도 7은 비디오 스트림의 구조를 설명하는 도면이다.
도 8은 PES 패킷 열에 비디오 스트림 어떻게 저장되는가를 더 상세하게 나타낸 도면이다.
도 9는 TS 패킷의 구조를 설명하는 도면이다.
도 10은 PMT의 데이터 구조를 설명하는 도면이다.
도 11은 비디오의 크로핑영역 정보, 스케일링 정보를 설명하는 도면이다.
도 12는 비디오의 크로핑 영역 정보의 구체적인 예를 나타내는 도면이다
도 13은 프레임 팩킹 정보와 프레임 팩킹 정보 디스크립터의 저장방법을 설명하는 도면이다.
도 14는 프레임 팩킹정보 디스크립터와 프레임 팩킹정보의 관계의 예를 나타내는 도면이다.
도 15는 본 실시형태에 관한 재생장치를 설명하는 도면이다.
도 16은 프레임 팩킹정보 디스크립터의 「처리 우선도」를 설명하는 도면이다.
도 17은 프레임 팩킹정보 디스크립터의 「표시전환개시 PTS」를 설명하는 도면이다.
도 18은 좌측 눈 영상과 우측 눈 영상을 별개의 비디오 스트림으로 하여 1개의 트랜스포트 스트림에 저장하는 구성을 설명하는 도면이다.
도 19는 2개의 비디오 스트림으로 구성하는 경우의 부호화 비트 레이트(bit rate)를 확보하는데 있어서 효율적인 데이터 포맷을 설명하는 도면이다.
도 20은 3D 재생정보 디스크립터를 설명하는 도면이다.
도 21은 2개의 비디오 스트림으로 구성하는 경우의 특수 재생에 매우 적합한 부호화방법을 설명하는 도면이다.
도 22는 2개의 비디오 스트림으로 구성하는 경우의 특수 재생, 편집에 매우 적합한 다중화방법을 설명하는 도면이다.
도 23은 본 실시형태에 관한 데이터 작성장치를 설명하는 도면이다.
도 24는 2D 영상과 깊이 맵으로부터 좌측 눈 영상과 우측 눈 영상의 시차 화상을 생성하는 예를 나타내는 도면이다.
도 25는 2D 재생 및 3D 재생시의 좌측 눈 용(L) 영상으로 이용되는 비디오에 더하여, 우측 눈 용(R) 영상의 비디오를 저장하는 트랜스포트 스트림 구성(2D/L + R)을 나타내는 도면이다.
도 26은 2D의 비디오와는 별도로, 좌측 눈 용(L)의 비디오 및 우측 눈 용(R)의 비디오를 2개 저장하는 트랜스포트 스트림의 구성(2D + L + R)을 나타내는 도면이다.
도 27은 2D + L + R의 스트림 구성에서의 3D_system_info_descriptor의 구조를 나타내는 도면이다.
도 28은 3D_playback_type에 설정되는 값을 나타내는 도면이다
도 29는 2D + L + R의 스트림 구성에서의 3D_service_info_descriptor의 구조를 나타내는 도면이다.
도 30은 2D + L + R의 스트림 구성에서의 3D_combi_info_descriptor의 구조를 나타내는 도면이다.
도 31은 2D의 비디오에 더하여, Side-by-Side 방식의 비디오를 저장하는 트랜스 스트림 구성(2D + Side-by-Side)을 나타내는 도면이다.
도 32는 2D + Side-by-Side의 스트림 구성에서의 3D_service_info_descriptor의 구조를 나타내는 도면이다.
도 33은 2D + Side-by-Side의 스트림 구성에서의 3D_combi_info_descriptor의 구조를 나타내는 도면이다.
도 34는 2D 재생에만 이용되는 비디오에 더하여, MVC에 의해 압축 부호화된 2개의 비디오를 저장하는 트랜스포트 스트림 구성(2D + MVC)을 나타내는 도면이다.
도 35는 2D + MVC 의 스트림 구성에서의 3D_combi_info_descriptor의 구조를 나타내는 도면이다.
도 36은 2D 재생 및 3D 재생 시의 L영상으로 이용되는 비디오에 더하여, 복수 시점의 R영상의 비디오를 저장하는 트랜스포트 스트림 구성(2D + R1 + R2)을 나타내는 도면이다.
도 37은 2D + R1 + R2의 스트림 구성에서의 3D_system_info_descriptor의 구조를 나타내는 도면이다.
도 38은 2D + R1 + R2의 스트림 구성에서의 3D_service_info_descriptor의 구조를 나타내는 도면이다.
도 39는 2D + R1 + R2의 스트림 구성에서의 3D_combi_info_descriptor의 구조를 나타내는 도면이다.
도 40은 데이터 작성장치(4000)의 내부 구성을 나타내는 도면이다.
도 41은 데이터 작성장치(4000)의 부호화처리의 흐름을 나타내는 플로차트이다.
도 42는 3D 디지털 텔레비전(4200)의 내부 구성을 나타내는 도면이다.
도 43은 3D 디지털 텔레비전(4200)에 의한 프로그램의 재생처리의 흐름의 일례를 나타내는 플로차트이다.
도 44는 2D + SBS의 스트림의 처리의 흐름을 나타내는 플로차트이다.
도 45는 2D/SBS의 스트림의 처리의 흐름을 나타내는 플로차트이다.
도 46은 2D/L + R의 스트림의 처리의 흐름을 나타내는 플로차트이다.
도 47은 2D/L + R1 + R2의 스트림의 처리의 흐름을 나타내는 플로차트이다.
도 48은 MPEG2 + AVC + AVC의 스트림의 처리의 흐름을 나타내는 플로차트이다.
도 49는 MPEG2 + MVC(Base) + MVC(Dependent)의 스트림의 처리의 흐름을 나타내는 플로차트이다.

이하 본 발명의 실시형태에 대하여 도면을 참조하면서 설명한다.

(실시형태 1)

본 실시형태에 관한 영상포맷과 그 영상포맷에서의 데이터 작성방법, 데이터 작성장치, 재생방법, 재생장치에 대하여 설명한다.

먼저 처음에, 입체 시의 원리에 대하여 간단하게 설명한다. 입체 시의 실현법으로는 홀로그래피(holography) 기술을 이용하는 방법과 시차 화상(parallax image)을 이용하는 방식이 있다.

먼저, 첫 번째의 홀로그래피 기술의 특징으로는 인간이 통상 물체를 인식하는 것과 완전히 똑같이 물체를 입체로 재현할 수 있고, 동화상 생성에 관해서는 기술적인 이론은 확립하고 있으나, 홀로그래피용의 동화상을 실시간으로 생성하는 방대한 연산량을 수반하는 컴퓨터 및 1㎜ 사이에 수천 개의 선을 그릴 수 있을 정도의 해상도를 가진 표시장치가 필요하나, 현재의 기술에서의 실현은 매우 어렵고, 상용으로서 실용화되어 있는 예는 거의 없다.

다음에, 두 번째의 시차 화상을 이용하는 방식에 대하여 설명한다. 일반적으로 우측 눈과 좌측 눈은 그 위치의 차이에 기인하여 우측 눈에 보이는 상과 좌측 눈에 보이는 상에는 보이는 방법에 약간의 차가 있다. 이 차이를 이용하여 인간은 눈에 보이는 상을 입체로서 인식할 수 있는 것이다. 시차 화상을 이용하여 입체 표시를 하는 경우에는 인간의 시차를 이용하여 평면의 화상이 마치 입체로 보이는 것과 같이 하고 있다.

이 방식의 메리트는 단순히 우측 눈 용과 좌측 눈 용의 2개의 시점의 영상을 준비하는 것만으로 입체 시를 실현할 수 있다는 것에 있으며, 기술적으로는 좌우의 각각의 눈에 대응한 그림을 어떻게 하여 대응한 눈에만 보이게 할 수 있는가의 관점에서 계시 분리방식을 비롯한 몇 개의 기술이 실용화되어 있다.

계시 분리방식이란 좌측 눈 용 영상 및 우측 눈 용 영상을 시간 축 방향에서 교대로 표시시켜서, 눈의 잔상반응에 의해 좌우의 신을 뇌 내에서 중첩시켜서 입체 영상으로서 인식시키는 방법이다.

또, 시차 화상을 이용한 입체 시에 있어서는 우측 눈에 들어오는 영상과 좌측 눈에 들어오는 영상을 각각 준비하는 방식 외에, 2D 영상에 대해서 화소 단위로 깊이 값이 주어진 깊이 맵(depth map)을 별도로 준비해서, 2D 영상과 깊이 맵에 의거하여 좌측 눈 영상과 우측 눈 영상의 시차 화상을 플레이어나 디스플레이에서 생성하는 방법이 있다. 도 24는 2D 영상과 깊이 맵으로부터 좌측 눈 영상과 우측 눈 영상의 시차 화상을 생성하는 예를 모식적으로 나타내고 있다. 깊이 맵은 2D 영상 내의 각각의 화소에 대응하여 깊이 값을 가지고 있으며, 도 24의 예에서는 2D 영상의 원형의 물체는 깊이 맵에서는 깊이가 깊은 것을 나타내는 정보가 할당되고, 그 이외의 영역은 깊이가 얕은 것을 나타내는 정보가 할당되어 있다. 이 정보는 화소별 비트열로 저장해도 좋고, 화상이미지(예를 들어 「흑」을 깊이가 얕은 것을 나타내고, 「백」을 깊이가 깊은 것을 나타내는 화상이미지)로 저장해도 좋다. 시차 화상은 깊이 맵의 깊이 값으로부터 2D 영상의 시차량을 조정함에 따라서 작성할 수 있다. 도 24의 예에서는 2D 영상 내의 원형의 물체의 깊이 값은 크므로 시차 화상을 작성할 경우에는 원형의 물체의 화소의 시차량을 크게 하고, 원형 물체 이외의 영역은 깊이 값이 작으므로 원형의 물체의 화소의 시차량을 작게 하여 좌측 눈 영상, 우측 눈 영상을 작성한다. 이 좌측 눈 영상과 우측 눈 영상을 계시 분리방식 등을 사용하여 표시하면 입체 시가 가능해진다.

이상이 입체 시의 원리에 대한 설명이다.

다음에, 본 실시형태에서의 재생장치의 사용형태에 대하여 설명한다.

본 실시형태에서의 재생장치는 2D 영상 혹은 3D 영상을 복호하여 디스플레이에 영상을 전송하는 장치이다. 여기에서는 디지털 텔레비전을 예로 들어 설명한다.

디지털 텔레비전에는 도 2에 나타내는 것과 같이 3D 영상이 시청 가능한 재생장치(100)와 3D 영상의 재생을 지원하지 않는 2D 영상만을 재생할 수 있는 2D 디지털 텔레비전(300)이 있다.

도 2 (a)는 재생장치의 사용행위에 대한 형태를 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 디지털 텔레비전(100)과 3D 안경(200)으로 구성되어 사용자에 의한 사용이 가능해진다.

재생장치(100)는 2D 영상 및 3D 영상을 표시할 수 있는 것이며, 수신한 방송파에 포함되는 스트림을 재생함으로써 영상을 표시한다.

본 실시형태의 재생장치(100)는 3D 안경(200)을 사용자가 착용함으로써 입체 시를 실현하는 것이다. 3D 안경(200)은 액정셔터를 구비하며, 계시 분리방식에 의한 시차 화상을 사용자에게 시청시킨다. 시차 화상이란 우측 눈에 들어오는 영상과 좌측 눈에 들어오는 영상으로 구성되는 1세트의 영상이며, 각각의 눈에 대응한 픽처만이 사용자의 눈에 들어오도록 해서 입체 시를 실행하게 한다. 도 2 (b)는 좌측 눈 용 영상이 표시될 때를 나타낸다. 화면상에 좌측 눈 용의 영상이 표시되고 있는 순간에 있어서 상술한 3D 안경(200)은 좌측 눈에 대응하는 액정셔터를 투과로 하고, 우측 눈에 대응하는 액정셔터는 차광한다. 동 도면 (c)는 우측 눈 용 영상이 표시될 때를 나타낸다. 화면상에 우측 눈 용의 영상이 표시되고 있는 순간에 있어서 앞에서와는 반대로 우측 눈에 대응하는 액정셔터를 투광으로 하고 좌측 눈에 대응하는 액정셔터를 차광한다.

또, 다른 방법의 재생장치로는, 앞에서의 계시 분리방식에서는 좌우의 픽처를 시간 축 방향으로 교대로 출력하고 있던 것에 대하여, 1 화면 중의 종 방향으로 좌측 눈 용의 픽처와 우측 눈 용의 픽처를 동시에 교대로 배열하고, 디스플레이 표면에 렌티큘러 렌즈(lenticular lens)라고 불리는 반 원통(semi cylindrical) 형상의 렌즈를 통하여 좌측 눈 용의 픽처를 구성하는 화소는 좌측 눈에만 결상하고, 우측 눈 용의 픽처를 구성하는 화소는 우측 눈에만 결상하도록 함으로써 좌우의 눈에 시차가 있는 픽처를 보여줘서 3D로서 볼 수 있는 방식이 있다. 또, 렌티큘러 렌즈만이 아니라 동일한 기능을 갖게 한 디바이스, 예를 들어 액정소자를 이용해도 좋다. 또, 좌측 눈 용의 화소에는 종 편광의 필터를, 우측 눈 용의 화소에는 횡 편광의 필터를 설치하여, 시청자는 좌측 눈 용에는 종 편광, 우측 눈 용에는 횡 편광의 필터를 설치한 편광안경을 이용하여 디스플레이를 봄으로써 입체 시가 가능해지는 편광방식이 있다.

시차 화상을 이용한 입체 시를 위한 방법은 이 그 외에도 2색 분리방식 등 다양한 기술이 제안되어 있으며, 본 실시의 예에 있어서는 계시 분리방식을 예로 이용하여 설명하나, 시차 화상을 이용하는 한 이 방식에 한정하는 것은 아니다.

2D 디지털 텔레비전(300)은 도 2에 나타내는 것과 같이 재생장치(100)와 달리 입체 시를 실현할 수 없다. 2D 디지털 텔레비전(300)은 2D 영상만을 표시할 수 있는 것이며, 수신한 방송파에 포함되는 스트림을 2D 영상으로서만 재생할 수 있다.

이상이 재생장치의 사용형태에 대한 설명이다.

다음에, 디지털 텔레비전의 방송파 등에서 전송되는 일반적인 스트림의 구조에 대하여 설명한다.

디지털 텔레비전의 방송파 등에서의 전송에서는 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이 사용되고 있다. MPEG-2 트랜스포트 스트림이란 비디오나 오디오 등 다양한 스트림을 다중화하여 전송하기 위한 규격이다. ISO/IEC13818-1 및 ITU-T 권고 H222.0에서 표준화되어 있다.

도 6은 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림의 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 트랜스포트 스트림은 비디오 스트림, 오디오 스트림, 자막 스트림 등을 다중화함으로써 얻어진다. 비디오 스트림은 프로그램의 주 영상을, 오디오 스트림은 프로그램의 주 음성부분이나 부 음성을, 자막 스트림은 프로그램의 자막정보를 저장하고 있다. 비디오 스트림은 MPEG-2, MPEG-4　AVC 등의 방식을 사용하여 부호화 기록된다. 오디오 스트림은 돌비 AC-3, MPEG-2　AAC, MPEG-4　AAC, HE-AAC 등의 방식으로 압축·부호화 기록되어 있다.

비디오 스트림의 구성에 대하여 설명한다. MPEG-2, MPEG-4　AVC, SMPTE　VC-1 등의 동화상 압축 부호화에 있어서는 동화상의 공간방향 및 시간방향의 용장성(reduncancy)을 이용하여 데이터량의 압축을 실행한다. 시간방향의 용장성을 이용하는 방법으로 픽처 간 예측부호화가 이용된다. 픽처 간 예측부호화에서는 어떤 픽처를 부호화할 때에 표시시간 순으로 전방 또는 후방에 있는 픽처를 참조 픽처로 한다. 그리고 그 참조 픽처로부터의 움직임 양을 검출하여 움직임 보상(motion compensation)을 실행한 픽처와 부호화 대조의 픽처와의 차분 값(difference)에 대하여 공간방향의 용장도를 제거함으로써 데이터량의 압축을 실행한다.

여기에서는 참조 픽처를 갖지 않고 부호화 대상 픽처만을 이용하여 픽처 내 예측부호화를 실행하는 픽처를 I 픽처라고 부른다. 픽처란 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위이다. 또, 이미 처리가 완료된 1매의 픽처를 참조하여 픽처 간 예측부호화하는 픽처를 P 픽처라고 부르고, 이미 처리 완료된 2매의 픽처를 동시에 참조하여 픽처 간 예측부호화하는 픽처를 B 픽처라고 부르며, B 픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br 픽처라고 부른다. 또, 프레임 구조의 경우의 프레임, 필드 구조의 필드를 여기에서는 비디오 액세스유닛이라고 부른다.

또, 비디오 스트림은 도 7에 나타내는 것과 같은 계층 구조를 가지고 있다. 비디오 스트림은 복수의 GOP(Group　of　Pictures)로 구성되어 있으며, 이를 부호화처리의 기본 단위로 함으로써 동화상의 편집이나 랜덤 액세스가 가능해지고 있다. GOP는 1개 이상의 비디오 액세스유닛에 의해 구성되어 있다. 비디오 액세스유닛은 픽처의 부호화데이터를 저장하는 단위이며, 프레임 구조인 경우에는 1 프레임, 필드 구조의 경우의 1 필드의 데이터가 저장된다. 각 비디오 액세스유닛은 AU 식별코드, 시퀀스 헤더, 픽처 헤더, 보충데이터, 압축 픽처 데이터, 패딩 데이터, 시퀀스 종단코드, 스트림 종단코드 등으로 구성된다. 각 데이터는 MPEG-4　AVC인 경우에는 NAL 유닛이라고 불리는 단위로 저장된다.

AU 식별코드는 액세스유닛의 선두를 나타내는 개시부호이다. 시퀀스 헤더는 복수 비디오 액세스유닛으로 구성되는 재생 시퀀스에서의 공통의 정보를 저장한 헤더이며, 해상도, 프레임 레이트(frame rate), 애스팩트 비(aspect ratio), 비트 레이트(bit rate) 등의 정보가 저장된다. 픽처 헤더는 픽처 전체의 부호화의 방식 등의 정보를 저장한 헤더이다. 보충데이터는 압축데이터의 복호에 필수가 아닌 부가 정보이며, 예를 들어 영상과 동기하여 TV에 표시하는 자막방송의 문자정보나 GOP 구조정보 등이 저장된다. 압축 픽처 데이터에는 압축 부호화된 픽처의 데이터가 저장된다. 패딩 데이터는 형식을 정돈하기 위한 의미가 없는 데이터가 저장된다. 예를 들어 정해진 비트 레이트를 유지하기 위한 스태핑 데이터로서 이용한다. 시퀀스 종단코드는 재생 시퀀스의 종단을 나타내는 데이터이다. 스트림 종단코드는 비트 스트림의 종단을 나타내는 데이터이다.

AU 식별코드, 시퀀스 헤더, 픽처 헤더, 보충데이터, 압축 픽처 데이터, 패딩 데이터, 시퀀스 종단코드, 스트림 종단코드의 내용의 구성은 비디오의 부호화방식에 따라서 다르다.

예를 들어 MPEG-4　AVC인 경우이면 AU 식별코드는 AU 딜리미터(Access　Unit　Delimiter), 시퀀스 헤더는 SPS(Sequence　Paramter　Set)에, 픽처 헤더는 PPS(Picture　Parameter　Set)에, 압축 픽처 데이터는 복수 개의 슬라이스, 보충데이터는 SEI(Supplemental　Enhancement　Information), 패딩 데이터는 FillerData, 시퀀스 종단코드는 End　of　Sequence, 스트림 종단코드는 End　of　Stream에 대응한다.

예를 들어 MPEG-2인 경우이면 시퀀스 헤더는 sequence_Header, sequence_extension, group_of_picture_header에, 픽처 헤더는 picture_header, picture_coding_extension, 압축 픽처 데이터는 복수 개의 슬라이스, 보충데이터는 user_data, 시퀀스 종단코드는 sequence_end_code에 대응한다. AU 식별코드는 존재하지 않으나, 각각의 헤더의 스타트 코드를 사용하면 액세스유닛의 종단부(둥 point)를 판단할 수 있다.

각 데이터는 항상 필요하지는 않으며, 예를 들어 시퀀스 헤더는 GOP 선두의 비디오 액세스유닛에서만 필요하고, 그 이외의 비디오 액세스유닛에는 없어도 좋은 것으로 해도 좋다. 또, 부호화방식에 따라서는 픽처 헤더는 앞의 비디오 액세스유닛의 것을 참조하며, 자신의 비디오 액세스유닛 내에 픽처 헤더가 없어도 좋다.

여기서, 크로핑 영역정보와 스케일링 정보에 대해서 도 11을 참조하면서 설명한다. 비디오 부호화방식에 따라서는 부호화된 프레임의 영역과 실제로 표시에 사용하는 영역을 변경할 수 있다. 도 11과 같이, 부호화된 프레임영역 중에서 실제로 표시하는 영역을 「크로핑 영역」으로서 지정할 수 있다. 예를 들어 MPEG-4　AVC인 경우에는 SPS에 저장되는 frame_cropping 정보를 사용하여 지정할 수 있다. frame_cropping 정보는 도 12의 좌측과 같이 크로핑 영역의 상/하/좌/우의 선과 부호화된 프레임영역의 상/하/좌/우의 선과의 차분을 상하 좌우의 크롭 양으로서 지정한다. 더 구체적으로는, 크로핑 영역을 지정하는 경우에는 frame_cropping_flag를 1로 설정하고, frame_crop_top_offset/frame_crop_bottom_offset/frame_crop_ left_offset/frame_crop_right_offset에 상/하/좌/우의 크롭 양을 지정한다. MPEG-2인 경우에는 크로핑 영역의 종횡의 사이즈(sequence_display_extension의 display_horizontal_size, display_vertical_size)와 부호화된 프레임영역의 중심과 크로핑 영역의 중심과의 차분 정보(picture_display_extension의 frame_centre_ horizontal_offset, frame_centre_vertical_offset)를 사용하여 크로핑 영역을 지정할 수 있다. 또, 비디오 부호화방식에 따라서는 크로핑 영역을 실제로 텔레비전 등에 표시할 때의 스케일링 방법을 나타내는 스케일링정보가 존재한다. 이는 예를 들어 애스팩트 비로 설정된다. 재생장치는 그 애스팩트 비의 정보를 사용해서 크로핑 영역을 업 컨버트(up convert) 하여 표시를 실행한다. 예를 들어 MPEG-4　AVC인 경우에는 스케일링정보로 SPS에 애스팩트 비의 정보(aspect_ratio_idc)가 저장된다. MPEG-4　AVC의 경우, 1440x1080의 크로핑 영역을 1920x1080로 확대하여 표시하기 위해서는 애스팩트 비는 4：3을 지정한다. 이 경우 수평방향으로 4/3배로 업 컨버트(1440x4/3=1920) 되며, 1920x1080으로 확대되어 표시된다. MPEG-2인 경우에도 마찬가지로 sequence_header에 애스팩트 비의 정보(aspect_ratio_information)가 저장되어 있다.

트랜스포트 스트림에 포함되는 각 스트림은 PID라고 불리는 스트림 식별 ID에 의해 식별된다. 이 PID의 패킷을 추출함으로써 복합장치는 대상의 스트림을 추출할 수 있다. PID와 스트림의 대응은 이하에서 설명하는 PMT 패킷의 디스크립터 (descriptor)에 저장된다.

도 6은 트랜스포트 스트림이 어떻게 다중화되는가를 모식적으로 나타내는 도면이다. 먼저, 복수의 비디오 프레임으로 이루어지는 비디오 스트림(501), 복수의 오디오 프레임으로 이루어지는 오디오 스트림(504)을 각각 PES 패킷 열(502 및 505)로 변환하고, TS 패킷(503 및 506)으로 변환한다. 마찬가지로 자막 스트림(507)의 데이터를 각각 PES 패킷 열(508)로 변환하고, 또, TS 패킷(509)으로 변환한다. MPEG-2 트랜스포트 스트림(513)은 이와 같은 TS 패킷을 1개의 스트림에 다중화함으로써 구성된다.

도 8은 PES 패킷 열에 비디오 스트림이 어떻게 저장되는가를 더 상세하게 나타내고 있다. 본 도면에서의 제 1단째는 비디오 스트림의 비디오프레임 열을 나타낸다. 제 2단째는 PES 패킷 열을 나타낸다. 본 도면의 화살표 yy1, yy2, yy3, yy4에 나타내는 것과 같이, 비디오 스트림에서의 복수의 Video　Presentation　Unit인 I 픽처, B 픽처, P 픽처는 픽처마다 분할되어 PES 패킷의 페이로드에 저장된다. 각 PES 패킷은 PES 헤더를 가지며, PES 헤더에는 픽처의 표시시각인 PTS(Presentation　Time-Stamp)나 픽처의 복호시각인 DTS(Decoding　Time-Stamp)가 저장된다.

도 9는 트랜스포트 스트림을 구성하는 TS 패킷의 데이터 구조를 나타내고 있다. TS 패킷은 4Byte의 TS 헤더와 어댑테이션 필드(adaptation field) 및 TS 페이로드로 구성되는 188Byte 고정길이의 패킷이다. TS헤더는 transport_priority, PID, adaptaion_field_control 등으로 구성된다. PID는 상술한 것과 같이 트랜스포트 스트림에 다중화되어 있는 스트림을 식별하기 위한 ID이다. transport_priority는 동일 PID의 TS 패킷 중의 패킷의 종별을 식별하기 위한 정보이다. adaptation_field_control는 어댑테이션 필드와 TS페이로드의 구성을 제어하기 위한 정보이다. 어댑테이션 필드와 TS페이로드는 어느 한쪽만 존재하는 경우와 양쪽 모두가 존재하는 경우가 있으며, adaptation_field_control은 그 유무를 나타낸다. adaptation_field_control이 1인 경우에는 TS 페이로드만이 존재하고, adaptation_field_control이 2인 경우에는 어댑테이션 필드만이 존재하며, adaptation_field_control이 3인 경우에는 TS 페이로드와 어댑테이션 필드의 양쪽 모두가 존재하는 것을 나타낸다.

어댑테이션 필드는 PCR 등의 정보의 저장이나 TS 패킷을 188 바이트 고정길이로 하기 위한 스터핑(stuffing) 하는 데이터의 저장영역이다. TS 페이로드에는 PES 패킷이 분할되어 저장된다.

트랜스포트 스트림에 포함되는 TS 패킷에는 영상·음성·자막 등의 각 스트림 이외에도 PAT(Program　Association　Table), PMT(Program　Map　Table), PCR(Program　Clock　Reference) 등이 있다. 이와 같은 패킷은 PSI(Program　Specific　Information)라고 불린다. PAT는 트랜스포트 스트림 중에 이용되는 PMT의 PID가 무엇인가를 나타내며, PAT 자신의 PID는 0으로 등록된다. PMT는 트랜스포트 스트림 중에 포함되는 영상·음성·자막 등의 각 스트림의 PID와 각 PID에 대응하는 스트림의 속성정보를 가지며, 또 트랜스포트 스트림에 관한 각종 디스크립터를 갖는다. 디스크립터에는 AV스트림의 카피의 허가·불허가를 지시하는 카피컨트롤정보 등이 있다. PCR는 TS 패킷의 디코더에의 도착시각과 PTS·DTS의 시간 축인 STC(System　Time　Clock)의 동기를 취하므로 그 PCR 패킷이 디코더에 전송되는 타이밍에 대응하는 STC 시간의 정보를 갖는다.

도 10은 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는 그 PMT에 포함되는 데이터의 길이 등을 기술한 PMT 헤더가 배치된다. 그 뒤에는 트랜스포트 스트림에 관한 디스크립터가 복수 배치된다. 상술한 카피컨트롤정보 등이 디스크립터로서 기재된다. 디스크립터의 뒤에는 트랜스포트 스트림에 포함되는 각 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보는 스트림의 압축 코덱 등을 식별하기 위해 스트림 타입, 스트림의 PID, 스트림의 속성정보(프레임 레이트, 애스팩트 비 등)가 기재된 스트림 디스크립터로 구성된다.

이상이 디지털 텔레비전의 방송파 등으로 전송되는 일반적인 스트림의 구조의 설명이다.

다음에, 입체 시에 사용하는 시차 화상을 실현하기 위한 일반적인 영상포맷에 대하여 설명한다.

시차 화상을 사용한 입체 시의 방식으로는 우측 눈에 들어오는 영상과 좌측 눈에 들어오는 영상을 각각 준비하고, 각각의 눈에 대응한 픽처만이 들어가도록 하여 입체 시를 실행한다. 도 3은 사용자의 얼굴을 좌측에, 그리고 우측에는 대상물인 공룡의 골격을 좌측 눈으로 본 경우의 예와 대상물인 공룡의 골격을 우측 눈으로 본 경우의 예를 나타내고 있다. 우측 눈 및 좌측 눈의 투광, 차광이 반복되면 사용자의 뇌 내에서는 눈의 잔상반응에 의해 좌우의 신이 중첩이 되어 얼굴의 중앙의 연장선상에 입체영상이 존재한다고 인식할 수 있다.

시차 화상 중 좌측 눈에 들어오는 화상을 좌측 눈 화상(L 화상)이라고 하고, 우측 눈에 들어오는 화상을 우측 눈 화상(R 화상)이라고 한다. 그리고 각각의 픽처가 L 화상이 되어 있는 동화상을 레프트 뷰 비디오(left-view video)라고 하고, 각각의 픽처가 R 화상이 되어 있는 동화상을 라이트 뷰 비디오(right-view video)라고 한다.

레프트 뷰 비디오와 라이트 뷰 비디오를 합성하여 압축 부호화하는 3D의 영상방식에는 프레임 호환방식과 서비스 호환방식이 있다.

먼저 첫 번째의 프레임 호환방식은 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 각각 스키핑(skipping) 또는 축소(shrinking)한 다음 하나의 픽처로 합성하여 통상의 동화상 압축 부호화를 실행하는 방식이다. 일례로는 도 4에 나타내는 것과 같은 Side-by-Side 방식이 있다. Side-by-Side 방식에서는 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 각각 수평방향으로 1/2로 압축한 다음에 좌우로 배열함으로써 하나의 픽처로 합성한다. 합성된 픽처에 의한 동화상은 통상의 동화상 압축 부호화를 하여 스트림화된다. 한편, 재생시는 스트림을 통상의 동화상 압축 부호화방식에 의거하여 동화상에 복호화된다. 복호화된 동화상의 각 픽처는 좌우 화상으로 분할되어서 각각 수평방향으로 2배로 신장됨으로써 레프트 뷰 비디오와 라이트 뷰 비디오의 대응하는 각 픽처를 얻을 수 있다. 얻어진 레프트 뷰 비디오의 픽처(L 화상)와 라이트 뷰 비디오의 픽처(R 화상)를 교대로 표시함으로써 도 2에 나타내는 것과 같은 입체 시 화상을 얻을 수 있다. 프레임 호환방식에는 Side-by-Side 방식 외에, 좌우 화상을 상하로 배열한 Top　and　Bottom 방식이나, 픽처 내의 1라인마다 좌우 화상을 교대로 배치하는 Line　Alternative 방식 등이 있다.

이와 같은 입체 시 용의 좌우의 영상의 저장방식을 식별하는 수단으로 비디오 스트림에는 프레임 팩킹정보가 준비되어 있다. 프레임 팩킹정보는 예를 들어 MPEG-4　AVC에서는 Frame_packing_arrangement SEI이다. 도 1은 프레임 팩킹정보를 설명하는 도면이다. 도 1의 하단은 비디오프레임 열을 나타낸다. 구간 (A)는 Side-by-Side의 영상이 재생되는 구간이며, 구간 (B)는 2D 영상이 재생되는 구간이고, 구간 (C)는 TopBottom 영상이 재생되는 구간이다. 이와 같은 재생구간에서의 프레임 팩킹정보의 예를 도 1의 상단에 나타내고 있다. 프레임 팩킹정보에는 프레임 저장타입(frame storage type), 캔슬 플래그(cancel flag), 리피트 플래그(repeat flag)가 있다. 프레임 저장타입은 입체 시 용의 좌우의 영상을 프레임 내에 저장하는 방식의 타입을 나타내고, 앞에서 설명한 「Side-by-Side」, 「TopBottom」, 「체커보드(checkerboard)」, 「라인 바이 라인(line-by-line)」이라는 방식을 식별하는 정보이다. MPEG-4 AVC의 Frame_packing_arrangement에서는 Frame_packing_arrangement_type에 대응한다. 리피트 플래그는 프레임 팩킹정보의 유효기간을 나타내고, 0이면 프레임 팩킹정보는 해당 프레임 만에 대하여 유효한 것을 나타내며, 1이면 해당 프레임 팩킹정보는 다음의 비디오 시퀀스가 올 때까지, 또는 디스플레이 순으로 해당 프레임보다 늦은 프레임 팩킹정보를 가진 프레임이 올 때까지 유효가 된다. MPEG-4 AVC의 Frame_packing_arrangement에서는 Frame_packing_arrangement_repetition_period에 대응한다. 캔슬 플래그는 전회의 프레임 팩킹정보의 유효기간을 캔슬하는 플래그이다. 캔슬 플래그가 1인 경우에는 이전에 송출된 프레임 팩킹정보가 캔슬되고, 0인 경우에는 해당의 프레임 팩킹정보가 유효가 된다. MPEG-4 AVC의 Frame_packing_arrangement에서는 Frame_packing_arrangement_cancel_flag에 대응한다.

Side-by-Side 재생구간의 선두에 저장되어 있는 프레임 팩킹정보 (A)의 프레임 저장타입은 Side-by-Side, 리피트 플래그는 1, 캔슬 플래그는 0이 되어 있다. Side-by-Side 재생구간의 선두에는 프레임 팩킹정보는 저장되지 않고, 또, 리피트 플래그는 1이므로, 이 구간의 프레임 열에 있어서는 Side-by-Side 재생구간의 선두에 저장되어 있는 프레임 팩킹정보 (A)가 유효가 된다. 2D 재생구간의 선두에 저장되어 있는 프레임 팩킹정보 (B)에는 캔슬 플래그는 1이 되어 있고, 프레임 저장타입이나 리피트 플래그는 저장되지 않는다. 2D 구간에서는 프레임 팩킹정보는 불필요하므로, 이 선두에서 캔슬한 후에는 프레임 팩킹정보는 저장되어 있지 않다. TopBottom 재생구간에는 프레임 팩킹정보 (C)가 모든 프레임에 저장되어 있다. 프레임 팩킹정보 (C)의 프레임 저장타입은 TopBottom, 리피트 플래그는 0, 캔슬 플래그는 0이 되어 있다. 리피트 플래그는 0이므로, 모든 프레임이 TopBottom인 것을 나타내기 위해 모든 프레임에 프레임 팩킹정보를 저장할 필요가 있다.

이와 같이 비디오 스트림에 프레임 팩킹정보를 저장함으로써, 재생장치는 그 정보를 참조함으로써 방식에 따른 입체 시의 표시처리를 실현할 수 있다.

다음에, 두 번째의 서비스 호환방식에 대하여 설명한다. 서비스 호환방식으로는 레프트 뷰 비디오, 라이트 뷰 비디오를 디지털화하여 압축 부호화함으로써 얻어지는 비디오 스트림인 레프트 뷰 비디오 스트림과 라이트 뷰 비디오 스트림을 이용한다.

서비스 호환방식에 있어서 레프트 뷰 비디오, 라이트 뷰 비디오를 시점 간의 상관특성을 이용한 픽처 간 예측부호화기술에 의해 압축 부호화한 것을 특히 멀티부호화방식이라고 부른다.

도 5는 멀티부호화방식에 의한 입체 시를 위한 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림의 내부 구성의 일례를 나타내는 도면이다.

본 도면의 제 2단째는 레프트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 스트림에는 픽처 데이터 I1, P2, Br3, Br4, P5, Br6, Br7, P9라고 하는 픽처 데이터가 포함되어 있다. 이들 픽처 데이터는 Decode　Time　Stamp(DTS)에 따라서 디코드된다. 제 1단째는 좌측 눈 화상을 나타낸다. 그와 같은 식으로 디코드 된 픽처 데이터 I1, P2, Br3, Br4, P5, Br6, Br7, P9를 PTS에 따라서 I1, Br3, Br4, P2, Br6, Br7, P5의 순으로 재생함으로써 좌측 눈 화상이 재생되게 된다. 본 도면에서 참조 픽처를 갖지 않고 부호화 대상 픽처만을 이용하여 픽처 내 예측부호화를 실시하는 픽처를 I 픽처라고 부른다. 픽처란 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위이다. 또, 이미 처리가 완료된 1매의 픽처를 참조하여 픽처 간 예측부호화하는 픽처를 P 픽처, 이미 처리가 완료된 2매의 픽처를 동시에 참조하여 픽처 간 예측부호화하는 픽처를 B픽처, B픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br픽처라고 각각 부른다.

제 4단째는 레프트 뷰 비디오 스트림의 내부 구성을 나타낸다. 이 레프트 뷰 비디오 스트림은 P1, P2, B3, B4, P5, B6, B7, P8라고 하는 픽처 데이터가 포함되어 있다. 이와 같은 픽처 데이터는 DTS에 따라 디코드 된다. 제 3단째는 우측 눈 화상을 나타낸다. 그와 같은 식으로 하여 디코드 된 픽처 데이터 P1, P2, B3, B4, P5, B6, B7, P8를 PTS에 따라서 P1, B3, B4, P2, B6, B7, P5의 순으로 재생함으로써 우측 눈 화상이 재생되게 된다. 단, 계시 분리방식의 입체 시 재생에서는 동일 PTS가 부가된 좌측 눈 화상과 우측 눈 화상의 쌍 중 일방의 표시를 PTS의 간격의 절반의 시간(이하, 「3D 표시지연」이라고 한다) 분만큼 지연하여 표시한다.

제 5단째는 3D 안경(200)의 상태를 어떻게 변화시키는가를 나타낸다. 이 제 5단째에 나타내는 것과 같이, 좌측 눈 화상의 시청시에는 우측 눈의 셔터를 닫고, 우측 눈 화상의 시청시에는 좌측 눈의 셔터를 닫고 있다는 것을 알 수 있다.

이들 레프트 뷰 비디오 스트림, 라이트 뷰 비디오 스트림은 시간방향의 상관특성을 이용한 픽처 간 예측부호화에 더하여, 시점 간의 상관특성을 이용한 픽처 간 예측부호화에 의해 압축되어 있다. 라이트 뷰 비디오 스트림의 픽처는 레프트 뷰 비디오 스트림의 동일 표시시각의 픽처를 참조하여 압축되어 있다.

예를 들어 라이트 뷰 비디오 스트림의 선두 P 픽처는 레프트 뷰 비디오 스트림의 I 픽처를 참조하고, 라이트 뷰 비디오 스트림의 B 픽처는 레프트 뷰 비디오 스트림의 Br 픽처를 참조하며, 라이트 뷰 비디오 스트림의 2번째의 P 픽처는 레프트 뷰 비디오 스트림의 P 픽처를 참조하고 있다.

그리고 압축 부호화된 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 단일체로 복호화가 가능해지는 것을 "베이스 뷰 비디오 스트림(base view video stream)"이라고 한다. 또, 레프트 뷰 비디오 스트림 및 라이트 뷰 비디오 스트림 중 베이스 뷰 비디오 스트림을 구성하는 개개의 픽처 데이터와의 프레임 간 상관특성에 의거하여 압축 부호화되어 있으며, 베이스 뷰 비디오 스트림이 복호된 다음에 복호가 가능해지는 비디오 스트림을 "디펜던트 뷰 스트림(dependent view stream)"이라고 한다. 또한, 베이스 뷰 비디오 스트림과 디펜던트 뷰 스트림은 각각 별개의 스트림으로 저장이나 전송되어도 좋고, 예를 들어 MPEG2-TS 등의 동일한 스트림에 다중화되어도 좋다.

이와 같이 시점 간의 상관을 이용한 멀티부호화방식의 압축 방법으로서는 Multiview　Video　Coding(MVC)이라고 불리는 MPEG-4　AVC/H.264의 수정 규격이 있다. ISO/IEC　MPEG와 ITU-T　VCEG의 공동프로젝트인 Joint　Video　Team(JVT)는 2008년 7월에 Multiview　Video　Coding(MVC)이라고 불리는 MPEG-4　AVC/H.264의 수정 규격의 책정을 완료했다. MVC는 복수 시점의 영상을 함께 부호화하는 규격이며, 영상의 시간방향의 유사성만이 아니라 시점 간의 유사성도 예측부호화에 이용함으로써 복수 시점의 독립한 압축에 비해 압축효율을 향상하고 있다.

이상이 입체 시에 사용하는 시차 화상을 실현하기 위한 일반적인 영상포맷에 대한 설명이다.

(3D 영상을 저장하는 데이터 포맷)

다음에, 본 실시형태에 관한 3D 영상을 저장하는 데이터 포맷에 대하여 도면을 참조하면서 설명한다.

도 1에서 나타낸 것과 같이, 프레임 팩킹정보를 저장하는 부호방법으로는 프레임 팩킹정보 (A), 프레임 팩킹정보 (B)와 같이 재생구간의 선두에만 배치하는 방법이나, 프레임 팩킹 (C)와 같이 각 프레임 모두에 저장하는 방법이 혼재하는 케이스가 있다. 이와 같이 다른 프레임 팩킹정보를 저장하는 방법이 혼재하면 재생 및 편집장치에 있어서 처리가 비효율적이다. 예를 들어 도 1의 Side-by-Side 재생구간 (A)의 선두 이외의 비디오 프레임에서부터 인터럽트 재생을 실행하는 경우에는 Side-By-Side 선두의 프레임에 저장되는 프레임 팩킹정보를 해석하여 취득할 필요가 있다. 예를 들어 TopBottom 재생구간 (C)의 재생을 실행할 때에는 모든 프레임에 있어서 프레임 팩킹정보의 해석이 필요하며, 처리 부하가 걸린다. 그래서 본 실시형태에서는 프레임 팩킹정보를 저장하는 부호방법을 재생장치를 미리 특정할 수 있고, 재생처리의 효율화가 가능하도록 이하와 같은 영상포맷 구조를 취한다.

도 13을 참조하여 영상포맷의 구조를 설명한다. 도 13의 예는 Side-By-Side 방식의 프레임 호환방식의 3D 영상을 저장하는 경우의 예이다. 트랜스포트 스트림에 저장되는 비디오 스트림은 MPEG-4 AVC나 MPEG-2 등 영상 부호화방식으로 압축되어 있는 비디오 스트림이다.

비디오 스트림의 보충데이터에는 프레임 팩킹정보가 저장되어 있다. 프레임 팩킹정보는 도 1을 사용하여 설명한 정보이다. 프레임 팩킹정보에는 프레임 저장타입, 리피트 플래그, 캔슬 플래그가 저장된다. 프레임 팩킹정보는 도 1을 사용하여 설명한 것과 같이 모든 비디오 액세스유닛의 보충데이터에 저장하지 않고, 리피트 플래그를 1로 설정하여 GOP 선두에만 저장하며, 다른 비디오 액세스유닛에는 저장하지 않게 할 수도 있다.

PMT 패킷에는 프레임 팩킹정보 디스크립터가 저장된다. 프레임 팩킹정보 디스크립터는 트랜스포트 스트림에 저장되는 비디오 스트림마다 준비되며, 해당 비디오 스트림의 보충데이터에 포함되는 프레임 팩킹정보의 속성정보를 저장한다. 프레임 팩킹정보 디스크립터에는 「프레임 저장타입」, 「프레임 팩킹정보 저장타입」, 「개시 PTS」가 저장된다.

프레임 저장타입은 프레임 팩킹정보의 프레임 저장타입과 동일 의미를 가지며, 해당 비디오 스트림의 입체 시 영상의 프레임 저장방식(Side-by-Side 방식 등)을 나타낸다. 이 정보는 해당 비디오 스트림의 보충데이터에 포함되는 프레임 팩킹정보의 프레임 저장타입과 일치한다. 재생장치는 프레임 저장타입을 참조함으로써 비디오 스트림을 해석하지 않고도 입체 영상의 프레임 저장방식을 판단할 수 있다. 이에 의해 예를 들어 재생장치는 3D표시방법을 미리 판단할 수 있음으로써, 3D 표시용의 OSD의 생성처리 등 3D표시에 필요한 처리를 미리 비디오 스트림의 디코드 전에 실행하는 것이 가능해진다.

프레임 팩킹정보 저장타입은 해당 비디오 스트림에 포함되는 프레임 팩킹정보의 삽입방법을 나타내고 있다. 도 1을 사용해 설명한 것과 같이, 프레임 팩킹정보는 리피트 플래그를 1로 설정하여 GOP 선두에만 저장하고, 다른 비디오 액세스유닛에는 저장하지 않게 할 수도 있다. 또, 반대로 리피트 플래그를 0으로 설정하여 모든 프레임에 저장하도록 할 수도 있다. 프레임 팩킹정보 저장타입은 이 프레임 팩킹정보의 저장방법을 특정하기 위한 정보이며, 즉, 프레임 팩킹정보 타입이 「GOP 단위」이면 GOP 선두의 비디오 액세스유닛의 보충데이터에만 프레임 팩킹정보가 저장되는 것을 나타내고, 「액세스유닛 단위」이면 모든 비디오 액세스유닛의 보충데이터에만 프레임 팩킹정보가 저장되는 것을 나타낸다. 재생장치는 프레임 팩킹정보 저장타입을 참조함으로써 비디오 스트림을 해석하지 않고도 프레임 팩킹정보의 저장방법을 판별할 수 있으므로, 재생 및 편집처리를 효율화할 수 있다. 예를 들어 GOP 선두 이외의 프레임에도 인터럽트 재생을 실행하는 재생장치인 경우에는 프레임 팩킹정보 저장타입을 참조함으로써 그것이 「GOP 선두」를 나타내는 경우에는 항상 GOP 선두만으로부터 인터럽트 재생을 개시하도록 제어할 수 있다.

또, 프레임 팩킹정보 디스크립터에는 GOP 단위로 속성이 변화하는가 여부를 나타내는 정보가 저장되어 있어도 좋다. 이와 같은 구성으로 함으로써 예를 들어 프레임 팩킹정보 저장타입이 「프레임 단위」이며, GOP 내에서 속성이 변화하지 않는 것이 나타나면 모든 프레임과 같은 프레임 팩킹정보가 저장되는 것이 명시되므로, 비디오 스트림에 포함되는 GOP 선두 이외의 프레임 팩킹정보의 해석을 스킵 할 수 있다.

개시 PTS는 해당하는 프레임 팩킹정보 디스크립터가 유효가 되는 시각을 나타낸다. PMT 패킷의 위치는 비디오 스트림의 다중화 위치와 일반적으로 동기하지 않으므로, 해당하는 프레임 팩킹정보 디스크립터가 유효가 되는 시간을 비디오 스트림의 표시시각상에서 알 수 없다. 그래서 이 개시 PTS를 참조함으로써 프레임 팩킹정보 디스크립터가 유효가 되는 시각을 재생장치는 알 수 있다. 개시 PTS는 비디오에 부여되는 PTS를 나타내도록 제한해도 좋으며, 그와 같이 함으로써 명확하게 비디오와의 동기를 재생장치에 지시할 수 있다. 또, 재생장치가 비디오 디코드보다 앞에에 프레임 팩킹정보 디스크립터를 참조할 수 있도록, 개시 PTS와 동일 PTS가 부여되는 비디오 액세스유닛보다도 해당 개시 PTS를 포함하는 프레임 팩킹정보 디스크립터가 저장되는 PMT 패킷은 다중화(부호) 순으로 전방에 배치되도록 해도 좋다. 상기 개시 PTS를 포함하는 PMT 패킷이 복수 존재하는 경우에는 선두의 패킷만이 다중화(부호) 순으로 전방에 배치되는 것으로 해도 좋다.

도 14는 프레임 팩킹정보 디스크립터와 프레임 팩킹정보의 관계의 예를 나타내는 도면이다. 도 14의 하단은 비디오프레임 열을 표시 순으로 배열한 도면이다. 구간 (A)는 Side-by-Side의 영상이 재생되는 구간이고, 구간 (B)는 2D 영상이 재생되는 구간이며, 구간 (C)는 TopBottom 영상이 재생되는 구간이다. 이와 같은 재생구간에서의 프레임 팩킹정보의 예를 도 14의 중단에 나타내고 있다. 이는 도 1에서 나타낸 구성과 동일하다. 여기서, 도 14의 상단은 이 데이터 구성에서의 프레임 팩킹정보 디스크립터의 구성을 나타낸다.

프레임 팩킹정보 디스크립터 (A)는 Side-by-Side 재생구간 (A)에서의 프레임 팩킹정보에 대응하는 정보를 포함한다. 프레임 팩킹정보 디스크립터 (A)의 각 값은 다음과 같이 설정된다. 프레임 저장타입은 프레임 팩킹정보의 프레임 저장타입과 같은 「Side-by-Side」, 프레임 팩킹정보 저장타입은 프레임 팩킹정보가 구간 선두에만 저장되어 있으므로 「GOP 선두」, 개시 PTS는 재생구간 (A)에서의 선두의 「비디오 PTS의 값(예에서는 180000)」이 설정된다.

프레임 팩킹정보 디스크립터 (B)는 2D 재생구간 (B)에서의 프레임 팩킹정보에 대응하는 정보를 포함한다. 프레임 팩킹정보 디스크립터 (B)의 각 값은 다음과 같이 설정된다. 프레임 저장타입은 프레임 팩킹정보의 프레임 저장타입과 동일하며, 설정되지 않는다. 또는, 「2D」라고 하는 프레임 저장타입이 정의되는 것이라면 그 값이 설정된다. 프레임 팩킹정보 저장타입은 프레임 팩킹정보가 구간 선두에만 저장되어 있으므로 「GOP 선두」가 설정된다. 개시 PTS는 재생구간 (B)에서의 선두의 「비디오 PTS의 값(예에서는 5580000)」이 설정된다.

프레임 팩킹정보 디스크립터 (C)는 TopBottom 재생구간 (C)에서의 프레임 팩킹정보에 대응하는 정보를 포함한다. 프레임 팩킹정보 디스크립터 (C)의 각 값은 다음과 같이 설정된다. 프레임 저장타입은 프레임 팩킹정보의 프레임 저장타입과 같은 「TopBottom」, 프레임 팩킹정보 저장타입은 프레임 팩킹정보가 구간의 모든 비디오 액세스유닛에 저장되어 있으므로 「액세스유닛 단위」, 개시 PTS는 재생구간 (C)에서의 선두의 「비디오 PTS의 값(예에서는 10980000)」이 설정된다.

이상이 본 실시형태에 관한 영상포맷의 설명이다.

(3D 영상의 재생장치)

다음에 본 실시형태에 관한 3D 영상을 재생하는 재생장치의 구성에 대하여 도 15를 이용하여 설명한다.

재생장치는 구체적으로는 3D 영상의 표시에 대응하는 플라스마 텔레비전이나 액정 텔레비전이며, 비디오 스트림을 송출하는 트랜스포트 스트림을 수신한다. 여기에서는 계시 분리방식에서 셔터안경을 이용하는 3D 방식의 텔레비전으로 한다. 재생장치는 IP 네트워크 및 재생장치와 접속되고, 이들로부터 출력된 비디오 스트림을 더 복호하여 표시한다.

재생장치는 도 15에 나타내는 것과 같이 튜너(1501), NIC(1502), 다중 분리부(1503), 영상 디코드부(1504), 표시 판정부(1505), 표시처리부(1506), 표시부(1507), 프레임 버퍼(frame buffer)(1)(1510), 프레임 버퍼(2)(1511), 스위치 (1512)로 구성된다.

튜너(1501)는 디지털 방송파의 트랜스포트 스트림을 수신하고, 수신한 신호를 복조하는 기능을 갖는다.

NIC(1502)는 IP 네트워크와 접속되어 있으며, 외부로부터 출력된 트랜스포트 스트림을 수신하는 기능을 가지고 있다.

다중화 분리부(1503)는 수신한 트랜스포트 스트림을 비디오 스트림과 그 이외의 음성 스트림 등으로 분리하고, 비디오 스트림을 영상 디코드부(1504)에 출력한다. 또, 다중 분리부는 수신한 트랜스포트 스트림으로부터 PSI 등의 시스템 패킷을 추출하며 PMT 패킷으로부터 「프레임 팩킹정보 디스크립터」를 취득하고, 표시 판정부나 영상 디코드부에 통지한다. 다중화 분리부(1503)는 튜너(1501)나 NIC(1502)로부터의 입력에 더하여, 기록매체로부터 트랜스포트 스트림을 판독할 수도 있다.

영상 디코드부(1504)는 비디오 스트림을 다중화 분리부(1503)로부터 수신하면 수신한 스트림의 디코드를 실행하는 동시에, 비디오 스트림 중의 「프레임 팩킹정보」를 인출하는 기능을 가지고 있다. 이 영상 디코드부(1504)에 의해 프레임 단위의 영상이 복호 된다. 여기서, 다중화 분리부(1503)로부터 통지되는 프레임 팩킹정보 디스크립터의 「프레임 팩킹정보 저장타입」이 GOP 단위이면 「프레임 팩킹정보」의 인출을 GOP 선두의 비디오 액세스유닛 이외는 스킵 할 수 있다.

영상 디코드부(1504)는 복호 된 프레임을 프레임 버퍼(1)(1508)에 기입하고, 「프레임 팩킹정보」를 표시 판정부(1506)에 출력한다.

프레임 버퍼(1)(1508)는 영상 디코드부(1504)에서 디코드 된 프레임을 저장하기 위한 영역을 갖는다.

표시 판정부(1505)는 「프레임 팩킹정보 디스크립터」나 「프레임 팩킹정보」를 기초로 표시방법을 결정한다. 「프레임 팩킹정보 디스크립터」나 「프레임 팩킹정보」에 저장되는 프레임 저장타입에 따라서 3D 영상의 저장방식을 판별하고, 「프레임 팩킹정보 디스크립터」의 「개시 PTS」나 프레임 팩킹정보가 저장되는 비디오의 PTS의 타이밍에 표시처리부에 통지한다. 표시 판정부 (1505)는 이와 같이 표시방법을 결정하여 그 내용을 표시처리부(1506)에 통지한다.

표시처리부(1506)는 프레임 버퍼(1)에 저장된 복호화된 프레임 데이터를 표시 판정부(1505)로부터의 지시에 따라서 변형을 실행하여 프레임 버퍼(L)나 프레임 버퍼(R)에 기입한다. Side-by-Side 방식인 경우에는 표시처리부(1506)는 프레임의 왼쪽 절반으로부터 HalfHD의 좌측 눈 화상을 크롭하여 프레임 버퍼(L)에 기입하고, 표시처리부(1506)는 프레임의 오른쪽 절반으로부터 HalfHD의 우측 눈 화상을 크롭하여 프레임 버퍼(R)에 기입한다. TopBottom 방식인 경우에는 표시처리부(1506)는 프레임의 위쪽 절반으로부터 HalfHD의 좌측 눈 화상을 크롭하여 프레임 버퍼(L)에 기입하고, 표시처리부(1506)는 프레임의 아래쪽 절반으로부터 HalfHD의 우측 눈 화상을 크롭하여 프레임 버퍼(R)에 기입한다. 2D인 경우에는 프레임 버퍼(1)의 영상을 프레임 버퍼(L)와 프레임 버퍼(R)의 양쪽 모두에 기입한다.

프레임 버퍼(L)(1510), 프레임 버퍼(R)(1511)는 표시처리부(1506)로부터 출력되는 프레임을 저장하기 위한 영역을 갖는다.

스위치(1512)는 프레임 버퍼(L)(1510), 프레임 버퍼(R)(1511)에 기입된 프레임 화상을 선택하여 표시부에 전송한다. 표시하는 프레임을 따라서 프레임 버퍼(L)(1510), 프레임 버퍼(R)(1511)를 교대로 선택하여 표시한다.

표시부(1506)는 스위치(1512)에서 전송된 프레임을 표시한다. 표시부(1506)는 3D 안경에 통신을 실행하여, 좌측 눈 화상이 표시될 때는 3D 안경의 좌측 눈 측이 열리고, 우측 눈 화상이 표시될 때는 3D 안경의 우측 눈 측이 열리도록 3D 안경의 액정셔터를 제어한다. 또, 2D 영상을 표시하는 경우에는 3D 안경의 제어는 실행되지 않는다.

이상이 본 실시형태에 관한 재생장치의 설명이다.

또, 프레임 팩킹정보 디스크립터는 PMT 패킷 이외에도 프로그램정보 등을 포함한 SI (Service Information)의 디스크립터, TS 패킷 헤더, PES 헤더 등에 저장해도 좋다.

또, 프레임 팩킹정보 디스크립터의 프레임 팩킹정보 저장타입에는 「GOP 단위」와「액세스유닛 단위」가 있다고 하였으나, PES 패킷에 1개 존재하는 것을 나타내는 「PES 패킷 단위」, I 픽처에 1개 존재하는 것을 나타내는 「I 픽처 단위」, 프레임 팩킹정보에 포함되는 값이 전환할 때마다 1개 존재하는 것을 나타내는 「속성전환단위」 등 다른 타입이 있어도 좋다.

또, 프레임 팩킹정보 디스크립터에는 앞의 PMT 패킷에 저장되는 프레임 팩킹정보 디스크립터의 값과 변화가 있는가 여부를 알 수 있는 식별자가 존재해도 좋다. 이 식별자를 참조함으로써, 변화가 없는 경우에는 프레임 팩킹정보 디스크립터의 해석처리나 표시 판정부로의 통지 및 표시 판정부의 처리를 스킵 할 수 있다.

또, 프레임 팩킹정보 디스크립터의 프레임 팩킹정보 저장타입으로 리피트 플래그가 저장되어 있어도 좋다. 예를 들어 프레임 팩킹정보 디스크립터의 리피트 플래그가 1이면 GOP 단위, 프레임 팩킹정보 디스크립터의 리피트 플래그가 0이면 액세스유닛 단위로 재생장치는 판정할 수 있다.

또, 프레임 팩킹정보 디스크립터의 프레임 팩킹정보 저장타입은 프레임 저장타입마다 설정할 수 있도록 해도 좋다. 예를 들어 Side-by-Side 방식인 경우에는 「GOP 단위」, TopBottom 방식인 경우에는 「프레임 단위」로 설정할 수 있어도 좋다. 또, 프레임 팩킹정보 디스크립터의 프레임 팩킹정보 저장타입은 프레임 팩킹정보의 ID마다 설정할 수 있어도 좋다. 도 1의 설명에서는 생략하였으나, 프레임 팩킹정보는 ID를 가지고 복수 설정하는 것이 가능하다. 이 ID는 MPEG-4　AVC의 Frame_packing_arrangement SEI에서의 Frame_packing_arrangement_id에 대응한다. 이 ID마다 프레임 팩킹정보 저장타입을 설정할 수 있어도 좋다. 이와 같이 함으로써 PMT 패킷의 프레임 팩킹정보 디스크립터를 매회 해석하지 않아도, 한 번 해석할 수 있으면 그것을 계속 사용할 수 있다.

(3D 영상을 저장하는 데이터 포맷의 변형 예)

다음에, 본 실시형태에 관한 3D 영상을 저장하는 데이터 포맷의 변형 예에 대하여 도면을 참조하면서 설명한다.

재생장치에 있어서 3D 영상으로부터 2D 영상으로의 전환, 2D 영상으로부터 3D 영상으로의 전환 등의 표시전환처리에는 처리시간을 수반하는 케이스가 있다. 예를 들어 HDMI 등에 의해 텔레비전과 접속을 하고 있는 경우에는 2D 영상과 3D 영상 간의 전환시에 HDMI의 재인증이 발생하는 케이스가 있다. 이 경우에는 전환처리 동안에는 영상이 올바르게 재생할 수 없다고 하는 문제가 발생한다. 그래서 이하의 케이스에서는 그 과제를 감안하여 재생장치에서의 전환시간을 적절히 제어함으로써 콘텐츠 제작자의 기대대로의 재생을 실현 가능하게 한다.

도 16의 상단은 TS 패킷 열과 재생하는 비디오프레임 열의 관계를 나타내는 도면이다. 비디오프레임 열은 PTS5580000까지는 Side-by-Side의 3D 영상 재생구간이며, PTS5580000부터는 2D 영상 재생구간으로 되어 있다. 이 경우에, TS 패킷 내의 PMT 패킷에 포함되는 프레임 팩킹정보 디스크립터의 구성이 상부의 (1)에서 (4)에 기재되어 있다. (1)은 Side-by-Side 구간을 나타내는 디스크립터이며, (2), (3), (4)는 2D구간을 나타내는 디스크립터이다. 여기서, 상술한 것과 같이 다중화된 TS 패킷이 디코더에 도착하는 시각과 비디오의 표시시각에는 (A)에서 나타내는 것과 같이 시간의 갭이 존재한다. 구체적으로는, (2)의 디스크립터가 2D라고 통지하는 시각에서는 아직 비디오 표시시각에서는 Side-By-Side를 표시하고 있는 구간이 된다. 따라서 재생장치가 PMT 패킷이 도착하는 시각에서 PMT 패킷 내의 프레임 팩킹정보 디스크립터를 참조하여 표시 처리를 실행해버리면 갭 (A)의 시간으로 표시전환처리가 실행되어, 갭 (A)는 올바르게 3D 영상으로서 재생할 수 없게 된다.

그래서, 도 16의 하단과 같이, 프레임 팩킹정보 디스크립터에 「처리 우선도」를 저장한다. 이 「처리 우선도」는 PMT의 프레임 팩킹정보 디스크립터를 우선하여 처리하는 것을 나타내는 「디스크립터 우선」과 비디오 스트림에 저장되는 프레임 팩킹정보를 우선하여 처리하는 것을 나타내는 「비디오 우선」의 2종류가 준비된다. 처리 우선도가 「디스크립터 우선」인 경우에는 재생장치는 PMT에 포함되는 프레임 팩킹정보 디스크립터를 우선하여 표시의 전환처리를 실행한다. PMT 패킷이 도착하여 처리를 실행함으로써 갭 (A) 중에서 표시전환처리를 실행한다. 이 경우의 재생 천이를 도 16의 하단 하부의 재생 천이 X로 나타내고 있다. 이와 같이 함으로써 Side-by-Side의 재생구간의 종단은 표시전환처리에 의해 올바르게 재생할 수 없으나, 그 대신에 2D 재생구간은 선두에서부터 올바르게 재생할 수 있다.

처리 우선도가 「비디오 우선」인 경우에는 재생장치는 비디오에 포함되는 프레임 팩킹정보를 우선하여 표시의 전환처리를 실행한다. PMT 패킷이 도착해도 표시의 전환처리를 실행하지 않고, 비디오 스트림의 표시시각의 타이밍에서부터 표시전환처리를 실행한다. 이 경우에는 갭 (A)에서는 올바르게 데이터의 재생이 실행되고, PTS5580000의 2D 영상에 천이 한 시점으로부터 구간 (B)을 사용하여 표시전환처리를 실행한다. 이 경우의 재생 천이를 도 16의 하단 하부의 재생 천이 Y로 나타내고 있다. 이와 같이 함으로써 2D 재생구간의 선두 부분은 표시전환처리에 의해 올바르게 재생할 수 없으나, Side-by-Side 재생구간의 종단 부분은 올바르게 재생할 수 있다.

이와 같이 처리 우선도를 설치함으로써 재생장치에 콘텐츠 제작자의 의도를 반영시켜서 표시전환처리의 시각을 제어할 수 있다. 도 16의 예에서는 콘텐츠 제작자의 의도에서 2D 영상의 재생을 우선시키는 경우에는 처리 우선도를 「디스크립터 우선」으로 설정하고, Side-by-Side의 3D 영상의 재생을 우선시키는 경우에는 처리 우선도를 「비디오 우선」으로 설정하면 좋다. 또, 처리 우선도에 의해 표시전환처리를 하는 구간에는 블랙 스크린(black screen) 등 무의미한 영상을 저장하도록 해도 좋다. 그 구간은 도 16의 예에서는 처리 우선도가 「디스크립터 우선」의 경우의 갭 (A)이며, 처리 우선도가 「비디오 우선」의 경우의 (B) 구간이다. 이와 같이 함으로써 사용자가 콘텐츠를 즐길 수 없게 되는 구간을 발생시키지 않고 끝난다.

또, 프레임 팩킹정보 디스크립터에는 처리 우선도가 아니라, 도 17에 나타내는 것과 같이 표시전환개시시각을 설정하도록 해도 좋다. 이와 같이 구성함으로써 더 정확하게 표시처리의 개시시간을 제어할 수 있다.

이상이 본 실시형태에 관한 3D 영상을 저장하는 데이터 포맷의 변형 예의 설명이다.

(3D 영상을 2개의 비디오 스트림으로 구성하는 경우의 데이터 포맷)

다음에, 본 실시형태에 관한 3D 영상을 2개의 비디오 스트림으로 구성하는 경우의 데이터 포맷에 대하여 도면을 참조하면서 설명한다.

프레임 호환방식의 3D 영상을 예를 들어 설명하였으나, 도 18에 나타내는 것과 같이, 좌측 눈 영상과 우측 눈 영상을 다른 비디오 스트림으로서 1개의 트랜스포트 스트림에 저장하도록 하고, 2D 영상은 좌측 눈, 우측 눈의 어느 한쪽의 영상을 재생하며, 3D 영상은 좌측 눈, 우측 눈의 양쪽 모두를 재생한다고 하는 구성으로 해도 좋다.

도 19는 도 18의 구성에서의 좌측 눈/우측 눈 영상의 비디오 스트림의 프레임을 표시 순으로 배열한 도면이다. 도 19 상단과 같이, 2D 영상과 3D 영상의 재생구간이 존재하는 케이스에서 좌우의 영상 양쪽 모두에 2D 영상을 저장하면 3D 영상과 2D 영상의 심리스(seamless)한 접속을 실현할 수 있다. 그러나 이 경우에는 타방의 비디오프레임 열은 중복된 데이터가 된다. 가능한 한 고화질의 2D 영상을 실현하기 위해서는 도 19 하단과 같이 타방의 비디오프레임 열에만 2D 영상을 저장하고, 다른 일방의 비디오프레임 열에는 영상을 저장하지 않는 것이 바람직하다. 그쪽이 2D 영상의 부호화에 많은 비트 레이트를 확보할 수 있다.

그래서, 트랜스포트 스트림에 다중화되는 비디오 스트림의 2D 재생구간과 3D 재생구간을 판별할 수 있도록 도 20과 같이 3D 재생정보 디스크립터를 준비한다. 3D 재생정보 디스크립터는 PMT 패킷에 저장된다. 3D 재생정보 디스크립터에는 재생방식과 개시 PTS가 준비되어 있다. 재생방식은 2D 재생인가, 3D 재생인가를 나타내는 식별자이며, 개시 PTS는 해당 재생구간이 어느 프레임으로부터 시작되는가를 나타내기 위한 시각정보이다. 3D 재생정보 디스크립터 (A)는 PTS180000에서부터 3D 재생구간이 시작되는 것을 나타내고, 3D 재생정보 디스크립터 (B)는 PTS5580000에서부터 2D 재생구간이 시작되는 것을 나타내며, 3D 재생정보 디스크립터 (C)는 PTS10980000에서부터 3D 재생구간이 시작되는 것을 나타낸다. 3D 재생장치는 이 정보를 참조함으로써 어디가 3D 재생인가, 2D 재생인가를 판별할 수 있으므로, 2D 영상 재생구간에서는 좌측 눈 비디오프레임 열만을 디코드하여 표시를 실행할 수 있으며, 이 동안은 우측 눈 비디오프레임 열에 데이터를 저장하지 않아도 좋게 되어, 좌측 눈 비디오프레임 열의 부호화에 비트 레이트를 많이 확보할 수 있다.

또, 어느 쪽의 비디오 스트림을 2D 영상으로서 재생하는가를 나타내기 위하여 3D 재생정보 디스크립터에는 2D 영상으로서 재생을 실행하는 비디오의 PID를 지정할 수 있도록 해도 좋다. 여기서, 2D 영상으로서 재생을 실행하는 비디오 스트림을 베이스 비디오 스트림, 3D 영상으로서만 재생을 실행하는 비디오 스트림을 확장 비디오 스트림이라고 이하에서는 부르기로 한다. PID에서 지정하는 것이 아니라, 베이스 비디오는 통상의 스트림 타입을 사용하여 확장 비디오는 특수한 스트림 타입이 설정되는 것으로 해도 좋다.

또, 3D 재생정보 디스크립터는 베이스 비디오 스트림의 보충데이터나 확장영역에 저장되어 있어도 좋다. 재생장치에 의한 표시 전환의 준비를 미리 하기 위하여 해당의 2D 재생구간 (B)의 비디오 스트림이 아닌, 그 앞에 있는 3D 재생구간 (A)에 저장되어 있어도 좋다.

또, 도 20에서 확장 비디오가 존재하지 않는 2D 재생구간 (B)의 최종 비디오 프레임에는 비디오 프레임이 없어진다는 취지를 시그널링하는 정보가 저장되어 있어도 좋다. 예를 들어 EndOfSequence 등이다. 재생장치는 디코드시에 이 신호를 수신하면 그로부터 확장 비디오가 없어진다는 것을 알 수 있어서 2D 영상 재생으로 천이하는 것이 가능해진다.

또, 2D 재생구간에서는 베이스 비디오 스트림에 2D 영상을 저장하여 두고, 확장 비디오 스트림도 준비하여 두나, 2D 영상이 아닌, 예를 들어 블랙 스크린(black screen) 등 저 비트 레이트로 실현할 수 있으며, 또, 사용자에게 2D 재생을 촉구하는 메시지를 표시하는 영상을 저장해 두도록 해 두고, 3D 재생정보 디스크립터를 확장 비디오 스트림의 보충데이터나 확장영역에 저장되어 있도록 해도 좋다. 이 경우, 재생장치는 확장 비디오 스트림에 저장되는 3D 재생정보 디스크립터를 참조하여 2D 재생이라고 판별할 수 있는 경우에는 베이스 비디오 스트림만을 사용하여 2D 영상의 재생을 실행한다. 재생장치가 3D 재생정보 디스크립터를 처리할 수 없는 경우에는 사용자에게 2D 재생을 촉구하는 메시지가 표시되므로 사용자에게 2D 영상 재생처리를 촉구할 수 있다. 2D 재생구간에서의 확장 비디오의 비트 레이트는 낮아도 되므로 그만큼 베이스 비디오에 비트 레이트를 할당할 수 있다.

또, 3D 재생정보 디스크립터가 PMT 패킷에 저장되는 경우에는 해당 PMT 패킷의 재생장치로의 도착시각과 비디오 스트림의 표시시각에 갭이 있으므로, 이 갭에 있어서는 블랙 스크린과 같이 무의미한 영상을 저장해도 좋다. 이와 같이 함으로써 사용자가 콘텐츠를 즐길 수 없게 되는 구간을 발생시키지 않고 끝낸다.

또, 3D 재생정보 디스크립터의 재생방식이 2D인 경우에는 HDMI의 재인증을 피하기 위해 해당의 2D 재생구간에서 프레임을 복제하여 3D와 같은 포맷(프레임 레이트 등)이 되도록 2D의 프레임을 더블링(duplicate)하여 재생하도록 해도 좋다.

또, 도 18과 같은 2개의 비디오 스트림으로 3D 영상을 전송하는 방식인 경우에는 PMT 패킷의 디스크립터에는 어느 비디오 스트림과 쌍으로 3D 영상을 구성하는가를 나타내는 정보가 저장되어 있다. 예를 들어 도 18의 예에서는 좌측 눈 영상은 PID가 0x1011, 우측 눈 영상은 PID가 0x1015이며, 이 경우에는 그 디스크립터에는 좌측 눈 영상의 PID=0x1011이고, 우측 눈 영상의 PID=0x1015라는 정보가 기재된다. 또는, 해당 비디오 스트림에 대응하는 스트림 디스크립터에 반대 측의 뷰의 PID가 기재되어도 좋다. 예를 들어 도 18의 예에서는 좌측 눈 영상의 비디오 스트림에 대응하는 스트림 디스크립터에 우측 눈 영상 비디오 스트림의 PID로 0x1015가 저장되며, 우측 눈 영상의 비디오 스트림에 대응하는 스트림 디스크립터에 좌측 눈 영상 비디오 스트림의 PID로 0x1011가 저장된다. 또, 좌우의 쌍을 식별하는 디스크립터로는 각각의 비디오 스트림에 부가되는 디스크립터에 쌍이 되는 상대 측의 PID가 저장되어도 좋다. 또, 좌우의 쌍을 식별하는 디스크립터로는 MPEG-2 시스템 규격에 정의되는 계층적 디스크립터(hierarchy descriptor)를 사용해도 좋다. 이 경우에는 새로운 계층적 타입을 준비해도 좋다.

또, 도 18과 같은 2개의 비디오 스트림으로 3D 영상을 전송하는 방식인 경우에는 3D 재생에서의 빨리 감기 등의 특수 재생의 효율화를 위해 픽처 타입을 도 21 하단과 같이 제약해도 좋다. 베이스 비디오 스트림의 비디오 액세스유닛이 I 픽처이면 동일 PTS를 갖는 확장 비디오 스트림의 비디오 액세스유닛도 I 픽처로 구성한다. 베이스 비디오 스트림의 비디오 액세스유닛이 P 픽처이면 동일 PTS를 갖는 확장 비디오 스트림의 비디오 액세스유닛도 P 픽처로 구성한다. 도 21 상단은 그 제약을 하고 있지 않은 경우이나, 이 경우에는 I 픽처와 P 픽처를 선택하여 특수 재생을 실행하는 재생장치에서는 베이스 비디오의 비디오 액세스유닛이 P 픽처(P3)인 경우에 동일 시각의 확장 비디오의 비디오 액세스유닛은 B픽처(B3)이므로, 이 경우 확장 비디오는 앞에 존재하는 P 픽처(P2)까지 디코드하지 않으면 안 되어서 부하가 커진다. 도 21의 하단과 같이 제약함으로써 해당 시각의 픽처만을 디코드하면 좋으므로 처리 부하가 도 21의 상단과 비교하여 작아도 된다.

또, 도 18과 같은 2개의 비디오 스트림으로 3D 영상을 전송하는 방식인 경우에는 2개의 스트림에서의 프레임 레이트, 해상도, 애스팩트 비 등의 속성은 동일하게 하도록 제약해도 좋다. 이와 같이 구성함으로써 한쪽의 속성정보만을 해석하면 좋으므로 처리가 편해진다.

또, 도 18과 같은 2개의 비디오 스트림으로 3D 영상을 전송하는 방식인 경우에는 도 22와 같이 다중화의 제약을 추가해도 좋다. 이 경우, 도 22에서 B#NStart는 GOP#N 선두의 베이스 비디오의 TS 패킷이고, E#NStart는 GOP#N 선두의 확장 비디오의 TS 패킷이며, B#N+1 Start는 GOP#N+1 선두의 베이스 비디오의 TS 패킷이며, E#NEnd는 GOP#N 종단의 확장 비디오의 TS 패킷이다. 이 경우, 도 22 상단과 같은 구성인 경우에는 베이스 비디오 단위로 인터럽트 재생을 실행하기 위해 B#NStart에서부터 인터럽트 재생을 하려고 해도 대응하는 확장 비디오의 패킷을 읽어들일 수 없다. 또, 베이스 비디오의 GOP 단위로 편집을 실행하는 경우에도 베이스뷰의 GOP의 범위에 동일 시각의 확장 비디오가 들어가지 않는다. 이 경우, 재생장치나 편집 장치는 베이스 비디오만이 아니라 확장 비디오의 GOP 구성도 체크 할 필요가 있어서 처리부하가 크다. 그래서, 도 22 하단과 같이, GOP#N 선두의 베이스 비디오의 TS 패킷은 GOP#N 선두의 확장 비디오의 TS 패킷보다 앞에 오도록 구성하고, GOP#N+1 선두의 베이스 비디오의 TS 패킷은 GOP#N 종단의 확장 비디오의 TS 패킷보다 뒤에 오도록 구성한다. 이와 같이 함으로써 인터럽트 재생이나 편집을 베이스 비디오 단위로 실행할 수 있다.

또, 도 18의 구성에서는 확장 비디오는 좌측 눈 또는, 우측 눈 영상을 나타내는 것으로 하였으나, 2D 영상의 깊이를 영상화한 깊이 맵이라도 좋다. 깊이 맵인 경우에는 3D의 재생방식을 디스크립터에서 지정할 수 있어도 좋다.

(데이터 작성장치)

다음에, 본 실시형태에 관한 데이터 작성장치 및 데이터 작성방법에 대해서 도 23을 참조하면서 설명한다.

데이터 작성장치는 비디오 인코더(2301), 다중화 처리부(2302), 데이터 저장방법 결정부(2303)로 구성되어 있다.

데이터 저장방법 결정부(2303)는 작성하는 트랜스포트 스트림의 데이터 포맷을 지정한다. 예를 들어 도 14의 예에 나타내는 영상포맷인 경우에는 PTS180000에서 5580000까지는 Side-by-Side 재생구간, PTS5580000에서 10980000까지는 2D 재생구간, PTS10980000 이후까지는 TopBottom 재생구간으로 지정한다. 이 재생방식의 정보와 시각정보 및 프레임 팩킹정보 저장타입을 비디오 인코더(2301)에 지정한다.

비디오 인코더(2301)는 좌측 눈 영상의 비 압축의 비트 맵 등의 화상이미지와 우측 눈 영상의 비 압축의 비트 맵 등의 화상이미지로부터 MPEG4-AVC나 MPEG2 등의 압축방식에 따라서, 데이터 저장방법 결정부(2303)의 지정에 따라서 부호화를 실행한다. 데이터 저장방법 결정부(2303)가 「Side-by-Side 방식의 3D 영상」이라고 지정하는 경우에는 풀 HD의 좌측 눈 영상의 화상이미지와 풀 HD의 우측 눈 영상의 화상이미지를 각각 하프 HD에 다운 컨버트하여 각각의 이미지를 좌우에 1 프레임으로 Side-by-Side 방식으로 저장한 후 압축 부호화를 실행한다. 데이터 저장방법 결정부(2303)가 「2D 영상」으로 지정하는 경우에는 풀 HD의 2D 영상의 화상이미지 압축 부호화를 실행한다. 데이터 저장방법 결정부(2303)가 「TopBottom 방식의 3D 영상」으로 지정하는 경우에는 풀 HD의 좌측 눈 영상의 화상이미지와 풀 HD의 우측 눈 영상의 화상이미지를 각각 하프 HD에 다운 컨버트하여 각각의 이미지를 상하에 1 프레임으로 Side-by-Side 방식으로 저장한 후 압축 부호화를 실행한다. 그리고 본 실시형태에서 설명한 영상포맷에 따라서 각 방식에 따른 프레임 팩킹정보를 보충데이터에 저장한다. 저장방법은 데이터 저장방법 결정부(2303)에서 지정되는 프레임 팩킹정보 저장타입에 따른다. 압축한 영상 스트림은 비디오 스트림으로서 출력된다.

다중화 처리부(1702)는 비디오 인코더(2301)로부터 출력된 비디오 스트림이나, 오디오, 자막 등의 스트림과 함께 데이터 저장방법 결정부(2303)의 지시에 따라서 다중화를 실행하여, 트랜스포트 스트림을 작성해서 출력한다. 데이터 저장방법 결정부(1703)가 「Side-by-Side 방식의 3D 영상」으로 지정하는 경우에는 트랜스포트 스트림으로의 다중화를 실행하는 동시에, 본 실시형태에서 설명한 영상포맷에 따라서 PMT 패킷에 「프레임 팩킹정보 디스크립터」를 저장하여 트랜스포트 스트림을 출력한다.

이상이 본 실시형태에 관한 데이터 작성장치 및 데이터 작성방법이다.

(실시형태 2)

실시형태 2로 상술한 디스크립터의 구체적인 형태에 대하여 설명한다.

3D프로그램의 방송은 복수의 비디오 스트림을 1개의 트랜스포트 스트림으로 다중화하여, 방송국이 이와 같은 트랜스포트 스트림을 각 세대의 텔레비전 표시장치에 공급함으로써 이루어진다. 이때, 트랜스포트 스트림이 저장하는 비디오 스트림의 조합에는 다양한 패턴이 존재한다. 본 실시형태에 관한 디스크립터는 이와 같은 다양한 스트림 구성에 대하여 2D 재생, 3D 재생의 호환 재생 및 심리스한 2D 재생, 3D 재생의 전환의 실현을 가능하게 하는 것이다.

도 25는 2D 재생 및 3D 재생시의 좌측 눈 용(L) 영상으로서 이용되는 비디오에 더하여, 우측 눈 용(R) 영상의 비디오를 저장하는 트랜스포트 스트림 구성(2D/L + R)을 나타내는 도면이다. 본 도면에 나타내는 예에서 트랜스포트 스트림은 2D 재생 및 3D 재생시의 좌측 눈 용 영상으로 이용되는 비디오 스트림(베이스 비디오 스트림) 및 우측 눈 용의 비디오 스트림(확장 비디오 스트림 ＃1)을 저장하고 있다.

베이스 비디오 스트림, 확장 비디오 스트림은 각각 PMT에 고유의 스트림 타입이 정의된다. 또, 베이스 비디오 스트림은 MPEG-2에 의해 동화상 압축 부호화되고, 확장 비디오 스트림은 AVC에 의해 동화상 압축 부호화되어 있다.

2D 텔레비전, 또는 3D 텔레비전의 2D 모드에서는 2D/L의 비디오 스트림을 이용하여 2D 재생을 실행한다. 또한, 3D 텔레비전의 3D 모드에서는 2D/L의 비디오 스트림 및 R의 비디오 스트림을 이용하여 3D 재생을 실행한다.

상기의 2D/L + R의 스트림 구성 외에, 2D의 비디오와는 별도로 좌측 눈 용(L)의 비디오 및 우측 눈 용(R)의 비디오를 2개 저장하는 트랜스포트 스트림의 구성(2D + L + R)이 있다.

도 26은 2D + L + R의 트랜스포트 스트림의 스트림 구성을 나타내는 도면이다. 본 도면에 나타내는 예에서 트랜스포트 스트림은 2D의 비디오 스트림(베이스 비디오 스트림), 좌측 눈 용의 비디오 스트림(확장 비디오 스트림 ＃1) 및 우측 눈 용의 비디오 스트림(확장 비디오 스트림 ＃2)을 저장하고 있다. 베이스 비디오 스트림은 MPEG-2에 의해 동화상 압축 부호화되고, 확장 비디오 스트림은 AVC에 의해 동화상 압축 부호화되어 있다.

2D 텔레비전, 또는 3D 텔레비전의 2D 모드에서는 2D의 비디오 스트림을 이용하여 2D 재생을 실행한다. 한편, 3D 텔레비전의 3D 모드에서는 좌측 눈 용의 비디오 스트림 및 우측 눈 용의 비디오 스트림을 이용하여 3D 재생을 실행한다.

이와 같이, 재생장치가 수신하는 트랜스포트 스트림에는 다양한 스트림 구성이 생각된다. 이러한 상황 하에서 재생장치가 2D 영상, 3D 영상을 구성하는 비디오 스트림을 특정하여, 2D 재생, 3D 재생의 호환 재생 및 심리스한 2D 재생, 3D 재생의 전환의 실현을 가능하게 하기 위해 본 실시형태에서는 이하에 나타내는 디스크립터를 트랜스포트 스트림에 저장한다.

이 디스크립터에는 3D 방식을 통지하는 3D_system_info_descriptor, 3D 재생을 실현하기 위한 보충정보인 3D_service_info_descriptor, 2D 재생, 3D 재생에 이용하는 비디오 스트림의 대응관계를 나타내는 3D_combi_info_descriptor가 있다.

이하에서는 상기의 3개의 디스크립터의 구체적 내용에 대하여 설명한다. 먼저, 3D_system_info_descriptor에 대하여 설명한다.

3D_system_info_descriptor는 PMT 패킷 내의 프로그램정보 길이(program_info_length) 필드에 이어지는 기술자 필드(프로그램 루프)에 저장된다. 즉, 도 10에서 디스크립터 ＃1 ~ ＃N에 저장된다.

3D_system_info_descriptor는 트랜스포트 스트림이 제공하는 3D 방식을 나타낸다. 구체적으로는, 2D 재생, 프레임 호환방식에 의한 3D 재생, 또는 서비스 호환방식에 의한 3D 재생의 어느 하나의 재생방식을 나타낸다. 또, 3D_system_info_descriptor는 프레임 호환방식에 의한 3D 재생, 또는 서비스 호환방식에 의한 3D 재생인 경우에 있어서 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되어 있는가 여부를 나타낸다.

도 27은 3D_system_info_descriptor의 구조를 나타내는 도면이다.

3D_playback_type은 트랜스포트 스트림이 제공하는 재생방식을 나타내는 식별자이다. 도 28은 3D_playback_type에 설정되는 값을 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 값이 0인 경우에는 본 트랜스포트 스트림에 의해 2D 재생이 제공되는 것을 나타내고, 값이 01인 경우에는 프레임 호환방식에 의한 3D 재생이 제공되는 것을 나타내며, 값이 10인 경우에는 서비스 호환방식에 의한 3D 재생이 제공되는 것을 나타낸다. 2D + L + R이나 2D/L + R의 스트림 구성인 경우에는 10의 값이 설정된다.

이와 같이 재생장치는 3D_playback_type을 참조함으로써 트랜스포트 스트림이 제공하는 재생방식을 식별할 수 있다.

2D_independent_flag는 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되어 있는가 여부를 나타내는 식별자이다. 값이 0인 경우에는 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되고 있는 것을 나타낸다. 값이 1인 경우에는 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 독립하여 존재하는 것을 나타낸다. 2D/L + R의 스트림 구성인 경우에는 0의 값이 설정된다. 2D + L + R의 스트림 구성인 경우에는 1의 값이 설정된다.

이와 같이, 재생장치는 2D_independent_flag를 참조함으로써 프레임 호환방식에 의한 3D 재생, 또는 서비스 호환방식에 의한 3D 재생인 경우(3D_playback_type로 설정되는 값이 01, 또는 10의 경우)에 있어서 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되고 있는가를 식별할 수 있다.

2D_view_flag는 3D를 구성하는 비디오 스트림 중 어느 쪽을 2D 재생에 이용하는가를 나타내는 식별자이다. 3D를 구성하는 비디오 스트림이 프레임 호환방식인 경우, 2D_view_flag는 좌측 눈 용 화상, 우측 눈 용 화상의 어느 쪽을 2D 재생에 이용하는가를 나타낸다. 3D를 구성하는 비디오 스트림이 서비스 호환방식의 경우, 2D_view_flag는 베이스 비디오 스트림, 확장 비디오 스트림의 어느 쪽을 2D 재생에 이용하는가를 나타낸다.

이상이 3D_system_info_descriptor에 대한 설명이다. 이어서, 3D_service_ info_descriptor에 대하여 설명한다.

3D_service_info_descriptor는 PMT 패킷 내의 ES 정보 길이(ES_info_length) 필드에 이어지는 기술자 필드(ES루프)에 저장된다. 즉, 도 10에서 스트림 디스크립터 ＃1 ~ ＃N에 저장된다.

3D_service_info_descriptor는 3D 재생을 실현하기 위한 보충정보를 나타낸다. 구체적으로는 비디오 스트림이 좌측 눈 용의 비디오인가 우측 눈 용의 비디오인가를 나타낸다. 단, 2D 재생에서만 이용되는 비디오 스트림에 대해서는 3D_service_info_descriptor를 저장하지 않는다. 3D 재생에 이용되지 않는 비디오 스트림이기 때문이다.

도 29는 3D_service_info_descriptor의 구조를 나타내는 도면이다.

is_base_video는 비디오 스트림이 베이스 비디오 스트림인가, 확장 비디오 스트림인가를 나타내는 식별자이다. 값이 1인 경우에는 비디오 스트림이 베이스 비디오 스트림인 것을 나타낸다. 값이 0인 경우에는 비디오 스트림이 확장 비디오 스트림인 것을 나타낸다.

leftview_flag는 비디오 스트림이 좌측 눈 영상인가, 우측 눈 영상인가를 나타내는 식별자이다. 값이 1인 경우에는 비디오 스트림이 좌측 눈 영상인 것을 나타낸다. 값이 0인 경우에는 비디오 스트림이 우측 눈 영상인 것을 나타낸다.

재생장치는 이 플래그를 참조함으로써 3D 영상으로서 텔레비전에 표시하는 경우에 비디오 스트림을 좌측 눈·우측 눈의 어느 쪽의 시점 영상으로서 출력하는가를 식별할 수 있다. 또, leftview_flag는 비디오 스트림이 베이스 비디오 스트림인 경우와 확장 비디오 스트림인 경우의 양쪽 모두에 설치된다.

이상이 3D_service_info_descriptor에 대한 설명이다. 이어서 3D_combi_info_descriptor에 대하여 설명한다.

3D_combi_info_descriptor는 PMT 패킷 내의 프로그램정보 길이(program_info_length) 필드에 이어지는 기술자 필드(프로그램 루프)에 저장된다. 즉, 도 10에서 디스크립터 ＃1 ~ ＃N에 저장된다.

3D_combi_info_descriptor는 2D 재생, 3D 재생에 이용하는 비디오 스트림의 대응관계를 나타낸다. 구체적으로는 트랜스포트 스트림을 구성하는 비디오 스트림의 PID를 나타낸다.

도 30은 3D_combi_info_descriptor의 구조를 나타내는 도면이다.

2D_view_PID/tag는 2D 재생에 이용되는 비디오 스트림의 PID를 나타낸다.

Left_view_PID/tag는 좌측 눈 용 영상의 비디오 스트림의 PID를 나타낸다.

Right_view_PID/tag는 우측 눈 용 영상의 비디오 스트림의 PID를 나타낸다.

재생장치는 이와 같은 디스크립터를 참조함으로써 3D 재생에 이용하는 비디오 스트림의 쌍 및 2D 재생에 이용되는 비디오 스트림을 특정할 수 있다. 2D 모드/3D 모드의 각각에서 다중 분리에 사용할 패킷 식별자가 1개의 디스크립터에 기재되어 있으므로, 2D 모드와 3D 모드의 사이에서의 다중분리 대상의 전환을 고속으로 할 수 있으며, 심리스한 2D, 3D 재생의 전환이 가능해진다.

이상이 2D + L + R나 2D/L + R의 스트림 구성에서의 디스크립터의 설명이다.

이어서, 2D의 비디오에 더하여, Side-by-Side 방식의 비디오를 저장하는 트랜스 스트림 구성(2D + Side-by-Side)에서의 디스크립터의 내용에 대하여 설명한다.

도 31은 2D + Side-by-Side의 트랜스포트 스트림의 스트림의 구성을 나타내는 도면이다. 본 도면에 나타내는 예에서 트랜스포트 스트림은 2D의 비디오 스트림(베이스 비디오 스트림) 및 Side-by-Side 방식의 비디오 스트림(확장 비디오 스트림 ＃1)을 저장하고 있다. 베이스 비디오 스트림은 MPEG-2에 의해 동화상 압축 부호화되고, 확장 비디오 스트림은 AVC에 의해 동화상 압축 부호화되어 있다.

상기 트랜스포트 스트림에는 2D + L + R의 스트림 구성의 경우와 마찬가지로 3D 방식을 통지하는 3D_system_info_descriptor, 3D 재생을 실현하기 위한 보충정보인 3D_service_info_descriptor, 2D 재생, 3D 재생에 이용하는 비디오 스트림의 대응관계를 나타내는 3D_combi_info_descriptor가 저장되어 있다.

이들 디스크립터를 참조하여 2D 텔레비전 또는 3D 텔레비전의 2D 모드에서는 2D의 베이스 비디오 스트림을 이용하여 2D 재생을 실행한다. 한편, 3D 텔레비전의 3D 모드에서는 Side-by-Side 방식의 확장 비디오 스트림 ＃1을 이용하여 3D 재생을 실행한다.

3D_system_info_descriptor는 도 27에 나타내는 2D + L + R의 스트림 구성의 경우와 동일한 구조이며 설명을 생략한다. 재생장치는 이 디스크립터를 참조함으로써 트랜스포트 스트림이 제공하는 재생방식을 식별할 수 있다.

도 32는 3D_service_info_descriptor의 구조를 나타내는 도면이다. 도 29에 나타내는 2D + L + R의 스트림 구성에서의 디스크립터에 더하여, frame_packing_arrangement_type이 설치되어 있다.

frame_packing_arrangement_type는 비디오 스트림이 Side-by-Side 방식인가 여부를 나타내는 식별자이다. 값이 1인 경우에는 비디오 스트림이 Side-by-Side 방식이라는 것을 나타낸다. 값이 0인 경우에는 TopBottom 방식이라는 것을 나타낸다.

재생장치는 이 식별자를 참조함으로써 확장 비디오 스트림이 Side-by-Side 방식인가 여부를 식별할 수 있으며, 저장방식에 대응한 3D 재생을 실행할 수 있다.

또, 상기의 설명에서는 Side-by-Side 방식인 경우와 TopBottom 방식인 경우에서의 frame_packing_arrangement_type의 값을 설정하였으나, 그 외에 좌측 눈 용 영상을 홀수 라인에, 우측 눈 용 영상을 짝수 라인에 인터리브하여 배치하는 라인 바이 라인 방식, 좌우의 영상을 합성하여 1 프레임 중에 체크무늬와 같이 상하 좌우 교대로 영상을 저장하는 체커보드 방식(Checkerboard format)에서의 값을 frame_packing_arrangement_type에 설정해도 좋다.

또, 2D 재생에만 이용되는 비디오 스트림은 3D 재생에 이용되지 않으므로 3D_service_info_descriptor를 저장하지 않는다.

도 33은 3D_combi_info_descriptor의 구조를 나타내는 도면이다.

2D_view_PID/tag는 2D 재생에 이용되는 비디오 스트림의 PID를 나타낸다.

Frame_compatible_3D_PID/tag는 프레임 호환방식의 비디오 스트림의 PID를 나타낸다.

재생장치는 이와 같은 디스크립터를 참조함으로써 3D 재생에 이용하는 프레임 호환방식의 비디오 스트림 및 2D 재생에 이용되는 비디오 스트림을 특정할 수 있다. 이에 의해 심리스한 2D, 3D 재생의 전환이 가능해진다.

이상이 2D + Side-by-Side의 스트림 구성에서의 디스크립터의 설명이다.

이어서, 2D 재생에만 이용되는 비디오에 더하여, MVC에 의해 압축 부호화된 2개의 비디오(베이스 뷰 비디오 스트림, 디펜던트 뷰 스트림)를 저장하는 트랜스포트 스트림 구성(2D + MVC)에서의 디스크립터의 내용에 대하여 설명한다.

도 34는 2D + MVC의 트랜스포트 스트림의 구성을 나타내는 도면이다. 본 도면에 나타내는 예에서, 트랜스포트 스트림은 2D의 비디오 스트림(베이스 비디오 스트림), MVC의 베이스 뷰 스트림(확장 비디오＃1) 및 MVC의 디펜던트 뷰 스트림(확장 비디오＃2)을 저장하고 있다. 베이스 비디오 스트림은 MPEG-2에 의해 동화상 압축 부호화되고, 확장 비디오 스트림 ＃1, 확장 비디오 스트림 ＃2는 MVC에 의해 동화상 압축 부호화되어 있다.

상기 트랜스포트 스트림에는 2D + L + R의 스트림 구성의 경우와 마찬가지로 3D 방식을 통지하는 3D_system_info_descriptor, 3D 재생을 실현하기 위한 보충정보인 3D_service_info_descriptor, 2D 재생, 3D 재생에 이용하는 비디오 스트림의 대응관계를 나타내는 3D_combi_info_descriptor가 저장되어 있다.

텔레비전 등의 재생장치는 이와 같은 디스크립터를 참조하고, 2D 텔레비전, 또는 3D 텔레비전의 2D 모드에서는 2D의 베이스 비디오 스트림을 이용하여 2D 재생을 실행한다. 한편, 3D 텔레비전의 3D 모드에서는 MVC에 의해 압축 부호화된 확장 비디오 스트림 ＃1, 확장 비디오 스트림 ＃2를 이용하여 3D 재생을 실행한다.

3D_system_info_descriptor, 3D_service_info_descriptor는 도 27, 도 29에 나타내는 2D + L + R의 스트림 구성의 경우와 같은 구조이며 설명을 생략한다. 또, 2D + L + R의 스트림 구성의 경우와 동일하게 2D 재생에서만 이용되는 비디오 스트림에 대해서는 3D_service_info_descriptor를 저장하지 않는다.

도 35는 3D_combi_info_descriptor의 구조를 나타내는 도면이다.

2D_view_PID/tag는 2D 재생에 이용되는 비디오 스트림의 PID를 나타낸다.

MVC_base_view_PID/tag는 MVC의 베이스 뷰 스트림의 PID를 나타낸다.

MVC_dept_view_PID/tag는 MVC의 디펜던트 뷰 스트림의 PID를 나타낸다.

재생장치는 이와 같은 디스크립터를 참조함으로써 3D 재생에 이용하는 MVC의 비디오 스트림의 쌍 및 2D 재생에 이용되는 비디오 스트림을 특정할 수 있다. 이에 의해 심리스한 2D, 3D 재생의 전환이 가능해진다.

이상이 2D + MVC의 스트림 구성에서의 디스크립터의 설명이다.

이어서, 2D 재생 및 3D 재생시의 L영상으로서 이용되는 비디오에 더하여, 복수 시점의 R영상의 비디오를 저장하는 트랜스포트 스트림 구성(2D + R1 + R2)에서의 디스크립터의 내용에 대하여 설명한다.

도 36은 2D + R1 + R2의 트랜스포트 스트림의 스트림 구성을 나타내는 도면이다. 본 도면에 나타내는 예에서 트랜스포트 스트림은 2D 재생 및 3D 재생시의 L영상으로 이용되는 비디오 스트림(베이스 비디오 스트림), 제 1 R영상의 비디오 스트림(확장 비디오 스트림 ＃1) 및 제 2 R영상의 비디오 스트림을 저장하고 있다. 베이스 비디오 스트림은 MPEG-2에 의해 동화상 압축 부호화되고, 확장 비디오 스트림 ＃1 및 확장 비디오 스트림 ＃2는 AVC에 의해 동화상 압축 부호화되어 있다.

상기 트랜스포트 스트림에는 3D 방식을 통지하는 3D_system_info_ descriptor, 3D 재생을 실현하기 위한 보충정보인 3D_service_info_descriptor, 2D 재생, 3D 재생에 이용하는 비디오 스트림의 대응관계를 나타내는 3D_combi_ info_descriptor가 저장되어 있다.

텔레비전 등의 재생장치는 이와 같은 디스크립터를 참조하고, 2D 텔레비전, 또는 3D 텔레비전의 2D 모드에서는 베이스 비디오 스트림을 이용하여 2D 재생을 실행한다. 한편, 3D 텔레비전의 3D 모드에서는 베이스 비디오 스트림과 확장 비디오 스트림 ＃1, 또는 베이스 비디오 스트림과 확장 비디오 스트림 ＃2를 이용하여 3D 재생을 실행한다.

도 37은 3D_system_info_descriptor의 구조를 나타내는 도면이다. 도 29에 나타내는 2D + L + R의 스트림 구성에서의 디스크립터에서 2D_independent_flag 대신에 camera_assingment_type이 설치되어 있다.

camera_assingment_type는 트랜스포트 스트림에 저장되는 비디오 스트림에 대한 카메라의 배치타입을 나타내는 식별자이다. 값이 1인 경우에는 트랜스포트 스트림이 센터(C)의 카메라 시점의 비디오 스트림으로 구성되는 것을 나타낸다. 값이 2인 경우에는 트랜스포트 스트림이 좌측 시점(L)과 우측 시점(R)의 카메라 시점의 비디오 스트림으로 구성되는 것을 나타낸다. 값이 3인 경우에는 트랜스포트 스트림이 센터(C), 좌측 시점(L) 및 우측 시점(R)의 카메라 시점의 비디오 스트림으로 구성되는 것을 나타낸다. 값이 4인 경우에는 트랜스포트 스트림이 좌측 시점(L), 제 1 우측 시점(R1) 및 제 2 우측 시점(R2)의 카메라 시점의 비디오 스트림으로 구성되는 것을 나타낸다.

재생장치는 이 식별자를 참조함으로써 트랜스포트 스트림을 구성하는 비디오 스트림의 카메라의 할당을 식별할 수 있다.

도 38은 3D_service_info_descriptor의 구조를 나타내는 도면이다. 도 31에 나타내는 2D + L + R의 스트림 구성에서의 디스크립터에서 camera_assingment가 새로 설치되어 있다.

camera_assingment는 비디오 스트림의 좌측 눈, 센터, 우측 눈이라고 하는 카메라의 위치정보를 나타내는 식별자이다.

재생장치는 이 식별자를 참조함으로써 비디오 스트림에 대응하는 카메라 배치를 식별할 수 있다.

도 39는 3D_combi_info_descriptor의 구조를 나타내는 도면이다.

2D_view_PID/tag는 2D 재생 및 3D 재생시의 L영상으로 이용되는 비디오 스트림의 PID를 나타낸다.

Right1_view_PID/tag는 제 1 R영상의 비디오 스트림의 PID를 나타낸다.

Right2_view_PID/tag는 제 2 R영상의 비디오 스트림의 PID를 나타낸다.

재생장치는 이와 같은 디스크립터를 참조함으로써 2D 재생 및 3D 재생시의 L영상으로 이용되는 비디오 스트림, 복수의 R시점의 비디오 스트림을 특정할 수 있다. 이에 의해 심리스한 2D, 3D 재생의 전환이 가능해진다.

이상이 2D + R1 + R2의 스트림 구성에서의 디스크립터의 설명이다.

이상 트랜스포트 스트림의 구성의 패턴을 설명하였으나, 상술의 디스크립터를 트랜스포트 스트림에 저장함으로써 트랜스포트 스트림에서 다양한 스트림 구성이 가능해진다. 재생장치는 디스크립터를 참조함으로써 트랜스포트 스트림의 스트림 구성을 특정하여 2D 재생, 3D 재생의 심리스한 전환처리가 가능해진다.

또, 상술의 트랜스포트 스트림의 구성 패턴에서는 AVC에 의해 압축 부호화한 확장 비디오 스트림을 저장하는 경우를 설명하였으나, 이에 한정되지는 않는다. AVC 이외의 동화상 압축 부호화기술에 의해 압축 부호화한 확장 비디오 스트림을 저장해도 좋다. 예를 들어 차세대의 동화상 압축 부호화기술인 H.265에 의해 확장 비디오 스트림을 압축 부호화해도 좋다.

또, 상기에서는 3D_combi_info_descriptor에 3D 영상을 구성하는 비디오 스트림을 나타내는 정보를 저장하였으나, L 및 R의 비디오 스트림에 대응하는 스트림 디스크립터에 3D 재생에서 조합의 상대 측이 되는 시점의 비디오 스트림의 PID를 기재해도 좋다.

또, 베이스 스트림과 확장 스트림에 클로즈드 캡션(Closed Caption)의 자막 데이터가 포함되는 경우, 2D 재생 또는 3D 재생에서 어느 쪽 데이터를 사용하는가를 나타내는 식별자를 트랜스포트 스트림의 PMT에 저장해도 좋다.

재생장치는 이 식별자를 참조함으로써 2D 재생 또는 3D 재생에서 이용할 자막 방송의 데이터를 식별할 수 있다.

또, 3D_system_info_descriptor, 3D_service_info_descriptor, 3D_combi_ info_descriptor는 PMT 패킷 내에 저장되는 것으로 하였으나, 저장위치는 이에 한정되지 않는다. 트랜스포트 스트림의 어느 한 영역에 저장되어 있으면 좋다. 예를 들어 PMT 패킷 이외의 각 비디오 스트림의 보충데이터 등에 저장되어도 좋다.

또, 상기에서는 3D_combi_info_descriptor에 비디오 스트림의 PID를 설정함으로써 2D 재생에 이용되는 비디오 스트림, 3D 재생에 이용되는 비디오 스트림을 특정하였으나, 이에 한정되지 않는다. 3D_combi_info_descriptor에는 다중화되는 비디오 스트림을 특정할 수 있는 정보가 포함되어 있으면 좋다.

예를 들어 MPEG-2 시스템 규격에 정의되는 계층적 디스크립터를 설정함으로써 각 비디오 스트림을 특정해도 좋다. 구체적으로는, hierarchy_descriptor에 새로운 hierarchy_type을 정의하고, 3D_combi_info_descriptor부터는 hierarchy_layer_index를 사용하여 비디오 스트림을 지정함으로써 3D 재생에 이용하는 비디오 스트림의 쌍 및 2D 재생에 이용되는 비디오 스트림의 각 비디오 스트림을 특정한다.

다음에, 본 실시형태에 관한 트랜스포트 스트림의 데이터 작성장치에 대하여 설명한다.

도 40은 본 실시형태에 관한 데이터 작성장치(4000)의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 데이터 작성장치(4000)는 비디오 인코더(4001), 다중화 처리부(4002), 데이터 저장방법 결정부(4003), 사용자 인터페이스부(4004)를 포함하여 구성된다.

사용자 인터페이스부(4004)는 데이터 작성자에 대해 키보드, 마우스, 그 외의 컨트롤러 등을 이용한 데이터 입력을 제공한다. 데이터 작성자는 사용자 인터페이스부(4004)를 이용하여 작성하는 트랜스포트 스트림의 스트림 구성패턴이나 압축 부호화방식을 지정한다.

데이터 저장방법 결정부(4003)는 사용자 인터페이스부(4004)에 의한 사용자 지정에 따라서 트랜스포트 스트림의 스트림 구성이나 비디오 스트림의 압축 부호화방식을 결정한다.

비디오 인코더(4001)는 3D 영상의 원 화상(original image)을 MPEG-2, AVC, MVC, H.265 등의 압축 부호화방식에 의해 동화상 압축 부호화함으로써 데이터 저장방법 결정부(4003)에 지정된 비디오 스트림을 작성한다.

다중화 처리부(4002)는 데이터 저장방법 결정부(3903)의 지시에 따라서, 작성하는 트랜스포트 스트림의 스트림 구조에 따른 3D_system_info_descriptor, 3D_service_info_descriptor, 3D_combi_info_descriptor의 각 디스크립터를 작성한다. 그리고 비디오 인코더(4001)에서 출력된 비디오 스트림, 오디오, 자막 등의 스트림과 함께 각 디스크립터를 데이터 저장방법 결정부(4003)의 지시에 따라서 다중화함으로써 트랜스포트 스트림을 작성한다.

작성한 트랜스포트 스트림은 외부의 기록매체에 기록한다. 또, 외부의 송신부에 의해 방송 또는 네트워크를 경유하여 데이터를 송신한다

이상이 데이터 작성장치의 구성에 대한 설명이다. 이어서, 이 데이터 작성장치의 동작에 대하여 설명한다.

도 41은 데이터 작성장치(4000)의 부호화처리의 흐름을 나타내는 플로차트이다.

먼저, 데이터 저장방법 결정부(4003)는 트랜스포트 스트림을 구성하는 비디오 스트림의 패턴을 결정한다(스텝 S4101). 구체적으로는 트랜스포트 스트림의 스트림 구성 및 트랜스포트 스트림에 저장하는 비디오 스트림의 압축 부호화방식을 결정한다. 여기에서는 도 25, 도 26, 도 31, 도 34, 도 37에 나타낸 스트림 구성의 패턴이 생각되나, Side-by-Side의 비디오 스트림만을 저장하는 스트림 구성(2D/SBS)이나, 그 외의 스트림 구성이라도 좋다.

다음에, 비디오 인코더(4001)는 3D 원화(image)를 압축 부호화하여 비디오 스트림을 작성한다(스텝 S4102). 이때, 비디오 인코더(4001)는 데이터 저장방법 결정부(4003)에 의한 트랜스포트 스트림의 스트림 구성 및 트랜스포트 스트림에 저장하는 비디오 스트림의 압축 부호화방식의 지정에 의거하여 압축 부호화방식을 결정하여 3D 영상 원화의 압축 부호화를 실행한다.

다음에, 다중화 처리부(4002)는 데이터 저장방법 결정부(4003)가 지정하는 트랜스포트 스트림의 스트림 구성에 의거하여 비디오 스트림을 각 프레임에 저장한다(스텝 S4103).

다음에, 다중화 처리부(4002)는 3D_system_info_descriptor, 3D_service_info_descriptor, 3D_combi_info_descriptor의 각 디스크립터를 작성하여 트랜스포트 스트림의 PMT 내에 저장한다(스텝 S4104). 이때, 다중화 처리부(4002)는 데이터 저장방법 결정부(4003)가 지정하는 트랜스포트 스트림의 스트림 구성에 의거하여 각 디스크립터를 작성한다.

이상이 데이터 작성장치(4000)의 동작에 대한 설명이다.

다음에, 본 실시형태에 관한 트랜스포트 스트림의 재생장치인 3D 디지털 텔레비전에 대하여 설명한다.

도 42는 본 실시형태에 관한 3D 디지털 텔레비전(4200)의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 3D 디지털 텔레비전(4200)은 튜너(4201), NIC(4202), 사용자 인터페이스부(4203), 모드 기억부(4204), 다중 분리부(4205), 표시 판정부(4206), 영상 디코드부(4207), 프레임 버퍼(1)(4208), 표시처리부(4209), 프레임 버퍼(L)(4110), 프레임 버퍼(R)(4112), 스위치(4111), 표시부(4113)를 포함하여 구성된다.

튜너(4201)는 디지털 방송파의 트랜스포트 스트림을 수신하고, 수신한 신호를 복조하는 기능을 가지고 있다.

네트워크 인터페이스 카드(NIC)(4202)는 IP 네트워크와 접속되어 있으며, 외부로부터 입력된 트랜스포트 스트림을 수신하는 기능을 가지고 있다.

사용자 인터페이스부(4203)는 채널선택조작, 2D 모드/3D 모드의 선택조작 등을 사용자로부터 수신한다.

모드 기억부(4204)는 현재의 표시 모드가 2D 모드, 3D 모드의 어느 쪽인가를 나타내는 플래그를 저장하고 있다.

다중 분리부(4205)는 수신한 트랜스포트 스트림을 비디오 스트림과 그 이외의 음성 스트림, 그래픽스 스트림 등으로 분리하고, 비디오 스트림을 영상 디코드부(4207)에 출력하는 기능을 갖는다.

또, 다중 분리부(4205)는 수신한 트랜스포트 스트림에서 PSI 등의 시스템 패킷을 추출하고, PMT 패킷에서 3D_system_info_descriptor, 3D_service_info_ descriptor, 3D_combi_info_descriptor의 각 디스크립터를 취득하여 표시 판정부(4206)에 통지한다.

비디오 스트림의 디 먹스(demultiplexer)에 있어서는 표시 판정부(4206)부터 현재의 표시 모드에서 디 먹스할 TS 패킷의 PID의 지정을 접수한다. 다중 분리부(4205)는 지정된 PID의 TS 패킷을 분리함으로써 비디오 스트림을 취득한다.

또, 다중 분리부(4205)는 튜너(4201)나 NIC(4202)로부터 트랜스포트 스트림을 판독하는 것에 더하여, 기록매체로부터 트랜스포트 스트림을 판독할 수도 있다.

표시 판정부(4206)는 다중 분리부(4205)로부터 통지되는 3D_system_ info_descriptor, 3D_service_info_descriptor, 3D_combi_info_descriptor의 각 디스크립터를 참조하여 트랜스포트 스트림의 스트림 구성을 파악한다. 그리고 모드 기억부(4204)가 나타내는 현재의 표시 모드에서 디 먹스 할 TS 패킷의 PID를 다중 분리부(4205)에 통지한다.

또, 표시 판정부(4206)는 3D의 재생방식이 프레임 호환방식인 경우에 있어서 3D_system_info_descriptor의 2D_view_flag나 3D_service_info_descriptor의 frame_packing_arrangement_type을 참조하여 표시처리부(4209)에 대하여 좌측 눈 용 화상, 우측 눈 용 화상의 어느 쪽을 2D 재생에 이용하는가, 비디오 스트림이 Side-by-Side 방식인가 등을 통지한다.

영상 디코드부(4207)는 비디오 스트림을 다중 분리부(4205)로부터 수신하면 수신한 스트림의 디코드를 실행한다. 영상 디코드부(4207)는 복호화된 프레임을 프레임 버퍼(1)(4208)에 기입한다.

프레임 버퍼(1)(4108)는 영상 디코드부(4207)에서 복호화된 프레임을 저장하기 위한 영역을 갖는다.

표시처리부(4209)는 프레임 버퍼(1)(4208)에 저장되는 비디오 스트림이 Side-by-Side 형식인 경우에 있어서 크로핑 정보에 따른 크로핑 제어, 스케일링 정보에 따른 스케일링 제어를 실행한다. 크로핑 처리에 의해 얻어진 좌측 눈 용 프레임, 우측 눈 용 프레임은 프레임 버퍼(L), 프레임 버퍼(R)에 저장한다.

또, 표시처리부(4209)는 프레임 버퍼(1)(4208)에 저장되는 비디오 스트림이 좌측 눈 용의 비디오 스트림, 우측 눈 용의 비디오 스트림인 경우에 있어서는 비디오 스트림을 프레임 버퍼(L)(4210), 프레임 버퍼(R)(4212)에 배분한다.

프레임 버퍼(L)(4210), 프레임 버퍼(R)(4212)는 표시처리부(4209)로부터 출력되는 프레임을 저장하기 위한 영역을 갖는다.

스위치(4211)는 프레임 버퍼(L)(4210), 프레임 버퍼(R)(4212)에 기입된 프레임 화상을 선택하여 표시부에 전송한다.

표시부(4213)는 스위치(4211)로부터 전송된 프레임을 표시한다. 표시부(4213)는 3D 안경에 통신을 실행하여, 좌측 눈 화상이 표시될 때는 3D 안경의 좌측 눈 측이 열리고, 우측 눈 화상이 표시될 때는 3D 안경의 우측 눈 측이 열리도록 3D 안경의 액정셔터를 제어한다. 또, 2D 영상을 표시하는 경우에는 3D 안경의 제어는 실행되지 않는다.

이상이 3D 디지털 텔레비전(4200)의 구성에 대한 설명이다.

이어서, 이 3D 디지털 텔레비전(4200)의 동작에 대하여 설명한다. 도 43은 3D 디지털 텔레비전(4200)에 의한 프로그램의 재생처리의 흐름의 일례를 나타내는 플로차트이다.

본 도면에 나타내는 것과 같이, 다중 분리부(4205)는 트랜스포트 스트림의 PMT를 해석하여 디스크립터를 추출한다(스텝 S4301).

표시 판정부(4206)는 다중 분리부(4205)에 의해 추출된 3D_system_info_ descriptor의 3D_playback_type을 참조하여 수신한 트랜스포트 스트림의 재생방식을 판정한다(스텝 S4302).

재생방식이 서비스 호환방식인 경우(스텝 S4302), 표시 판정부(4206)는 3D_system_info_descriptor의 2D_independent_flag를 참조하여 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되어 있는가 여부를 판정한다(스텝 S4303).

2D_independent_flag의 값이 0인 경우(스텝 S4303, NO) 표시 판정부(4206)는 3D_combi_info_descriptor를 참조하여 스트림 구성을 특정한다(스텝 S4304).

트랜스포트 스트림의 스트림 구성이 2D/L + R1 + R2인 경우(스텝 S4305, YES) 3D 디지털 텔레비전(4200)은 후술하는 2D/L + R1 + R2의 스트림의 처리를 실시한다(스텝 S4306).

트랜스포트 스트림의 스트림 구성이 2D/L + R인 경우(스텝 S4305, NO) 3D 디지털 텔레비전(4200)은 후술하는 2D/L + R의 스트림의 처리를 실행한다(스텝 S4307).

2D_independent_flag의 값이 1인 경우(스텝 S4303, YES) 표시 판정부(4206)는 3D_combi_info_descriptor를 참조하여 스트림 구성을 특정한다(스텝 S4308).

트랜스포트 스트림의 스트림 구성이 MPEG2 + MVC(Base) +MVC(Dependent)인 경우(스텝 S4310, YES) 3D 디지털 텔레비전(4200)은 후술하는 MPEG2 + MVC(Base) +MVC(Dependent)의 스트림의 처리를 실행한다(스텝 S4311).

트랜스포트 스트림의 스트림 구성이 MPEG2 + AVC + AVC인 경우(스텝 S4309, YES) 3D 디지털 텔레비전(4200)은 후술하는 MPEG2 + AVC + AVC의 스트림의 처리를 실행한다(스텝 S4312).

재생방식이 프레임 호환방식인 경우(스텝 S4302) 표시 판정부(4206)는 3D_system_info_descriptor의 2D_independent_flag를 참조하여 2D 재생에 이용되는 비디오 스트림과 3D 재생에 이용되는 비디오 스트림이 공유되어 있는가 여부를 판정한다(스텝 S4313).

2D_independent_flag의 값이 0인 경우(스텝 S4313, NO) 3D 디지털 텔레비전(4200)은 후술하는 2D/SBS의 스트림의 처리를 실행한다(스텝 S4314).

2D_independent_flag의 값이 1인 경우(스텝 S4313, YES) 3D 디지털 텔레비전(4200)은 후술하는 2D + SBS의 스트림의 처리를 실행한다(스텝 S4315).

다음에, 스텝 S4215의 2D + SBS의 스트림의 처리의 상세에 대하여 설명한다. 도 44는 2D + SBS의 스트림의 처리의 흐름을 나타내는 플로차트이다.

본 도면에 나타내는 것과 같이, 표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4401).

현재 모드가 2D 모드인 경우(스텝 S4401) 표시 판정부(4206)는 3D_combi_info_descriptor의 2D_view_PID/tag에 나타내는 TS 패킷을 분리하여 2D 비디오 스트림을 추출한다(스텝 S4402).

그리고 추출한 MPEG2 (2D) 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 2D 재생을 실행한다(스텝 S4403).

현재 모드가 3D 모드인 경우(스텝 S4401) 표시 판정부(4206)는 3D_combi_info_descriptor의 frame_compatible_3D_PID/tag에 나타내는 TS 패킷을 분리하여 비디오 스트림을 추출한다(스텝 S4404).

표시 판정부(4206)는 3D_service_info_descriptor의 frame_packing_ arrangement_type을 참조하여 Side-by-Side 형식으로 저장되어 있는가를 판정한다(스텝 S4405).

frame_packing_arrangement_type이 Side-by-Side 형식인 경우(스텝 S4405, YES) 표시처리부(4209)는 좌우에 존재하는 좌측 눈 용 화상, 우측 눈 용 화상을 크롭 아웃(crop out) 함으로써 3D 재생을 실행한다(스텝 S4406).

frame_packing_arrangement_type이 Side-by-Side 형식이 아닌 경우(스텝 S4305, NO) TopBottom 방식으로 특정하고, 표시처리부(4209)는 상하에 존재하는 좌측 눈 용 화상, 우측 눈 용 화상을 크롭 아웃 함으로써 3D 재생을 실행한다(스텝 S4407).

이상이 스텝 S4315의 2D + SBS의 스트림의 처리의 상세에 대한 설명이다. 이어서, 스텝 S4314의 2D/SBS의 스트림의 처리의 상세에 대하여 설명한다.

도 45는 2D/SBS의 스트림의 처리의 흐름을 나타내는 플로차트이다. 본 도면에 나타내는 것과 같이, 다중 분리부(4205)는 3D_combi_info_descriptor의 frame_compatible_3D_PID/tag에 나타내는 TS 패킷을 분리하여 2D/SBS의 비디오 스트림을 추출한다(스텝 S4501).

표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4502).

현재 모드가 2D 모드인 경우(스텝 S4502) 표시 판정부(4206)는 3D_system_info_descriptor_의 2D_view_flag를 참조하여, Side-by-Side의 프레임 중 어느 쪽을 2D 재생에 이용하는가를 판정한다.

2D_view_flag가 좌측 눈 용 화상을 나타내는 경우(스텝 S4503, YES) 표시처리부(4209)는 Side-by-Side의 프레임 중 좌측 눈 용 화상의 영역을 크롭 아웃 함으로써 2D 재생을 실행한다(스텝 S4505).

2D_view_flag가 우측 눈 용 화상을 나타내는 경우(스텝 S4503, NO) 표시처리부(4209)는 Side-by-Side의 프레임 중 우측 눈 용 화상의 영역을 크롭 아웃 함으로써 2D 재생을 실행한다(스텝 S4504).

현재 모드가 3D 모드인 경우(스텝 S4502) 표시처리부(4209)는 Side-by-Side의 프레임 중 우측 눈 용 화상의 영역을 크롭 아웃 하고(스텝 S4506), Side-by-Side의 프레임 중 좌측 눈 용 화상의 영역을 크롭 아웃 한다(스텝 S4507).

3D 디지털 텔레비전(4200)은 크롭 아웃 한 좌측 눈 용 화상, 우측 눈 용 화상을 교대로 표시부(4213)에 출력함으로써 3D 재생을 실행한다(스텝 S4508).

이상이 스텝 S4314의 2D/SBS의 스트림의 처리의 상세에 대한 설명이다. 이어서 스텝 4307의 2D/L + R의 스트림의 처리의 상세에 대하여 설명한다.

도 46은 2D/L + R의 스트림의 처리의 흐름을 나타내는 플로차트이다. 본 도면에 나타내는 것과 같이, 표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4601).

현재 모드가 3D 모드인 경우(스텝 S4601) 표시 판정부(4206)는 3D_combi_info_descriptor의 Left_view_PID/tag에 나타내는 TS 패킷 및 Right_view_PID/tag에 나타내는 TS 패킷을 분리하여 2D/L비디오 스트림, R의 비디오 스트림을 추출한다(스텝 S4602).

그리고 추출한 2D/L비디오 스트림, R의 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 3D 재생을 실행한다(스텝 S4603).

현재 모드가 2D 모드인 경우(스텝 S4601) 다중 분리부(4205)는 3D_combi_info_descriptor의 2D_view_PID/tag에 나타내는 TS 패킷을 분리하여 2D/L비디오 스트림을 추출한다(스텝 S4604).

그리고 추출한 2D/L비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 2D 재생을 실행한다(스텝 S4605).

이상이 스텝 S4307의 2D/L + R의 스트림의 처리의 상세에 대한 설명이다. 이어서, 스텝 4306의 2D/L + R1 + R2의 스트림의 처리의 상세에 대하여 설명한다. 또, 도 46에 나타낸 2D/L + R의 스트림의 처리에서의 처리와 동일한 내용의 처리에 대해서는 동일한 부호를 부여한다.

도 47은 2D/L + R1 + R2의 스트림의 처리의 흐름을 나타내는 플로차트이다. 본 도면에 나타내는 것과 같이, 표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4601).

현재 모드가 3D 모드인 경우(스텝 S4601) 표시 판정부(4206)는 3D_combi_info_descriptor의 Left_view_PID/tag에 나타내는 TS 패킷, Right1_view_PID/tag에 나타내는 TS 패킷 및 Right2_view_PID/tag에 나타내는 TS 패킷을 분리하여 2D/L비디오 스트림, R1의 비디오 스트림, R2의 비디오 스트림을 추출한다(스텝 S4701).

그리고 추출한 2D/L비디오 스트림과 R1의 비디오 스트림 또는 R2의 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 3D 재생을 실행한다(스텝 S4702).

스텝 S4604, 4605에 대해서는 도 46에 나타내는 2D/L + R의 스트림의 처리에서의 처리와 동일한 내용의 처리이며, 설명을 생략한다.

이상이 스텝 S4306의 2D/L + R1 + R2의 스트림의 처리의 상세에 대한 설명이다. 이어서, 스텝 4312의 MPEG2 + AVC + AVC의 스트림의 처리의 상세에 대하여 설명한다.

도 48은 MPEG2 + AVC + AVC의 스트림의 처리의 흐름을 나타내는 플로차트이다. 본 도면에 나타내는 것과 같이, 표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4801).

현재 모드가 2D 모드의 경우 표시 판정부(4206)는 3D_combi_info_ descriptor의 2D_view_PID/tag에 나타내는 TS 패킷을 분리하여 MPEG2 (2D) 비디오 스트림을 추출한다(스텝 S4802).

그리고 추출한 MPEG2 (2D) 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 2D 재생을 실행한다(스텝 S4803).

현재 모드가 3D 모드의 경우 표시 판정부(4206)는 3D_combi_info_ descriptor의 Left_view_PID/tag에 나타내는 TS 패킷 및 Right_view_PID/tag에 나타내는 TS 패킷을 분리하여 좌측 눈 용의 비디오 스트림, 우측 눈 용의 비디오 스트림을 추출한다(스텝 S4804).

그리고 추출한 좌측 눈 용의 비디오 스트림, 우측 눈 용의 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 3D 재생을 실행한다(스텝 S4805).

이상이 스텝 S4312의 MPEG2 + AVC + AVC의 스트림의 처리의 상세에 대한 설명이다. 이어서, 스텝 4311의 MPEG2 + MVC(Base) + MVC(Dependent)의 스트림의 처리의 상세에 대하여 설명한다.

도 49는 MPEG2 + MVC(Base) + MVC(Dependent)의 스트림의 처리의 흐름을 나타내는 플로차트이다. 본 도면에 나타내는 것과 같이, 표시 판정부(4206)는 모드 기억부(4204)의 플래그를 참조하여 현재 모드가 2D 모드인가, 3D 모드인가 판정한다(스텝 S4901).

현재 모드가 2D 모드의 경우 표시 판정부(4206)는 3D_combi_info_ descriptor의 2D_view_PID/tag에 나타내는 TS 패킷을 분리하여 MPEG2 (2D) 비디오 스트림을 추출한다(스텝 S4902).

그리고 추출한 MPEG2 (2D) 비디오 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 2D 재생을 실행한다(스텝 S4903).

현재 모드가 3D 모드의 경우 표시 판정부(4206)는 3D_combi_info_ descriptor의 MVC_base_view_PID/tag에 나타내는 TS 패킷 및 MVC_dept_view_ PID/tag에 나타내는 TS 패킷을 분리하여 베이스 뷰 스트림, 디펜던트 뷰 스트림을 추출한다(스텝 S4904).

그리고 추출한 베이스 뷰 스트림, 디펜던트 뷰 스트림을 영상 디코드부(4207)에서 디코드하여 비디오 신호를 표시부(4213)에 출력함으로써 3D 디지털 텔레비전(4200)은 3D 재생을 실행한다(스텝 S4905).

이상과 같이 본 실시형태에 의하면 트랜스포트 스트림에 다중화된 디스크립터를 참조함으로써 트랜스포트 스트림의 스트림 구성을 특정할 수 있으므로, 2D 재생, 3D 재생의 호환 재생 및 2D 재생, 3D 재생의 심리스한 전환을 실행할 수 있다.

(보충)

이상, 상기의 실시형태에 의거하여 설명하였으나, 본 발명은 상기의 실시형태에 한정되지 않는 것은 물론이다. 이하와 같은 경우도 본 발명에 포함된다.

(a) 본 발명은 각 실시형태에서 설명한 처리순서가 개시하는 애플리케이션 실행방법으로 해도 좋다. 또, 상기 처리순서로 컴퓨터를 동작시키는 프로그램 코드를 포함한 컴퓨터 프로그램이라고 해도 좋다.

(b) 본 발명은 상기 각 실시형태에 기재한 화상처리장치를 제어하는 LSI로 해도 실행 가능하다. 이와 같은 LSI는 각 기능블록을 집적화함으로써 실현될 수 있다. 이와 같은 기능블록은 개별적으로 1 칩화되어도 좋고, 일부 또는 모두를 포함하도록 1 칩화되어도 좋다.

여기에서는 LSI로 하였으나, 집적도의 차이에 따라 IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 불리는 경우도 있다.

또, 집적 회로화의 수법은 LSI에 한정하는 것은 아니고, 전용회로 또는, 범용 프로세서로 실현되어도 좋다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Progra㎜able Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 컨프그러블(reconfigurable)·프로세서를 이용해도 좋다.

또, 반도체기술의 진보 또는 파생하는 별도의 기술에 의해 LSI에 치환되는 집적 회로화의 기술이 등장하면 당연히 그 기술을 이용하여 기능블록 및 부재의 집적화를 실행해도 좋다. 이와 같은 기술에는 바이오기술의 적용 등이 가능성으로 있을 수 있다.

본 발명에 관한 부호화방법에 의하면 2D 영상을 구성하는 비디오 스트림 및 3D 영상을 구성하는 비디오 스트림을 특정하는 디스크립터를 트랜스포트 스트림에 저장할 수 있다. 트랜스포트 스트림에 다중화된 디스크립터를 참조함으로써 트랜스포트 스트림의 스트림 구성을 특정할 수 있으므로 2D 재생, 3D 재생의 호환재생 및 2D 재생, 3D 재생의 심리스한 전환을 실행할 수 있어서 유익하다.

100 재생장치
200 3D 안경
300 2D 디지털 텔레비전
501 비디오프레임 열
502 비디오의 PES 패킷
503 비디오의 TS 패킷
504　 오디오 프레임 열
505　 오디오의 PES 패킷
506　 오디오의 TS 패킷
507　 자막 스트림
508　 자막 스트림의 PES 패킷
509　 자막 스트림의 TS 패킷
513　 트랜스포트 스트림
1501 재생장치의 튜너
1502　 재생장치의 NIC
1503　 재생장치의 다중 분리부
1504　 재생장치의 영상 디코드부
1505　 재생장치의 표시 판정부
1506　 재생장치의 표시처리부
1507　 재생장치의 표시부
1508　 재생장치의 프레임 버퍼(1)
1510　 재생장치의 프레임 버퍼(L)
1511　 재생장치의 프레임 버퍼(R)
1512　 재생장치의 스위치
2301　 비디오 인코더
2302　 다중화 처리부
2303 　 데이터 저장방법 결정부
4000　 데이터 작성장치
4001　 비디오 인코더
4002　 다중화 처리부
4003　 데이터 저장방법 결정부
4004　 사용자 인터페이스부(4004)
4200　 3D 디지털 텔레비전
4201　 튜너
4202　 NIC
4203　 사용자 인터페이스부
4204　 모드 기억부
4205　 다중 분리부
4206　 표시 판정부
4207　 영상 디코드부
4208　 프레임 버퍼(1)
4209　 표시처리부(4209),
4210　 프레임 버퍼(L)
4211　 스위치
4212　 프레임 버퍼(R)
4213　 표시부

Claims (19)

1. 부호화방법으로,
   화상을 압축 부호화하여 비디오 스트림을 생성하는 부호화스텝과,
   상기 부호화스텝에 의해 생성되는 복수의 비디오 스트림에 대해서 다중화 처리를 시행함으로써 1개의 트랜스포트 스트림을 얻는 다중화스텝을 가지며,
   상기 복수의 비디오 스트림은 2D 영상을 구성하는 2D 비디오 스트림을 포함하는 동시에 복수의 비디오 스트림을 조합함으로써 3D 영상을 구성하고,
   3D 영상을 구성하는 비디오 스트림의 조합에는 상기 2D 비디오 스트림과 1개의 다른 비디오 스트림의 조합과 2D 비디오 스트림 이외의 2 이상의 다른 비디오 스트림의 조합이 있으며,
   상기 트랜스포트 스트림은 3D 영상을 구성하는 비디오 스트림을 특정하는 3D 영상 특정정보를 포함하는 것을 특징으로 하는 부호화방법.
2. 제 1 항에 있어서,
   상기 부호화방법은 콘텐츠테이블을 작성하는 콘텐츠테이블 작성스텝을 가지며,
   상기 다중화스텝에 의한 다중화는,
   상기 복수의 비디오 스트림과 콘텐츠테이블을 다중화함으로써 이루어지며,
   상기 콘텐츠테이블은 1개 이상의 테이블 디스크립터와 각 비디오 스트림에 대응하는 스트림 정보를 포함하고,
   상기 각 스트림 정보는 스트림 타입과 스트림 식별자 및 스트림 디스크립터를 포함하며,
   상기 3D 영상 특정정보는 테이블 디스크립터 및 스트림 디스크립터의 어느 한쪽에 존재하는 것을 특징으로 하는 부호화방법.
3. 제 1 항에 있어서,
   상기 3D 영상 특정정보는 2D 비디오 스트림을 특정하는 2D 영상 특정정보를 포함하는 것을 특징으로 하는 부호화방법.
4. 제 3 항에 있어서,
   2D 영상 특정정보 및 3D 영상 특정정보에 의한 비디오 스트림의 특정은 2D 비디오 스트림, 좌측 눈 영상을 구성하는 좌측 눈 비디오 스트림, 우측 눈 영상을 구성하는 비디오 스트림에 각각 대응하는 스트림 식별자를 기재함으로써 이루어지는 것을 특징으로 하는 부호화방법.
5. 제 2 항에 있어서,
   상기 콘텐츠테이블에는 2D/3D 공용 플래그를 포함하고,
   상기 2D/3D 공용 플래그는 2D 비디오 스트림과 3D 영상을 구성하는 복수의 비디오 스트림 중 어느 쪽이 일치하는가 여부를 나타내는 것을 특징으로 하는 부호화방법.
6. 제 2 항에 있어서,
   상기 3D특정정보에 의해 지정되는 3D 영상을 구성하는 비디오 스트림이 1개인 경우,
   상기 비디오 스트림은 LR팩 영상을 구성하고,
   상기 LR팩 영상은 동화상을 구성하는 개개의 프레임에 좌측 눈 화상과 우측 눈 화상을 저장한 영상이며,
   상기 콘텐츠테이블은 LR팩 정보를 포함하고,
   LR팩 정보는 좌측 눈 화상 및 우측 눈 화상이 어떤 팩킹방식으로 비디오 스트림의 각 프레임에 저장되어 있는가를 나타내는 것을 특징으로 하는 부호화방법.
7. 제 2 항에 있어서,
   상기 콘텐츠테이블은 카메라의 채널 구성을 나타내는 카메라 어사인먼트를 포함하고,
   상기 카메라의 채널 구성에는
   C채널, L채널＋R채널, C채널＋L채널＋R채널, C채널＋R1채널＋R2채널이 있으며,
   상기 3D 특정정보에 의해 특정되는 비디오 스트림은 상기 카메라의 채널 구성 중 어느 하나에 따라서 촬영된 것인가를 나타내는 것을 특징으로 하는 부호화방법.
8. 제 2 항에 있어서,
   상기 2D 비디오 스트림, 다른 비디오 스트림의 각각에는 문자표시 제어정보가 존재하고 있으며,
   상기 작성스텝은,
   2D 재생 모드, 3D 재생 모드 각각에서 2D 비디오 스트림, 다른 비디오 스트림 중 어느 한쪽의 비디오 스트림에 존재하는 문자표시 제어정보를 이용하여 문자표시를 실현해야 하는가를 나타내는 정보를 콘텐츠테이블에 기술하는 것을 특징으로 하는 부호화방법.
9. 제 2 항에 있어서,
   스트림 정보의 스트림 디스크립터는,
   비디오 스트림이 좌측 눈 화상 및 우측 눈 화상 중 어느 쪽에 해당하는가를 나타내는 플래그를 포함하는 것을 특징으로 하는 부호화방법.
10. 제 2 항에 있어서,
    상기 3D 영상 특정정보를 콘텐츠테이블에서의 스트림 정보 내의 스트림 디스크립터 내에 기술하는 것을 특징으로 하는 부호화방법.
11. 제 2 항에 있어서,
    상기 작성스텝은,
    상기 콘텐츠테이블에서의 각 비디오 스트림에 대응하는 스트림 정보에 조합의 상대 측이 되는 비디오 스트림의 스트림 식별자를 기술함으로써 조합의 대상이 되는 2 이상의 비디오 스트림을 나타내는 것을 특징으로 하는 부호화방법.
12. 제 1 항에 있어서,
    상기 작성스텝은,
    디스크립터를 작성하여 작성된 디스크립터를 비디오 스트림의 내부에 삽입하는 것을 특징으로 하는 부호화방법.
13. 표시장치로,
    장치 외부로부터의 트랜스포트 스트림의 입력을 접수하는 접수수단과,
    2D 모드 및 3D 모드 중 어느 하나를 현재 모드로서 기억하는 기억수단과,
    현재 모드가 2D 모드인 경우, 트랜스포트 스트림에 포함되는 1개의 비디오 스트림을 이용하여 2D 영상의 재생을 실행하는 재생 수단을 구비하며,
    트랜스포트 스트림은 3D 영상 특정정보를 구비하고,
    3D 영상 특정정보는 3D 영상을 구성하는 비디오 스트림을 특정하며,
    현재 모드가 3D 모드인 경우, 트랜스포트 스트림에 포함되는 3D 영상을 구성하는 비디오 스트림을 이용하여 3D 영상의 재생을 실행하고,
    3D 영상이 구성하는 비디오 스트림은 상기 2D 비디오 스트림과 1개의 다른 비디오 스트림의 조합으로 이루어지는 경우와, 2D 비디오 스트림 이외의 다른 비디오 스트림의 2 이상의 조합으로 이루어지는 경우가 있는 것을 특징으로 하는 표시장치.
14. 제 13 항에 있어서,
    상기 트랜스포트 스트림은 복수의 비디오 스트림과 콘텐츠테이블을 트랜스포트 스트림 패킷 열로 변환함으로써 얻어지며,
    상기 표시장치는,
    트랜스포트 스트림으로부터 소정의 트랜스포트 스트림 패킷을 분리하는 다중분리수단을 구비하고, 콘텐츠테이블을 저장한 트랜스포트 스트림 패킷을 분리함으로써 3D 영상 특정정보의 취득을 하는 것을 특징으로 하는 표시장치.
15. 제 14 항에 있어서,
    상기 3D 영상 특정정보에는 2D 비디오 스트림을 특정하는 2D 영상 특정정보를 포함하고,
    현재 모드가 2D 모드인 경우, 다중 분리부는 2D 영상 특정정보에 의거하여 2D 영상을 구성하는 비디오 스트림을 트랜스포트 스트림에서 분리하며,
    현재 모드가 3D 모드인 경우, 다중 분리부는 3D 영상 특정정보에 의거하여 3D 영상을 구성하는 비디오 스트림을 저장한 복수의 트랜스포트 스트림 패킷을 트랜스포트 스트림에서 분리하는 것을 특징으로 하는 표시장치.
16. 제 15 항에 있어서,
    2D 영상 특정정보 및 3D 영상 특정정보에 의한 비디오 스트림의 특정은 2D 비디오 스트림, 좌측 눈 영상을 구성하는 좌측 눈 비디오 스트림, 우측 눈 영상을 구성하는 비디오 스트림에 각각 대응하는 스트림 식별자를 기재함으로써 이루어지는 것을 특징으로 하는 표시장치.
17. 제 16 항에 있어서,
    트랜스포트 스트림은 2D 비디오 스트림과 3D 영상을 구성하는 복수의 비디오 스트림 중 어느 쪽이 일치하는가 여부를 나타내는 2D/3D 공용 플래그를 포함하고,
    상기 다중 분리부는 2D 영상을 구성하는 비디오 스트림이 복수의 비디오 스트림의 어느 하나와 일치하지 않는 경우에 2D 모드, 3D 모드의 각각에 있어서 다중 분리의 대상이 되는 비디오 스트림을 변경하며,
    재생수단은 3D 영상을 구성하는 비디오 스트림이 1개인 경우, 1개의 비디오 스트림에서의 개개의 프레임에서 좌측 눈 화상 및 우측 눈 화상을 분리하여, 좌측 눈 화상 및 우측 눈 화상의 각각을 표시에 제공함으로써 3D화상의 재생을 실행하고,
    3D 영상을 구성하는 비디오 스트림이 2개 이상인 경우, 다중 분리부에 의해 분리된 2 이상의 비디오 스트림을 디코드함으로써 좌측 눈 화상 및 우측 눈 화상을 얻어서, 좌측 눈 화상 및 우측 눈 화상 각각을 표시에 제공함으로써 3D 화상의 재생을 실행하는 것을 특징으로 하는 표시장치.
18. 제 17 항에 있어서,
    상기 3D 특정정보에 의해 지정되는 3D 영상을 구성하는 비디오 스트림이 1개인 경우,
    상기 비디오 스트림은 LR팩 영상을 구성하고, 상기 LR팩 영상은 동화상을 구성하는 개개의 프레임에 좌측 눈 화상과 우측 눈 화상을 저장한 영상이며,
    상기 콘텐츠테이블은 LR팩 정보를 포함하고,
    LR팩 정보는 좌측 눈 화상 및 우측 눈 화상이 어떤 팩킹방식으로 비디오 스트림의 각 프레임에 저장되어 있는가를 나타내며,
    재생수단은 LR팩 정보에 따라서 프레임 중 좌측 눈 화상 및 우측 눈 화상을 분리할 영역을 특정하는 것을 특징으로 하는 표시장치.
19. 복호방법으로,
    트랜스포트 스트림의 입력을 접수하는 접수스텝과,
    2D 모드 및 3D 모드 중 어느 하나를 현재 모드로 기억하는 기억스텝과,
    현재 모드가 2D 모드인 경우, 트랜스포트 스트림에 포함되는 1개의 비디오 스트림을 이용하여 2D 영상의 재생을 실행하는 재생스텝을 포함하고,
    트랜스포트 스트림은 3D 영상 특정정보를 구비하며,
    3D 영상 특정정보는 3D 영상을 구성하는 비디오 스트림을 특정하고,
    현재 모드가 3D 모드인 경우, 트랜스포트 스트림에 포함되는 3D 영상을 구성하는 비디오 스트림을 이용하여 3D 영상의 재생을 실행하며,
    3D 영상이 구성하는 비디오 스트림은 상기 2D 비디오 스트림과 1개의 다른 비디오 스트림의 조합으로 이루어지는 경우와 2D 비디오 스트림 이외의 다른 비디오 스트림의 2 이상 조합으로 이루어지는 경우가 있는 것을 특징으로 하는 복호방법.

Images