JP5274359B2

JP5274359B2 - 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体

Info

Publication number: JP5274359B2
Application number: JP2009107742A
Authority: JP
Inventors: 雅人長沢; 裕一郎春山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-04-27
Filing date: 2009-04-27
Publication date: 2013-08-28
Anticipated expiration: 2029-04-27
Also published as: EP3059948B1; US20100272417A1; US9191645B2; EP2247116A2; EP2247116A3; EP3059948A1; US10523915B2; US20160037150A1; JP2010258872A

Description

本発明は、立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体に係る発明に関するものである。

ディジタル映像信号を圧縮する符号化技術が進むにつれ、圧縮された映像信号を光ディスクに記録することによって、検索性や操作性に優れた光ディスク装置を実現することが可能となった。このような光ディスク装置は、映像をディジタル信号として記録するため、アナログ映像信号を記録する場合に比べてダビングによる劣化が無い他、光記録再生であるため、非接触で信頼性に優れている。

一方、上記のようなディジタル映像信号をデータ圧縮する符号化方法としては、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）方式によるものがあるが、この圧縮方法はモーションＪＰＥＧ等の面内圧縮方法に比べ圧縮効率は良いものの、時間方向の動き補償予測を用いているため、複数枚の映像グループからなる（ＧＯＰ）映像単位でしか検索できなかったり、ディスク上のアクセスも面内圧縮からなるＩピクチャにまずアクセスしなければならない等の制約条件が存在していた。

また、特許文献１から特許文献５のデータフォーマットは、あくまで音声情報に関しては従来の２次元の平面映像と同じものを使用するものである。この際、立体映像視聴に連動した音像定位をつくりだす方法としては特許文献６ないし特許文献７に記載があるものの、複数のマイクを用いて録音したものを選択的に再生する方法に留まっている。一方、立体的に音像定位をもたせる方法としては、特許文献８に記載の方法があるが、本件では特にメディアへの記録再生を考慮したフォーマットについてはなんら記載されていない。

また、音声における立体音像については、例えば非特許文献１に記載があり、臨場感を出すためのサラウンドのしくみ等が解説されている。しかしながら、立体映像と連動した音声処理について記載したものはなく、立体映像視聴時の音響システムとしてより臨場感を向上する方法が望まれていた。また、これら１から８の特許文献においては後述するコンテンツ制作上簡単に製作できる立体視聴用音声をファイルしたり、視聴安全性への配慮を行うための、メディア上のフォーマットについて記載されておらず、また、映像に連動した音像定位について映像やＯＳＤのどの部分にフォーカスするかなどより具体的に実現するための方法についての記載は行われていない。

特許３９３５５０７号特開平１１−１９１８９５号公報特許４０３６２３９号特許４１２４２６８号特開２００８−２３６７５７号公報特開２００６−１２８８１８号公報特開２００６−１２８８１６号公報特開平６−１０５４００号公報

ＮＴＴＤＯＣＯＭＯテクニカルジャーナルＶｏｌ．１１Ｎｏ．１

映像の大画面化、高精細化に伴い、より臨場感の高い視聴を実現するために、音声処理においても５．１ｃｈサラウンドや、２ｃｈであっても臨場感のある音声視聴ができる擬似サラウンドが登場しているが、立体映像が視聴可能なＴＶが登場するにあたり、２Ｄ映像と３Ｄ映像とで、人物や物体の奥行き方向飛び出し感覚が異なるため、２Ｄ映像と３Ｄ映像それぞれで別々の音像感覚を提供できる音声再生が望まれていた。特に２Ｄ映像と３Ｄ映像が混在するメディアや配信コンテンツ情報において、２Ｄ視聴の場合と３Ｄ視聴の場合とで音声情報が同じものである場合、それぞれの音声視聴に見合った臨場感を出すために音声情報を最適化できない問題点があった。

また、映像の立体化に合わせ、音の定位や音像を映像の飛び出し量に同期させて視聴できない問題があった。

また、音像の処理において立体映像と同期した奥行き方向の定位をもたせた場合、立体映像のどの部分に合わせて音声の奥行き方向位置を定めるかが規定できず、より臨場感のある音声視聴ができない問題があった。

また、音像の処理において、立体画面に登場する人物の顔や口の位置を特定し立体映像と同期した奥行き方向の定位をもたせた場合、立体画面に登場する人物の顔や口の位置を特定する処理に時間がかかり、実時間処理が間に合わない場合があった。

また、立体映像ストリームを記載したメディアにおいて、立体映像に適した音声情報をさらに追加する場合、装置が立体映像に適した音声情報の内容を瞬時に判断でき、メニュー操作や再生のシーケンスがディスク情報管理情報によって把握できるフォーマットが必要となっていた。

また、立体映像ストリームを記載した映像および音声配信ストリームにおいて、立体映像に適した音声情報をさらに追加する場合、装置が立体映像に適した音声情報の内容を瞬時に判断できる管理情報からなるフォーマットが必要となっていた。

この発明にかかる立体映像および音声記録媒体は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録媒体であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像と右目映像の両方を用いる立体映像とが混在し、前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面視聴用のサラウンド音声記録領域に加え、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録する立体サラウンド音声記録領域を有する。

また、この発明の第１の態様にかかる立体映像および音声記録方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面視聴用のサラウンド音声に加え、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源の飛び出し量に応じて複数記録することを特徴とする。

また、この発明の第２の態様にかかる立体映像および音声記録方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に関連したＯＳＤ情報を設定するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記ＯＳＤ表示の立体方向位置に連動した前記立体視聴用のサラウンド音声の音像定位可変情報を抽出し、前記立体映像情報および音声情報に加え、音像定位可変情報を付加させることを特徴とする。

また、この発明の第３の態様にかかる立体映像および音声記録方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知し、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出し、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位可変量を抽出することで、前記立体映像情報および音声情報に加え、音像定位可変情報を付加させることを特徴とする。

また、この発明の第１の態様にかかる立体映像および音声再生方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声データと、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時に再現する立体視聴用のサラウンド音声において、立体映像内の音源の奥行き方向や飛び出し方向の変移量の大きさや奥行き方向や飛び出し方向の音源の移動速度を緩和した複数の立体視聴用のサラウンド音声とを合わせて有し、いずれかを選択することを特徴とする。

また、この発明の第２の態様にかかる立体映像および音声再生方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に関連したＯＳＤ情報を設定するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記ＯＳＤ表示の立体方向位置に連動して前記立体視聴用のサラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させることを特徴とする。

また、この発明の第３の態様にかかる立体映像および音声再生方法は、視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知し、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出し、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させることを特徴とする。

また、この発明の第１の態様にかかる立体映像および音声再生装置は、記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から立体映像および音声を再生する立体映像および音声再生装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声の記録領域と、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録された立体サラウンド音声の記録領域とを有し、再生時には前記立体映像のデータおよび選択された音声信号のデータを前記読取装置を使って読み出し、読み出したデータを前記システムデコーダで分離し、分離されたデータのうちの映像データを前記映像信号デコーダでデコードし、分離されたデータのうちの音声信号データを前記音声信号デコーダでデコードして、再生することを特徴とする。

また、この発明の第２の態様にかかる立体映像および音声再生装置は、記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に関連したＯＳＤ情報を配置するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記立体映像の立体映像情報に関連するサラウンド音声再生時において前記ＯＳＤ表示の立体方向位置抽出手段と、前記ＯＳＤ表示の立体方向位置に連動して前記立体視聴用のサラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させる音像定位可変手段を有することを特徴とする。

また、この発明の第３の態様にかかる立体映像および音声再生装置は、記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知手段と、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出手段と、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させる音像定位可変手段とを有することを特徴とする。

また、この発明にかかる立体映像および音声記録装置は、映像データをエンコードする映像信号エンコーダ、音声データをエンコードする音声信号エンコーダ、記録媒体に記録するためのデータ形式に整えるフォーマットエンコーダ、前記ストリームを記録媒体に書き込む書込装置、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声の記録領域と、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録する立体サラウンド音声記録領域を有し、前記平面映像および前記立体映像は前記映像信号エンコーダでエンコードし、平面映像視聴用のサラウンド音声および立体サラウンド音声はそれぞれ前記音声信号エンコーダでエンコードし、エンコードされた映像信号と音声信号は前記フォーマットエンコーダで記録媒体に記録する形式に整え、前記書込装置を使って各々記録され、その際に平面視聴用のサラウンド音声は前記平面視聴用のサラウンド音声用の記録領域に、立体サラウンド音声は前記立体サラウンド音声記録領域にそれぞれ記録されることを特徴とする。

本発明に記載の立体映像および音声記録方法、再生方法、記録装置、記録媒体および再生装置では、通常の２次元映像用の音声情報とは別にあらかじめ３次元用の音声情報格納領域を設けることにより、平面映像視聴用のサラウンド音声と、立体視聴用サラウンド音声との両方を有することとなり、装置側では再生ファイルを選択するのみの操作でもって平面映像視聴時とはことなる３次元映像再生に適したより臨場感のある映像および音声視聴が可能となる。

また、本発明に記載の立体映像および音声記録方法、記録装置、記録媒体および再生装置では、この３次元用の音声情報格納領域を音像定位変化の大小により段階的に複数のファイルを用意することで、ユーザが好みの臨場感を選択したり、各々のファイルにパレンタルレベルを設定することで子供やお年寄りなどに対しあまり臨場感を強すぎないようにする制限を設けることが可能となる。

また、本発明に記載の立体映像および音声記録方法、再生方法、記録装置、記録媒体および再生装置では、あらかじめ人物および音を発する物体の立体方向位置情報を付帯させておき、この音声発生源の立体位置にあわせ、再生時に音声信号の音像処理もしくはサラウンド処理における奥行き方向位置を変化せしめるため、映像の登場人物の奥行き方向に同期した、奥行き方向の音声定位可変が可能となるため、より臨場感のある映像および音声視聴が可能となる。

また、立体映像を含む映像コンテンツの映像信号から、人物や音を発する物等の立体方向位置を特定するための飛び出し量計測手段を有し、計測された飛び出し量に基づき音像を可変せしめる音像制御手段によって、再生時に音声信号の音像処理もしくはサラウンド処理における奥行き方向位置を変化せしめるため、あらかじめ立体再生用の音声情報を配慮していなくても装置側で正確な奥行き方向の音声定位可変が可能なより臨場感のある映像および音声視聴が可能となる。

また、本発明に記載の立体映像および音声記録方法、再生方法および再生装置では、字幕などのＯＳＤ情報の奥行き位置情報を抽出する手段と、計測された奥行き情報に基づき音像を可変せしめる音像制御手段によって再生時に音声信号の音像処理もしくはサラウンド処理における奥行き方向位置を変化せしめるため、あらかじめ立体再生用の音声情報を配慮していなくても、より簡便な方法で装置側で奥行き方向の音声定位可変が可能なより臨場感のある映像および音声視聴が可能となる。

また、本発明に記載の立体映像および音声記録媒体および記録装置では、映像および音声の情報管理領域において、立体視聴専用の音声情報である事を示すフラグと、立体視聴専用の音声情報のファイルサイズ、再生時間情報、オーディオ圧縮フォーマットの種別、メディア上の配置情報、対応する映像との同期情報、再生可否を示す地域コード、立体方向の音像可変量の大小、などの音声情報格納領域を設けることにより、３Ｄ再生選択時に音声再生に関するプレーヤの設定を瞬時にできるほか、映像信号との同期や、身体への影響を配慮し音像可変量の小さい音声を選択する事や、まだ立体用音声信号の再生が許諾されていない地域にて再生ロックをかけ、２Ｄ用音声のみを再生可能にする等の設定が可能となる。

また、本発明に記載の立体映像および音声記録媒体および記録装置では、立体視聴専用の音声情報である事を示すフラグと、立体視聴専用の音声情報のファイルサイズ、再生時間情報、オーディオ圧縮フォーマットの種別、メディア上の配置情報、対応する映像との同期情報、再生可否を示す地域コード、立体方向の音像可変量の大小、などの音声情報格納領域を設けることにより、ネット配信からの３Ｄ映像および音声視聴時においても、３Ｄ再生選択時に音声再生に関するプレーヤの設定を瞬時にできるほか、映像信号との同期や、身体への影響を配慮し音像可変量の小さい音声を選択する事や、まだ立体用音声信号の再生が許諾されていない地域にて再生ロックをかけ、２Ｄ用音声のみを再生可能にする等の設定が可能となる。

また、本発明に記載の立体映像および音声記録方法、再生方法および再生装置では、人物の顔を検知し、得られた音像定位可変量等から音像を制御することにより、例えば人物がこちらに近づいてくるようなシーンにおいて奥行き方向音像定位を視聴者位置に徐々に近づけるように変化させ、より臨場感をアップさせることも可能になる。

また、本発明に記載の立体映像および音声再生方法では、音像の視聴者に対する奥行き方向や飛び出し方向の変移量の大きさや速度をある程度緩和したことにより、奥行き方向や飛び出し方向の変移や速度・加速度が小さくかつ変移がゆるやかな音声を提供できる。

本発明の実施の形態１に係るシャッタを用いた立体映像表示システムの概念図である。本発明の実施の形態１に係る偏光フィルタを用いた立体映像表示システムの概念図である。本発明の実施の形態１に係る回転偏光フィルタを用いた立体映像表示システムの概念図である。本発明の実施の形態１に係る多重情報を用いた立体映像表示システムの概念図である。本発明の実施の形態１に係る立体映像の模試図である。本発明の実施の形態１に係る字幕表示を含む立体映像の模試図である。本発明の実施の形態１に係る目の疲労度を説明するための図である。本発明の実施の形態１に係る奥行き方向の加速度と目の疲労度を説明するための図である。本発明の実施の形態１に係る字幕の表示範囲を説明するための図である。本発明の実施の形態２に係る記録媒体上の情報記録領域を示す図である。本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。本発明の実施の形態２に係る付帯情報のコンテンツ情報を説明するための図である。本発明の実施の形態２に係る付帯情報のタイムコード情報を説明するための図である。本発明の実施の形態２に係る付帯情報の配置情報を説明するための図である。本発明の実施の形態２に係る付帯情報の映像情報を説明するための図である。本発明の実施の形態２に係る付帯情報を用いたＴＶ表示の概念図である。本発明の実施の形態２に係るマルチアングル情報の模試図である。本発明の実施の形態２に係るＯＳＤ情報を説明するための図である。本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報を説明するための図である。本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報とＯＳＤ情報を説明するための図である。本発明の実施の形態２に係る映像制御情報のシーケンス情報とＯＳＤ情報と映像属性情報を説明するための図である。本発明の実施の形態３に係る立体映像記録装置のブロック図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態３に係る立体映像記録装置のブロック図である。本発明の実施の形態３に係る差分情報の圧縮の原理を説明するための視差画像概念図である。本発明の実施の形態３に係る立体映像記録装置のブロック図である。本発明の実施の形態３に係る視差情報画像変換の圧縮を説明するための模試図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態３に係る立体映像記録装置のブロック図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。本発明の実施の形態４に係る立体映像再生装置のブロック図である。本発明の実施の形態４に係る立体映像再生装置のブロック図である。本発明の実施の形態４に係る立体映像再生装置を説明する図である。本発明の実施の形態４に係る立体映像再生装置を説明する図である。本発明の実施の形態４に係る立体映像再生装置を説明する図である。本発明の実施の形態５に係るバーチャルサラウンドの原理を説明するための図である。本発明の実施の形態５に係るバーチャルサラウンドの原理を説明するための図である。本発明の実施の形態５および実施の形態６に係るディスク内のデータ構造を説明するための図である。本発明の実施の形態５に係るプレイアイテムテーブルの構造を説明するための図である。本発明の実施の形態５に係るクリップ情報ファイルの構造を説明するための図である。本発明の実施の形態６に係る立体映像および音声再生装置のブロック図である。本発明の実施の形態６に係るＯＳＤの立体化を説明するための図である。本発明の実施の形態６に係る立体映像および音声再生装置のブロック図である。本発明の実施の形態６に係る立体映像および音声再生装置のブロック図である。本発明の実施の形態６に係る立体映像および音声再生装置のブロック図である。

（実施の形態１）
本発明の実施の形態１について、図に従い以下に説明する。図１は、本実施の形態に係る立体映像システムの全体構成を示すブロック図である。図１に示す立体映像システムでは、立体映像が記録されたメディアを再生して右目映像１及び左目映像２を出力する立体映像記録装置６（以下、単に記録装置６ともいう）、ＴＶやプロジェクター等の表示装置３、液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４、シャッタ４を介したフレーム順からなる映像５Ａ，５Ｂを見るために左右それぞれに液晶シャッタもしくは左右それぞれに異なる偏光板が構成されたメガネ７Ａとで構成されている。図２は、本実施の形態１に係る立体映像システムの別の構成例を示している。図２に示す立体映像システムでは、図１と異なり２つの表示装置Ａ，Ｂを備え、且つそれぞれ方向の異なる特定の偏光成分の光のみを通すための偏光板９，１０、表示パネル１２に投影させるための光学系１１、偏光板９，１０を介して得られるフレーム順からなる映像５Ｃ，５Ｄを見るために左右異なる偏光板を有するメガネ７Ｂとで構成されている。

図３は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図３に示す立体映像システムでは、図１と異なりそれぞれ方向の異なる特定の偏光成分の光のみを通す半円の偏光板を張り合わせた円形の回転円盤を有する同期回転部材１３と、同期回転部材１３に光を投射する光源１４とを備えている。図４は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図４に示す立体映像システムでは、図１と異なり、映像信号２２に基づく複数の映像を投影するための表示デバイス１５〜１９と、投影された立体映像を再現するための回転ミラー２１とを備えている。

図５は、人間が知覚する立体映像を模試したものである。図５では、無限遠方１１１から順に奥行き位置１１２〜１１７として、奥行き位置１１７が一番飛び出した（目に近い）位置としている。さらに、図５では、奥行き位置１１５上に表示された人間１１８、奥行き１１４上に表示された人間１１９、遠方から流れてくる川１２０、遠方に見える山１２１が図示されている。図６は、図５の表示にさらに字幕表示を追加表示したもので、それぞれの奥行き位置に表示された字幕１２２Ａ〜１２２Ｃと、当該字幕の奥行き範囲１２３Ａ〜１２３Ｃとを図示している。

図７（ａ），図７（ｂ）は、視差の角度変化加速度・変化にかかる時間・回数と目の疲労度を示した図である。図７（ａ）では、目の疲労度１２４を縦軸、角度変化加速度・変化の積１２５を横軸とし、注目点や字幕に対する目の疲労度１２６、注目点や字幕に対する最高疲労点１２７、背景画像の目の疲労度１２８、背景映像における酔いが発生する限界点１２９、人の目に対する安全領域１３０、人の目に対する危険領域１３１、人の目に対する３Ｄ酔いが発生する領域１３２をそれぞれ図示している。また、図７（ｂ）は、目の視差運動を示すための模試図であり、注目点の遠くの映像１２６Ａ、注目点の近くの映像１２６Ｂ、近くにある場合の視野角１２６Ｄ、遠くにある場合の視野角１２６Ｅ、人間の目１２６Ｆ、映像１２６Ｂが表示されている奥行き１２６Ｇ、映像１２６Ａが表示されている奥行き１２６Ｈをそれぞれ図示している。

また、図８は、注目点の奥行き方向の加速度と移動時間×回数との関係を示したグラフである。図８に示すグラフでは、注目点の奥行き方向の加速度１３３を縦軸、移動時間と回数の積（移動時間×回数）１３４を横軸として、安全領域１３０と危険領域１３１の境界１３５、危険領域１３１と３Ｄ酔い発生領域１３２との境界１３６とを図示している。また、図９は、字幕表示における奥行き位置と奥行き位置変化量の関係を示したものである。図９では、奥行き位置１３７を縦軸、奥行き変化量１４０を横軸として、無限遠の位置１３８、目の位置（一番手前）１３９、奥行き変化量制限値１４１、手前の奥行き制限（飛び出し制限）１４２、遠方の奥行き制限１４３をそれぞれ示している。

ここで、一般的にＴＶやプロジェクターを用いた立体映像システムでは、図１から図３に示されるように、人間の目の視差情報を利用したものが多く、メガネによって左右にそれぞれの映像情報を投影し、立体に見せるものである。一般的には映像の撮影の際も２台のカメラを用いて、左右の目に入力させるための映像を撮影するため、２つのストリームが構成させることになる。ここではまず記録装置６に蓄積された左右の映像情報を、ＴＶやプロジェクターの表示装置に入力させる。この際、記録装置６と表示装置間の情報インターフェイスとしてアナログ方式の場合は、左右それぞれ別々の情報伝送が必要となるが、ＨＤＭＩ等のディジタルインターフェイスの場合は左右の情報を交互にシリアル伝送させることも可能である他、記録装置６側で圧縮して伝送し、ＴＶ側で解凍させる方法もある。また。左右の映像情報はＴＶ表示の場合フィールド毎に、左と右を切り替えて表示する事となるが、近年の倍スキャン表示を用いたＴＶを用いれば再生映像を、フィールド毎に左右に分けるにあたり、フリッカ等の問題を解消する事ができ、スムーズな立体映像再生が可能になっている。

さらに、図１に示すように液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４を構成した場合は、透過するフィールド映像５Ａを例えば縦偏光、映像５Ｂを横偏光とするように、シャッタ４を制御する事でフィールド毎の光の偏光角を変える事ができる。この場合はメガネ７Ａ側は左右異なる偏光板（縦偏光と横偏光）を貼り付けたものでよく、ケーブル３Ａを介して表示装置３がシャッタ４を制御するタイミングに対応する信号を表示装置３からメガネ７Ａに供給するケーブル３Ｂが不要となる。一方、シャッタ４を用いない場合は、メガネ７Ａ側に液晶シャッタを設ける必要があり、ケーブル３Ｂのフィールド同期信号ケーブルが必要となる。メガネ７Ａ側の液晶シャッタで対応する場合は偏光を用いていないため、首を傾けたりする等のメガネの角度が変わっても立体表示に対する影響は小さく抑えられる効果がある。

また、図２の方式では、ＰＬＤ素子や透過型液晶タイプを有する表示デバイスを２つ有することにより、それぞれに左右別々の映像を表示させる方法である。この場合は表示装置（Ａ，Ｂ）７，８の前面に異なる偏光方向を持つ偏光板９，１０を取りつけておく。このことで、それぞれの表示発光部分から出射される光が異なる偏光となっており、これを光学系１１を介して表示パネル１２に投影する事で、例えば右目は縦偏光の映像５Ｃ、左目は横偏光の映像５Ｄを映し出す事が可能となる。ここではさらに、偏光メガネ７Ｂを用いてそれぞれの目に視差のある映像情報を入力させる。

また、図３の方式ではＰＬＤ等の光学素子に入射させる光源の部分において、ＴＶのフィールド表示のタイミングに同期して回転する同期回転部材１３を有する偏光切換え機構を構成し、フィールド表示のタイミングにあわせた偏光を有する光をＰＬＤ素子等に入射させる方式である。この場合、映像表示パネル上にはフィールド毎に異なる偏光を有する映像が投射される。これを図２と同様な方式の偏光メガネ７で見ることにより視差映像を目に入れることが可能となる。また、図４のように複数の表示デバイス１５〜１９によって複数角度から撮影した映像を投影し、立体映像を再現する方法もある。この場合は立体用の映像ストリームは２本ではなく複数本のストリームを蓄積し再生しなければならない。

さらに、ＴＶのフィールド表示のタイミングに同期して回転する上記同期回転部材１３をＲＧＢの特定の波長のみを通す光学フィルタにて構成し、円盤の半分を左目用残りの半分を右目用として、それぞれのＲＧＢの波長をずらす事によって、右目用の光と左目用に光の波長を変え、またメガネ７をそれぞれ右目用と左目用の波長しか通さない光学フィルタから構成する事によっても左右の映像をそれぞれの目に入射させる事ができる。この場合、左右のＲＧＢのずれはＴＶの表示側の色調整によって補正し、色再現上遜色ないようにする事が可能で、またこのＲＧＢ波長を左右でずらす方式ではメガネを傾けてもメガネ７からの光が減衰したりする事がない。

また、図４の回転ミラー２１を用いた方式では、複数の視点による映像を表示デバイス１５〜１９によって、回転ミラー２１に立体映像が投影されるため、実際の立体映像においてみる側の視点を変えても実物のように見える（極端な場合は裏側等隠れて見えなかった部分も見えるようになる。）ものである。

次に、実際の立体映像について説明する。視差を利用した映像再現の場合であっても、人間の目においては図５のように知覚される。この場合、奥行き位置の無限遠１１１から目の位置１１７までの奥行きを分解表現すると、奥行き位置１１２〜１１５までの奥行き平面上にそれぞれの画像が表示されている事となる。例えば、注目点となる登場人物は手前にあれば大きく人間１１８のように見え、離れると人間１１９のように見える。背景情報である川１２１などは手前に近づけば大きく遠くなれば小さく見え、大きな山１２１などは背景であっても大きく見える。例えば、図５に示すような立体映像に字幕を表示させた場合、図６のように表現される。近くにある字幕１２２Ａは、字幕１２２Ｂ，１２２Ｃと表示が少しずつ遠ざかっていく。この注目点である登場人物である人間１１９Ａ〜１１９Ｃはシーンにより奥行き位置が変化しているとすると、字幕もそれにあわせて変化させれば目の焦点の動きを少なくさせるため疲れにくくなる。そのため、登場人物である人間１１９Ａのシーンでは字幕１２２Ａを、登場人物である人間１１９Ｂのシーンでは字幕１２２Ｂを、登場人物である人間１１９Ｃのシーンでは字幕１２２Ｃを表示させる事が望ましい。従来の２Ｄ映像においてはもともと奥行き位置の変化がないため、ユーザとＴＶとの距離が人間の目の焦点であり、目の焦点方向の筋肉を動かすことはないが、立体映像では視差を利用したものであっても視差分の目の移動が必要となるためである。

また、図７（ａ）に示すように登場人物等の注目点の焦点方向の移動においては、その視差角度の変化速度や変化にかかる時間やその回数に比例して目の疲れが発生する。特に注目点においては目が追随しなければならないため、目の疲労は激しく、視差角度の変化速度や変化にかかる時間やその回数が少ない段階で疲労のピークに達するものと考えられる。特に、図７（ｂ）に示す視野角１２６Ｄのように手前の映像は視差角度が大きく、遠くのものは視野角１２６Ｅのように視差角度が小さい。遠近が変化すると視差角度が変化し両目１２６Ｆはこの角度をつけて目標に焦点を合わせる必要が生じ、遠近の変化に伴う視差角の変化に追従しなければならない。従来の平面映像を表示するＴＶは遠近の映像がないため目の奥行き方向認知に必要な視差角は常に一定であるが立体映像の場合は、平面内の目の動きの他に奥行き方向（視差角をもたせる）の目の動きをつけなければならないため、目の負担は増大する。ただし、目の応答よりも早い動きをした場合は追従できないので逆に疲労も減少するため目の疲労度１２６のカーブのようになるものと予想される。また、背景情報については元々目が追随していないものの、遠近の変化に伴う視差角度の変化速度や変化にかかる時間やその回数が増えると、疲労度が増加傾向にあるものと推定される。これを奥行き方向加速度と、移動時間と回数の積の関係で表したものが図８であり、奥行き方向の加速度が小さくても回数や距離が増えると危険領域や酔いの発生が見られるが、あるレベルを下回った場合、移動時間と回数の積が増えても疲れない状態になると推定する。

ここで、評価値としての目の疲労度は、画面サイズが大きくなると面内方向の目の移動も大きくなり疲労も増大する事から、これを配慮した場合とそうでない場合とで２つの評価関数が考えられる。まず、評価関数１は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数に比例する。評価関数２は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数×画面サイズに比例する。ＴＶ画面のサイズが検知できる場合は評価関数２を、できない場合は評価関数１を用いる。なお、実施の形態２以降では上記評価値（目の疲労度）は奥行き変化度として記載している。

１本の立体映像を製作する際、１本の映像コンテンツにおける立体映像の視差角変化量と変化に関わる時間と変化した回数を評価係数としてもっておき、これが図７の危険領域１３１に入らないように再エンコードする事で立体映像コンテンツを製作する事ができる。また、この立体映像コンテンツにおいても評価関数としての奥行き変化度を記述しておくことで、映画視聴前に目の疲労度を提示しユーザに２Ｄ再生とするか３Ｄ再生とするかの選択をさせる事ができる。この際、再エンコードの方法としては視差映像を撮影するカメラの視差間隔を小さくする（２台のカメラの距離を小さくする）といった撮影上の工夫や、後述する視差情報を用いた画素変換処理によって視差を小さくするような画像処理を行う方法、アニメーション等ではＣＧ等でのコンテンツ制作時に飛び出し量を制限させる方法等が行われる。

このような映画等のストーリを把握するため、ユーザが必ず読まなければならない字幕表示については、図９に示すように奥行き方向の変化量を制限する必要がある。あまり目の焦点方向の追従速度が速くなると図７や図８のように目の疲れが増大し３Ｄ酔いが発生しやすくなるからである。また、あまり遠方すぎる位置の字幕は、字幕の大きさと背景との関係で、図６にあるように違和感があるため遠方位置についても制限を加えたほうがよいと思われる。また、目に近い手前側についても制限が必要である。これは特に目に近すぎる位置は視野角の関係で目の角度変化量が大きくなるため元々目の疲労が大きくなるほか、飛び出し量が大きいと「びっくりする」，「おどろく」といった影響を及ぼす場合もあるからである。また、表示するＴＶ画面が大きくなる場合、面内方向の目の動き量も増大するとともに、上述する「びっくりする」，「おどろく」といった心理的効果も増大するため、より制限を大きくする事が望ましい。再生装置とＴＶがリンク接続されている場合、ＴＶ画面の大きさに関する情報を再生装置との間でやりとりし、字幕等の飛び出し範囲制限をきびしくする。また、飛び出し量の異なる複数のストリームが配置されている場合、ＴＶ画面の大きい場合は飛び出し量の小さいストリームを選択し、ＴＶ画面が小さい場合は飛び出し量の大きなストリームを選択する等の構成が考えられる。また、後述する装置側の設定によって飛び出し量が可変できる場合には、ＴＶのサイズ情報やユーザの状態（年齢等）を配慮し自動設定する事も考えられる。

この際、上記評価値や視野角である最大飛び出し量からなる立体映像パレンタルレベルを規定し、立体映像パレンタルレベルに応じて、視聴する年齢の制限やお年寄りや病人に対する危険告知を行う事が可能となる。例えば、立体映像パレンタルレベルとして、レベル１は疲労・危険が大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが高い場合とする。レベル２は疲労・危険がやや大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが普通以下の場合、又は評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが高いの場合とする。レベル３は疲労・危険が中として、評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが普通以下の場合とする。レベル４は疲労・危険なしとして、評価値（目の疲労度）＞ｇ，最大飛び出し量＞ｈ，通常のパレンタルレベルが普通以下とする。

なお、上記の立体映像パレンタルレベルの例では、ｃ＞ｅ＞ｇ，ｄ＞ｆ＞ｈの関係を有し、通常のパレンタルレベル（平面画像パレンタルレベル）が、ホラー映画等に対し現行の２Ｄ映像のＤＶＤ等で規定されている安全のための視聴制限を指すものとする。また、このような立体映像パレンタルレベルの設定は製品購入時や、初期設定時に設定・変更する事ができ、例えば暗証番号等を記憶させる事によって、後での解除変更をできるようにしておけばより有用である。

（実施の形態２）
次に、本実施の形態２について、図に従い以下に説明する。図１から図３のような特に視差情報を用いた立体映像においては、そのままＴＶ放送すると２重写しのような画面になり、上述したような専用の立体表示装置を構成しなければ見ることができない。従って、放送において立体映像を行う事は視聴者側の機器のインフラにも左右されるため、一般には視聴できない専用のチャンネルを設けるか、３Ｄ映像である事のフラグを放送の情報に重畳する等が必要となる。そのため、通常では記録メディア等で配信され、専用のプレーヤもしくは本機能が搭載されたプレーヤで見るのが都合が良い。このような状況から、上記のような立体映像を記録メディアに保存するための方法やフォーマットを、以下に説明する。

図１０は、本実施の形態２に係る記録媒体２６である。本発明に係る記録媒体（映像メディア）は、ＤＶＤやＢＤ、ＨＤ−ＤＶＤ、ＭＯ等の光ディスク媒体の他、ＨＤＤ媒体であっても良いことはいうまでもない。ＨＤＤの場合はそれ自体可搬できない場合が多いものの、放送された立体映像情報を記録する際には容量の点からも有利である。一方、ＲＯＭメディア等の光ディスク媒体においては、放送される前の立体のキラーコンテンツや、立体有料コンテンツを配信するのに有効である。図１０に示す円盤状の記録媒体２６では、映像情報に関する制御情報を確認している領域（映像制御情報２３）、立体映像が格納されている領域（映像タイトル２４）、通常の２Ｄ映像が格納されている領域（映像タイトル２５）に分けられている。

図１１は、図１０の映像タイトル（映像コンテンツ）２４部分の映像ストリームの構造例を示したものである。図１１では、映像タイトル２７が２Ｄ映像情報２８、ユーザの選択が可能な２Ｄ映像情報３０，３１、表示装置が立体映像表示可能な場合に自動的に選択もしくはユーザの選択により選ばれる３Ｄ映像情報２９、上記映像情報２９〜３１に引き続いて再生される２Ｄ映像情報３２、映像タイトル２７の最後の２Ｄ映像情報３３で構成されている。また、図１１では、ＧＯＰレイヤのストリーム情報として、後に続くＧＯＰ映像情報３５，３６の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３４、ＧＯＰ映像情報３８の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３７、ＧＯＰ映像情報４０，４１の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３９が図示されている。

また、図１１では、ピクチャレイヤのストリーム情報として、付帯情報を記載したパケットデータ部４２、面内符号化データから構成されたＩピクチャデータ４３、Ｉピクチャデータ４３とＰピクチャ４５とから時間方向に予測された符号化データであるＢピクチャ４４、Ｉピクチャデータ４３から片方向のみの時間方向に予測された符号化データであるＰピクチャ４５が図示されている。また、図１１では、トランスポートパケットデータのレイヤとして、付帯情報を記載したトランスポートパケットデータ部でパケットデータ部４２と同じパケット４６、Ｉピクチャデータ４３をトランスポートパケットで分割した先頭のパケット４７、Ｉピクチャデータ４３の最後のデータが格納されたトランスポートパケット４８、トランスポートパケット４８の中のＩピクチャデータの最後の部分４９、トランスポートパケット４８の中のパディング処理された部分５０が図示されている。

また、図１２は、映像タイトル（映像コンテンツ）２７における３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域の階層のデータ構造を示したものである。図１２では、３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域における先頭に配置された本映像列に関連した情報が格納された付帯情報５１、当該領域におけるＧＯＰ映像情報列５２、ＧＯＰ映像情報列５４に関連した情報が格納されている付帯情報５３、当該領域の最後のＧＯＰ映像情報列５６に関連した情報が格納されている付帯情報５５が図示されている。また、図１２では、ピクチャレイヤのストリーム情報として、面内符号化データから構成されたＩピクチャデータ５７、Ｉピクチャデータ５７とＰピクチャ５９とから時間方向に予測された符号化データであるＰピクチャ５８、Ｉピクチャデータ５７から片方向のみの時間方向に予測された符号化データであるＢピクチャ５９が図示されている。

また、図１２では、トランスポートパケットデータのレイヤとして、Ｉピクチャデータ５７をトランスポートパケットで分割した先頭のパケット６０、Ｉピクチャデータ５７の最後のデータが格納されたトランスポートパケット６１、トランスポートパケット６１の中のＩピクチャデータの最後の部分６２、トランスポートパケット６１の中のパディング処理された部分６３が図示されている。また、図１２に示す矢印Ａは再生部分、矢印Ｂは３Ｄ再生を行った場合にジャンプする部分、矢印Ｃは３Ｄ再生を行うために再生する部分であり、右目映像のＧＯＰ映像情報と左目映像のＧＯＰ映像情報とが配置されているものである。図１３では、映像タイトル２７における３Ｄ映像情報２９、２Ｄ映像情報３１とが選択的に選べる領域の階層のデータ構造を示したものであり、基本的に図１２と同じであるため同じ構成要素については同符号を付して説明を省略する。

光ディスクやＨＤＤ媒体に記録されるデータの構造としては、図１０に示されるように映像関連の付帯情報やシーケンス等を記録した映像制御情報２３の領域と実際の映像タイトル（映像コンテンツ）２４，２５の領域とから構成される。この時、３Ｄ映像は必ずしも全編が３Ｄ映像となっているわけではなく、２Ｄ映像との混在である場合や、これら映像がユーザの選択により切り替えられる場合が想定される。特に、ＤＶＤ規格においてはマルチアングルといったユーザの選択可能な映像情報列を切り替えて表示できるようになっており、３Ｄ映像情報の場合も、ユーザの機器がすべて３Ｄ映像対応になっていない事を考慮すると、２Ｄ映像ストリームの上に、追加的に３Ｄ映像ストリームが構築される。そして、ユーザの表示機器が３Ｄ対応の場合、ＨＤＭＩ端子のリンク機能等により自動的に識別し３Ｄ映像ストリームを選択的に表示させるか、ユーザのボタン操作により選択的に３Ｄ映像側に決定し動作させる方法が考えられる。もちろん、全てのコンテンツが２Ｄ映像のみもしくは３Ｄ映像のみの形態もある事はいうまでもないが、フォーマットとしてはこのような複合形態への配慮が必要である。

また、映像タイトル２４の映像情報ストリームにおいても、映像情報ストリーム上にこれに関連する付帯情報領域を設け、情報のアクセスと管理や、機器の設定切換えの対応等を行う事が望ましい。特に、２Ｄ映像と３Ｄ映像とが混在するコンテンツにおいては、ＴＶ側で映像ストリームの２Ｄ映像か３Ｄ映像かの判定を行う必要があり、ストリーム上に付帯情報領域があればこの情報に基づき、ＴＶ側の設定を簡便にかつ自動的に切り替える事が可能となる。記録媒体を再生もしくは記録するプレーヤ・レコーダですべての設定を閉じて行う場合、制御情報をディスクの一部に集約して配置する映像制御情報２３に記載するのみでも良い。しかし、ＴＶとの接続連携を行う場合では、特に再生中にＴＶを切り替える等の処置を行う場合は、映像情報自体に、必要最低限の制御情報を重畳させておくことで、ＴＶ側の自動切換え設定等が行えるようになる。上記映像情報中の制御情報がない場合は、ＴＶの接続切換えを検出し、別途制御情報をプレーヤ・レコーダから送出しＴＶ側の設定を変更した後、映像情報を送出する事となる。これらＴＶ側の設定変更については、立体映像再生の処理自体が偏光を切り替える等表示装置側で行われるため、表示装置の設定変更処理を迅速に行うようなしくみが必要となる事はいうまでもない。

付帯情報５１は、情報のアクセス管理にも使用する事が可能であり、ＤＶＤ規格ではＮａｖｉ情報として定着しているものである。ここで、２Ｄ映像と３Ｄ映像とが混在している場合、図１１に示す３Ｄ映像情報２９，２Ｄ映像情報３０，３１のようにコンテンツの時系列上は並列する形となる。そこで、先頭にある付帯情報３４はＧＯＰデータ情報群の頭に配置される必要があり、まず付帯情報の内容を読み取る事により、次のＧＯＰ列の情報が２Ｄ映像なのか、３Ｄ映像なのか、３Ｄ映像であれば左目映像なのか右目映像なのか、またＧＯＰ映像情報群におけるそれらの配置情報（どこにアクセスすれば良いか）を判断する事ができる。ここで、付帯情報５１を先頭に含むＧＯＰ映像情報群はビデオユニットとしてＧＯＰ映像情報よりもさらに大きな映像単位として定義される。

また、ＭＰＥＧ等の時間方向にも圧縮をかけた映像情報データの場合は、Ｉピクチャを先頭とするＧＯＰ映像情報単位で情報が存在するため、映像データのアクセスはこのＧＯＰ映像情報単位となる事はいうまでもない。また、付帯情報は最初に読み取る必要があるためＧＯＰ映像情報群の先頭に配置しなければならず、例えば図１２のように３Ｄ映像情報部分を再生する場合は、まず付帯情報５１を再生（図中矢印Ａ）した後、２Ｄ映像情報３０，３１をジャンプして、３Ｄ映像情報２９を再生する。この際、２Ｄ映像情報３０，３１は図中矢印Ｂのようにジャンプし再生機器のメモリに不要な情報（この場合は２Ｄ映像情報３０，３１）を取り込まないようにして不要なメモリの増大を回避するとともに、映像の途切れが生じないように図中矢印Ｃの３Ｄ映像情報２９を再生する。

また、上記ＧＯＰ映像情報の先頭の付帯情報５１は、その下のピクチャレイヤの状態で示すと、Ｉピクチャ５７の先頭位置に配置されている。さらに、地上波や衛星・ケーブル等のディジタル放送等との親和性を持たせるため、これら圧縮映像データはトランスポートパケットで分割しておく事が便利であるため、最下層のデータとしては図１２のようにトランスポートパケット６０，６１に分割する。この場合でも付帯情報５１はＧＯＰ映像情報群５２の先頭のトランスポートパケットにて記載される事となる。なお、トランスポートパケットにおける新たに定義されたプライベートパケットを使用する事はいうまでもない。さらに、上記ＧＯＰ映像情報群の最後のトランスポートパケット６１は、必ずしも一定のトランスポートパケット単位でデータが切れるわけではないので、最後の部分６３を「００」や「ＦＦ」でパディングしてＧＯＰ映像情報単位でパケットのデータが完結するようにしておく事が良い。また、図１３のように１つの２Ｄ映像３１と１つの３Ｄ映像２９との２本に分岐している場合は、図１２と比べ図中矢印ＢのジャンプするＧＯＰ映像情報量が少ないだけであり、基本的な動作は図１１と変わらない。

なお、上記付帯情報の内容についてさらに説明する。図１４に示す付帯情報５１は、コンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９で構成されている。そして、図１４に示すコンテンツ情報６４は、コンテンツ名７０、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４で構成されている。

また、図１５に示すタイムコード情報領域６５は、プレゼンテーションタイム６５Ａ、同期情報６５Ｂで構成されている。図１６に示す配置情報６６は、シームレス情報７５、ジャンプ先情報７６、アングル情報７７、ＧＯＰ内配置情報７８で構成されている。図１７に示す映像情報６７は、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。

また、図１８は、上記付帯情報を表示装置であるＴＶに表示させた場合の模試図である。図１９（ａ），図１９（ｂ）は、複数のカメラからマルチアングル撮影した場合の模試図である。また、図２０に示すＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂ、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅ、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。

ここで、図１４における付帯情報５１は、まずストリーム上のＧＯＰ映像情報群毎に記述されたものであり、ＴＶ等にＨＤＭＩ伝送された場合でも、映像情報ともに伝送されるものである。従って、特に３Ｄ映像表示に関するＴＶ側の設定にも必要な情報も含まれることはいうまでもない。

次に、図１４に示すコンテンツ情報６４について説明する。コンテンツ名７０は、（１）コンテンツ名，（２）出演者名，（３）製作時期，（４）配給会社，（５）関連する作品名，（６）あらましをＴＶ側のＯＳＤ情報として表示させる場合がある。当該コンテンツ名７０は、映像ストリーム上に重畳された付帯情報５１が含まれるのであれば、途中でＴＶ側の入力を３Ｄ映像情報に切り替えた場合でも、コンテンツ名７０の内容を表示する事が可能となる。

図１４に示す著作権情報７１として、（７）著作権者，（８）配給会社，（９）輸入業者，（１０）資本参加社を記載しておくことで、映像ストリームの著作権所有者の情報も同時に配信する事ができ、本再生データを用いて不正な使用を行った場合でも著作権者の権利を主張する事ができる。また、本情報は映像ストリームに重畳されるため、ＴＶをつなぎかえた場合においても常にＴＶ側に情報配信されるため、著作権に関する表示を行う事も可能となる。

また、図１４に示す暗号情報７２は、（１１）暗号の有無，（１２）暗号方式を記載しておく事で、暗号化された機密性の高い情報なのか、コマーシャル等の機密性の無い情報なのか伝送先の機器へ送付する事ができる。

また、図１４に示す３Ｄ映像情報７３は、（１３）３Ｄ映像対応の有無，（１４）全２Ｄ映像対応かどうか（２Ｄ映像表示のみで最後まで再生できるかどうか？），（１５）３Ｄ映像対応の場合、３Ｄ映像再生が優先かどうかを記載する事で、３Ｄ映像対応でないＴＶと接続した場合には非対応である事をユーザに表示させる事ができるようになる。また、ＴＶとＨＤＭＩでリンク接続している場合は、ＴＶ側を自動的に３Ｄ映像設定に切り替えたり（例えば、図１から図３に示すように自動的に２映像ストリームをフィールド毎に表示させる）、ＴＶ側に３Ｄ映像機能が無い場合は、ＴＶや再生装置側でＴＶが未対応と表示させたり、ディスクを吐き出す等の処置を行う事ができる。

また、図１４に示す有効地域７４は、（１６）２Ｄ映像の再生許可地域，（１７）３Ｄ映像の再生許可地域を記述する事で、本ディスクの再生許可地域を限定するだけではなく、２Ｄ映像のみ許可し３Ｄ映像対応の表示を許可する地域を限定して指定する事もできる。これは、３Ｄ映像再生に関するライセンス条件が整っていない場合に、特定の地域で２Ｄ映像再生のみを許可するケースが生じるからである。３Ｄ映像の再生許可地域が許可されていない地域であれば、３Ｄ映像表示装置と接続してあっても２Ｄ映像のみの再生となったり、ディスクを吐き出す等の処置が行われる事となる。

次に、図１５に示すタイムコード情報６５について説明する。２Ｄ映像と３Ｄ映像とが混在する映像コンテンツにおいては、ユーザによって途中の切換え（例えば３Ｄ映像から２Ｄ映像）が発生した場合でも、映像情報の流れを途切れたり省略したりする事なく連続的に再生させなければならない。また、ユーザの指示から例えば１０分前に戻る・進む等のタイムサーチが発生する場合がある。そのためＧＯＰ映像情報群の先頭には以下に示す、その映像のタイトル開始時点からの再生時間情報であるプレゼンテーションタイム６５Ａを記録しておく必要がある。なお、タイトル再生終了までの残り時間情報もしくはタイトル再生全時間を記載しておく事でＴＶ側で残時間表示等を行う事が可能となる。

また、３Ｄ映像は実施の形態１で説明した目の疲れ等を誘発しやすいため、３Ｄ映像再生開始からのタイムコード（連続してどれだけの３Ｄ映像を視聴したか）や、本映像コンテンツのトータルでどれだけの３Ｄ映像を視聴したかについて表示し、目の疲れを防ぐための休憩の指示や危険表示を行う事ができる。また、３Ｄ映像における右目・左目それぞれのＧＯＰ映像情報があった場合、その再生順序に対応するフィールド指定を行う事が可能となる。つまり、プレゼンテーションタイム６５Ａには、（１８）タイトル開始時点からのタイムコード（プレゼンテーションタイム），（１９）タイトル再生終了までの残り時間情報もしくはタイトル再生全時間，（２０）３Ｄ映像再生開始からのタイムコード（３Ｄプレゼンテーションタイム），（２３）トータル３Ｄ再生時間，（２４）左右映像の再生順もしくはフィールド指定を記載しておく。また、同期情報６５Ｂは、映像コンテンツの同期を規定し左右映像の再生順もしくはフィールドを指定して行う。

次に、図１６に示す配置情報６６について説明する。特に２Ｄ映像コンテンツと３Ｄ映像コンテンツとが混在する場合、再生に不要な情報を飛ばしたり、必要なデータの先頭位置にＧＯＰ映像情報群における配置情報の記述が必要となる。また、特殊再生動作を行う場合はＭＰＥＧ等の時間軸方向の圧縮映像の特性からまず面内圧縮画像からアクセスが必要となる点も配慮しなければならない。そのため、シームレス情報７５には、（２５）シームレス再生の有無（次のＧＯＰ映像情報群までの）が記録される。また、ジャンプ先情報７６には、（２６）ジャンプ先（正方向と逆方向）アドレス１、アドレス２等，（２７）ジャンプ先のタイムコード情報１、タイムコード情報２等（複数のジャンプ先情報をテーブル情報として有する），（２８）ジャンプ先の３Ｄ映像情報有無が記録される。なお、（２８）ジャンプ先の３Ｄ映像情報有無の情報に基づきジャンプ先に３Ｄ映像情報が無い場合、ストリーム再生中にＴＶの設定を２Ｄ映像に戻すことができる。

アングル情報７７には、（２９）複数のアングルに対応したＧＯＰ映像情報のアドレス１、アドレス２等，（３０）複数のアングルに対応したＧＯＰ映像情報のタイムコード情報１、タイムコード情報２等が記録される。ＧＯＰ内配置情報７８には、（３１）各ＧＯＰ内のＰピクチャの配置情報としてのアドレス情報１、アドレス情報２等が記録されることになる。以上のように、シームレス情報７５を有することにより、必要なアングルをつなぎながら順次再生する事も可能になるほか、ＧＯＰ内の配置情報によりＩピクチャのみを再生したり、ＩとＰピクチャのみを再生する事による早送りや早戻し際再生が可能となる。

次に、図１７に示す映像情報６７について説明する。映像情報６７において立体映像情報として特に必要となるものを以下に示す。まず、解像度情報７９には、（３２）２Ｄ映像再生の場合の解像度（面内方向）、ＰｉｎＰ画像の解像度（面内方向），（３３）３Ｄ再生時の解像度（面内方向）を記憶する。３Ｄ映像有無方式８５には、（３４）３Ｄの有無，（３５）３Ｄ映像方式指定（倍スキャンレート指定，偏光メガネありなし，液晶シャッタありなし）が記録される。３Ｄフレームレート８６には、（３６）２Ｄ映像再生時のフレームレート、３Ｄ映像再生時のフレームレートが記録される。

３Ｄ映像情報数８７には、（３７）平行して再生される独立した３Ｄ映像情報ストリーム数が記録される。なお、別々のアングルがｎ本ある場合は、ｎ＝アングル番号と記載される。本情報に基づき、再生中にアングル数を表示し、ユーザからの選択によるアングルの切換えとともに、アングル番号の表示による認識を行わせる事が可能となる。３Ｄ映像情報数８７には、（３８）左右映像を順次切換える場合の３Ｄ映像ストリーム数とカメラ情報も記録される。例えば、図１９（ａ）に示すように、５本の視差分だけずれたカメラＤ〜Ｈを用いて映像を撮影、もしくは、アニメ画像等をＣＧによって５本の視差映像情報にして記録した場合、これらの本数と、各カメラの間隔もしくは角度を記載する。付帯情報の記載一例としては、総合情報−映像本数５−カメラ間隔＊＊ｍｍ，カメラＤによる映像１−角度１，カメラＥによる映像２−角度２，カメラＦによる映像３−角度３，カメラＧによる映像４−角度４，カメラＨによる映像５−角度５となる。

視差分だけずれた映像が５本あった場合、実際のアングル映像としては、アングルＤは映像１が左、映像２が右，アングルＥは映像２が左、映像３が右，アングルＦは映像３が左、映像４が右，アングルＧは映像４が左、映像５が右と５本の視差映像情報で、図１９（ｂ）に示すように少しずつアングルの異なる４つの立体アングル映像を再生する事ができる。このとき順次アングル情報をずらす事で映像を回転させたりする事も可能である。従って、各映像ストリームが１つのアングル情報を指すのではなく、隣接する視差角を持った映像との組み合わせで新たなアングル情報が構築できる。近年、ＣＧ技術の進化により、アニメーション映像では容易に立体映像を作る事が可能となっており、このような複数アングルの視差情報を準備し、ユーザからのリモコンの指定によりおのおのにアクセスする事で、アングルずらしによる視点変更も可能になる。

奥行き解像度８８には、（３９）３Ｄ映像における奥行き解像度１、解像度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向解像度を記載する。例えば、ＣＧ映像等により極端に奥行き解像度が低く、時間的にもカクカク動くような場合は、本情報に基づき、時間方向に奥行きを補完して、なめらかに表示させる事も可能になる。奥行き変化度８９には、（４０）３Ｄ映像における奥行き変化度１、変化度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。特に、変化度については実施の形態１に示すような人間の目の疲れに関連するため、安全性を確保するために、記載しておき、ユーザへの警告や休憩指示等に用いる事ができる。

字幕許可奥行き９０には、（４１）字幕許可奥行き範囲（最大視野角１、最小視野角１、最大視野角２、最小視野角２等）が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。字幕情報については、後述する立体映像視聴の際に、字幕焦点位置と注目点とで焦点を頻繁に合わせる必要がある事から、目の疲れに影響しやすく、表示範囲を十分限定しておくことが必要となる。また、奥行き情報の記載は、実距離にした場合、遠い方が無限遠になるため数値化しづらく、視野角情報で記載する事が望ましい。また、無限遠に近い場合は詳細数値を記載する事に意味をなさないため、例えば視野角１ｄｅｇ以下は省略する等の下限を設けても良い。プレーヤではこれら情報に基づいて、ＯＳＤの表示における字幕の奥行き位置を設定する。

奥行き制限１００には、（４２）奥行き制限（最大視野角１、最大視野角２等）が記録される。あまり近くに飛び出してくる立体映像においては、心理的な効果からびっくりする等の感覚を与える。そのため、字幕ではなく立体映像そのものの飛び出し量を制限し、目にやさしい効果や、あまりびっくりさせないような配慮を行う。この場合プレーヤでは、図１７に示すように映像コンテンツで予め飛び出しの最大量となる視野角を記録しておく事により、図１８のように小さなお子さま等の視聴者に警告したり視聴制限させる事が可能となる。

視差量制限１０１には、（４３）視差量制限（撮影時の最大視野角１、最小視野角１、最大視野角２、最小視野角２等）を記載する。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。本情報は撮影時の２つのカメラの距離である視差基準量は人の目の間隔によって異なるため、この基準角度のずれ量の範囲を規定したものである。これにより両目の間隔の小さな子供等が視聴した場合の違和感を予め把握する事ができる。

このように、違和感の解消のために、同一映像コンテンツにおいて視差基準量の異なる複数立体映像を用意し、視聴者の目の間隔に合わせて選択する方法等も考えられる。複数の視差基準量については、近年ＣＧ技術が革新し、アニメーション映像等においてはコンピュータにより容易に変更できるようになっている。この場合、このような視差量制限情報を付帯情報に記載することによって、プレーヤでは図１８に示すように＊＊才〜＊＊才、大人等の選択キーを用意し、これを選択する事で元の映像コンテンツにおける視差基準量を視聴者にあわせて、正確な立体視聴が可能となる。また、視差のずれた映像を長時間見る事による目の疲れ等も回避できる。さらに、パレンタル８２においては、通常の平面映像２Ｄパレンタルレベル以外に３Ｄ映像対応した立体映像パレンタルレベルが規定される。パレンタル８２には、（４４Ａ）平面映像パレンタルレベル（現行ＤＶＤ等と同等のパレンタル表記），（４４Ｂ）立体映像パレンタルレベル（実施の形態１にて説明した立体映像パレンタルレベル）とを記録する。

また、図２０に示すようにＯＳＤ情報６９には、まずＯＳＤ自体の付帯情報となる配置情報６９Ａと、ＯＳＤそのものの情報が格納されているアドレスを記載したＯＳＤ情報格納先６９Ｂとを記録する。ＯＳＤ表示６９には、まずこの付帯情報を取り込みマイコン等で理解した上で、この格納先情報により実際のＯＳＤを取得し表示させる事となる。

ここで、字体の大きさ等の情報６９Ｃには、（４５）字体フォント、字体大きさを記録する。面内配置情報６９Ｄには、（４６）字体の配置情報（Ｘ位置、Ｙ位置）を記録する。

奥行き方向ＯＳＤ配置情報６９Ｅには、（４７）奥行き位置６９Ｆ，（４８）奥行き許可制限６９Ｇ（遠方制限位置、手前制限位置、奥行き変化量制限等の実施の形態１における目の疲れを軽減するための制限），（４９）奥行きズーミング速度６９Ｈ（ズーミングありなし、ズーミング速度）が記録される。なお、奥行きズーミング速度６９Ｈでズーミングを規定する事により、ある字幕から次の字幕に切りかわる際に、瞬時に奥行き位置を変化させるのではなく、すこしずつズームするように変化させ、目の疲れを軽減させるためのものである。

なお、上記（１）から（４３）までの３Ｄ映像情報における付帯情報は、映像情報ストリームに重畳されたものとして、映像情報とともに配信されるが、以下に述べる映像情報そのものとは別の領域に記載された映像制御情報２３にも同様な記載を行う事ができる。また、プレーヤ起動時の最初にすべての情報を読み込めるため、各種初期設定を行う事が可能である他、ビットレートやメモリの制限にかかる事なく映像情報に重畳するよりも多くの情報を記述できるため、より詳細な制御情報を記述する事が可能である。

次に、記録媒体のある領域に映像情報とは別に配置されている制御情報の構造について説明する。図２１は、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２１に示す映像制御情報２３は、コンテンツ情報６４、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４、ＧＯＰテーブル情報１０２、シーケンス情報１０３、メニュー情報１０４、メニューのＯＳＤデータ１０５を備えている。そして、ＧＯＰテーブル情報１０２は、図２１に示すように表形式となっており、ＧＯＰ番号、論理アドレス、タイムコード、シーケンス、配置、映像、音声、ＯＳＤの各欄が設けられている。

図２１では、特に映像欄の構成が図示されており、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４で構成されている。さらに、図２１では、３Ｄ映像情報８１が３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されていることが図示されている。

また、図２２も、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２２では、特にＯＳＤ欄の構成が図示されており、字幕の有無１０６とＯＳＤ情報６９とで構成されている。ＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂで構成され、ＯＳＤ配置情報６９Ａは、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅで構成され、奥行き方向のＯＳＤ配置情報６９Ｅは、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。

また、図２３は、記録媒体のある領域に映像情報とは別にまとめて配置されている映像制御情報のシーケンス情報の構造について説明したもので、シーケンス情報１０３が表形式で記録されていることを示している。図２３の映像欄には、解像度情報７９、フレームレート情報８０、アングル情報８３、３Ｄ映像情報８１、パレンタル情報８２が記録されている。なお、３Ｄ映像情報８１は、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。一方、図２３のＯＳＤ欄には、字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０とが記録されている。

記録媒体のある領域に映像情報とは別に配置されている制御情報については、映像情報ストリーム上に重畳された付帯情報３４、５１の情報を含めてすべての情報が記載されている。これはプレーヤ・レコーダの立ち上げ時にまず制御情報を読みこみ、各種初期設定を行うためである。

まず、映像制御情報２３は図２１のように記載されており、図１４の映像情報中に重畳された付帯情報５１と同じくコンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９を含んでいる。しかしながら、より多くの情報を格納できる映像制御情報２３においては、ＧＯＰテーブル１０２といった全ＧＯＰに関するテーブル情報を記載する事ができ、映像再生しなくてもＧＯＰ映像情報単位での情報内容を把握する事が可能となる。ここでＧＯＰテーブル１０２は図２１中の表のように記載され、論理アドレスがある事から、所定のセクタ領域から読み出された信号から上記データ・ファイル識別情報を検出し、検出された上記データ・ファイル識別情報にもとづいて、上記位置識別信号によって示された位置にある上記符号化単位に対応した上記データ・ファイルがディスク媒体上に記録されている位置を識別する。識別された上記ディスク媒体上の位置にもとづいて上記データ・ファイルを読み出し、読み出された上記データ・ファイルに含まれる上記符号化単位で符号化された信号を復号化して画像信号を再生する事ができる。これにより、所望の時点にある符号化単位が記録されている位置を容易にしかも即座に特定して再生することを可能にする。

また、上記ＧＯＰテーブル１０２においては映像に関する付帯情報において３Ｄ映像情報を含み上記（３２）〜（４３）の映像ストリーム中に記述された項目と同じ項目の付帯情報をＧＯＰ映像情報毎に記述する事が可能となる。また、字幕情報に関しても、図２３に示すように字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０を記述する事で（４４）〜（４９）に示す情報と同様な情報をＧＯＰ映像情報単位に字幕の付帯情報を記載可能となる。

また、上記映像制御情報２３には図２３に示すようにＧＯＰ映像情報単位のシーケンス情報を記載する事も可能である。これにより再生開始時に、データ・ファイルの再生順序を示す情報が記録された所定のセクタ領域のセクタ・アドレスを生成し、データ読み出し手段によって読み出されたデータから再生順序情報を読む事によって再生順序情報が検出され、その後再生順序情報にもとづいてセクタ・アドレスを生成する。これにより、記録媒体上に分散したセクタに記録された画像信号も再生することが可能となっている。このようなシーケンステーブル情報にも上記（３２）〜（４９）に示す付帯情報を記載することが可能となる。

（実施の形態３）
次に、本実施の形態３について以下に説明する。図２４は、本実施の形態３に係る立体映像記録装置のブロック図である。図２４に示す立体映像記録装置は、視差情報を利用した立体映像の右目映像と左目映像のそれぞれの映像信号をディジタル化するためのＡＤコンバータ１４６と、時間方向に画像圧縮するために必要な動きベクトル検出（動き検出）１４７と、面内圧縮に必要なＤＣＴ変換回路１４８と、面内圧縮に必要な適応量子化回路１４９、ローカルデコーダにおける逆量子化回路１５０とを備えている。さらに、図２４に示す立体映像記録装置は、面内圧縮に必要な可変長符号化回路１５１と、ローカルデコーダにおけるＤＣＴ逆変換回路１５２と、ローカルデコーダにおけるフレームメモリ１５３と、圧縮後のデータを格納するバッファメモリ１５４と、ＯＳＤ情報のエンコーダ１５５と、音声エンコーダ１５６と、フォーマットエンコーダ１５７と、光ディスク１６５に書き込む信号を生成するための変調手段１５８と、ＬＤ変調回路１５９とを備えている。さらに、図２４に示す立体映像記録装置は、光ディスク１６５に記録するアドレスを抽出するためのアドレスヘッダ認識回路１６０と、光ヘッド１６４からの信号を再生するための再生アンプ１６１と、光ヘッド１６４や送りモータ１６３や回転モータ１６６を制御するためのサーボ回路１６２と、装置全体のシーケンスを制御管理するためのシステムコントローラ１６７とを備えている。

また、図２５は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造を示した図である。図２５に示す立体映像信号のストリーム構造は、付帯情報５１以降に、右目映像のＧＯＰ１６８、左目映像のＧＯＰ１６９、情報に関する情報６８、ＯＳＤ情報６９の構成が順に繰り返す構造である。また、図２５に示す右目映像のＧＯＰ１６８は、ＧＯＰヘッダ１７０、ピクチャヘッダ１７１，１７３、Ｉピクチャデータ１７２、Ｂピクチャデータ１７４で構成されている。さらに、図２５に示すＧＯＰヘッダ１７０は、ＧＯＰヘッダ１７０内にあるユーザデータスタートコード１７５、ＧＯＰヘッダ１７０内にある３Ｄ映像情報１７６で構成されている。さらに、図２５に示す３Ｄ映像情報１７６は、左目映像か右目映像かを記載した情報１７７、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。

また、図２６は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造において下位の構造部分を図示したものである。図２６では、右目映像のＧＯＰ１６８のトランスポートストリームパケット１７８〜１８２で示しており、左目映像のＧＯＰ１６９のトランスポートストリームパケット１８５〜１８８で示している。ＧＯＰ映像情報の最後のデータが記述されたトランスポートパケット１８２，１８８の最後のデータがそれぞれデータ１８３，１８９であり、データ１８３，１８９のそれぞれにパディング処理された部分１８４，１９０が付加されている。

ここで、図２４に示す立体映像記録装置は、左目と右目のそれぞれで同じ映像圧縮を行うようにしたものであり、ＡＤコンバータ１４６でディジタル化された右目映像は動き検出１４７の処理によって各映像マクロブロック単位での動きベクトルが抽出される。また、映像データの最初は面内符号化処理されているため、ＤＣＴ変換回路１４８にてＤＣＴ変換した後、適応量子化回路１４９で量子化され、可変長符号化回路１５１にて可変長符号化してバッファメモリへと送付される。この時、適応量子化後の映像データは逆量子化回路１５０、ＤＣＴ逆変換回路１５２によるローカルデコーダによって元の映像信号が復元され、さらにフレームメモリ１５３にて動き補償した映像と比較する事で、以降の時間軸方向の圧縮を行う画面において差分情報のみを使用して圧縮していく事が可能となっている。このような圧縮方式はＭＰＥＧやＨ．２６４等の圧縮方法において基本的な方式となっており広く用いられているものである。

ここで、図２４では右目映像と左目映像とをそれぞれ独立した映像ストリームとして入力し、それぞれ別々のエンコードブロックにてエンコードされる。そのため図２４では右目及び左目が同じブロックをそれぞれ並列に配した構造となっている。ただし、入力部分にメモリを配置し、一旦左目映像と右目映像とを蓄積した上で、同じエンコード回路を倍の速度で処理し、１つのエンコードブロックで同様に処理を行う事も可能である。これらエンコードされた立体映像情報は、バッファメモリ１５４でＯＳＤエンコーダ１５５からのＯＳＤ情報、音声エンコーダ１５６からの音声情報、フォーマットエンコーダ１５７からのフォーマットに必要な付帯情報を追記し、記録媒体である光ディスク１６５に記録するデータ形式に整えられる。ここで、フォーマットエンコーダ１５７は、従来の光ディスクフォーマットに必要とされるＮａｖｉ情報やメニュー情報に加えて、本発明に係る３Ｄ映像情報の記録に必要な付帯情報も追記する。

なお、光ディスクに記録される形式の映像データは、変調手段１５８で光ディスク１６５に物理的に書き込むための情報として誤り訂正符号を付加するとともに変調処理され、ＬＤ変調回路１５９にて光ヘッド１６４に搭載されたレーザを変調させるための信号を生成する。この際、光ディスク１６５に安定的に記録させるためのサーボ回路１６２によって、光ヘッド１６４を移動させる送りモータ１６３やディスク１６５を回転させる回転モータ１６６や光ヘッド１６４内の対物レンズアクチュエータを制御しトラックあわせや焦点あわせを行っている。また記録時には光ディスク１６５上のアドレスを読み込む必要があり、光ヘッドにて受光した信号を光電変換した微小信号を再生アンプ１６１で再生し、アドレスヘッダ認識回路１６０でアドレス情報を生成する。これらアドレス情報はシステムコントローラ１６７で各ブロックの起動設定とあわせシーケンス処理され、特に高速なタイミングが必要とられる書き込みタイミング処理等は専用のハードウェアで行われ、プログラミングが必要なシーケンス設定部分はＣＰＵ等で行われる。

ここで、立体映像記録装置によって生成される映像ストリームは、図２５に示す構造となる。まずＭＰＥＧ等の時間軸方向の圧縮映像を含む圧縮映像データは一般的にＧＯＰと呼ばれる面内圧縮符号映像を含む。例えば１５ピクチャ単位程度の映像ブロックとして構成される。ここでは視差情報を利用した右目映像ブロックと左目映像ブロックとの２つあるため、付帯情報５１を先頭とし右目映像のＧＯＰ１６８と左目映像のＧＯＰ１６９とがシーケンシャルに配置させる。なお、右目映像及び左目映像がそれぞれ１ＧＯＰの例を示しているが、映像条件が変わらない範囲で同一ＧＯＰ数であれば複数個のＧＯＰから構成してもよい。また、付帯情報５１については実施の形態２で説明した通りであるが、ここではさらにＧＯＰヘッダ部分に新たなユーザデータスタートコードを定義し、その後ろに３Ｄ映像情報１７６を記載する事も可能である。

まず、３Ｄ映像情報１７６には左目映像か右目映像かを識別するための情報（フラグでもよい）１７７を配置するとともに、実施の形態２にて説明した３Ｄ映像方式の有無８５や、３Ｄ映像フレームレート８６、３Ｄ映像情報８７、奥行き情報１００、視差量制限情報１０１を記録する。また、図２６に示すように付帯情報５１は、トランスポートパケットのレイヤにおいてプライベートパケット（ＴＳＰ１）１７８を設け、これをトランスポートデコーダの部分で分離抽出する事になる。図２５のように構成する事でＭＰＥＧデータの階層レベルでも同じ３Ｄ情報を抽出する事が可能となる。これらは再生装置とＴＶがリンク接続され自動的に３Ｄ映像設定する場合や、映像再生中にＴＶを切り替えたりする場合に、ＴＶ側にトランスポートデコーダでの付帯情報抽出設定が有効であれば付帯情報５１が有効になるし、ＭＰＥＧレイヤでの立体映像付帯情報が有効であれば３Ｄ映像情報１７６が有効になってくる。

また、図２５の映像ストリームはＭＰＥＧ情報レイヤの単位で記載したものであるが、もう１段下のトランスポートパケットの単位で記述したものが図２６である。図２６において、右目及び左目映像のＧＯＰ１６８，１６９のブロック単位での映像データは、トランスポートパケット１７８の先頭からスタートしＧＯＰ映像情報の終端では必ずしもトランスポートパケットの整数倍のデータには収まらないため、最終のトランスポートパケット１８２内の残りをパディングし、最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。これによりトランスポートパケット１７９からトランスポートパケット１８２までを取り出すことにより右目映像のＧＯＰ１６８のみを抽出する事が可能となる。左目映像のＧＯＰ１６９においても右目と同様な処理が行われ、トランスポートパケット１８５を先頭に、パディングデータ１９０を含むトランスポートパケット１８８までを抽出する事により左目映像のみを取り出す事が可能となる。

なお、図２４の立体映像記録装置においては、左目映像と右目映像とをそのままエンコードしていたが、左目映像と右目映像とは基本的には視差分だけずれた映像情報であり相関性が非常に高いものであるから、例えば左目映像については右目映像からの差分情報のみを記録するように構成すれば、全体の情報量も圧縮が可能である。そのための立体映像記録装置のブロック図を図２７に示す。図２７に示す立体映像記録装置は、右目映像のブロック部分を主映像として図２４で示した映像圧縮のブロック構成と同じ構成を採用している。しかし、左目映像においては、左目映像の動き検出１４７の出力を右目映像のフレームメモリ１５３の出力と差分を取り、左目映像と右目映像との差分情報のみを抽出する。この差分情報は、左目映像のラインにおけるＤＣＴ変換１４８及び適応量子化１４９の処理を経て、可変長符号化処理１５１を行う事で左目映像の差分情報のみをバッファメモリ１５４に記録させる。以降の光ディスクに書き込むまでの処理は図２４と同じである。なお、図２７に示す例では、右目映像を主映像とし、左目映像を差分をとる副映像としたが、左右が逆（左目映像が主映像で右目映像が差分をとる副映像）であっても良いことはいうまでもない。

また、図２７に示す立体映像記録装置では、左目映像と右目映像との差分をとることで、片方の映像情報量をさらに圧縮する方法について述べたが、本映像情報が視差情報によるものである事からさらに情報圧縮をかける事が可能である。図２８（ａ），図２８（ｂ）に視差映像の原理を模式的に示した図である。図２８（ａ）では、奥行き位置１２６Ｍにある手前の映像物１２６Ｇと、奥行き位置１２６Ｌにある奥の映像物１２６Ｈ、両目１２６Ｆまでの奥行き位置（一番手前）１２６Ｎとし、映像物１２６Ｈの視野角１２６Ｄ、映像物１２６Ｇの視野角１２６Ｅとしている。また、図２８（ｂ）では、映像物１２６Ｇの左目映像１２６ＧＡ、映像物１２６Ｇの右目映像１２６ＧＢ、左目映像１２６ＧＡと右目映像１２６ＧＢとの視差量１２６Ｉ、左目映像と右目映像との同一画素点１２６Ｋとしている。さらに、図２７（ｂ）では、映像物１２６Ｈの左目映像１２６ＨＡ、映像物１２６Ｈの右目映像１２６ＨＢ、左目映像１２６ＨＡと右目映像１２６ＨＢとの視差量１２６Ｊ、左目映像と右目映像との同一画素点１２６Ｌとしている。

図２９は、片方の映像をさらに圧縮する立体映像記録装置のブロック図である。図２９に示す立体映像記録装置は、左目映像と右目映像とからの視差量を演算するための視差情報演算回路１９１Ａと、奥行き方向の動き検出回路１９１Ｃと、推定視差情報生成回路１９１Ｄとを備えている。さらに、図２９に示す立体映像記録装置は、推定視差情報から元の左目映像を右目映像に変換するための逆視差演算処理回路１９１Ｂと、右目映像と逆視差演算処理回路１９１Ｂによって生成した右目映像とを比較した結果よりＤＣＴ変換するＤＣＴ変換回１９１Ｅと、適応量子化回路１９１Ｆと、可変長符号化１９１Ｇとを備えている。なお、視差情報演算回路１９１Ａから可変長符号化１９１Ｇまでが立体映像圧縮処理を行う部分である。

また、図３０は、図２９の立体映像記録装置による圧縮方法での映像ストリームのエンコードとデコードを説明するための図である。図３０では、右目映像１９２Ａ〜１９２Ｇ、左目映像右目映像の視差情報演算値１９３、左目映像１９４Ａ〜１９４Ｇ、奥行き方向動きベクトル演算値１９６、推定視差情報１９７、右目主映像の圧縮映像１９５Ａ〜１９５Ｇが図示されている。さらに、図３０では、右目主映像の圧縮映像１９５Ａ〜１９５Ｇに基づく再生主映像１９８Ａ〜１９８Ｇ、再生主映像１９８Ａ〜１９８Ｇにそれぞれ対応する推定視差情報２０４〜２１０、再生副映像２１１〜２１７とが図示されている。また、図３１は、図２７もしくは図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造を示した図である。図３１に示す映像ストリーム構造は、基本的に図２５と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点と、３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９が追加されている点とが異なる。また、図３２は、図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造におけるトランスポートレベルの階層でのストリーム構造を示したものである。図３２は、基本的に図２６と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点が異なる。

ここで、視差を利用した右目映像と左目映像とから立体方向を図示すると図２８（ａ）のようになる。図２８（ａ）では、両目１２６Ｆから見た視差角度が奥行きに応じて異なって見える。そのため、左右の視差映像となった場合は図２８（ｂ）のように手前の映像物１２６Ｇは大きく、左目映像１２６ＧＡと右目映像１２６ＧＢとが離れて見え、視差量１２６Ｉも大きくなる。一方、遠方にある映像物１２６Ｈは小さく、左目映像１２６ＨＡと右目映像１２６ＨＢとが離れて見え、視差量１２６Ｊも小さくなる。

そのため、視差量（１２６Ｉもしくは１２６Ｊ）又は視差角情報（１２６Ｄもしくは１２６Ｅ）の情報があれば、図２８（ｂ）のように左目映像から右目映像を推定（視差情報変換による映像生成）する（１２６Ｋ及び１２６Ｌ）事が可能である。この条件としては、見る角度によって輝度や色が変わらない事が前提となるため、角度による映像の回り込みや影等の変化については本推定では推定できない情報となる。

ここで、図２９に示す立体映像記録装置では、左目映像及び右目映像の動き検出ブロック１４７から得られる映像物の面内位置情報から視差角を抽出し、視差情報演算回路１９１Ａによってマクロブロック単位もしくは画素単位での視差情報を演算する。さらに、時間軸方向での圧縮を行うため奥行き方向動き検出回路１９１Ｃにおいて、画面単位での奥行き方向の動きベクトルを抽出する。推定視差情報生成回路１９１Ｄでは、この奥行き方向の動き情報と視差情報をもって推定視差情報として生成する。また、上述したように片方の映像（ここでは右目映像として説明）情報から視差情報だけで逆側（ここでは左目映像として説明）の映像を完全に再現できるわけではなく、画像の回り込みによる変化（隠れた部分が見えてくる等）等については推定できない情報として残ってしまう。

そのため、図２９に示す立体映像記録装置では、立体映像圧縮において推定視差情報から逆視差演算処理回路１９１Ｂによってまず不完全ながら逆側（ここでは左目映像として説明）の映像を視差情報を利用しローカルデコード再現し、これと実際に撮影した逆側の映像を圧縮処理したもの（ローカルデコーダにおけるフレームメモリ１５３上の映像）との差分をとる。この差分をとった情報が上述した画像の回り込みによる変化した再現できない部分の情報であり、視差情報を利用した圧縮ストリームにおいても視差情報で完全に再現できない部分をカバーする事ができる。また、図示していないが、奥行き方向の動きベクトルを抽出した場合、さらに視差の変化量も情報として利用するため、通常の情報圧縮のローカルデコーダと同じく、逆量子化回路とＤＣＴ逆変換回路、フレームメモリを用い、奥行き方向の動きベクトルから元の映像をローカルデコーダにより再現し再比較する事で、奥行き方向の動きベクトルを利用し圧縮効率をアップさせる事ができるようになる。

ここで、画面単位での映像データは図３０のように示される。図３０にある右目カメラから右目主映像１９２Ａ〜１９２Ｇ、左目カメラから左目副映像１９４Ａ〜１９４Ｇが取り出される。ここで、図２９の視差情報演算回路１９１Ａにより、右目主映像１９２Ａ〜１９２Ｇと左目副映像１９４Ａ〜１９４Ｇとから視差情報１９３が演算される。また、奥行き方向の動きベクトル演算１９１Ｃは、視差情報１９３の画面単位での変化から奥行き方向動きベクトル演算値１９６が抽出され推定視差情報１９７として生成される。この推定視差情報１９７自体は、画像のマクロブロック単位であったり画素単位であってもよい。

一方、映像の再生時には、右目主映像１９２Ａ〜１９２Ｇは映像圧縮により符号化され右目主映像の圧縮映像１９５Ａ〜１９５Ｇとなっている。具体的に右目主映像の圧縮映像は、面内圧縮映像のＩピクチャ１９５Ａと、面内動きベクトルを用いた時間方向の圧縮を行ったＰピクチャ１９５Ｄ及び１９５Ｇと、Ｂピクチャ１９５Ｂ，１９５Ｃ，１９５Ｅ，１９５Ｆから構成されている。この右目主映像の圧縮映像は、通常の圧縮映像伸張回路により再生主映像１９８Ａ〜１９８Ｇとして右目映像に再現される。そして、それぞれの再生主映像（右目映像）１９８Ａ〜１９８Ｇと、画面毎の推定視差情報２０４〜２１０と、画面毎の差分情報を逆量子化し逆ＤＣＴ変換した情報とで再生副映像（左目映像）２１１〜２１７が復元される。ここで、差分情報からの復元映像部分は、画像の回りこみ等推定視差情報では再現できない部分を補完する役割を担っている。

図２９又は図２７に示す立体映像記録装置での圧縮映像を用いた映像ストリームは、図３１のように示され、あくまでもＧＯＰ映像情報単位のデータとして単位化される。これは右目映像が元々ＧＯＰ映像情報単位で単位化されており、左目の差分圧縮データもこの右目映像を利用する関係で画像の単位化レベルを合わせこむ必要があるからである。ここでは右目映像のＧＯＰ１６８内のＧＯＰヘッダ１７０において、図２５で説明したような立体映像に関する付帯情報が付加される。ただし、左目映像に関し図２９に示した推定視差情報１９７を用いた圧縮情報なのか、図２７に示した差分圧縮情報なのか、図２４に示した立体映像としての圧縮は行わない方式であるか等の識別情報を図３１に示すように３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９を記述しておく必要がある。また、トランスポートパケットのレベルでストリーム構造を見た場合、図３２のように示され、図２６と同様にＧＯＰ映像データの終端部分はトランスポートパケット内でパディングさせるほか、立体方向の圧縮映像データであっても終端部分はトランスポートパケット内でパディングさせる。なお、上述は右目映像が主映像、左目映像が立体方向に圧縮をかけた副映像としているが、逆であってもまったく問題なく、右目映像が主映像で左目映像が副映像、左目映像が主映像で右映像が副映像と混在した映像ストリームであってもよい。ただし、規格上混在を許可させる場合は、どちらの映像が主映像でどちらが副映像であるかの識別情報の記述が必要となる。

また、左目及び右目の立体映像をもっと簡便に映像ストリーム化することも可能である。例えば、図３３に示す立体映像記録装置は、簡便に映像ストリーム化する画像構成処理部である合成回路２２０を備えている。また、図３４は、図３３に示す立体映像記録装置における映像ストリームの構造を示したもので、左目又は右目映像のＧＯＰ２２１が１つのＧＯＰ映像情報単位となっている。また、図３５は、図３３に示す立体映像記録装置における映像ストリームのトランスポートパケットレベル階層での構造を示したものである。

ここで、入力される左目及び右目の視差映像は一旦合成回路２２０に入力され、図３３に示すように１つの画面内に縦長の２つの画面として挿入される。この際、各映像の画素は単に映像ラインで間引かれるのではなく、フィルタ処理を施され水平方向に圧縮された後、左目右目映像に合成される。このように各画面は縦長の２枚の左目映像と右目映像とで構成されることになるが、以降は通常の画像圧縮処理の方法を用いてストリーム生成される。この場合でも図３４に示す映像ストリームにおいては付帯情報５１もしくはＧＯＰヘッダ１７０内の３Ｄ情報領域１７６において、水平方向に圧縮された映像情報である事が記述され、通常のＴＶでそのまま再生されないようにする事が必要である。また、図３４に示す映像ストリーム構造を採用する場合でも、トランスポートパケットのレベルにおいては図２６や図３２と同様に、ＧＯＰ映像情報の終端におけるトランスポートパケットの最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。なお、本発明では光ディスクに記録された立体映像記録装置や立体映像記録方法について記載したが、記録媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。

（実施の形態４）
次に、本実施の形態４について、図に従い以下に説明する。実施の形態３においては、立体映像記録装置について説明したが、本実施の形態では立体映像再生装置について説明する。図３６は、本実施の形態に係る立体映像再生装置のブロック図である。図３６に示す立体映像再生装置では、復調訂正回路２２２と、アドレスヘッダ認識回路２２３、光ディスクドライブ部分と映像音声処理部分であるバックエンドとを接続するためのＩＦ（インターフェイス）２２４と、光ディスクドライブ部分からのデータを一旦蓄えるためのデータバッファ２２５とを備えている。また、図３６に示す立体映像再生装置では、映像音声データ等のストリームを分離するためのシステムデコーダ２２６と、圧縮映像を伸張するためのＭＰＥＧ，Ｈ２６４デコーダ２２７と、オーディオデコーダ２２８と、字幕表等のためのＯＳＤデコーダ２２９と、ＯＳＤ情報の奥行き生成回路２２９Ａとを備えている。さらに、図３６に示す立体映像再生装置では、３Ｄ映像処理回路２３０と、映像にＯＳＤ情報をかぶせるためのブレンディング処理回路２２９Ｂと、外部との汎用ＩＦ２３１と、右目専用ＩＦ２３２と、左目専用ＩＦ２３３と、バッファ回路２３４と、バックエンド全体のシステムコントローラ２３５とを備える。

また、図３７は、実施の形態３で示した立体方向の圧縮映像から左目映像をデコードする部分を示したブロック図である。図３７では、映像ストリームの視差情報や奥行き動きベクトル情報を抽出するためのシステムデコーダ２３６と、ＭＰＥＧやＨ２６４等の圧縮映像ストリームをデコードするＭＰＥＧ、Ｈ２６４デコーダ２３７と、視差情報２３８と、動きベクトル情報２３９と、視差情報演算回路２４０と、左目映像再現回路２４１とを備えている。なお、視差情報２３８、動きベクトル情報２３９、視差情報演算回路２４０及び左目映像再現回路２４１が３Ｄ映像処理回路２３０を構成している。

ここで、図３６に示す立体映像再生装置では、まず光ディスクドライブ内の復調訂正回路２２２よって光ディスク１６５に記載された映像音声データや付帯データが再生される。この際、サーボ回路１６２は光ヘッド１６４からの再生信号を高品位に抽出し続けるように作用し、アドレスヘッダ認識回路２２３は所定のアドレスの瞬時にアクセスするために作用する。ここで、光ディスクドライブから再生されたデータはＩＦ回路２２４を介して一旦データバッファ回路２２５に入力された後、システムデコーダ２２６に入力される。システムデコーダ２２６では、映像音声データ等のストリームを分離し、音声情報はオーディオデコーダ２２８、ＯＳＤ情報はＯＳＤデコーダ２２９、映像情報はＭＰＥＧ，Ｈ２６４デコーダ２２７に入力される。

なお、ＯＳＤ情報はＯＳＤ奥行き設定回路２２９Ａでシステムデコーダ２２６から得られる付帯情報により奥行きをもったＯＳＤ情報として生成される。また、ＭＰＥＧ，Ｈ２６４デコーダ２２７でデコードされた映像ストリームは３Ｄ映像処理回路２３０にて３Ｄ映像情報として処理され、ブレンディング回路２２９Ｂで奥行きをもったＯＳＤ映像とブレンディングされ、転送レートが低い場合はＨＤＭＩ等の汎用ＩＦで出力したり、左目映像を左目専用ＩＦ２３３で、右目映像を右目専用ＩＦ２３２で、それぞれ出力させる事が可能となる。

また、実施の形態３で示したような片側映像が視差情報を用いた圧縮をさらに行っている場合、立体映再生装置における３Ｄ映像処理２３０は図３７のように構成される。ここで、システムデコーダ２３６で抽出した左目の圧縮映像情報である視差情報２３８と奥行き動きベクトル２３９を用いて各画素もしくはマクロブロック単位での視差情報演算を視差情報演算回路２４０で行い、右目映像から左目映像を生成するための変換係数を生成する。この変換係数を用いてＭＰＥＧ，Ｈ２６４デコーダで生成した右目映像から、左目映像再現回路２４１にて左目映像を再現する。ここで、圧縮された左目映像が視差情報による圧縮のみであれば視差情報演算回路２４０の出力に基づく再変換のみであるが、図３３に示す立体映像記録装置のようにＤＣＴ変換と適応量子化を行った圧縮情報であれば、逆量子化と逆変換回路とを左目映像再現回路２４１内に内蔵する必要がある。

次に、左目及び右目の立体映像から立体でない２Ｄ映像を再現する立体再生装置について説明する。図３８（ａ）は、２Ｄ映像を再現する立体再生装置のブロック図である。図３８（ａ）では、視差情報に基づく合成処理回路２４２を備えている。また、図３８（ｂ）は、合成処理回路２４２で構成される映像を模式的に説明する図であり、左目映像２３２Ａと、右目映像２３３Ａとが合成された映像が２Ｄ映像２３１Ａである。ここで、一般的なＴＶ等の表示装置においては、必ずしも３Ｄ映像対応であるとは限らず、むしろ２Ｄ映像対応である事の方が多い。従って３Ｄ映像のみが記載されたメディアを再生する場合、２Ｄ映像でも再生できるようにしておく事が望ましい。最も簡単な方法としては、右目映像もしくは左目映像のみを表示させる事で２Ｄ映像を再現できる。例えば、ＴＶが２Ｄ映像しか対応していない場合は、プレーヤとＴＶの間でのリンク接続処理において自動検知し、片方の映像のみを常に再生しておく事となる。

しかしながらこの方法では、奥行きが目に近い（飛び出して見える）映像の場合、視差量が大きく、図３８（ｂ）に示す左目映像２３２Ａや右目映像２３３Ａのように、左右位置が大きくずれた映像となってしまう問題があった。そのため、左目及び右目映像における視差情報を用いてこれを合成し、２Ｄ映像２３１Ａのような中間位置の映像を再現する事で違和感のない２Ｄ映像を再現する事ができる。ただし、この場合の画面の両サイドは、視差量が大きいと演算できないため、元の映像が左目映像の場合は左側に広く、右目映像の場合は右側に広く撮影されていないと、映像２４１Ａの部分（画面の両サイド）がカットされたような映像となる。

さらに、実施の形態２で示したように画面の飛び出し量が大きいと目の疲れやびっくりした感じを増大する懸念がある。そのため、飛び出し量を可変できるようにした立体映像再生装置のブロック図を図３９（ａ）に示す。図３９（ａ）では、係数変更視差による左目映像再現回路２４３と、係数変視差による右目映像変換処理回路２４４と、飛び出し量可変のためのユーザインターフェイス２４５と、視差情報係数変更部２４６とを備えている。また、図３９（ｂ）は、立体映像再生装置の飛び出し量の可変を説明するための図である。さらに、図３９（ｃ）は、図３９（ａ）の回路により飛び出し量を変化させた場合の結果を説明する図である。また、図３９（ｄ）は、立体映像再生装置を接続した表示装置に表示されている飛び出し量を可変するためのＯＳＤバー２４６Ａを図示している。

図２９に示す立体映像記録装置のように片側映像を視差情報により圧縮した方式においては、画素もしくはマクロブロック単位でそのまま飛び出し量と関連している視差情報がリンクされている。そのため、ユーザからの飛び出し量可変指示があった場合、図３９（ｄ）のユーザインターフェイス２４５に、例えばＴＶ画面のＯＳＤバー２４６Ａに示されるようなＯＳＤ画面を使って指示を入力させ、視差情報係数変更部２４６にてどの程度飛び出し度合いを減衰させるのか変換係数を決定する。この変換係数によって視差情報演算回路２４０での視差演算量を決定し、左目映像であれば係数変更視差による左目映像再現回路２４３により、右目映像であれば係数変視差情報に基づく画像変換処理回路２４４により左目映像と右目映像との視差量を、図３９（ｂ）に示すよう左目映像１２６ＧＡと右目映像１２６ＧＢとが波線から実線となるように小さく変換して表示させる。結果的には、専用ＩＦ２３２，２３３の出力から得られる立体映像は図３９（ｃ）の立体視された三角図形のように飛び出し量が小さく再現される。

また、図３９（ａ）に示す立体映像再生装置では、あくまで映像ストリーム上に視差情報が記録されている場合にこれを用いて飛び出し量の変換を行うものであったが、視差情報がない場合で考えられる。そこで、図４０に示す立体映像再生装置では、映像ストリーム上に視差情報が記録されていない場合でも飛び出し量を制御できる構成を示す。図４０に示す立体映像再生装置では、左目映像と右目映像とにそれぞれＭＰＥＧ，Ｈ２６４デコーダ２３７Ａ，２３７Ｂと、視差情報抽出部２４７と、右目映像の視差変換部２４８と、左目映像の視差変換部２４９とを備えている。図４０に示す立体映像再生装置では、視差映像抽出部２４７にて左目映像及び右目映像のデコード映像から、新たに視差情報を検出すればよい。また、この視差情報は図３９（ａ）の場合と同様にユーザインターフェイス２４５を介し、視差情報係数変更部２４６を介して新たな視差情報を視差情報演算部２４０で生成し、右目映像の視差変換部２４８及び左目映像の視差変換部２４９に供給される。

なお、本実施の形態では光ディスクに記録された立体映像情報を再生する装置や再生方法について記載したが、記憶媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。

（実施の形態５）
本実施の形態５は、前述の実施の形態１〜４の場合の平面映像、立体映像が混在している場合に、さらに音声についても平面映像視聴用の音声と、立体映像視聴用の音声とを備えることで、より臨場感のある映像、音声の視聴が可能になるものである。よって、以下の説明においては、平面映像と立体映像とに関する詳細な記載は省略されているが、実施の形態１〜４における平面映像、立体映像の実施形態と組み合わせて実施することが可能である。

図４１は５．１ＣＨサラウンド音声を擬似視聴するシステムを模式化したもので、図４１において、実際のスタジオ録音時の音源２５０と、音源２５０からの音が到達するスタジオ録音時の仮想人間２５１と、スタジオ録音時のマイクで仮想人間にある鼓膜部分２５２と、スタジオ録音時の音源から仮想人間にある鼓膜部分までの伝達関数２５３と、スタジオ録音された音声信号を録音したディスク２５４と、録音された音声信号をサラウンド再生するための逆システム２５５と、オーディオ再生ルームにおけるスピーカ２５６と、視聴しているユーザ２５７とが示されている。

また、図４２は５．１ＣＨサラウンド音声を本格的に視聴するシステムを模式化したもので、図４２において、実際のスタジオ録音時の音源２５０と、スタジオ録音時のサラウンド用マイク２５８と、スタジオ録音時の音源から仮想マイクまでの伝達関数２５９と、スタジオ録音された音声信号を録音したディスク２５４と、録音された音声信号をサラウンド再生するための逆システム２５５と、オーディオ再生ルームにおけるスピーカ２５６と、視聴しているユーザ２５７と、再現音場で再現させる仮想的な音源２６０と、奥行き方向の音源位置２６１とが示されている。

また図４３は立体映像および音声が格納されたディスクもしくは立体映像および音声情報をネットワーク等で配信する際の信号フォーマットを示したもので、ディスクＡは通常の２次元映像用の音声情報とは別にあらかじめ３次元用の音声情報格納領域を設ける信号フォーマットを示したものである。

図４３において、映像および音声等に関する制御情報２６２と、右目映像２６３と、左目映像２６４と、２Ｄ再生用の音声情報エリア２６５と、３Ｄ再生用の音声情報エリア２６６と、ＯＳＤ情報エリア２６７とが示されている。

また図４４は立体映像および音声が格納されたディスクにおける、映像および音声に関する制御情報を格納する領域および制御情報内の映像および音声データテーブルを表したもので、図４４において、映像および音声の制御情報が記述されたプレイアイテムテーブル２７０と、ディスク２７１と、プレイアイテムのデータサイズ２７２と、映像および音声等のストリームに関する情報を管理しているクリップ情報のファイル名２７３と、マルチアングルの有無２７４と、アングル数２７５と、現在のプレイアイテムのＩＮタイムと前のプレイアイテムのＯＵＴタイムとの接続状態２７６と、現在のプレイアイテムの開始時間であるＩＮタイム２７７と、現在のプレイアイテムの終了時間であるＯＵＴタイム２７８と、ユーザ操作の制限状態を示すユーザ操作マスクテーブル２７９と、ユーザ操作によるランダムアクセスの制限状態を示すランダムアクセスフラグ２８０と、スチル表示を実行するかどうかを示すスチルモード２８１と、ストリームリスト２８２と、またストリームリスト２８２内の情報として映像ストリーム情報２８３と、音声ストリーム情報２８４と、テキストサブタイトルストリーム情報２８５と、グラフィックスストリーム情報２８６と、また映像ストリーム情報２８３内の情報として映像ストリームのストリームタイプ２８７と、映像ストリームのコーディングタイプ２８８と、映像ストリームの映像フォーマット２８９と、映像ストリームのフレームレート２９０と、また音声ストリーム情報２８４内の情報として音声ストリームのストリームタイプ２９１と、音声ストリームのコーディングタイプ２９２と、音声ストリームの音声タイプ２９３と、音声ストリームのサンプリング周波数２９４と、音声ストリームの言語コード２９５と、立体視聴専用の音声情報である事を示す立体音声フラグ２９６と、音声情報のファイルサイズ２９７と、論理アドレス２９８と、再生時間情報を表すタイムレコード２９９と、メディア上の配置情報３００と、立体方向の音像可変量の大小に関する情報記載部分３０１と、再生可否を示す地域コード３０２と、パレンタルレベル３０３と、対応する映像との同期情報３０４と、暗号情報３０５と、またテキストサブタイトルストリーム情報２８５内の情報としてテキストサブタイトルストリームのストリームタイプ３０６と、テキストサブタイトルストリームのコーディングタイプ３０７と、テキストサブタイトルストリームの文字コード３０８と、テキストサブタイトルストリームの言語コード３０９と、またグラフィックスストリーム情報２８６内の情報としてグラフィックスストリームのストリームタイプ３１０と、グラフィックスストリームのコーディングタイプ３１１と、グラフィックスストリームの言語コード３１２とが示されている。

また図４５は立体映像および音声が格納されたディスクにおける、映像および音声に関する制御情報を格納する領域および制御情報内の映像および音声データテーブルを表したもので、図４５において、映像および音声の制御情報が記述されたプレイアイテムテーブル２７０と、プレイアイテムテーブル２７０内の映像および音声等のストリームに関する情報を管理しているクリップ情報のファイル名２７３から参照されたクリップ情報ファイル３１３と、クリップ情報のデータサイズ３１４と、クリップ情報ファイルに関連したストリーム情報のタイプを示すクリップストリームタイプ３１５と、クリップ情報を使用しているアプリケーションのタイプ３１６と、クリップ情報に関連したストリームのトランスポートストリームのデータレート３１７と、クリップ情報ファイルに関連したストリーム内のパケット数３１８と、クリップ情報ファイルに関連したストリームのトランスポートストリームタイプ３１９とが示されている。

ここで、図４１はバーチャルサラウンドの原理を示したもので、図４１において、音源２５０からの音波は部屋の空間を介し、人間の頭の構造である耳の穴を介して鼓膜に到達する。ここで音源から鼓膜までの音声信号における伝達関数２５３を定義し、録音された音声情報にこの逆特性を乗じることで、実際の視聴時において、あたかも録音時に聞いたような臨場感を得る事ができる。このような方法をトランスオーラルシステムと呼び、ヘッドフォンの場合はバイノーラルシステムと呼ばれる。しかしながらこの場合視聴時の位置が録音時の位置と異なっていたり、録音時の空間と再生時の空間とで伝達関数が異なる場合、臨場感が減じてしまう事はいうまでもない。一方、図４２は複数のマイクロフォンを用いてサラウンド音声を再現させるもので、この場合例えばマイクロフォンで構成された領域と同じ領域内に録音時の音場を再現させる事ができる。マイクロフォンは例えばサラウンド用マイク２５８のような構造をしており、図４２の例では４ｃｈの音声が録音される事となる。この場合も同様に録音時の境界領域における録音空間の伝達関数２５９を定義しその逆特性を乗じる事で音場再現が可能になるが、再現範囲が広く取れる特徴がある。

本発明においては例えば視聴者の前面にスクリーンもしくはＴＶがあり、ここでは立体映像を視聴する場合であり、当然立体映像の場合は奥行き方向や飛び出し方向にも画像が変移し、視聴者に高い臨場感を提供している。しかしながら従来の２次元画像と３次元画像とでは、奥行き方向や飛び出し方向の映像表現が異なっている場合が多く、製作者が意図的に奥行き方向や飛び出し方向に主人公や物体を変移させ飛び出し感を強調する場合があったり、通常の２次元映像におけるズームアップで視聴者に近づくような映像表現をした場合でも、立体映像の方が奥行き方向や飛び出し方向の変移量においてより強調されて感じられる事は言うまでもない。従ってユーザから見た場合、２Ｄ映像と３Ｄ映像とでは奥行き方向や飛び出し方向の変移感覚が異なって感じられる事となる。しかしながら、現状の音声録音においては、サラウンド処理を駆使しながら臨場感をアップさせているものの、あくまでも２次元映像において視聴者が感覚的に感じる立体感を奥行き方向や飛び出し方向の音像として表現されているにすぎず、３次元映像の視聴感覚に合わせたものではない。

そこで本発明では、平面映像視聴用のサラウンド音声に加え３Ｄ用の新たなサラウンド音声を録音時に用意し、これを立体映像フォーマットに加えることで、立体視聴時により臨場感のある音響再生を行うものである。すなわち、平面映像視聴用のサラウンド音声抽出手段、立体視聴用のサラウンド音声抽出手段とをそれぞれ有することで、立体映像視聴時のサラウンド音声情報において、平面映像視聴用のサラウンド音声と、立体視聴用のサラウンド音声との両方を有し、またそのいずれかを選択して再生可能である。

また、図４３のディスクＡの映像および音声信号フォーマットのように配置し、図４３のディスクＡの制御情報２６２もしくは図４４のプレイアイテムテーブル２７０に記載された配置情報３００もしくは図４５のクリップ情報ファイルに記載された配置情報３００を読み取る事によって、２Ｄ映像視聴時は２Ｄの映像と音声のみを再生し、３Ｄ用の部分をスキップする事によって、再生時のメモリ負担を軽くする事ができる。また、メモリに多少余裕のある場合は、比較的データ量の小さい音声情報はすべて読み込み、２Ｄ部分のみを抽出してデコードさせる事も可能である。一方３Ｄ視聴の場合は、右目映像と左目映像の両方を読み込むとともに、３Ｄ用の音声情報のみを抽出しデコードすることによって、より臨場感のある再生が可能になる。この際２Ｄ用の部分をスキップする事によって、再生時のメモリ負担を軽くする事ができるが、メモリに多少余裕のある場合は、音声情報は比較的データ量が小さいためすべて読み込み、２Ｄ部分のみを抽出してデコードさせる事も可能である。なお、ここでは音声情報において立体映像用の音声情報を用意した場合の制御情報や付帯情報を記載したものの、音声が従来の平面映像用と同じものしか準備されていない場合は、実施の形態２にて説明した内容と同じである。なお、詳細については前述の実施の形態において説明しており省略する。

また、図４４のプレイアイテムテーブル２７０もしくは図４５のクリップ情報ファイル３１３もしくは図４３の制御情報エリア２６２に立体視聴専用の音声情報である事を示すフラグ２９６を記述することで本データに立体用の音声データがあるかどうかをデコーダが知りメディア上の配置情報３００とあわせて、必要な選択と抽出処理ができるようになるほか、立体視聴専用の音声情報のファイルサイズ２９７を記述することでメモリ領域の確保をあらかじめ行うほか、再生時間情報２９９を記載することで再生時間の確認やタイムサーチ（時間によるスキップや戻し）が可能になるほか、映像との同期情報３０４とあわせての映像と音声の時間を合わせることができるようになるほか、オーディオ圧縮フォーマットの種別２９２を記載することで装置側のデコード処理の切り替えを行うことができるほか、再生可否を示す地域コード３０２を記載することで、本立体用オーディオ視聴がライセンスされていない地域では本立体用の音声再生をブロックし通常の２Ｄ再生用のものに切り替えて視聴することができる。ここでも、音声が従来の平面映像用と同じものしか準備されていない場合は、実施の形態２にて説明した内容と同じである。

またさらに、上記付帯情報は実際にユーザがハンドリングする再生時間情報としてのデータとして再生リスト形式のファイルとして保有し、さらに、実際のメディア上に格納されているファイルのアドレス位置を特定するため時間情報からアドレス情報に変換させるＧＯＰ単位もしくはＧＯＰの整数倍単位の情報テーブルとを別々に設ける方法もある。この場合、ユーザのオペレーションはまず上記時間情報の再生リストをアクセスし、この再生リストからＧＯＰ単位もしくはＧＯＰの整数倍単位の情報テーブルを再度アクセスすることで、実際のメディア上のアドレスを取得して所望のデータをメディア上から取り出すこととなる。

また、光ディスクのようなストレージ媒体で立体映像および音声が供給される場合は、図４４のようにディスクの特定領域にある制御情報エリアにおいて立体音声データに関する情報を記載することができるが、ネット配信等のサービスや地上ディジタル放送等の番組放送として立体映像や音声を配信し視聴する場合においては、できれば映像データ内にこれら付帯情報を入れておくことが必要となり、この場合は図４３の制御情報エリア２６２の部分にて記述された領域もしくは別の情報記録領域である新たなファイル領域に、上記立体視聴専用の音声情報である事を示すフラグ２９６、立体視聴専用の音声情報のファイルサイズ２９７、再生時間情報２９９、オーディオ圧縮フォーマットの種別２９２、メディア上の配置情報３００、対応する映像との同期情報３０４、再生可否を示す地域コード３０２などが、ＧＯＰ単位もしくはＧＯＰの整数倍の単位にて記述され配信される。

また、上述したケースでは３Ｄ用の音声信号を２Ｄ用の音声信号とは別に設ける場合について記載したが、３Ｄ用に奥行き方向や飛び出し方向を強調した音像をもたせた場合、この音像の視聴者に対する奥行き方向や飛び出し方向の変移量の大きさや速度をある程度緩和した第二の３Ｄ視聴用音声データを合わせてファイルすることも可能となる。すなわち、立体視聴用のサラウンド音声において視聴者に対する奥行き方向や飛び出し方向の変移量の大きさや速度をある程度緩和した複数の３Ｄ視聴用音声データを有することになる。立体映像および音声視聴の場合は、あまりにも奥行き方向や飛び出し方向の変移が大きかったり、臨場感が強すぎる場合に、実施の形態１の立体映像の場合で説明した通り子供やお年寄りで健康を害する可能性もありこれらの方々には奥行き方向や飛び出し方向の変移や速度・加速度が小さくかつ変移がゆるやかな音声を提供すべきである。

またこれら奥行き方向や飛び出し方向の変移や速度・加速度等臨場感の強調度合いを段階的にもたせた、すなわち、平面映像視聴用のサラウンド音声の記録領域とは別に、視聴者に対する音像定位変化度合いの異なる複数の立体視聴用のサラウンド音声の記録領域である第三、第四のファイルを併記し、視聴時にユーザに選択させたり、暗証番号を入力しないと視聴できないような、サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルを記載し、設定を行うことも可能である。当該パレンタルレベルの記録は、付帯情報領域において行うことが可能である。

例えばこのパレンタルレベルの設定については、映像と音声とで個別に設定する方法もあるが、実施の形態１に記載した映像の立体映像の立体視聴時におけるパレンタルレベル設定と組み合わせ、映像および音声と、立体映像とでもっとも臨場感が強すぎるものから順に設定していくことが望ましい。また、映像と音声を含むトータルのパレンタルレベル設定としては、例えば、映像と音声のパレンタルレベルが大中小の３段階で表される場合、映像か音声のどちらかいずれかが大を含む場合のトータルのパレンタルレベルは大とし、映像か音声のいずれかもしくは両方での最大が中である場合はトータルのパレンタルレベルを中とし、映像と音声がすべて小の場合は小とし、すべて安全サイドに規定することで人体への影響を最小限に抑えることが可能である。すなわち、本コンテンツ選択時の映像および音声全体のパレンタルレベルとして、トータルのパレンタルレベルを設定する。

（実施の形態６）
では次に、立体視聴用に専用音声があらかじめ準備されていない場合の、音声臨場感向上について述べる。なお、実施の形態１〜４との組み合わせによる実施も可能であることは、実施の形態５において述べたとおりである。

図４３のディスクＢは映像信号に含まれる人間の顔の部分や、音声発生源となる物体の奥行き方向や飛び出し方向に関し立体音像の定位をどの位置に持っていけばよいかの情報をあらかじめ定義するもので、図４３のディスクＢにおいて２６８は奥行き方向音像定位情報である。また、図４６は上記奥行き方向音像定位情報に基づき、サラウンド音声処理での奥行き方向音像定位を変化させるための奥行き音像定位可変部（視聴者から画面を見た場合の奥行きもしくは飛び出し方向の音源発生位置を変化させるための回路）である。

また、図４３のディスクＢは奥行き方向音像定位情報２６８を有する映像および音声信号フォーマットである。また、図４３のディスクＣはＯＳＤの奥行き方向や飛び出し方向の配置情報２６９を有する映像および音声信号フォーマットである。

また、図４３のディスクＢは通常の２Ｄ映像視聴用音声情報に、奥行き方向の音像付加情報を付加したもので、図４３のディスクＢにおいて、２Ｄ再生用の音声情報エリア２６５と、奥行き方向の音像付加情報２６８とが示されている。また、図４３のディスクＣはＯＳＤ情報に奥行き方向のオフセット量をもたせ３次元表示させるもので、図４３のディスクＣにおいて、ＯＳＤ情報エリア２６７と、ＯＳＤ情報の奥行き方向オフセット量２６９とが示されている。

また図４７はＯＳＤ情報に関する立体表記の方法を示したもので、図４８において、基準ＯＳＤ情報に対し奥行き方向のオフセット量を記載する方法３３０と、ＯＳＤ情報自体を立体データ３３１とする方法が示されている。

通常の立体映画等においては、３Ｄ専用の音声を新たに設けることは、コンテンツ制作側の負担が増大するため、特別な場合を除き通常の２Ｄ再生用の音声信号で３Ｄ視聴を行う場合が多いものと思われる。しかしながら、５．１ＣＨサラウンドや７．１ＣＨサラウンド音声においては、図４１に記載されているように視聴者の後方にもスピーカがあり奥行き方向音像定位をよりはっきりと可変できるため、コンテンツ制作側の負担を軽減しながら高臨場感音声が楽しめる方法が求められていた。

ここでは、図４３のディスクＢの映像信号フォーマットにおける２６８の部分に奥行き方向音像定位情報のみを記述し、元々ある２Ｄ視聴用の音声情報から奥行き方向音像定位をどの程度可変すべきかの相対量、もしくは視聴空間における奥行き方向音像定位の絶対位置情報を記述し、これにあわせ、図４６の再生装置の奥行き音像定位可変部３２５にて奥行き音像定位を可変せしめるものである。

この場合、コンテンツ制作側は３Ｄ視聴時に、すでに製作した２Ｄ用音声情報の奥行き音像定位を３Ｄ視聴時にどの程度可変すべきかどうかの差分のみをクリエートする。その結果に基づいて元々ある２Ｄ視聴用の音声情報から奥行き方向音像定位をどの程度可変すべきかの相対量、もしくは視聴空間における奥行き方向音像定位の絶対位置情報を定義するだけで済むからである。またこの場合、あらたな立体視聴用の録音作業は不要になることは言うまでもない。

この場合、立体映像に合わせた画面に対し前後方向音像定位を変化させるだけでなく、コンテンツ制作者の映像・音声表現において必要とあれば左右や上下の音像定位変化、またその大小、をもたせる情報を付加情報として記述しておき、付加情報抽出手段と音像定位可変手段にて、サラウンド音声の音像定位を可変させ、これに基づきあらゆる方向の音像定位変化をつけることが可能となる。また、プレーヤでの実際の信号処理としては、メディア上にあらかじめ記載された音像定位可変情報に基づき、例えばサラウンド処理を行うＤＳＰ（デジタルシグナルプロセッサ）で音像定位の可変を行うが、音像定位の可変を行う際に、あらかじめメディアに記録された音像定位可変情報の所定の係数をかけて動作させることで、音像定位の可変量を強調したり、弱めたりすることも可能となる。

この場合、たとえば音像定位の可変量を弱める処理を行うことで、上述したパレンタルレベルで設定した臨場感が強すぎる状況を信号処理回路上で弱めて、例えば子供やお年寄りでの視聴を可能にすることが可能である。すなわち、映像の飛び出し量を可変したり、音声の音像定位の強弱を可変することで、パレンタルレベル設定を変更し、視聴者に適応した音像定位を実現することが可能である。

また、あらかじめ記録された立体映像視聴用の音声情報もしくは音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際、音声映像情報におけるパレンタルレベル設定情報と、立体映像のパレンタルレベル設定情報との両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとして、上記のような視聴者に適応した視聴制限することが可能である。また、音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を再記録する際、音像定位の変化量を強めたり弱めたりしたものを記録すると同時に、パレンタルレベル設定も変更することも可能である。

またさらに、実施の形態４で説明した立体映像の飛び出し量を可変する信号処理回路と組み合わせることによって、映像と音声の両方の臨場感を可変し、映像と音声の両方での視聴安全性を向上させることが可能となる。また、場合によっては臨場感を強調した視聴も可能となる。

例えば図４６において、光ディスク３２０から入力された３Ｄ映像信号は、システムデコーダ３２１で映像信号および音声信号および音像定位情報に分離され、映像信号の右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２に出力され、映像信号の左目映像は差分デコード処理部３２４に出力され、音声信号はオーディオデコーダ３２３に出力され、音像定位情報は音像定位制御部３２５に出力される。基準となる右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２で解凍される。左目映像については右目映像からの差分情報で構成されているため、差分デコード処理部３２４にて解凍された信号をベースにＭＰＥＧ／Ｈ．２６４デコーダ３２２にて左目映像が再現される。すなわち実施の形態１〜４に示すように、立体映像の右目映像の映像情報と立体映像の左目映像の映像情報とが交互に配置され、右目映像と左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、平面映像の情報と立体映像の情報との両方を用いて生成されるもう片方の目の映像情報が再現される。この場合、本実施の形態６における右目映像と左目映像に関連するサラウンド音声信号の群も合わせて配置されるように記録することが可能である。

音像定位制御部３２５では、入力された音声信号の音像定位を入力された音像定位情報を使って制御し、ＨＤＭＩ情報伝送部３２６あるいは光出力部３２７に出力する。ＨＤＭＩ情報伝送部３２６は入力された信号を３Ｄ視聴用ＴＶに出力する。

またさらに、図５０のブロック図に示すように、奥行きないし飛び出し方向音像定位情報さえも記載していない場合に、より簡便に奥行きないし飛び出し方向音像定位を可変する方法として、図４３のディスクＣに示す字幕の奥行き方向や飛び出し方向の位置情報２６９に基づき、奥行きないし飛び出し方向音像定位を可変する方法もある。字幕やＯＳＤ情報等は一般的にはテキスト情報やビットマップ等の静止画情報として与えられるため、立体視聴時にこのテキストやビットマップ情報をどの奥行き方向や飛び出し方向に表示するかの立体方向配置情報を持つ場合がある。この場合本情報に比例した奥行きないし飛び出し方向音像定位の変化を与えることでより音声の臨場感をアップさせることが可能となる。なお、２Ｄ音声における奥行きないし飛び出し方向音像定位に対しどのような変化を加味させるかどうかについては、立体方向配置情報に基づき比例させる方法もあるが、元の２Ｄ音声の奥行き方向音像定位に対しＯＳＤの立体方向配置情報による一定係数を乗じたオフセットを加える方法や、ＯＳＤの立体方向は配置情報の影響をより強調したい場合は、ＯＳＤの立体方向は配置情報を２乗して加える等の方法もある。

またさらに、実施の形態１に示すように字幕情報などのＯＳＤ情報の表示位置が立体映像における音声発生源（主人公や音を発する物体）の奥行きないし飛び出し位置に連動している場合は、このようにＯＳＤの立体方向配置を特定する情報を追記し、ＯＳＤの奥行きないし飛び出し位置に連動した、付加された音像定位可変情報を立体方向位置抽出手段にて抽出し、奥行きないし飛び出し方向音像定位を音像定位可変手段にて変化させることで、間接的に立体映像における音声発生源（主人公や音を発する物体）の奥行きないし飛び出し位置に音像定位も連動させることができる。

例えば図５０において、光ディスク３２０から入力された３Ｄ映像信号は、システムデコーダ３２１で映像信号および音声信号およびＯＳＤ信号に分離され、映像信号の右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２に出力され、映像信号の左目映像は差分デコード処理部３２４に出力され、音声信号はオーディオデコーダ３２３に出力され、ＯＳＤ信号はＯＳＤデコーダ３３３に出力される。基準となる右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２により表示可能な映像情報にデコードされる。左目映像については右目映像からの差分情報で構成されているため、差分デコード処理部３２４にて解凍された信号をベースにＭＰＥＧ／Ｈ．２６４デコーダ３２２にて左目映像が再現される。ＯＳＤデコーダ３３３では、解凍した字幕情報を映像・ＯＳＤ合成部３３４に出力し、また字幕の飛び出し量を算出し、字幕飛び出し量の情報を音像定位制御部３２５に出力する。映像・ＯＳＤ合成部３３４では入力された映像信号と、ＯＳＤ信号を合成し、ＨＤＭＩ情報伝送部３２６に出力する。音像定位制御部３２５では、入力された音声信号の音像定位を字幕飛び出し量の情報を使って制御し、ＨＤＭＩ情報伝送部３２６あるいは光出力部３２７に出力する。ＨＤＭＩ情報伝送部３２６は入力された信号を３Ｄ視聴用ＴＶに出力する。

またさらに、ＯＳＤに立体方向は配置情報が存在しない場合や、映像コンテンツの人物位置等によるより正確な奥行き方向音像定位の再現を行いたい場合は、図４８の立体映像および音声再生装置もしくは図４９の立体映像および音声再生装置に示すような顔検知処理を用いる方法もある。顔検知処理はすでにデジタルスチルカメラなどに搭載され、人間の顔の部分を検知し目や鼻や口等を特定し映像表現を工夫することができるようになっている。たとえば図４８の立体映像および音声再生装置および図４９の立体映像および音声再生装置において、立体映像および音声データを有する光ディスク３２０と、システムデコーダ３２１と、ＭＰＥＧ／Ｈ．２６４デコーダ３２２と、差分デコード処理部３２４と、オーディオデコーダ３２３と、音像定位制御部３２５と、ＨＤＭＩ情報伝送部３２６と、光出力部３２７と、３Ｄ視聴用ＴＶ３２８と、ＡＶアンプ３２９と、顔検知および飛び出し量抽出部３３２とが示されている。

ここで、図４８において、光ディスク３２０から入力された３Ｄ映像信号は、システムデコーダ３２１で映像信号と音声信号に分離され、映像信号の右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２に入力され、映像信号の左目映像は差分デコード処理部３２４に入力され、音声信号はオーディオデコーダ３２３に入力される。基準となる右目映像はＭＰＥＧ／Ｈ．２６４デコーダ３２２で解凍される。左目映像については右目映像からの差分情報で構成されているため、差分デコード処理部３２４にて解凍された信号をベースにＭＰＥＧ／Ｈ．２６４デコーダ３２２にて左目映像が再現される。

またこの際、顔検知および飛び出し量抽出部３３２において、まず右目映像における人物の顔部分を検知するとともに、左目映像の人物の顔を検知する。次にこの左右両方の顔検知情報の特に顔の画面内位置を比較することで、視差量を算出し奥行きもしくは飛び出し量を抽出手段にて抽出する。ここで得られた音像定位可変量、および奥行き方向音像定位を音像定位制御部３２５に入力し音像を制御することで、例えば人物がこちらに近づいてくるようなシーンにおいて奥行き方向音像定位を視聴者位置に徐々に近づけるように音像定位可変手段にて変化させ、より臨場感をアップさせることも可能になる。また、音像定位可変量を抽出することで、立体映像情報および音声情報に加え、音像定位可変情報を付加して記録することが可能となる。

また、顔検知アルゴリズムにおいて、顔全体ではなく口元部分を抽出その視差量を算出し奥行きもしくは飛び出し量を抽出すれば、より正確な奥行き方向音像定位が得られる。

図４９においては、顔検知および飛び出し量抽出部３３２に右目映像のみを入力し、右目映像内で顔検知を行い、顔検知情報をＭＰＥＧ／Ｈ．２６４デコーダ３２２に戻す。そしてＭＰＥＧ／Ｈ．２６４デコーダにおいて、右目映像と左目映像の視差量から抽出した奥行きもしくは飛び出し量および顔検知情報を元に奥行き方向音像定位情報を算出し、音像定位制御部３２５に出力する。音像定位制御部３２５において、入力された奥行き方向音像定位情報を利用し、入力された音声信号の音像定位を制御する。

また、人物が複数いた場合、口元が動いているかどうかを判別し、口元が動いている人物の奥行きもしくは飛び出し位置にあわせ奥行き方向音像定位を可変せしめることも可能である。この場合、しゃべっていない人物に反応する事がなくなり、より正確な動作が可能になる。

なお、映画コンテンツのようにあらかじめ臨場感を考慮し奥行き方向音像定位が変化している場合、本顔検知で奥行き方向音像定位にオフセットを加えるとかえって実際とずれる場合もあるが、どのような変化を加味させるかどうかについては、立体方向は顔の奥行きもしくは飛び出し量に基づき比例させる方法もあるが、元の２Ｄ音声の奥行き方向音像定位に対し奥行きもしくは飛び出し量による一定係数を乗じたオフセットを加える方法や、顔検知の奥行きもしくは飛び出し量の影響をより強調したい場合は、顔検知の奥行きもしくは飛び出し量を２乗して加える等の方法もある。

また、顔検知が検出しない場合（画面内に人物がいない場合）は、元の２Ｄ音声映像をそのまま再生させることで、人物の声に関する臨場感のみをアップさせ、不要な誤動作を回避することができる。この場合、立体映像に人物が登場したシーンでのみ音像定位の可変処理が動作し、より臨場感をアップさせる。

１右目映像、２左目映像、３，８表示装置、４シャッタ、５映像、６記録装置、７メガネ、９，１０偏光板、１１表示光学系、１２表示パネル、１３同期回転部材、１４光源、１５〜１９表示デバイス、２１回転ミラー、２２像信号、２３映像制御情報、２４，２５映像タイトル、２６記録媒体、１４６ＡＤコンバータ、１４７動き検出回路、１４８ＤＣＴ変換回路、１４９適応量子化回路、１５０逆量子化回路、１５１可変長符号化回路、１５２ＤＣＴ逆変換回路、１５３フレームメモリ、１５４バッファメモリ、１５５ＯＳＤエンコーダ、１５６音声エンコーダ、１５７フォーマットエンコーダ、１５８変調回路、１５９ＬＤ変調回路、１６０アドレスヘッダ認識回路、１６１再生アンプ、１６２サーボ回路、１６３送りモータ、１６４光ヘッド、１６５光ディスク、１６６回転モータ、１６７システムコントローラ、１９１Ａ視差情報演算回路、１９１Ｂ逆視差演算処理回路、１９１Ｃ奥行き方向動き検出回路、１９１Ｄ推定視差情報生成回路、１９１ＥＤＣＴ変換回路、１９１Ｆ適応量子化回路、１９１Ｇ可変長符号化回路、２２２復調訂正回路、２２３アドレスヘッダ認識回路、２２４インターフェイス回路、２２５データバッファ、２２６，２３６システムデコーダ、２２７，２３７ＭＰＥＧ・Ｈ２６４デコーダ、２２８オーディオデコーダ、２２９ＯＳＤデコーダ、２２９ＡＯＳＤ奥行き生成回路、２２９Ｂブレンディング回路、２３０３Ｄ映像処理回路、２３１汎用ＩＦ、２３２，２３３専用ＩＦ、２３４バッファ、２３５システムデコーダ、２３８視差情報生成回路、２３９動きベクトル生成回路、２４０視差情報演算回路、２４１左目映像再現回路、２４２，２４４視差情報に基づく合成処理回路、２４３左目映像再現回路、２４５ユーザインターフェイス、２４５ＡＯＳＤバー、２４６視差情報係数変更部、２４７視差情報抽出部、２４８右目映像視差変換回路、２４９左目映像視差変換回路、２５０スタジオ録音時の音源、２５１仮想人間、２５２マイク、２５３伝達関数、２５４ディスク、２５５逆システム、２５６スピーカ、２５７ユーザ、２５８サラウンド用マイク、２５９伝達関数、２６０仮想的な音源、２６１奥行き方向の音源位置、２６２映像および音声等の制御情報、２６３右目映像、２６４左目映像、２６５２Ｄ再生用音声情報、２６６３Ｄ再生用音声情報、２６７ＯＳＤ情報、２６８音像制御情報、２６９飛び出しオフセット、２７０プレイアイテムテーブル、２７１ディスク、２７２プレイアイテムデータサイズ、２７３クリップ情報ファイル名、２７４マルチアングル有無、２７５アングル数、２７６接続状態、２７７ＩＮタイム、２７８ＯＵＴタイム、２７９ユーザ操作マスクテーブル、２８０ランダムアクセスフラグ、２８１スチルモード、２８２ストリームリスト、２８３映像ストリーム情報、２８４音声ストリーム情報、２８５テキストサブタイトルストリーム情報、２８６グラフィックスストリーム情報、２８７ストリームタイプ、２８８コーディングタイプ、２８９映像フォーマット、２９０フレームレート、２９１ストリームタイプ、２９２コーディングタイプ、２９３音声タイプ、２９４サンプリング周波数、２９５言語コード、２９６立体音声フラグ、２９７データサイズ、２９８論理アドレス、２９９タイムコード、３００配置情報、３０１音像可変量、３０２有効地域、３０３パレンタルレベル、３０４同期情報、３０５暗号情報、３０６ストリームタイプ、３０７コーディングタイプ、３０８文字コード、３０９言語コード、３１０ストリームタイプ、３１１コーディングタイプ、３１２言語コード、３１３クリップ情報ファイル、３１４クリップ情報データサイズ、３１５クリップストリームタイプ、３１６アプリケーションタイプ、３１７データレート、３１８パケット数、３１９ＴＳタイプ情報、３２０ディスク、３２１システムデコーダ、３２２ＭＰＥＧ／Ｈ．２６４デコーダ、３２３オーディオデコーダ、３２４差分デコード処理部、３２５音像定位制御部、３２６ＨＤＭＩ情報伝送部、３２７光出力部、３２８３Ｄ視聴用ＴＶ、３２９ＡＶアンプ、３３０基準ＯＳＤ情報に対し奥行き方向のオフセット量を記載する方法、３３１ＯＳＤ情報自体を立体データとして持つ方法、３３２顔検知および飛び出し量抽出部、３３３顔検知部、３３４ＯＳＤデコーダ、３３５映像・ＯＳＤ合成部。

Claims

視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録媒体であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像と右目映像の両方を用いる立体映像とが混在し、
前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面視聴用のサラウンド音声記録領域に加え、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録する立体サラウンド音声記録領域を有することを特徴とする、立体映像および音声記録媒体。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で、平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、
前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と前記左目映像に関連する前記サラウンド音声信号群も合わせて配置されるように記録することを特徴とする請求項１に記載の立体映像および音声記録媒体。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、本付帯情報領域において、立体視聴専用の音声情報である事を示すフラグ、立体視聴専用の音声情報のファイルサイズ、再生時間情報、オーディオ圧縮フォーマットの種別、対応する映像との同期情報、再生可否を示す地域コードを記載することを特徴とする請求項１または２に記載の立体映像および音声記録媒体。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、前記音声情報の付帯情報が記載される領域において、前記サラウンド音声視聴時における画面からの奥行きないし飛び出し方向の音像定位の音像可変量の大小を記載することを特徴とする請求項１から３のいずれかに記載の立体映像および音声記録媒体。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、前記音声情報の付帯情報が記載される領域において、前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが記載されていることを特徴とする請求項１から４のいずれかに記載の立体映像および音声記録媒体。
前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが、立体映像のパレンタルレベルと立体映像視聴時の音声情報のパレンタルレベルの２つの情報を含むことを特徴とする請求項５に記載の立体映像および音声記録媒体。
前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが、立体映像のパレンタルレベルと立体映像視聴時の音声情報のパレンタルレベルの２つの情報を含む場合、安全から危険までにいたるパレンタルレベルにおいて、映像と音声の両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとすることを特徴とする請求項６に記載の立体映像および音声記録媒体。
前記音声情報の付帯情報が記載される領域において、メディア上の配置情報をＧＯＰ単位に記述したＧＯＰテーブル情報を有し、
データアクセス時に時間情報を有する前記映像および音声情報から前記ＧＯＰテーブルをアクセスすることで、実際のメディア上のデータを取得することを特徴とする請求項３から７のいずれかに記載の立体映像および音声記録媒体。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面視聴用のサラウンド音声に加え、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源の飛び出し量に応じて複数記録することを特徴とする、立体映像および音声記録方法。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に関連したＯＳＤ情報を設定するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記ＯＳＤ表示の立体方向位置に連動した前記立体視聴用のサラウンド音声の音像定位可変情報を抽出し、前記立体映像情報および音声情報に加え、音像定位可変情報を付加させることを特徴とする立体映像および音声記録方法。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知し、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出し、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位可変量を抽出することで、前記立体映像情報および音声情報に加え、音像定位可変情報を付加させることを特徴とする立体映像および音声記録方法。
前記映像情報に人間の顔が描写されている場合において、前記飛び出し方向の顔の位置情報が、前記顔検知する場合における口の位置検出に基づくことを特徴とする請求項１１に記載の立体映像および音声記録方法。
あらかじめ記録された前記立体映像視聴用の音声情報もしくは前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際、前記立体映像視聴用の音声情報におけるパレンタルレベル設定情報と、前記立体映像のパレンタルレベル設定情報との両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとして付帯情報に記述することにより、当該コンテンツの視聴制限することを可能とする請求項９から１２のいずれかに記載の立体映像および音声記録方法。
前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を再記録する際、音像定位を変化させる前記付帯情報に所定の係数を乗じることで、音像定位の変化量を強めたり弱めたりしたものを記録することを特徴とする請求項９から１３のいずれかに記載の立体映像および音声記録方法。
前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を再記録する際、前記音像定位の変化量を強めたり弱めたりしたものを記録すると同時に、パレンタルレベル設定も変更することを特徴とする請求項１４に記載の立体映像および音声記録方法。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と前記左目映像に関連する前記サラウンド音声信号群も合わせて配置されるように前記記録媒体に記録することを特徴とする請求項９から１５のいずれかに記載の立体映像および音声記録方法。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声データと、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時に再現する立体視聴用のサラウンド音声において、立体映像内の音源の奥行き方向や飛び出し方向の変移量の大きさや奥行き方向や飛び出し方向の音源の移動速度を緩和した複数の立体視聴用のサラウンド音声とを合わせて有し、いずれかを選択することを特徴とする立体映像および音声再生方法。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と立体映像の前記左目映像に関連する前記サラウンド音声信号群も配置されるように前記記録媒体に記録し、再生することを特徴とする請求項１７に記載の立体映像および音声再生方法。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に関連したＯＳＤ情報を設定するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記ＯＳＤ表示の立体方向位置に連動して前記立体視聴用のサラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させることを特徴とする立体映像および音声再生方法。
視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知し、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出し、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させることを特徴とする立体映像および音声再生方法。
前記映像情報に人間の顔が描写されている場合において、前記飛び出し方向の顔の位置情報が、前記顔検知する場合における口の位置検出に基づくことを特徴とする請求項２０に記載の立体映像および音声再生方法。
あらかじめ記録された前記立体映像視聴用の音声情報もしくは前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際、前記立体映像視聴用の音声情報におけるパレンタルレベル設定情報と、前記立体映像のパレンタルレベル設定情報との両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとして視聴制限することを可能とする請求項１７から２１のいずれかに記載の立体映像および音声再生方法。
あらかじめ記録された前記立体映像視聴用の音声情報もしくは前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際に設定される前記パレンタルレベルを、映像の飛び出し量を可変したり前記音声の音像定位の強弱を可変することで、映像、音声の安全性の変化に応じ、前記パレンタルレベル設定を変更することを可能とする請求項２２に記載の立体映像および音声再生方法。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と立体映像の前記左目映像に関連する前記サラウンド音声信号群も配置された映像および音声情報を再生することを特徴とする請求項１７から２３のいずれかに記載の立体映像および音声再生方法。
記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から立体映像および音声を再生する立体映像および音声再生装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声の記録領域と、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録された立体サラウンド音声の記録領域とを有し、再生時には前記立体映像のデータおよび選択された音声信号のデータを前記読取装置を使って読み出し、読み出したデータを前記システムデコーダで分離し、分離されたデータのうちの映像データを前記映像信号デコーダでデコードし、分離されたデータのうちの音声信号データを前記音声信号デコーダでデコードして、再生することを特徴とする立体映像および音声再生装置。
記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に関連したＯＳＤ情報を配置するとともに、前記ＯＳＤ情報においてはＯＳＤの立体方向位置を特定するための情報も追記され、前記立体映像の立体映像情報に関連するサラウンド音声再生時において前記ＯＳＤ表示の立体方向位置抽出手段と、前記ＯＳＤ表示の立体方向位置に連動して前記立体視聴用のサラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させる音像定位可変手段を有することを特徴とする立体映像および音声再生装置。
記録媒体より立体映像および音声のデータを読み出す読取装置、読取装置で読み出した映像音声データ等のストリームを分離するためのシステムデコーダ、分離されたデータのうちの映像データをデコードする映像信号デコーダ、分離されたデータのうちの音声データをデコードする音声信号デコーダ、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とが記録された記録媒体から再生する立体映像および音声再生装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記映像情報に人間の顔が描写されている場合において、左目映像と右目映像の顔検知手段と、左右の顔検知情報から演算された顔の画面からの奥行きないし飛び出し方向の顔の位置情報を抽出手段と、前記顔の位置情報に基づき前記サラウンド音声における画面からの奥行きないし飛び出し方向の音像定位を可変させる音像定位可変手段とを有することを特徴とする立体映像および音声再生装置。
前記映像情報に人間の顔が描写されている場合において、前記飛び出し方向の顔の位置情報抽出手段が、前記顔検知手段における口の位置検出に基づくことを特徴とする請求項２７に記載の立体映像および音声再生装置。
前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴もしくはＯＳＤの立体方向位置に連動した音像定位可変もしくは顔検知情報に基づく音像定位可変を行う際、音像定位を変化させる前記付帯情報に所定の係数を乗じることで、音像定位の変化量を強めたり弱めたりすることを特徴とする請求項２６から２８のいずれかに記載の立体映像および音声再生装置。
あらかじめ記録された前記立体映像視聴用の音声情報もしくは前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際、前記立体映像視聴用の音声情報におけるパレンタルレベル設定情報と、前記立体映像のパレンタルレベル設定情報との両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとして視聴制限することを可能とする請求項２５から２９のいずれかに記載の立体映像および音声再生装置。
あらかじめ記録された前記立体映像視聴用の音声情報もしくは前記音像定位を可変させる付帯情報に基づく立体映像視聴用の音声情報を視聴する際に設定される前記パレンタルレベルを、映像の飛び出し量を可変したり前記音声の音像定位の強弱を可変することで、映像、音声の安全性の変化に応じ、前記パレンタルレベル設定を変更することを可能とする請求項３０に記載の立体映像および音声再生装置。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と立体映像の前記左目映像に関連する前記サラウンド音声信号群も配置された立体映像および音声記録媒体より、立体映像および前記サラウンド音声信号群の中から選択されたサラウンド音声信号を前記読取装置を使って読み出し、読み出したデータを前記システムデコーダで分離し、分離されたデータのうちの映像データを前記映像信号デコーダでデコードし、分離されたデータのうちの音声信号データを前記音声信号デコーダでデコードして、再生することを特徴とする請求項２５から３１のいずれかに記載の立体映像および音声再生装置。
映像データをエンコードする映像信号エンコーダ、音声データをエンコードする音声信号エンコーダ、記録媒体に記録するためのデータ形式に整えるフォーマットエンコーダ、前記ストリームを記録媒体に書き込む書込装置、を有する視差映像を利用した左目映像と右目映像とからなる立体映像とサラウンド音声情報とを記録媒体に記録する立体映像および音声記録装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像コンテンツは、前記ディジタル映像情報においては左目映像もしくは右目映像の片方のみで構成される平面映像と、左目映像もしくは右目映像の両方を用いる立体映像とが混在し、
前記立体映像の立体映像情報に関連するサラウンド音声情報において、平面映像視聴用のサラウンド音声の記録領域と、コンテンツ制作時における視聴者と立体映像内の音源部分との空間位置関係を、あらかじめ録音された音源の音声信号からコンピュータを用いて変換することにより前記コンテンツ再生時において再現する立体視聴用のサラウンド音声を、立体映像内の音源部分の飛び出し量に応じて複数記録する立体サラウンド音声記録領域を有し、
前記平面映像および前記立体映像は前記映像信号エンコーダでエンコードし、平面映像視聴用のサラウンド音声および立体サラウンド音声はそれぞれ前記音声信号エンコーダでエンコードし、エンコードされた映像信号と音声信号は前記フォーマットエンコーダで記録媒体に記録する形式に整え、前記書込装置を使って各々記録され、その際に平面視聴用のサラウンド音声は前記平面視聴用のサラウンド音声用の記録領域に、立体サラウンド音声は前記立体サラウンド音声記録領域にそれぞれ記録されることを特徴とする、立体映像および音声記録装置。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で、平面映像の情報と立体映像の情報とが混在し、且つ立体映像の前記右目映像と立体映像の前記左目映像とが交互に配置され、
前記右目映像と前記左目映像とのいずれか一方が平面映像であり、立体映像視聴に必要となる残り一方の映像情報が、片側の目の平面映像の情報と、当該片側の目の平面映像の情報と当該片側の目とは反対側の目の平面映像の情報との差分情報からなる立体映像を生成するための情報との両方を用いて視聴時に生成される、もう片方の目の映像情報であり、
前記右目映像と前記左目映像に関連する前記サラウンド音声信号群も合わせて配置されるように記録することを特徴とする請求項３３に記載の立体映像および音声記録装置。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、本付帯情報領域において、立体視聴専用の音声情報である事を示すフラグ、立体視聴専用の音声情報のファイルサイズ、再生時間情報、オーディオ圧縮フォーマットの種別、対応する映像との同期情報、再生可否を示す地域コードを記載することを特徴とする請求項３３または３４のいずれかに記載の立体映像および音声記録装置。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、前記音声情報の付帯情報が記載される領域において、前記サラウンド音声視聴時における画面からの奥行きないし飛び出し方向の音像定位の音像可変量の大小を記載することを特徴とする請求項３３から３５のいずれかに記載の立体映像および音声記録装置。
前記映像コンテンツは、前記ディジタル映像情報の単位又は前記ディジタル映像情報の整数倍の単位で平面映像の情報と立体映像と音声の情報とが混在するとともに、
前記映像および音声情報記録領域とは別の情報記録領域に前記立体映像情報に関連する映像および音声情報の付帯情報が記載される領域があり、前記音声情報の付帯情報が記載される領域において、前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが記載されていることを特徴とする請求項３３から３６のいずれかに記載の立体映像および音声記録装置。
前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが、立体映像のパレンタルレベルと立体映像視聴時の音声情報のパレンタルレベルの２つの情報を含むことを特徴とする請求項３７に記載の立体映像および音声記録装置。
前記サラウンド音声視聴時における視聴安全性を確保するためのパレンタルレベルが、立体映像のパレンタルレベルと立体映像視聴時の音声情報のパレンタルレベルの２つの情報を含む場合、安全から危険までにいたるパレンタルレベルにおいて、映像と音声の両方における最も危険側のレベルを、本コンテンツ選択時の映像および音声全体のパレンタルレベルとすることを特徴とする請求項３８に記載の立体映像および音声記録装置。
前記音声情報の付帯情報が記載される領域において、メディア上の配置情報をＧＯＰ単位に記述したＧＯＰテーブル情報を有し、
データアクセス時に時間情報を有する前記映像および音声情報から前記ＧＯＰテーブルをアクセスすることで、実際のメディア上のデータを取得することを特徴とする請求項３５から３９のいずれかに記載の立体映像および音声記録装置。