[go: up one dir, main page]

JP2013070385A - 再生装置、記録媒体、および情報処理方法 - Google Patents

再生装置、記録媒体、および情報処理方法 Download PDF

Info

Publication number
JP2013070385A
JP2013070385A JP2012238436A JP2012238436A JP2013070385A JP 2013070385 A JP2013070385 A JP 2013070385A JP 2012238436 A JP2012238436 A JP 2012238436A JP 2012238436 A JP2012238436 A JP 2012238436A JP 2013070385 A JP2013070385 A JP 2013070385A
Authority
JP
Japan
Prior art keywords
subtitle
stream
frame
video
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012238436A
Other languages
English (en)
Other versions
JP5191018B2 (ja
Inventor
Shinobu Hattori
しのぶ 服部
Kuniaki Takahashi
邦明 高橋
Don Eklund
エクランド ドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of JP2013070385A publication Critical patent/JP2013070385A/ja
Application granted granted Critical
Publication of JP5191018B2 publication Critical patent/JP5191018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】字幕の表示領域として十分な領域を確保することができるようにする。
【解決手段】本技術の再生装置においては、上側の帯状領域である第１の領域の少なくとも一部を下側の帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、フレームの上端を基準とした、左目用の画像と右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる有効画枠の配置位置を示す情報を含むプレイリストファイルと、が記録媒体から読み出され、処理される。本技術は、BDプレーヤに適用することができる。
【選択図】図８Ａ

Description

本技術は、再生装置、記録媒体、および情報処理方法に関し、特に、字幕の表示領域として十分な領域を確保することができるようにした再生装置、記録媒体、および情報処理方法に関する。
近年、液晶ディスプレイ(LCD:liquid crystal display)等のディスプレイの画素数やフレームレートの向上に伴い実現される画像表示方式として３次元(3D:3-dimensional)表示方式がある。3D表示方式によれば、視聴者は被写体を３次元的に認識することができる。
将来的には、このような３次元的に認識可能なビデオデータを含む映画等の3Dコンテンツを記録したBD-ROM等のBlu-Ray（商標）Disc(BD)が流通するようになることも考えられる。
特開２００９−１４７９８９号公報
BD等に記録された3Dコンテンツを再生して3D画像を表示するとき、字幕をどこにどのように表示するかという問題がある。
図１は、アスペクト比が16:9の表示装置に、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比を有する、シネマスコープサイズ等の画像を表示したときの画面構成を示す図である。
図１に示すように、映画等のコンテンツの画像はいわゆるレターボックス形式で表示され、画面の上側および下側に黒枠領域が形成される。2Dの字幕は、通常、点線で示すように、ビデオ表示領域の中央下側に形成された字幕領域に表示される。
3Dコンテンツに含まれる画像が、垂直方向よりも水平方向が長く、16:9よりも大きなアスペクト比で符号化されているとき、BDプレーヤ等で再生した3Dコンテンツの画像は、16:9のアスペクト比を有するテレビジョン受像機の画面上には図１に示すように表示される。
この場合において、例えば、通常の2Dコンテンツと同じように3Dコンテンツを表示したビデオ表示領域に２次元の字幕を表示したとき、字幕は３次元表示された被写体と重なってしまい、読みにくくなる可能性がある。また、字幕をも３次元表示したとき、視差により、画像を見ているうちに疲れてしまう可能性がある。
さらに、黒枠領域に字幕を表示するとき、一度に字幕を複数行に示すと同時に、当該字幕の各文字を読解可能な大きさで表示しようとしたときには表示領域が不足してしまう可能性がある。
本発明はこのような問題を考慮しており、字幕の表示領域として十分な領域を確保することが望ましい。
本技術の再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、前記字幕ストリームを復号する第２の復号部と、前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部とを備える。
前記生成部には、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得させることができる。
本技術の記録媒体は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルとを含む情報を記録した記録媒体である。
本技術の情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させるステップを含む。
本技術によれば、字幕の表示領域として十分な領域を確保することができる。
関連技術におけるフレーム構成の例を示すブロック図である。 本発明の一実施形態に係る再生装置を含む再生システムの構成例を示す図である。 MVCエンコーダの構成例を示すブロック図である。 画像が参照される例を示す図である。 TSの構成例を示す図である。 ビデオストリームをデコードして得られるフレームの構成を示す図である。 領域の切り出しの例を示す図である。 領域の切り出しの例を示す図である。 aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。 aligned字幕方式で字幕を表示するときのフレーム構成を示す図である。 AVストリームの管理構造の例を示す図である。 Main PathとSub Pathの構造を示す図である。 光ディスクに記録されるファイルの管理構造の例を示す図である。 PlayListファイルのシンタクスを示す図である。 PlayList（）のシンタクスを示す図である。 SubPath（）のシンタクスを示す図である。 SubPlayItem（i）のシンタクスを示す図である。 PlayItem（）のシンタクスを示す図である。 STN_table（）のシンタクスを示す図である。 STN_table_SS（）のシンタクスの例を示す図である。 active_video_window（）のシンタクスの例を示す図である。 TopOffsetとBottomOffsetの例を示す図である。 AlignOffsetの例を示す図である。 AlignOffsetの例を示す図である。 再生装置の構成例を示すブロック図である。 デコード部の構成例を示す図である。 ビデオ後処理部の構成例を示すブロック図である。 ビデオ後処理部による処理結果の例を示す図である。 ビデオ後処理部による処理結果の例を示す図である。 ビデオ後処理部による処理結果の例を示す図である。 ビデオ後処理部による処理結果の例を示す図である。 PG後処理部の構成例を示すブロック図である。 再生装置の字幕表示方式設定処理について説明するフローチャートである。 画面表示の例を示す図である。 再生装置の再生処理について説明するフローチャートである。 図２９のステップＳ１７において行われるaligned字幕再生処理について説明するフローチャートである。 図３０のステップＳ３１において行われるビデオデータ生成処理について説明するフローチャートである。 図３０のステップＳ３２において行われる字幕データ生成処理について説明するフローチャートである。 フリップ機能により実現されるフレーム構成の変更例を示す図である。 フレーム構成の他の変更例を示す図である。 aligned字幕領域を選択するメニュー画面の例を示す図である。 fixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。 STN_table_SS（）のシンタクスの他の例を示す図である。 active_video_window（）のシンタクスの他の例を示す図である。 AlignOffsetの例を示す図である。 AlignOffsetの例を示す図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置の記録処理について説明するフローチャートである。 active_video_window（）の記述位置の例を示す図である。 他の情報処理装置の構成例を示すブロック図である。 active_video_window（）の他の記述位置の例を示す図である。 Access Unitの構成を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
［再生システムの構成例］
図２は、本発明の一実施形態に係る再生装置１を含む再生システムの構成例を示す図である。
図２の再生システムは、再生装置１と表示装置３がHigh Definition Multimedia Interface(HDMI)ケーブル等で相互に接続されるように構成される。再生装置１は、BD規格の光ディスクである、BD-ROM等の光ディスク２を備える。
光ディスク２には、視点の数が２つの3D画像を表示するために必要なストリームが記録されている。ストリーム等を光ディスク２に記録するための符号化方式として、例えば、H.264 Advanced Video Coding(AVC)/Multi-view Video coding(MVC)が採用される。
再生装置１は、光ディスク２に記録されたストリームの3D再生のためのプレーヤである。再生装置１は、光ディスク２に記録されたストリームを再生し、再生により得られた3D画像をテレビジョン受像機等を含む表示装置３に表示する。音声についても同様に再生装置１により再生され、表示装置３に設けられたスピーカから出力される。
［H.264 AVC/MVC Profile］
H.264 AVC/MVCでは、Base view videoストリームと呼ばれるビデオストリームと、Dependent view videoストリームと呼ばれるビデオストリームが定義されている。以下、適宜、H.264 AVC/MVCを単にMVCと呼ぶ。
図３は、MVCエンコーダの構成例を示すブロック図である。
図３に示すように、MVCエンコーダは、H.264/AVCエンコーダ１１、H.264/AVCデコーダ１２、およびDependent view videoエンコーダ１３から構成される。同じ被写体に対して、L画像（左視点）用のカメラとR画像（右視点）用のカメラが撮像を行う。
L画像用カメラにより撮影されたL画像のストリームはH.264/AVCエンコーダ１１に入力される。また、Ｒ画像用カメラにより撮影されたR画像のストリームはDependent view videoエンコーダ１３に入力される。
H.264/AVCエンコーダ１１は、L画像のストリームをH.264 AVC/High Profileビデオストリームとして符号化する。H.264/AVCエンコーダ１１は、符号化により得られたAVCビデオストリームをBase view videoストリームとして出力する。H.264/AVCエンコーダ１１から出力されたBase view videoストリームは、外部に出力される一方で、H.264/AVCデコーダ１２にも供給される。
H.264/AVCデコーダ１２は、H.264/AVCエンコーダ１１から供給されたAVCビデオストリームをデコードし、デコードにより得られたL画像のストリームをDependent view videoエンコーダ１３に出力する。
Dependent view videoエンコーダ１３は、H.264/AVCデコーダ１２から供給されたL画像のストリームと、外部から入力されたR画像のストリームに基づいて符号化を行う。Dependent view videoエンコーダ１３は、符号化により得られたストリームをDependent view videoストリームとして出力する。
他のストリームを参照画像とする予測符号化にはBase view videoが認められないが、図４に示すように、Base view videoを参照画像とする予測符号化にはDependent view videoが認められている。例えば、L画像をBase view videoとし、R画像をDependent view videoとして符号化を行ったとき、その結果得られるDependent view videoストリームのデータ量は、Base view videoストリームのデータ量よりも少なくなる。
なお、H.264/AVCでの符号化であるため、時間方向におけるBase view videoの予測が行われる。また、Dependent view videoについて、各view間の予測とともに、時間方向の予測が実施される。Dependent view videoをデコードするとき、エンコード時の参照先である対応Base view videoのデコードを先に終える必要がある。
H.264/AVCエンコーダ１１から出力されたBase view videoストリームと、Dependent view videoエンコーダ１３から出力されたDependent view videoストリームは、例えば、オーディオまたは字幕のデータとともにMPEG2 TSとして多重化される。多重化によって得られたTS(MPEG2 TS)は、MVCエンコーダの後部に設けられた記録部において光ディスク２に記録され、再生装置１に提供される。
この例においては、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化するが、反対に、R画像をBase view videoとして符号化し、L画像をDependent view videoとして符号化してもよい。以下、L画像をBase view videoとして符号化し、R画像をDependent view videoとして符号化する場合について説明する。
図５は、光ディスク２に記録されたTSの構成例を示す図である。
図５のＴＳでは、Base view video、Dependent view video、Primary audio、Presentation Graphics(PG)、およびInteractive Graphics(IG)のストリームが多重化されている。Base view videoとDependent view videoを異なるTSにおいて多重化することも可能であり得る。PGストリームは字幕のストリームであり、IGストリームはメニュー画面等のグラフィックスのストリームである。
再生装置１による字幕の表示方式においては、ビデオ(Base view video、およびDependent view video)と重なることにより字幕を表示する方式と、字幕用に確保された領域にビデオと重ならない字幕を表示する方式とがある。左目用の字幕と右目用の字幕がPGストリームに含まれる字幕データに基づいて生成され、それぞれが、Base view videoおよびDependent view videoとともに表示されるように、ユーザは字幕だけでなくビデオも３次元的に見ることができる。
ビデオと重なることにより字幕を表示する前者の方式だけでなく、字幕用に確保された領域に字幕を表示する方式においても字幕を３次元表示することが可能であるが、以下、前者の字幕表示方式を3D字幕方式と呼び、後者の字幕表示方式をaligned字幕方式と呼ぶ。aligned字幕方式においては、フレーム内の上側および下側から形成される２つの黒色領域の一方の領域の少なくとも一部が他方の領域に近づき、そこに、字幕が２次元または３次元表示される。
光ディスク２には、適宜、3D字幕方式用のPGストリームと、aligned字幕方式用のPGストリームが記録される。
［Aligned字幕方式について］
図６は、光ディスク２に記録されたビデオストリームをデコードして得られるフレームの構成を示す図である。
図６に示すフレームのサイズは１９２０×１０８０画素である。ビデオの画枠は、垂直方向よりも水平方向が長く、１６：９の比率よりも大きなアスペクト比を有し、フレームの上側および下側には、垂直方向に所定の幅を有する帯状の黒色領域が水平方向全体に渡って形成されている。
上側の黒色領域における垂直方向の画素数はａであり、下側の黒色領域における垂直方向の画素数はｂである。上側と下側の黒色領域の間に挟まれた垂直方向の画素数がｃの領域がビデオの有効画枠であり、そこに、Base viewとDependent viewのビデオが表示される。
光ディスク２に記録されているBase view videoおよびDependent view videoは、図６に示すように、上側と下側の黒色領域がフレーム毎に付加された形でエンコードされている。Base view videoおよびDependent view videoのストリームをデコードしたとき、図６の構成を有するフレームのデータが得られる。
aligned字幕方式で字幕を表示するとき、再生装置１においては、Base view videoおよびDependent view videoのストリームをデコードして得られるフレームから、図７Ａに示すようなビデオの有効画枠だけが切り取られる。切り取り範囲は、光ディスク２に記録された制御情報に含まれる情報によって指定される。
また、ビデオの有効画枠を切り取ったときに残る上側と下側の黒色領域が１つになり、図７Ｂに示すように、垂直方向の画素数がａ＋ｂとなる領域が、aligned字幕方式における字幕の表示領域として確保される。
以下、適宜、上側と下側の黒色領域の一方の領域の少なくとも一部を足して形成される字幕の表示領域をaligned字幕領域という。
図８Ａおよび図８Ｂは、aligned字幕方式で字幕を表示するときのフレームの構成例を示す図である。
図８Ａは、ビデオの有効画枠が上側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が下側に配置された例を示す図である。図８Ｂは、ビデオの有効画枠が下側に配置されるとともに、垂直方向の画素数がａ＋ｂのaligned字幕領域が上側に配置された例を示す図である。これらの例においては、上側と下側の黒色領域の一方の領域全体を他方の領域に足し合わせてaligned字幕領域が形成されている。
図８Ａおよび図８Ｂにおいて点線で示すように、aligned字幕領域内に字幕ウインドウが配置される。字幕ウインドウ#0は、例えば、人物の会話内容を示す字幕を表示する領域であり、字幕ウインドウ#1は、看板等がビデオの有効画枠に現れたときにその内容を示す、いわゆる強制字幕用の領域である。なお、強制字幕を表示する字幕ウインドウ#1は、ビデオの有効画枠内に位置させることができる。字幕ウインドウ#0についても、ビデオの有効画枠内に位置させることができる。
このように、再生装置１においては、ビデオストリームをデコードしたときに得られるフレームに含まれる上側と下側の黒色領域の一方の領域の少なくとも一部を他方の領域に足し合わせて形成される領域に字幕が表示される。
これにより、3D画像とともにビデオの有効画枠内に字幕を表示するとき、字幕が被写体の影（被写体よりも内側に深く）によって字幕が見づらくなることがあるが、そのようなことを防ぐことができる。
また、3D画像とともに字幕をビデオの有効画枠内に表示するとき、コンテンツの制作者（オーサー）は、被写体の影を構成しないように字幕の表示領域を設定する必要があるが、そのような負担の増加を防ぐことができる。
さらに、一方の側において足し合わせることなく、上側または下側の黒色領域に字幕を表示する場合と較べて、広い領域を字幕の表示領域として確保することができる。例えば、日本語の字幕を表示するとき、字幕の漢字にはかな文字を付けることになるために、垂直方向により広い領域が必要になるが、そのような要望に対応することができる。
［AVストリームの管理構造］
図９は、再生装置１によるAVストリームの管理構造の一例を示す図である。
AVストリームの管理は、図９に示すように、２つのレイヤのPlayListとClipを用いて行われる。Clipは、ビデオデータおよびオーディオデータを多重化して得られるTSであるAVストリームと、対応Clip Information（当該AVストリームに関する属性情報を含むClip Information）とから構成される。
AVストリームは時間軸上に展開され、各アクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリームにおけるデコードが開始されるべきアドレスを見つけるために使用される。
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の１つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点で表される。PlayListは１つまたは複数のPlayItemを含む。
図９の左から１番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分および後半部分のそれぞれが参照される。
左から２番目のPlayListは１つのPlayItemを含み、そのPlayItemにより、右側のClipに含まれるAVストリーム全体が参照される。
左から３番目のPlayListは２つのPlayItemを含み、その２つのPlayItemにより、左側のClipに含まれるAVストリームの一部分および右側のClipに含まれるAVストリームの一部分のそれぞれが参照される。
例えば、左から１番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定されたとき、左側のClipに含まれるとともにそのPlayItemにより参照されるAVストリームの前半部分が再生される。このように、PlayListは、AVストリームの再生を制御するための再生制御情報として用いられる。
PlayListの中で、１つ以上のPlayItemの並びによって作られる再生パスをmain pathと呼ぶ。
また、PlayListの中で、main pathに並行して１つ以上のSubPlayItemの並びによって構成される再生パスをsub pathと呼ぶ。
図１０は、main pathとsub pathとの構造を示す図である。
PlayListは、１つのmain pathと１つ以上のsub pathを持つことができる。上述したL view videoのストリームは、main pathを構成するPlayItemにより参照される。また、R view videoのストリームは、sub pathを構成するSubPlayItemにより参照される。
図１０のPlayListは、３つのPlayItemの並びにより構成される１つのmain pathと、３つのsub pathを有している。main pathを構成するPlayItemには、先頭から規則的なIDが設定される。sub pathにもIDが設定される。
図１０の例においては、Subpath_id=0のsub pathには１つのSubPlayItemが含まれ、Subpath_id=1のsub pathには２つのSubPlayItemが含まれる。また、Subpath_id=2のsub pathには１つのSubPlayItemが含まれる。
あるPlayItemが参照するAVストリームと、そのPlayItemとタイムゾーンが重複する再生区間を指定するSubPlayItemが参照するAVストリームは同期させられ、再生される。PlayList、PlayItem、およびSubPlayItemを用いたAVストリームの管理については、例えば、特開2008-252740号公報および特開2005-348314号公報に記載されている。
［ディレクトリの構造］
図１１は、光ディスク２に記録されるファイルの管理構造の例を示す図である。
図１１に示すように、ファイルはディレクトリ構造により階層的に管理される。光ディスク２上には１つのrootディレクトリが作成される。rootディレクトリの下部は、１つの記録再生システムで管理される範囲である。
rootディレクトリの下にはBDMVディレクトリが設定される。BDMVディレクトリの直下に、「Index.bdmv」と名前が付けられたファイルであるIndexファイルと、「MovieObject.bdmv」と名前が付けられたファイルであるMovieObjectファイルが収容される。
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、およびSTREAMディレクトリが設けられる。
PLAYLISTディレクトリには、PlayListを記述したファイルであるPlayListファイルが収容される。各PlayListファイルには、５桁の数字と拡張子「.mpls」を組み合わせて作った名前が設定される。図１１に示すPlayListファイルには、「00000.mpls」というファイル名が設定される。
CLIPINFディレクトリにはClip Informationを記述したファイルであるClip Informationファイルが収容される。各Clip Informationファイルには、５桁の数字と拡張子「.clpi」を組み合わせて作った名前が設定される。
図１１の２つのClip Informationファイルには、「00001.clpi」および「00002.clpi」というファイル名が設定されている。以下、適宜、Clip Informationファイルをclpiファイルと呼ぶ。
「00001.clpi」というクリップファイルは、対応するL view videoのストリームに関する情報を記述するファイルであり、「00002.clpi」というclpiファイルは、対応するR view videoのストリームに関する情報を記述するファイルである。
STREAMディレクトリには、ストリームファイルが収容される。各ストリームファイルには、５桁の数字と「.m2ts」という拡張子を組み合わせて作った名前が設定される。以下、適宜、「.m2ts」という拡張子が設定されたファイルをm2tsファイルと呼ぶ。
「00001.m2ts」というm2tsファイルは、L view videoストリームのファイルであり、「00002.m2ts」というm2tsファイルはR view videoのファイルである。
図１１に示すものの他に、BDMVディレクトリの下には、PGおよびIGのグラフィックスのストリームまたはオーディオストリームのファイルを収容するディレクトリが設定される。
［各データのシンタクス］
図１２は、PlayListファイルのシンタクスを示す図である。
PlayListファイルは、図１１のPLAYLISTディレクトリに収容される、「.mpls」という拡張子が設定されたファイルである。
図１２のtype_indicatorは、「xxxxx.mpls」という名前のファイルの種類を示す。
version_numberは、「xxxx.mpls」のバージョンナンバーを示す。version_numberは４桁の数字を含む。例えば、ビデオを３次元表示する3D再生用のPlayListファイルには、「3D Spec version」を示す”０２４０”が設定される。
PlayList_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayList()のベースアドレスを示す。
PlayListMark_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、PlayListMark()のベースアドレスを示す。
ExtensionData_start_addressは、PlayListファイルの先頭バイトからの相対バイト数を単位として、ExtensionData()のベースアドレスを示す。
AppInfoPlayList()には、再生制限等、PlayListの再生コントロールに関するパラメータが収容される。
PlayList()には、main pathまたはsub path等に関するパラメータが収容される。
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプ等を指示するユーザオペレーションまたはコマンドにおけるジャンプポイントであるマークに関する情報である情報が収容される。
ExtensionData()には、プライベートデータが挿入できるように構成される。
図１３は、図１２のPlayList()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
number_of_PlayItemsは、PlayList中のPlayItemの数を示す１６ビットのフィールドである。図１０の例の場合、PlayItemの数は３である。PlayItem_idの値は、PlayList中にPlayItem()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、PlayItem_id=0、1、および2である。
number_of_SubPathsは、PlayList中のsub pathの数を示す１６ビットのフィールドである。図１０の例の場合、sub pathの数は３である。SubPath_idの値は、PlayList中にSubPath()が現れる順に０から割り当てられる。例えば、割り当てられる値は、図１０では、Subpath_id=0、1、および2である。その後のfor文では、PlayItemの数と同じだけPlayItem()が参照され、sub pathの数と同じだけSubPath()が参照される。
図１４は、図１３のSubPath()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub Path()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、lengthは、reserved_for_future_useからPlayListの最後までのバイト数を示す。
SubPath_typeは、sub pathのアプリケーションの種類を示す８ビットのフィールドである。SubPath_typeは、例えば、sub pathの種類、sub pathがオーディオ、ビットマップ字幕、またはテキスト字幕であるかどうかを示すために用いられる。
is_repeat_SubPathは、sub Pathの再生方法を指定する１ビットのフィールドであり、sub Pathの再生をmain Pathの再生間に繰り返すべきであるか、またはsub Pathの再生を１回行うかを示す。
number_of_SubPlayItemsは、１つのsub Path中のSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、図１０のSubPath_id=0というSubPlayItemのnumber_of_SubPlayItemsは１であり、SubPath_id=1というSubPlayItemのnumber_of_SubPlayItemsは２である。その後のfor文では、SubPlayItemの数と同じだけSubPlayItem()が参照される。
図１５は、図１４のSubPlayItem(i)のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub playItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
Clip_Information_file_name[0]は、SubPlayItemが参照されるClipのClip Informationファイルの名前を示す。
Clip_codec_identifier[0]は、Clipのコーデック方式を示す。
is_multi_Clip_entriesは、マルチClipの登録の存在を示すフラグである。is_multi_Clip_entriesというフラグが立っているとき、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
SubPlayItem_IN_timeはsub Pathの再生区間の開始位置を示し、SubPlayItem_OUT_timeは終了位置を示す。
sync_PlayItem_idとsync_start_PTS_of_PlayItemは、main Pathの時間軸上でsub Pathの再生が開始される時を示す。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共に用いられる。
「if(is_multi_Clip_entries==1b」であるとともに、SubPlayItemが複数のClipを参照する場合について説明する。
num_of_Clip_entriesは参照するClipの数を示す。Clip_Information_file_name[SubClip_entry_id]の数は、Clip_Information_file_name[0]を除くClipの数を指定する。
Clip_codec_identifier[SubClip_entry_id]は、Clipのコーデック方式を示す。
ref_to_STC_id[SubClip_entry_id]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
図１６は、図１３のPlayItem()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。
Clip_Information_file_name[0]は、PlayItemが参照するClipのClip Informationファイルの名前を示す。なお、Clipを含むm2tsファイルのファイル名と、それに対応するClip Informationファイルのファイル名は同じ５桁の数字を含む。
Clip_codec_identifier[0]はClipのコーデック方式を示す。Clip_codec_identifier[0]の後にはreserved_for_future_useが含まれる。reserved_for_future_useの後にはis_multi_angleおよびconnection_conditionが含まれる。
ref_to_STC_id[0]は、STC不連続点（システムタイムベースの不連続点）に関する情報である。
IN_timeは、PlayItemの再生区間の開始位置を示し、OUT_timeは終了位置を示す。
OUT_timeの後には、U0_mask_table()、PlayItem_random_access_mode、およびstill_modeが含まれる。
STN_table()には、PlayItemが参照するストリームが含まれる。また、PlayItemと関連付けて再生されるsub Pathがあるとき、そのsub Pathを構成するSubPlayItemが参照するストリームの情報も含まれる。
図１７は、図１６のSTN_table()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。
number_of_video_stream_entriesは、video_stream_idとともに与えられ、STN_table()にエントリー（登録）するストリームの数を示す。
video_stream_idは、ビデオストリームを識別するための情報である。例えば、Base view videoのストリームがこのvideo_stream_idにより特定される。Dependent view videoのストリームのＩＤについては、STN_table()内、および後述するPlayListのExtensionData()（図１２）に含まれるSTN_table_SS()内で定義されるようにしてもよい。
number_of_audio_stream_entriesは、STN_table()にエントリーし、audio_stream_idに与えられる１番目のオーディオストリームのストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報である。
number_of_audio_stream2_entriesは、STN_table()にエントリーし、audio_stream_id2に与えられる２番目のオーディオストリームのストリーム数を示す。audio_stream_id2は、オーディオストリームを識別するための情報である。この例においては、再生する音声を切り替えることができる。
number_of_PG_txtST_stream_entriesは、STN_table()にエントリーし、PG_txtST_stream_idに与えられるストリーム数を示す。この中では、ビットマップ字幕をランレングス符号化して得られるPGストリームと、テキスト字幕ファイル（txtST）がエントリーする。PG_txtST_stream_idは、字幕ストリームを識別するための情報である。
number_of_IG_stream_entriesは、STN_table()にエントリーするとともに、IG_stream_idに与えられるストリーム数を示す。この中ではIGストリームがエントリーする。IG_stream_idは、IGのストリームを識別するための情報である。
各ストリームについて用意されるstream_entry()には、各ストリームのデータを収容するパケットのPID情報。また、stream_attribute()には、各ストリームの属性情報が含まれる。
図１８は、STN_table_SS()のシンタクスの例を示す図である。
STN_table_SS()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。STN_table_SS()には、3D字幕方式またはaligned字幕方式で字幕を表示するとき、その表示に用いるストリームに関する情報が含まれる。
図１８に示すように、PG_textST_stream_idで識別されるPGストリーム毎に各情報が設定される。例えば、英語、日本語、またはフランス語等の各言語のPGストリームが光ディスク２に記録されているとき、各言語のPGストリームに対して以下の情報が設定される。
is_SS_PGは、3D字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_SS_PGの値が１であることは、3D字幕方式用のPGストリームが記録されていることを示し、is_SS_PGの値が０であることは、3D字幕方式用のPGストリームが記録されていないことを示す。
is_AS_PGは、aligned字幕方式用のPGストリームが記録されているか否かを示す。例えば、is_AS_PGの値が１であることは、aligned字幕方式用のPGストリームが記録されていることを示し、is_AS_PGの値が０であることは、aligned字幕方式用のPGストリームが記録されていないことを示す。
PG_textST_offset_id_refは、3D字幕方式で字幕を表示するときに用いるオフセット値の参照先を示す。
3D字幕方式およびaligned字幕方式のいずれの表示方式において、字幕を3Dで表示することは、PGストリームに含まれる字幕データに所定のオフセットを設定して生成されたBase viewとDependent viewの字幕を表示して行われる。オフセットの値は、視差に相当するずれを示す。例えば、同じ文字または記号を含む字幕が配置されたBase viewのフレーム、およびDependent viewのフレームが相互に重なるとき、字幕の位置にはずれが存在する。
字幕の位置にずれがあるとき、Base viewの字幕がBase viewのビデオとともに表示され、Dependent viewの字幕がDependent viewのビデオとともに表示され、そして、それによって、ユーザはビデオだけでなく字幕も３次元視することができる。なお、字幕データに適用されるオフセットの値が０であるとき、視差は生じることがなく、それによって、字幕は２次元表示される。
PG_textST_offset_id_refが参照させるオフセットの値は、例えば、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。offset_metadata()の詳細については、例えば、本出願人による特願2009-168806号公報に開示されている。
is_AS_PGの値が１であるときに記述されるstream_entry()には、aligned字幕方式用のPGストリームのデータを収容するパケットのPID情報が含まれる。また、stream_attribute()には、aligned字幕方式用のPGストリームの属性情報が含まれる。
AS_PG_textST_offset_id_refは、aligned字幕方式で3D字幕を表示するときに用いるオフセットの値の参照先を示す。例えば、aligned字幕方式で字幕を表示するときに用いるオフセットの値も、PlayListファイルのExtensionData()内に記述されたoffset_metadata()に含まれる。オフセットの値が、MVCによって符号化されたビデオストリームの中に含まれるようにすることも可能である。この場合、AS_PG_textST_offset_id_refは、ビデオストリームに含まれるオフセットの値が参照されることを示す。
なお、is_SS_PGの値が１であるとき、3D字幕方式用のPGストリームのデータを収容するパケットのPID情報を含むstream_entry()と、属性情報に含まれるstream_attribute()がSTN_table_SS()に記述されるようにしてもよい。
図１９は、active_video_window()のシンタクスの例を示す図である。
active_video_window()は、例えば、PlayListファイルのExtensionData()（図１２）に記述される。active_video_window()は、図１８のSTN_table_SS()に含まれるis_AS_PGの値が１であり、aligned字幕方式用のPGストリームが記録されているときに記述され。
active_video_window()には、ビデオの有効画枠に関する情報が含まれる。aligned字幕方式で字幕を表示するときに行われるビデオの有効画枠を切り出して移動する処理が、active_video_window()の記述に基づいて実施される。
ここでは、active_video_window()に含まれる情報中、top_offset、bottom_offset、top_align_flag、およびalign_offsetについて説明する。
fixed_subtitle_window_0、fixed_subtitle_window_1、およびflipped_AS_PG_textST_offset_id_refは、後述するフリップ機能に用いられる。フリップ機能は、top_offset等の値に基づいて形成されたaligned字幕領域を、ユーザによる選択に応じて、フレームの上側から下側または下側から上側に移動する。
top_offsetは、ビデオの有効画枠の垂直方向における画素の最上部の位置を求めるために用いられる値を示す。
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を0、フレームの左から１列目の水平方向における画素の位置を0として、画素数を用いて示す。
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて下式（１）により求められる。
TopOffset = 2 ＊ top_offset ・・・ （１）
top_offsetは、下式（２）で示される範囲の値をとる。
Figure 2013070385
・・・ （２）
式（２）のFrameHeightはフレーム全体の垂直方向における画素数を示し、MVCで符号化されたビデオストリームに含まれるパラメータであるpic_height_in_map_units_minus1を用いて下式（３）により求められる。
FrameHeight = (16 * (pic_height_in_map_units_minus1 + 1)) - 8 ・・・ （３）
bottom_offsetは、有効画枠の最下下部の垂直方向における画素の位置を求めるために用いられる値を示す。有効画枠の最下下部の垂直方向における画素の位置であるBottomOffsetは、bottom_offsetの値を用いて下式（４）により求められる。
BottomOffset = FrameHeight - (2 * bottom_offset) - 1 ・・・ （４）
図２０は、TopOffsetとBottomOffsetの例を示す図である。
top_offset=69、かつbottom_offset=69であるとき、1920×1080画素のフレームにおいては、TopOffsetは138として求められ、BottomOffsetは941として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,138)で表され、左下端における１画素の位置は(x,y)=(0,941)で表される。
有効画枠の垂直方向における画素数は８０４である。１０８０はFrameHeightの値であり、式（３）により求められる。
図１９の説明に戻り、top_align_flagは、デコード直後のフレームにおける位置に基づいて、ビデオの有効画枠を上方向に移動するのか、下方向に移動するのかを示す。top_align_flagの値が１であるとき、有効画枠を上方に移動することが示され、top_align_flagの値が０であるとき、有効画枠を下方に移動することが示される。align_offsetを用いた移動量の計算方法は、top_align_flagの値により異なる。
top_align_flagの値が1であり、ビデオの有効画枠を上方向に移動する場合、aligned字幕領域はフレームの下側に形成される。また、top_align_flagの値が０であり、ビデオの有効画枠を下方向に移動する場合、aligned字幕領域はフレームの上側に形成される。
align_offsetは、ビデオの有効画枠の移動量を求めるために用いられる値を示す。
top_align_flagの値が１であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（５）により求められる。
AlignOffset = 2 * align_offset ・・・ （５）
top_align_flagの値が０であるとき、ビデオの有効画枠の移動量であるAlignOffsetは下式（６）により求められる。
AlignOffset = 2 * (top_offset + bottom_offset - align_offset) ・・・ （６）
式（５）および式（６）により求められるAlignOffsetは、フレームの上から、１行目の画素の位置を０に設定し、下方向への移動量を画素数で示す。
align_offsetは、下式（７）で示される範囲の値をとる。
Figure 2013070385
・・・ （７）
top_align_flagとalign_offsetにより、フレームにおけるビデオの有効画枠の移動先としての配置位置が決定される。決定された位置に配置された有効画枠外の全ての画素では、(Y,Cb,Cr)=(16,128,128)等の画素の所定値が設定され、これにより、フレームにおける有効画枠外の画素が同じ色の画素になる。
図２１Ａおよび図２１Ｂは、AlignOffsetの例を示す図である。
top_align_flagの値が１であり、かつalign_offset=34であるとき、図２１Ａに示すように、1920×1080画素のフレームにおいては、AlignOffsetは６８として求められる。ビデオの有効画枠の左上端における１画素の位置は(x,y)=(0,68)で表される。
AlignOffsetが６８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、aligned字幕領域の垂直方向における画素数は２０８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
top_align_flagの値が０であり、かつalign_offset=34であるとき、図２１Ｂに示すように、1920×1080画素のフレームにおいては、AlignOffsetは２０８として得られる。有効画枠の左下端における１画素の位置は(x,y)=(0,208)で表される。
AlignOffsetが２０８、ビデオの有効画枠の垂直方向における画素数が８０４、フレーム全体の垂直方向における画素数が１０８０であるから、フレームの下側に形成された黒色領域の垂直方向における画素数は６８になる。ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,1011)で表される。
［再生装置１の構成例］
図２２は、再生装置１の構成例を示すブロック図である。
コントローラ３１は、制御プログラム（図９のディスクナビゲーションプログラム）を実行し、再生装置１全体の動作を制御する。コントローラ３１は、ユーザの操作に応じて再生装置１のステータスを切り替え、現在のステータスを示す情報をレジスタ３１Ａに記憶させる。
ディスクドライブ３２は、コントローラ３１による制御に従って光ディスク２からデータを読み出し、読み出したデータを、コントローラ３１、メモリ３３、またはデコード部３４に出力する。
メモリ３３は、コントローラ３１による各種処理の実行に加えて、必要なデータ等を適宜記憶する。
デコード部３４は、ディスクドライブ３２から供給されたストリームをデコードし、得られたビデオ信号を表示装置３に出力する。オーディオ信号も所定の経路を介して表示装置３に出力される。
操作入力部３５は、ボタン、キー、タッチパネル、またはマウス等の入力デバイス、および所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成される。操作入力部３５はユーザによる操作を検出し、検出した操作の内容を示す信号をコントローラ３１に供給する。
図２３は、デコード部３４の構成例を示す図である。
分離部５１は、ディスクドライブ３２から供給されたTSとして多重化されているデータを、コントローラ３１による制御に従って分離する。分離部５１は、ビデオストリームをビデオデコーダ５２に出力し、PGストリームをPGデコーダ５５に出力する。なお、図２３にはビデオのデータを処理する構成と字幕データを処理する構成のみを示しているが、ビデオのデータを処理する構成等もデコード部３４に適宜設けられる。
ビデオストリームのデータを収容するパケットは、例えば、STN_table()のstream_entry()に含まれるPIDに基づいて特定される。また、3D字幕方式用のPGストリームのデータを収容するパケットとaligned字幕方式用のPGストリームのデータを収容するパケットは、例えば、STN_table_SS()のstream_entry()に含まれるPIDに基づいて特定される。
ビデオデコーダ５２は、MVC方式で符号化されているビデオストリームをデコードし、デコードして得られた画像データ（Base view videoのデータとDependent view videoのデータ）をビデオ後処理部５３に出力する。
ビデオ後処理部５３は、aligned字幕方式で字幕を表示するとき、コントローラ３１から供給されたactive_video_window()の記述に基づいて後処理を行う。ビデオ後処理部５３は、後処理を行って得られたBase view videoのプレーン（フレームと同じサイズの画像データ）とDependent view videoのプレーンを選択部５４に出力する。
選択部５４は、ビデオ後処理部５３から供給された画像データ中、Base view videoのプレーンを合成部５８に出力し、Dependent view videoのプレーンを合成部５９に出力する。
PGデコーダ５５は、PGストリームをデコードし、デコードによって得られた字幕データと、字幕ウインドウの位置を示す情報をPG後処理部５６に出力する。
PGストリームに含まれる字幕データがビットマップデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるwindow_vertical_positionとwindow_horizontal_positionを含む。この２つの情報により、フレームにおいて、例えば、字幕ウインドウの左上端における画素の位置が指定される。また、PGストリームに含まれる字幕データがテキストデータであるとき、PGストリームは、字幕ウインドウの位置を示す情報であるregion_vertical_positionとregion_heightを含む。
PG後処理部５６は、コントローラ３１から供給されたactive_video_window()またはSTN_table_SS()の記述に基づいて後処理を行う。PG後処理部５６は、後処理を行って得られたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを選択部５７に出力する。
選択部５７は、PG後処理部５６から供給されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンを、それぞれ、合成部５８と合成部５９に出力する。
合成部５８は、選択部５４から供給されたBase view videoのプレーンと、選択部５７から供給されたBase viewの字幕のプレーンとを合成してBase viewのフレームを生成するとともに、出力。ビデオのプレーンと字幕のプレーンを合成して、ビデオが有効画枠内に配置されるとともに、１フレームのデータが生成され、字幕がaligned字幕領域等の所定の位置に配置される。
合成部５９は、選択部５４から供給されたDependent view videoのプレーンと、選択部５７から供給されたDependent viewの字幕のプレーンとを合成してDependent viewのフレームを生成するとともに、出力。合成部５８から出力されたBase viewのフレームおよび合成部５９から出力されたDependent viewのフレームのビデオ信号が表示装置３に出力される。
図２４は、ビデオ後処理部５３の構成例を示すブロック図である。
図２４に示すように、ビデオ後処理部５３は、切り出し部７１、配置処理部７２、および色設定部７３を含む。切り出し部７１に対しては、ビデオデコーダ５２から出力された、ビデオの有効画枠の上側と下側に黒色領域が付加された構成を有する図２５Ａに示すようなフレームのデータが入力される。
図２５Ａに示すフレームは1920×1080画素のサイズのフレームと仮定する。ビデオの有効画枠の垂直方向における画素数は８０４であり、垂直方向における画素数が１３８の黒色領域が上側と下側に設定されている。
切り出し部７１は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいて、TopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。例えば、図２５Ｂに示すようなビデオの有効画枠が図２５Ａのフレーム全体から切り出される。
配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいて、ビデオの有効画枠の配置位置（デコード後のフレームにおける位置に基づく移動先の位置）を求め、求めた位置に有効画枠を配置する。
例えば、図２５Ｃに示すように、ビデオの有効画枠の左上端における画素の位置と、フレームの左上端における画素の位置が相互に一致するように有効画枠が配置される。ビデオの有効画枠の位置が移動すると、デコード後のフレームにおいてビデオの有効画枠の上側と下側のそれぞれに設定される黒色領域を足し合わせて得られる、垂直方向における画素数が２７６のaligned字幕領域用のスペースが確保される。
色設定部７３は、ビデオの有効画枠外の画素の画素値として、黒色等の所定の色を示す値を設定する。これにより、図２５Ｄに示すように、ビデオの有効画枠の下側にaligned字幕領域が形成される。図２５Ｄに示すようなフレームの構成を有するBase view videoとDependent view videoのプレーンが選択部５４に出力される。
図２６は、PG後処理部５６の構成例を示すブロック図である。
図２６に示すように、PG後処理部５６は、配置位置決定部８１とオフセット適用部８２を含む。PGデコーダ５５から出力された字幕データはオフセット適用部８２に入力され、字幕ウインドウの位置を示すwindow_vertical_positionとwindow_horizontal_position等の情報は配置位置決定部８１に入力される。
配置位置決定部８１は、入力された情報に基づいて、フレームにおける字幕ウインドウの位置を決定し、字幕ウインドウの位置を示す情報をオフセット適用部８２に出力する。
オフセット適用部８２は、3D字幕方式で字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のPG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。
また、オフセット適用部８２は、aligned字幕方式で3D字幕を表示するとき、入力された字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕のデータを生成する。
オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを設定し、Base viewのプレーンの字幕ウインドウ内にBase viewの字幕を配置してBase viewの字幕のプレーンを生成する。
また、オフセット適用部８２は、Dependent viewのプレーンの字幕ウインドウ内にDependent viewの字幕を配置してDependent viewの字幕のプレーンを生成する。オフセット適用部８２は、生成したプレーンを選択部５７に出力する。
［再生装置の動作］
図２７のフローチャートを参照して、再生装置１の字幕表示方式設定処理について説明する。
図２７の処理は、例えば、ユーザがリモートコントローラを操作して字幕表示方式に関するメニュー画面の表示に指示したときに開始される。
ステップＳ１において、コントローラ３１は、表示装置３に、字幕表示方式に関するメニュー画面を表示する。メニュー画面の表示は、例えば、光ディスク２に記録されているIGストリームのデータに基づいて行われる。
図２８は、画面表示の例を示す図である。
図２８の左上に示す画面は、字幕表示方式に関するメニュー画面である。図２８の例においては、フレームの上側と下側に黒色領域が付加されたビデオと重ねられることによりメニュー画面が表示される。
ユーザは、リモートコントローラ等を操作して、字幕のオン／オフ、表示する字幕の言語、字幕を表示するときの3D字幕のオン／オフを選択することができる。例えば、図２８におけるメニュー画面の左下の「off」（字幕off）が選択されたとき、矢印Ａ１の先で示すように、字幕の表示なしの状態で、ビデオが３次元表示される。
図２７のステップＳ２において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、表示する字幕の種類（言語）を選択する。
ステップＳ３において、コントローラ３１は、再生対象として選択した字幕番号を示す情報をレジスタ３１Ａに収容する。例えば、図２８のメニュー画面において「日本語」が選択されたとき、「日本語」字幕の番号を示す情報がレジスタ３１Ａに収容される。レジスタ３１Ａに収容された情報により、再生対象の言語のPGストリームが特定される。
ステップＳ４において、コントローラ３１は、操作入力部３５から供給される信号に基づいて、3D字幕のオン／オフを選択する。3D字幕のオン状態は、字幕の表示方式が3D字幕方式であることを示し、オフは、aligned字幕方式を示す。
ステップＳ５において、コントローラ３１は、ステップＳ４での選択に応じて、字幕表示方式を示す情報をレジスタ３１Ａに収容する。字幕表示方式を示す情報がレジスタ３１Ａに収容された後、処理は終了する。
例えば、図２８のメニュー画面において3D字幕のオン状態が選択されたとき、字幕表示方式が3D字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ２の先で示すように、3D字幕方式で字幕が表示される。矢印Ａ２の先で示す画面においては、ビデオとともに、ビデオの有効画枠内に、「Subtitle」という文字の字幕が３次元表示されている。
一方、図２８のメニュー画面において3D字幕のオフ状態が選択されたとき、字幕表示方式がaligned字幕方式であることを示す情報がレジスタ３１Ａに収容され、その後、矢印Ａ３の先で示すように、aligned字幕方式で字幕が表示される。矢印Ａ３の先で示す画面においては、ビデオの有効画枠の上側に形成されたaligned字幕領域に「Subtitle」という文字の字幕が３次元表示されている。
次に、図２９のフローチャートを参照して、再生装置１の再生処理について説明する。
図２９の処理は、例えば、図２８に示すようにメニュー画面から字幕表示方式の設定が行われた後に開始される。
ステップＳ１１において、コントローラ３１は、コンテンツの再生に用いるPlayListファイルを選択する。
ステップＳ１２において、コントローラ３１は、レジスタ３１Ａに収容しておいた再生対象として字幕番号を示す情報を読み出す。
ステップＳ１３において、コントローラ３１は、レジスタ３１Ａに収容しておいた字幕表示方式を示す情報を読み出す。
ステップＳ１４において、コントローラ３１は、ステップＳ１３の処理で読み出した情報に基づいて、字幕表示方式としてaligned字幕方式が設定されているか否かを判定する。
aligned字幕方式が設定されているとステップＳ１４において判定したとき、ステップＳ１５において、コントローラ３１は、PlayListファイルから、字幕に関する情報を読み出す。字幕に関する情報として、例えば、STN_table_SS()に記述されている、現在選択されている言語の字幕に関するis_AS_PGの値が読み出される。
ステップＳ１６において、コントローラ３１は、再生対象として現在選択されている字幕に、aligned字幕方式用のPGストリームが登録されているかどうかを判定した。上述したように、STN_table_SS()においてはPGストリーム毎にis_AS_PG等の情報が設定される。選択されている言語に関して、aligned字幕方式用のPGストリームが記録され、記録されない場合がある。
次いで、is_AS_PGの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、コントローラ３１はaligned字幕の再生処理を行う。aligned字幕の再生処理においては、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
一方、is_AS_PGの値が０であり、aligned字幕方式用のPGストリームが登録されていないとステップＳ１６において判定したとき、ステップＳ１８において、コントローラ３１は字幕表示方式として通常方式を設定する。図２８の例においては、aligned字幕方式と3D字幕方式から選択することができるため、ここでは、字幕表示方式として3D字幕方式が設定される。
ステップＳ１８において3D字幕方式が設定されたとき、または、ステップＳ１４においてaligned字幕方式が設定されていない、すなわち、3D字幕方式が設定されているとき、ステップＳ１９において通常字幕の再生処理が行われる。通常字幕の再生処理においては、3D字幕方式用のPGストリームが光ディスク２から読み出され、PGデコーダ５５によりデコードが行われる。また、PG後処理部５６により、Base viewの字幕データとDependent viewの字幕が生成され、ビデオとともに、ビデオの有効画枠内に字幕が３次元表示される。
なお、ビデオの有効画枠内の下部に設定された領域（図１において点線で現す領域）に字幕を２次元表示する方式が用意されているとき、通常字幕の再生処理として、その方式で字幕の再生処理が行われるようにしてもよい。
次に、図３０のフローチャートを参照して、図２９のステップＳ１７において行われるaligned字幕の再生処理について説明する。
ステップＳ３１において、ビデオデータ生成処理が行われる。ビデオデータ生成処理により、所定の位置にaligned字幕領域が形成された構成を有するBase view videoのプレーンとDependent view videoのプレーン。
ステップＳ３２において、字幕データ生成処理が行われる。字幕データ生成処理により、ビデオデータ生成処理により生成されたaligned字幕領域に対応する位置に字幕が配置されたBase viewの字幕のプレーンとDependent viewの字幕のプレーンが生成される。
ステップＳ３３において、合成部５８は、Base view videoのプレーンとBase viewの字幕のプレーンを合成してBase viewのフレームを生成する。また、合成部５９は、Dependent view videoのプレーンとDependent viewの字幕のプレーンを合成してDependent viewのフレームを生成する。
ステップＳ３４において、コントローラ３１は、Base viewのフレームとDependent viewのフレームを表示装置３に出力し、aligned字幕領域に字幕が表示される画面を表示する。
次に、図３１のフローチャートを参照して、図３０のステップＳ３１において行われるビデオデータ生成処理について説明する。
この処理は、図２９のステップＳ１１において選択されたPlayListファイルの記述に基づいてデコード対象のビデオストリームとaligned字幕方式用のPGストリームが光ディスク２から読み出され、それらのストリームが分離部５１により分離された後に開始される。分離部５１により分離されたビデオストリームはビデオデコーダ５２に供給され、aligned字幕方式用のPGストリームはPGデコーダ５５に供給される。
ステップＳ４１において、ビデオデコーダ５２は、ビデオストリームをデコードし、デコードによって得られた画像データをビデオ後処理部５３に出力する。
ステップＳ４２において、コントローラ３１は、ビデオの有効画枠の情報として、active_video_window()に記述されている情報をPlayListファイルから読み出す。コントローラ３１により読み出されたactive_video_window()に記述されている情報はビデオ後処理部５３に供給される。
ステップＳ４３において、ビデオ後処理部５３の切り出し部７１（図２４）は、active_video_window()に含まれるtop_offsetとbottom_offsetに基づいてTopOffsetとBottomOffsetを求め、ビデオの有効画枠を切り出す。
ステップＳ４４において、配置処理部７２は、active_video_window()に含まれるtop_align_flagとalign_offsetに基づいてビデオの有効画枠の配置位置を求め、求めた位置に有効画枠を配置する。
ステップＳ４５において、色設定部７３は、配置した有効画枠外の画素の画素値として黒色等の所定の色を示す値を設定し、aligned字幕領域を生成する。
aligned字幕領域が形成されたBase view videoとDependent view videoのプレーンは選択部５４に出力される。選択部５４においては、Base view videoのプレーンが合成部５８に出力され、Dependent view videoのプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３１に戻り、それ以降の処理が行われる。
次に、図３２のフローチャートを参照して、図３０のステップＳ３２において行われる字幕データ生成処理について説明する。
ステップＳ５１において、PGデコーダ５５は、aligned字幕方式用のPGストリームをデコードし、字幕データをPG後処理部５６のオフセット適用部８２に出力するとともに、字幕ウインドウの位置を示す情報を配置位置決定部８１に出力する。
ステップＳ５２において、配置位置決定部８１は、PGデコーダ５５から供給された情報に基づいて、フレームにおける字幕ウインドウの位置を決定した。
ステップＳ５３において、オフセット適用部８２は、字幕データに対して、STN_table_SS()のAS_PG_textST_offset_id_refで参照させるオフセット値に応じて視差を設定し、Base viewとDependent viewの字幕データを生成する。オフセット適用部８２は、配置位置決定部８１により決定された位置に字幕ウインドウを配置し、字幕ウインドウ内に字幕を配置して、Base viewとDependent viewの字幕のプレーンを生成する。
オフセット適用部８２により生成されたBase viewとDependent viewの字幕のプレーンは選択部５７に出力される。選択部５７においては、Base viewの字幕のプレーンが合成部５８に出力され、Dependent viewの字幕のプレーンが合成部５９に出力される。その後、上記処理は図３０のステップＳ３２に戻り、それ以降の処理が行われる。
以上の処理により、字幕の表示領域として十分な領域を確保することができ、ユーザにとって見やすい字幕表示を実現することができる。
［フリップ機能について］
図３３は、フリップ機能によって実現されるフレーム構成の変更例を示す図である。
上述したように、フリップ機能は、active_video_window()に含まれる情報に基づいて形成されたaligned字幕領域の位置を、ユーザの選択に応じて移動する。
図３３の左側は、top_align_flagの値が１であり、かつalign_offset=34であるときのフレームを示す。図３３の左側に示すフレームの構成は、図２１Ａを参照して説明した構成と同じ構成であり、フレームの下側にaligned字幕領域が形成されている。
図２１Ａを参照して説明したように、図３３の左側に示す1920×1080画素を有するフレームのAlignOffsetは68であり、ビデオの有効画枠の垂直方向における画素数は804であり、aligned字幕領域の垂直方向における画素数は208である。また、ビデオの有効画枠の左下端における１画素の位置は(x,y)=(0,871)で表される。
図３３の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表され、字幕ウインドウの垂直方向における画素数は168である。ビデオの有効画枠の下端と字幕ウインドウの上端の垂直方向における差は20画素（891-871画素）になる。なお、字幕ウインドウの位置は、PGストリームに含まれるwindow_vertical_positionとwindow_horizontal_position等の情報により決定される。PGストリームには、字幕ウインドウの垂直方向における画素数を示す情報も含まれている。
この場合において、aligned字幕領域をフレームの上側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの上側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の上側にaligned字幕領域が配置され、有効画枠の下側に黒色領域が配置される。
図３３の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表される。
図３４は、フレーム構成の他の変更例を示す図である。
図３４の左側は、top_align_flagの値が０であり、かつalign_offset=34であるときのフレームを示す。図３４の左側に示すフレームの構成は、図２１Ｂを参照して説明した構成と同じ構成であり、フレームの上側にaligned字幕領域が形成されている。
図２１Ｂを参照して説明したように、図３４の左側に示すフレームのAlignOffsetは208、ビデオの有効画枠の垂直方向における画素数は804、aligned字幕領域の垂直方向における画素数は68である。
図３４の左側に示すフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,20)で表され、字幕ウインドウの垂直方向における画素数は168である。
この場合において、aligned字幕領域をフレームの下側で移動することが指示された場合、白反転矢印の先で示すように、aligned字幕領域がフレームの下側に形成されるようにフレーム構成が変更される。すなわち、各領域の大きさを維持しながら、ビデオの有効画枠の下側にaligned字幕領域が配置され、有効画枠の上側に黒色領域が配置される。
図３４の右側に示すように、aligned字幕領域の移動後のフレームにおいては、字幕ウインドウの左上端における１画素の位置は(x,y)=(640,891)で表される。
ビデオの有効画枠の位置がビデオ後処理部５３の配置処理部７２により再配置され、色設定部７３が再配置された有効画枠外の画素における所定の画素値を設定し、それによって、このような各領域の位置変更が行われる。
フリップ機能を利用して、ユーザはaligned字幕領域の位置を好みに応じて変更することができる。再生装置１は、aligned字幕領域の位置を変更させたときでも、aligned字幕領域内における字幕ウインドウと有効画枠の間の距離を維持し、字幕が有効画枠から離れない場合がある。
図３５は、aligned字幕領域の位置の選択に用いられるメニュー画面の例を示す図である。
図３５の左側に示すメニュー画面においては、aligned字幕領域の位置をフレームの上側(top)にするか、フレームの下側(bottom)にするかを選択することができる。例えば、active_video_window()に含まれる情報に基づいて配置されるaligned字幕領域の位置およびその反対の位置が選択されたとき、フリップ機能によってaligned字幕領域が移動される。
図３６は、図１８のactive_video_window()に含まれるfixed_subtitle_window_0およびfixed_subtitle_window_1について説明する図である。
上述したように、人物の会話内容の字幕を表示する字幕ウインドウと、強制字幕を表示する字幕ウインドウを設定することが可能である。また、強制字幕を表示する字幕ウインドウについては、ビデオの有効画枠内に配置することが可能である。各字幕ウインドウの配置位置が、PGストリームに含まれる情報により指定される。
フリップ機能によってフレーム構成が変更したときでも、強制字幕を表示する字幕ウインドウをオーサーが意図する位置に配置するために、fixed_subtitle_window_0およびfixed_subtitle_window_1が用いられる。
fixed_subtitle_window_0は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、ビデオの有効画枠の位置とID=0で識別される字幕ウインドウ#0の位置の関係を維持すべきかどうかを示す。例えば、fixed_subtitle_window_0の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきであることを示し、fixed_subtitle_window_0の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係を維持すべきでないことを示す。
同様に、fixed_subtitle_window_1は、フリップ機能によってビデオの有効画枠の位置が移動したときでも、有効画枠の位置とID=1で識別される字幕ウインドウ#1の位置の関係を維持させるべきかどうかを示す。例えば、fixed_subtitle_window_1の値が１であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきであることを示し、fixed_subtitle_window_1の値が０であることは、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係を維持すべきでないことを示す。
図３６の左側に示すフレームにおいては、フレームの上側にaligned字幕領域が配置されている。また、ID=0で識別される字幕ウインドウ#0がaligned字幕領域に配置され、字幕ウインドウ#0に「ABCD」というアルファベットを含む字幕が表示されている。字幕ウインドウ#0のfixed_subtitle_window_0の値は０である。
また、図３６の左側に示すフレームにおいては、ID=1で識別される字幕ウインドウ#1がビデオの有効画枠内に配置され、字幕ウインドウ#1に「****」という字幕が表示されている。字幕ウインドウ#1のfixed_subtitle_window_1の値は１である。字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。
この場合において、aligned字幕領域をフレームの下側で移動することが指示されたとき、図３６の右側に示すようにフレーム構成が変更される。フレーム構成の変更に従って、字幕ウインドウ#0は移動後のaligned字幕領域に配置される。
字幕ウインドウ#0のfixed_subtitle_window_0の値は０であるから、フリップ機能によってaligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#0の位置の関係は維持されない。
一方、fixed_subtitle_window_1の値は１であるから、字幕ウインドウ#1は、ビデオの有効画枠の位置との位置関係を維持するようにして配置される。
図３６の右側に示すフレームにおいて、字幕ウインドウ#1の左上端の画素は、ビデオの有効画枠の左上端における画素を基準として水平方向にｘ画素、垂直方向にｙ画素だけ離れた位置にある。aligned字幕領域の位置が移動する前後で、ビデオの有効画枠の位置と字幕ウインドウ#1の位置の関係は変化しない。
従って、フリップ機能によってビデオの有効画枠の位置が移動したときでも、強制字幕を表示する字幕ウインドウは、オーサーが意図する位置に配置され得る。
なお、図１９のflipped_AS_PG_textST_offset_id_refは、フリップ機能によってaligned字幕領域の位置を移動した場合において、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値の参照先を示す。図１９の例においては、active_video_window()について、１つのflipped_AS_PG_textST_offset_id_refを参照することが可能であるが、PGストリーム毎に、異なるflipped_AS_PG_textST_offset_id_refを参照するシンタクスが採用可能であり得る。
移動前のaligned字幕領域に3D字幕を表示するときに用いるオフセット値はSTN_table_SS()のAS_PG_textST_offset_id_ref（図１８）によって参照されるが、移動後のaligned字幕領域に3D字幕を表示するときに用いるオフセット値は、異なるflipped_AS_PG_textST_offset_id_refによって参照される。
従って、移動前のaligned字幕領域の字幕と、フリップ機能による移動後のaligned字幕領域の字幕を、異なるオフセット値を用いることにより３次元表示することができる。オフセット値を変えることができるため、オーサーは、移動前のaligned字幕領域の字幕と移動後のaligned字幕領域の字幕とで視聴者が感じる空間効果に変化をつけることができる。
［シンタクスの変更例］
aligned字幕方式用のPGストリームとして、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームを、それぞれ光ディスク２に記録することができる。
図３７は、STN_table_SS()のシンタクスの他の例を示す図である。
図３７のSTN_table_SS()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームと、下側に配置したaligned字幕領域に表示する字幕のPGストリームに関する記述が含まれる。
is_top_AS_PG_TextSTは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_top_AS_PG_TextSTの値が１であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_top_AS_PG_TextSTの値が０であることは、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
is_bottom_AS_PG_TextSTは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されているかどうかを示す。例えば、is_bottom_AS_PG_TextSTの値が１であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていることを示し、is_bottom_AS_PG_TextSTの値が０であることは、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームが記録されていないことを示す。
is_top_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。top_AS_PG_textST_offset_sequence_id_refは、フレームの上側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
is_bottom_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの下側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。bottom_AS_PG_textST_offset_sequence_id_refは、フレームの下側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。
図３７のSTN_table_SS()を用いた処理を説明する。上記と重複する説明は適宜省略する。
以下、フレームの上側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、上側aligned字幕用PGストリームと呼び、フレームの下側に配置されたaligned字幕領域に表示される字幕のPGストリームを、適宜、下側aligned字幕用PGストリームと呼ぶ。
図３７のSTN_table_SS()を用いて図２９の再生処理を行うとき、STN_table_SS()に記述された、現在選択されている言語の字幕のis_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値がステップＳ１５で読み出される。
さらに、ステップＳ１６において、aligned字幕方式用のPGストリームが再生対象として現在選択されている字幕に登録されているか否かを判定する。
次いで、is_top_AS_PG_TextSTまたはis_bottom_AS_PG_TextStの値が１であり、aligned字幕方式用のPGストリームが登録されているとステップＳ１６において判定し、ステップＳ１７において、aligned字幕の再生処理が行われる。aligned字幕の再生処理では、ビデオが３次元表示される時に、字幕がaligned字幕方式で表示される。
例えば、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームの両方が光ディスク２に記録されているとき(is_top_AS_PG_TextSTおよびis_bottom_AS_PG_TextSTの値が１であるとき)、ユーザが選択したPGストリームが再生される。
上側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてtop_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
また、下側aligned字幕用PGストリームを対象とする図３２の字幕データ生成処理のステップＳ５３では、PGストリームをデコードして得られる字幕データについてbottom_AS_PG_textST_offset_sequence_id_refで参照されるオフセット値に応じて視差が設定される。
従って、コンテンツのオーサーは、ビデオコンテンツに応じて、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームを用意することができる。また、異なる値をオフセット値として設定できるため、コンテンツのオーサーは、フレームの上側に配置されたaligned字幕領域に表示する字幕と、フレームの下側に配置されたaligned字幕領域に表示する字幕の３次元効果を変更することができる。
図３８は、active_video_window()の他のシンタックスの例を示す図である。
図３８のactive_video_window()は、図３７のSTN_table_SS()に含まれるis_top_AS_PG_TestSTまたはis_bottom_AS_PG_TestSTのいずれかの値が１のときに記述され、aligned字幕方式用PGストリームが記録される。
図３８の例には、図１９を参照して説明したtop_align_flagは含まれていない。また、align_offsetの代わりに、top_align_offsetおよびbottom_align_offsetが含まれる。
top_offsetは、フレームの上側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。top_offsetの値が、例えば、69であることは、フレームの上側に形成された黒枠領域の幅が138画素であることを示す。top_offsetは、ビデオの有効画枠の垂直方向において最上部の画素の位置を求めるために用いられる。
以下、フレーム内の位置については、フレームの左上端における１画素の位置を(x,y)=(0,0)、すなわち、フレームの上から１行目の垂直方向における画素の位置を０、フレームの左から１列目の水平方向における画素の位置を０として、画素数を用いて示す。
ビデオの有効画枠の垂直方向における最上部の画素の位置であるTopOffsetは、top_offsetの値を用いて、下式（８）により求められる。
TopOffset = 2 * top_offset ．．． （８）
top_offsetは、下式（９）により示される範囲の値をとる。
Figure 2013070385
．．． （９）
式（９）のFrameHeightは、フレーム全体の垂直方向における画素数を示し、下式（１０）により得られる。式（１０）のPic_height_in_map_units_minus1、frame_mbs_only_flag、frame_crop_top_offset、およびframe_crop_bottom_offsetは全て、MVCで符号化したビデオストリームに含まれるパラメータである。
FrameHeight = 16 * (pic_height_in_map_units_minus1 + 1) * (2 - frame_mbs_only_flag) - 2 * (2 - frame_mbs_only_flag) * (frame_crop_top_offset+frame_crop_bottom_offset) ．．． （１０）
bottom_offsetは、フレームの下側に形成された黒枠領域の幅（垂直方向における画素数）を２画素単位で表すことにより得られる値である。bottom_offsetの値が、例えば、69であることは、フレームの下側に形成された黒枠領域の幅が138画素であることを示す。bottom_offsetは、ビデオの有効画枠の垂直方向における最下部の画素の位置を求めるために用いられる。
ビデオの有効画枠の垂直方向において最下部の画素の位置であるBottomOffsetは、bottom_offsetの値を用いて、下式（１１）により求められる。
BottomOffset ＝ FrameHeight − ．．． （１１）
top_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。top_align_offsetは、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するときのビデオの有効画枠の再配置位置を得るために用いられる。
top_align_offsetは、下式（１２）により示される範囲の値をとる。
Figure 2013070385
．．． （１２）
再配置されたビデオの達成画枠の垂直方向における最上部の画素の位置であるAlignOffsetは、top_align_offsetの値を用いて、下式（１３）により得られる。
AlignOffset ＝ 2＊ top_align_offset ．．． （１３）
図３９Ａは、top_align_offsetの値を用いて得られるAlignOffsetの例を示す図である。
図３９Ａに示すようにtop_align_offset=104のとき、1920×1080画素のフレームについては、AlginOffsetは208となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,208)で表される。
図３９Ａおよび図３９Ｂの例では、デコーディング直後のフレームの上側と下側の黒枠領域の幅は、図２０を参照して説明したように、138である。top_offsetおよびbottom_offsetの値は69である。
図３８の説明に戻って、bottom_align_offsetは、フレームの上側左端を原点(0,0)として、再配置されるビデオの有効画枠の垂直方向における上側左端の画素の位置を２画素単位で表すことにより得られる値である。bottom_align_offsetは、is_bottom_AS_PG_TextSTの値が１であり、かつ下側aligned字幕用PGストリームを再生して字幕を表示するときに、ビデオの有効画枠の再配置の位置を得るために用いられる。
bottom_align_offsetは、下式（１４）により示される範囲の値をとる。
Figure 2013070385
．．． （１４）
再配置されたビデオの達成画枠の垂直方向における最下部の画素の位置であるAlignOffsetは、bottom_align_offsetの値を用いて、下式（１５）により得られる。
AlignOffset = 2 * bottom_align_offset ．．． （１５）
図３９Ｂは、bottom_align_offsetを用いて得られるAlignOffsetの例を示す図である。
図３９Ｂに示すようにbottom_align_offset=34のとき、1920×1080画素のフレームについては、AlginOffsetは68となる。ビデオの有効画枠の上側左端における１画素の位置は、(x,y)=(0,68)で表される。
図３８のactive_video_window()を用いた処理を説明する。上記と重複する説明は適宜省略する。
図３１のビデオデータ生成処理が図３８のactive_video_window()を用いて行われるとき、ステップＳ４２において、active_video_window()に記述された情報がPlayListファイルから読み出される。
ステップＳ４３において、top_offsetおよびbottom_offsetに基づいて、TopOffsetおよびBottomOffsetを得るとともに、ビデオの有効画枠を切り取る。
ステップＳ４４において、ビデオの有効画枠の配置位置を得るとともに、得られた位置に有効画枠を配置する。
例えば、is_top_AS_PG_TextSTの値が１であり、かつ上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ａを参照して説明したように、top_align_offsetを用いて得られる。
一方、is_bottom_AS_PG_TextSTの値が１であり、かつ下上側aligned字幕用PGストリームを再生して字幕を表示するとき、上記配置位置は、図３９Ｂを参照して説明したように、bottom_align_offsetを用いて得られる。
その後、上側aligned字幕用PGストリームおよび下側aligned字幕用PGストリームをデコードし、aligned字幕領域に字幕を表示する。
［情報処理装置の構成と動作］
図４０は、情報処理装置１０１の構成例を示すブロック図である。
情報処理装置１０１において、再生装置１により再生されるコンテンツが生成され、BD等の記録媒体に記録される。情報処理装置１０１によりコンテンツが記録される記録媒体は、光ディスク２として再生装置１に提供される。
図４０に示すように、情報処理装置１０１は、ビデオエンコーダ１１１、PGエンコーダ１１２、PlayList生成部１１３、多重化部１１４、および記録部１１５から構成される。
ビデオエンコーダ１１１は、図３のMVCエンコーダと同様の構成を有する。ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを多重化部１１４に出力する。
PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを多重化部１１４に出力する。
PlayList生成部１１３は、上述した情報を含むPlayListファイルを生成し、多重化部１１４に出力する。
多重化部１１４は、ビデオエンコーダ１１１から供給されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ１１２から供給されたPGストリームを多重化し、TSを記録部１１５に出力する。
記録部１１５は、多重化部１１４から供給されたTSとPlayList生成部１１３により生成されたPlayListファイルを含むコンテンツを生成し、コンテンツのデータをBD等の記録媒体に記録する。
図４１のフローチャートを参照して、情報処理装置１０１の記録処理について説明する。
ステップＳ１０１において、ビデオエンコーダ１１１は、入力されたビデオデータをMVC方式で符号化し、Base view videoのストリームとDependent view videoのストリームを生成する。
ステップＳ１０２において、PGエンコーダ１１２は、入力された字幕のデータを符号化し、3D字幕方式用のPGストリームとaligned字幕方式用のPGストリームを生成する。
ステップＳ１０３において、PlayList生成部１１３はPlayListファイルを生成する。
ステップＳ１０４において、多重化部１１４は、ビデオエンコーダ１１１により生成されたBase view videoのストリーム、Dependent view videoのストリーム、およびPGエンコーダ112により生成されたPGストリームを多重化し、TSを生成する。
ステップＳ１０５において、記録部１１５は、多重化部１１４により生成されたTSおよびPlayList生成部１１３により生成されたPlayListファイルをBD等の記録媒体に記録し、処理を終了する。
［変形例］
以上においては、有効画枠内に表示されるビデオがBase viewとDependent viewのビデオである場合について説明したが、表示順で配置された２つのフレームの画像間に視差が生じない2D画像を表示することが可能であってもよい。BD等の記録媒体に記録されるコンテンツが、2D画像データを含む2Dコンテンツであるときでも、上述した3Dコンテンツの場合と同様に、再生装置において、PlayListの記述に基づいて有効画枠を切り出し、位置をずらして形成したaligned字幕領域に字幕を表示することが可能であってもよい。
［active_video_window()の位置］
上記では、図１９および図３７を参照して説明したactive_video_window()はPlayListに記述されるが、他の位置に記述してもよい。
例えば、Base view videoストリームおよびDependent view videoストリームを同じTSとして、またはそれぞれ異なるTSとして多重化した後、放送波および放送網を介して送信することが考えられる。
この場合、active_video_window()は、例えば、送信制御情報であるProgram Specific Information(PSI)、Base view videoストリーム、またはDependent view videoストリーム（エレメンタリーストリーム）に記述される。
図４２は、active_video_window()がPSIに含まれるProgram Map Table(PMT)に記述される例を示す図である。
図４２に示すように、active_video_window()を記述する記述子を新たに定義し、定義した記述子にactive_video_window()を記述してもよい。図４２の例では、図３７のactive_video_window()が記述される。また、例えば、65がdescriptor_tagの値として与えられる。
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたPMTを生成し、出力する。図４３に示す構成では、図４０と同じ構成は、同じ参照番号とともに与えられる。図４３の例では、図４０のPlayList生成部１１３の代わりに、情報生成部１２１が設けられる。
情報生成部１２１から出力されたPMTは、多重化部１１４によりBase view videoストリームおよびDependent view videoストリームと多重化される。多重化により得られたTSは、放送波および放送網を介して送信される。
TSを受信した再生装置では、PMTに記述されたactive_video_window()に基づいて、上記のように字幕を表示する。
active_video_window()は、Selection Information Table(SIT)等、PMT以外の他の箇所に記述してもよい。
図４４は、active_video_window()がエレメンタリーストリームに記述された例を示す図である。
図４４に示すように、active_video_window()は、SEIに記述することができる。SEIは、Base view videoストリームおよびDependent view videoストリームを構成する各ピクチャのデータに付加される付加情報である。active_video_window()を含むSEIは、Base view videoストリームおよびDependent view videoストリームの少なくともいずれか一方のストリームの各ピクチャに付加される。
図４５は、Access Unitの構成を示す図である。
図４５に示すように、Base view videoストリームの１つのピクチャのデータを含むBase view videoのAccess Unitは、Dependent view videoストリームの１つのピクチャのデータを含むDependent view videoのAccess Unitと同じ構成を有する。１つのAccess Unitは、Access Unitの先頭を示すAUデリミタ、SPS、PPS、SEI、およびピクチャデータで構成される。
この場合、図４３の情報処理装置１０１の情報生成部１２１は、active_video_window()が記述されたSEIを生成し、バス（図示せず）を介してSEIをビデオエンコーダ１１１に出力する。ビデオエンコーダ１１１では、H.264 AVC/MVCの規格に従ってL画像データおよびR画像データを符号化して得られるBase view videoおよびDependent view videoの各ピクチャのデータにＳＥＩが付加される。
active_video_window()が記述されたＳＥＩとともに付加したピクチャのデータを含む、Base view videoストリームおよびDependent view videoストリームは、多重化された後、放送波または放送網を介して送信されるか、または記録媒体に記録される。
SEIが読み出される再生装置では、SEIに記述されたactive_video_window()の値に基づいて、上記のように字幕が表示される。
［コンピュータの構成例］
上述した一連の処理は、ハードウェアおよびソフトウェアにより実行することができる。一連の処理をソフトウェアにより実行するとき、そのソフトウェアを構成するプログラムが、専用のハードウェアを組み込んだコンピュータおよび汎用のパーソナルコンピュータに、プログラム記録媒体からインストールされる。
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
中央処理装置(CPU)１５１、読取り専用記憶装置(ROM)１５２、ランダムアクセス記憶装置(RAM)１５３は、バス１５４により相互に接続される。
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５は、キーボードまたはマウス等を含む入力部１５６、ならびにディスプレイまたはスピーカ等を含む出力部１５７に接続される。また、入出力インタフェース１５５は、ハードディスクまたは不揮発性メモリ等を含む記憶部１５８、ネットワークインタフェース等を含む通信部１５９、ならびにリムーバブルメディア１６１を駆動するドライブ１６０に接続される。
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを、入出力インタフェース１５５およびバス１５４を介してRAM１５３にロードして実行するように、上述した一連の処理が行われる。
CPU１５１が実行するプログラムは、例えば、リムーバブルメディア１６１に記録されるか、またはローカルエリアネットワーク、インターネット、もしくはデジタル放送等の有線もしくは無線の伝送媒体を介して提供され、記憶部１５８にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理を行うプログラムおよび／または呼び出しが行われた必要なタイミングで処理が行われるプログラムであってもよい。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
設計要件および他の要因に応じて、各種変更、組み合わせ、副次的組み合わせ、および改変が添付の請求項またはその等価物の範囲内で行われ得ることを当業者は理解する。
１ 再生装置， ２ 記録媒体， ３ 表示装置， ３１ コントローラ， ３２ ディスクドライブ， ３３ メモリ， ３４ デコード部， ３５ 操作入力部， ５１ 分離部， ５２ ビデオデコーダ， ５３ ビデオ後処理部， ５４ 選択部， ５５ PGデコーダ， ５６ PG後処理部， ５７ 選択部， ５８，５９ 合成部， ７１ 切り出し部， ７２ 配置処理部， ７３ 色設定部， ８１ 配置位置決定部， ８２ オフセット適用部
本技術の再生装置は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる第１の字幕ストリームおよび前記第１の領域の少なくとも一部を前記第２の領域に足し合わせて形成される第４の領域に表示される字幕のデータを符号化して得られる第２の字幕ストリームのうちの前記第２の字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、前記第１の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値と、前記第２の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第４のオフセット値と、リザーブ領域とからなる前記有効画枠の配置位置を示す情報が、前記第１の字幕ストリームと前記第２の字幕ストリームのそれぞれのPIDを含むテーブル情報とは別の情報として拡張領域に含まれるプレイリストファイルと、を記録媒体から読み出す読み出し部と、前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、前記第２の字幕ストリームを用いて字幕を表示する場合、前記テーブル情報に含まれるPIDによりデータを格納するパケットが特定される前記第２の字幕ストリームを復号する第２の復号部と、前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、前記第４の領域が前記有効画枠の下に形成されるように、前記第４のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部とを備える。
本技術の記録媒体は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる第１の字幕ストリームと、前記第１の領域の少なくとも一部を前記第２の領域に足し合わせて形成される第４の領域に表示される字幕のデータを符号化して得られる第２の字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、前記第１の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値と、前記第２の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第４のオフセット値と、リザーブ領域とからなる前記有効画枠の配置位置を示す情報が、前記第１の字幕ストリームと前記第２の字幕ストリームのそれぞれのPIDを含むテーブル情報とは別の情報として拡張領域に含まれるプレイリストファイルとを含む情報を記録した記録媒体である。
本技術の情報処理方法は、フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、上側の前記帯状領域である第１の領域に下側の前記帯状領域である第２の領域の少なくとも一部を足し合わせて形成される第３の領域に表示される第１の字幕のデータを符号化し、前記第１の領域の少なくとも一部を前記第２の領域に足し合わせて形成される第４の領域に表示される第２の字幕のデータを符号化し、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、前記第１の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値と、前記第２の字幕ストリームを用いて字幕を表示する場合の移動後の前記有効画枠の上端の位置を求めることに用いられる第４のオフセット値と、リザーブ領域とからなる前記有効画枠の配置位置を示す情報が、前記第１の字幕ストリームと前記第２の字幕ストリームのそれぞれのPIDを含むテーブル情報とは別の情報として拡張領域に含まれるプレイリストファイルを生成し、前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記第１の字幕のデータを符号化して得られる前記第１の字幕ストリームと、前記第２の字幕のデータを符号化して得られる前記第２の字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させるステップを含む。
is_top_AS_PG_TextSTの値が１であるときに記述されるstream_entry()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームのデータを収容するパケットのPIDが含まれる。また、stream_attribute()には、フレームの上側に配置したaligned字幕領域に表示する字幕のPGストリームの属性情報が含まれる。top_AS_PG_textST_offset_sequence_id_refは、フレームの上側に配置したaligned字幕領域に字幕を３次元表示するときに用いるオフセット値の参照先を示す。

Claims (4)

  1. フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと、を記録媒体から読み出す読み出し部と、
    前記基本ストリームおよび前記拡張ストリームを復号する第１の復号部と、
    前記字幕ストリームを復号する第２の復号部と、
    前記第１のオフセット値を用いて前記有効画枠の上端の位置を求めるとともに、前記第２のオフセット値を用いて前記有効画枠の下端の位置を求め、前記基本ストリームおよび前記拡張ストリームを復号して得られた前記フレームから、前記左目用の画像と前記右目用の画像の前記有効画枠を切り出す切り出し部と、
    前記第３の領域が前記有効画枠の下に形成されるように、前記第３のオフセット値を用いて求められた位置に、前記左目用の画像と前記右目用の画像の前記有効画枠を配置する配置処理部と、
    前記フレーム内の領域のうち、前記配置処理部により配置された前記有効画枠外の領域に所定の色を設定する設定部と、
    前記第２の復号部により復号された前記字幕にオフセットを設定し、左目用の字幕と右目用の字幕を生成する生成部と、
    前記有効画枠外の領域に前記所定の色が設定された前記左目用の画像と、前記左目用の字幕を合成する第１の合成部と、
    前記有効画枠外の領域に前記所定の色が設定された前記右目用の画像と、前記右目用の字幕を合成する第２の合成部と
    を備える再生装置。
  2. 前記生成部は、前記オフセットの値を、H.264 AVC/MVCのビデオストリームから取得する
    請求項１に記載の再生装置
  3. フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化して得られる基本ストリームおよび拡張ストリームと、
    上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化して得られる字幕ストリームと、
    前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルと
    を含む情報を記録した記録媒体。
  4. フレーム毎に、水平方向全体に渡って帯状領域を上側と下側に付して左目用の画像と右目用の画像をH.264 AVC/MVCによって符号化し、
    上側の前記帯状領域である第１の領域の少なくとも一部を下側の前記帯状領域である第２の領域に足し合わせて形成される第３の領域に表示される字幕のデータを符号化し、
    前記フレームの上端を基準とした、前記左目用の画像と前記右目用の画像の有効画枠の上端の位置を求めることに用いられる第１のオフセット値と、前記有効画枠の下端の位置を求めることに用いられる第２のオフセット値と、移動後の前記有効画枠の上端の位置を求めることに用いられる第３のオフセット値とからなる前記有効画枠の配置位置を示す情報を含むプレイリストファイルを生成し、
    前記左目用の画像と前記右目用の画像を符号化して得られる基本ストリームおよび拡張ストリームと、前記字幕ストリームと、前記プレイリストファイルとを記録媒体に記録させる
    ステップを含む情報処理方法。
JP2012238436A 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法 Active JP5191018B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30418510P 2010-02-12 2010-02-12
US61/304,185 2010-02-12
US12/821,829 2010-06-23
US12/821,829 US9025933B2 (en) 2010-02-12 2010-06-23 Information processing device, information processing method, playback device, playback method, program and recording medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012534450A Division JP5225517B2 (ja) 2010-02-12 2011-02-11 再生装置

Publications (2)

Publication Number Publication Date
JP2013070385A true JP2013070385A (ja) 2013-04-18
JP5191018B2 JP5191018B2 (ja) 2013-04-24

Family

ID=44368128

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2012534450A Active JP5225517B2 (ja) 2010-02-12 2011-02-11 再生装置
JP2012238437A Active JP5191019B1 (ja) 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法
JP2012238436A Active JP5191018B2 (ja) 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法
JP2012238438A Active JP5191020B1 (ja) 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法
JP2013022670A Expired - Fee Related JP5236130B2 (ja) 2010-02-12 2013-02-07 記録媒体および情報処理方法
JP2013031342A Expired - Fee Related JP5243668B1 (ja) 2010-02-12 2013-02-20 再生装置、記録媒体、および情報処理方法
JP2013054605A Expired - Fee Related JP5732094B2 (ja) 2010-02-12 2013-03-18 再生装置、記録媒体、および情報処理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2012534450A Active JP5225517B2 (ja) 2010-02-12 2011-02-11 再生装置
JP2012238437A Active JP5191019B1 (ja) 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2012238438A Active JP5191020B1 (ja) 2010-02-12 2012-10-29 再生装置、記録媒体、および情報処理方法
JP2013022670A Expired - Fee Related JP5236130B2 (ja) 2010-02-12 2013-02-07 記録媒体および情報処理方法
JP2013031342A Expired - Fee Related JP5243668B1 (ja) 2010-02-12 2013-02-20 再生装置、記録媒体、および情報処理方法
JP2013054605A Expired - Fee Related JP5732094B2 (ja) 2010-02-12 2013-03-18 再生装置、記録媒体、および情報処理方法

Country Status (7)

Country Link
US (1) US9025933B2 (ja)
EP (1) EP2406950B1 (ja)
JP (7) JP5225517B2 (ja)
CN (3) CN102379123B (ja)
HK (1) HK1164589A1 (ja)
TW (1) TWI511553B (ja)
WO (1) WO2011100488A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8922631B1 (en) * 2010-07-06 2014-12-30 Lucasfilm Entertainment Company Ltd. Presenting multiple viewer content on a single screen
CN102598686B (zh) * 2010-08-06 2016-08-17 松下知识产权经营株式会社 再现装置、集成电路、再现方法
CA2806846A1 (en) 2010-09-03 2012-03-08 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
BR112013004452A2 (pt) 2010-09-03 2016-06-07 Sony Corp dispositivos e métodos de codificação e de decodificação
CN105939469A (zh) 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
EP2549754A1 (en) * 2011-07-19 2013-01-23 Thomson Licensing Method and apparatus for reframing and encoding an original video signal
US9100638B2 (en) * 2012-01-05 2015-08-04 Cable Television Laboratories, Inc. Signal identification for downstream processing
CN106611587B (zh) * 2014-08-28 2019-03-15 青岛海信电器股份有限公司 进入或退出宽银幕电影显示模式时背光源控制方法及装置
US10165217B2 (en) 2014-08-28 2018-12-25 Hisense Electric Co., Ltd. Backlight source control method of display device, display device and storage medium
KR102319456B1 (ko) * 2014-12-15 2021-10-28 조은형 콘텐츠 재생 방법 및 이를 수행하는 전자 기기
WO2016111199A1 (ja) 2015-01-09 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
GB2556612B (en) * 2016-04-18 2022-03-09 Grass Valley Ltd Monitoring audio-visual content with captions
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
CN110620946B (zh) * 2018-06-20 2022-03-18 阿里巴巴（中国）有限公司 字幕显示方法及装置
CN108924599A (zh) 2018-06-29 2018-11-30 北京优酷科技有限公司 视频字幕显示方法及装置
US10936317B2 (en) * 2019-05-24 2021-03-02 Texas Instruments Incorporated Streaming address generation
JPWO2023026137A1 (ja) * 2021-08-26 2023-03-02

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998389A (ja) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 文字多重放送用テレビジョン受像機
JP2006345217A (ja) * 2005-06-09 2006-12-21 Sanyo Electric Co Ltd 画像処理装置
JP2009147989A (ja) * 2009-03-30 2009-07-02 Sony Corp 伝送装置および方法
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201880A (ja) 1989-12-28 1991-09-03 Toshiba Corp テレビジョン受信機
JPH0993548A (ja) * 1995-09-27 1997-04-04 Toshiba Corp 文字情報表示機能付きテレビ受信機
KR100424755B1 (ko) * 1995-09-29 2004-08-30 마쯔시다덴기산교 가부시키가이샤 문자다중방송용텔레비젼수상기
CN100566399C (zh) * 1999-07-09 2009-12-02 松下电器产业株式会社 记录器、重放器、记录方法和重放方法
JP2004274125A (ja) 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
KR101053619B1 (ko) * 2003-04-09 2011-08-03 엘지전자 주식회사 텍스트 서브타이틀 데이터의 재생을 관리하기 위한 데이터구조를 갖는 기록 매체, 그에 따른 기록 및 재생 방법 및장치
CN100588232C (zh) * 2005-06-22 2010-02-03 皇家飞利浦电子股份有限公司 用于显示数据内容的方法和装置
JP4765733B2 (ja) * 2006-04-06 2011-09-07 ソニー株式会社 記録装置、記録方法および記録プログラム
JP4997839B2 (ja) 2006-06-16 2012-08-08 ソニー株式会社 映像特殊効果装置及びその制御方法
JP4247291B1 (ja) 2007-12-20 2009-04-02 株式会社東芝 再生装置および再生方法
JP2009159126A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の画面制御方法及びプログラム
KR20100002032A (ko) 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP4792127B2 (ja) 2008-07-24 2011-10-12 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
EP2399398B1 (en) 2009-02-17 2016-04-20 Koninklijke Philips N.V. Combining 3d image and graphical data
BRPI1005171A2 (pt) 2009-06-17 2019-07-02 Panasonic Corp meio de gravação de informações e dispositivo de reprodução destinado à reprodução de imagens em 3d
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998389A (ja) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd 文字多重放送用テレビジョン受像機
JP2006345217A (ja) * 2005-06-09 2006-12-21 Sanyo Electric Co Ltd 画像処理装置
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
JP2009147989A (ja) * 2009-03-30 2009-07-02 Sony Corp 伝送装置および方法

Also Published As

Publication number Publication date
EP2406950B1 (en) 2017-04-19
JP5732094B2 (ja) 2015-06-10
TW201145995A (en) 2011-12-16
CN102379123A (zh) 2012-03-14
JP5191019B1 (ja) 2013-04-24
JP5191020B1 (ja) 2013-04-24
JP2013158003A (ja) 2013-08-15
JP5243668B1 (ja) 2013-07-24
JP5191018B2 (ja) 2013-04-24
JP2013081180A (ja) 2013-05-02
TWI511553B (zh) 2015-12-01
JP2013511789A (ja) 2013-04-04
JP2013157992A (ja) 2013-08-15
CN103763541A (zh) 2014-04-30
CN103763542A (zh) 2014-04-30
JP5225517B2 (ja) 2013-07-03
EP2406950A4 (en) 2013-06-26
CN102379123B (zh) 2015-05-13
CN103763541B (zh) 2015-11-25
CN103763542B (zh) 2016-06-29
JP2013138467A (ja) 2013-07-11
HK1164589A1 (en) 2012-09-21
EP2406950A1 (en) 2012-01-18
US20110200302A1 (en) 2011-08-18
WO2011100488A1 (en) 2011-08-18
US9025933B2 (en) 2015-05-05
JP2013081181A (ja) 2013-05-02
JP5236130B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
JP5191018B2 (ja) 再生装置、記録媒体、および情報処理方法
DK2230844T3 (en) REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO
JP4957823B2 (ja) 再生装置および再生方法
JP5267886B2 (ja) 再生装置、記録媒体、および情報処理方法
JP2010263615A (ja) 情報処理装置、情報処理方法、再生装置、再生方法
KR20120005929A (ko) 데이터 구조, 기록 매체, 재생 장치 및 재생 방법, 및 프로그램
KR20120006431A (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법, 기록 매체 및 프로그램
WO2010131584A1 (ja) データ構造および記録媒体、並びに、再生装置、再生方法、プログラム、およびプログラム格納媒体
JP4985893B2 (ja) 記録方法
JP4985884B2 (ja) 再生装置、再生方法、および記録方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130125

R150 Certificate of patent or registration of utility model

Ref document number: 5191018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250