[go: up one dir, main page]

JP6973371B2 - 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6973371B2
JP6973371B2 JP2018501118A JP2018501118A JP6973371B2 JP 6973371 B2 JP6973371 B2 JP 6973371B2 JP 2018501118 A JP2018501118 A JP 2018501118A JP 2018501118 A JP2018501118 A JP 2018501118A JP 6973371 B2 JP6973371 B2 JP 6973371B2
Authority
JP
Japan
Prior art keywords
image
information
data
file
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018501118A
Other languages
English (en)
Other versions
JPWO2017145721A1 (ja
Inventor
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017145721A1 publication Critical patent/JPWO2017145721A1/ja
Application granted granted Critical
Publication of JP6973371B2 publication Critical patent/JP6973371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/7605Television signal recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本開示は、情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を観察可能な画像を、表示装置の機能や画像タイプに応じて、表示装置に正しく表示するための制御を行う情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
昨今、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を撮影可能な撮像装置が開発され、このような撮像装置を用いて撮影された画像をPCや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ(HMD)等の表示部に表示し、ユーザによる選択画像、あるいはユーザの向きに応じて自動選択された画像を観察可能としたシステムが広く利用されている。
例えば、PC等において、周囲360度の全方位画像の映像(動画像)データを外部サーバから取得、あるいは記録メディアから読み出して表示装置に表示させることができる。ユーザは、任意方向の画像を選択して表示装置に表示可能であり、自由に視点を変えて動画像や静止画等の画像を観察することができる。
PCやタブレット端末、あるいは携帯端末の表示部に表示した画像は、ユーザによるマウス操作、あるいはタッチパネルに対するスライド処理や、フリック処理などによって観察方向を移動させて表示可能であり、ユーザは、容易に様々な方向の画像を楽しむことができる。
ヘッド・マウント・ディスプレイ(HMD)に画像を表示する場合は、HMDに搭載した頭部の動きや方向を検出するセンサ情報に応じて、ユーザの頭の向きに応じた画像を表示可能であり、ユーザは、あたかもHMDの表示部に表示された画像の中に存在しているような感覚を味わうことができる。
これら全天球画像や全方位画像、あるいはパノラマ画像は、撮影された様々な方向の画像の中から一部の画像のみを切り出して表示装置の表示部に表示する処理が行われる。
なお、画像処理により表示範囲を変更する処理を開示した従来技術として特許文献1(特開2014−127001号公報)がある。
現在、全天球画像や全方位画像、あるいはパノラマ画像を記録、表示するための画像記録や再生処理の方式として様々な方式が混在する。
従って、例えばある1つの方式(方式A)のパノラマ画像データがディスクに記録されており、再生装置がこの方式Aのパノラマ画像データをディスクから読み取り、表示装置に出力した場合、その表示装置が方式Aのパノラマ画像データの表示プログラム(表示アプリケーション)を有していない場合は、そのパノラマ画像の表示ができないという問題が発生する。
特開2014−127001号公報
本開示は、例えば上記問題点に鑑みてなされたものであり、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を観察可能な画像を、表示装置の機能や画像タイプに応じて、表示装置に正しく表示するための制御を行う情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記データ処理部は、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する情報処理装置にある。
さらに、本開示の第2の側面は、
情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記データ処理部は、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する情報処理装置にある。
さらに、本開示の第3の側面は、
画像データを格納した再生データファイルと、
前記再生データファイルに格納された画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを記録データとして含み、
再生装置が、前記VR識別情報を参照して、再生データを表示する表示装置の表示機能に適合したタイプの画像データを選択再生することを可能とした情報記録媒体にある。
さらに、本開示の第4の側面は、
情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記データ処理部は、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する表示装置にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記データ処理部が、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記データ処理部が、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する情報処理方法にある。
さらに、本開示の第7の側面は、
表示装置において実行する情報処理方法であり、
前記表示装置は、情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記データ処理部が、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する情報処理方法にある。
さらに、本開示の第8の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力する処理と、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得する処理と、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する処理を実行させるプログラムにある。
さらに、本開示の第9の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する処理を実行させるプログラムにある。
さらに、本開示の第10の側面は、
表示装置において情報処理を実行させるプログラムであり、
前記表示装置は、情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記プログラムは、前記データ処理部に、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、情報記録媒体に格納された画像のタイプと、表示装置の表示機能情報に応じて、記録媒体から表示可能な画像を取得して表示装置に出力する。
具体的には、情報記録媒体からのデータ再生を実行するデータ処理部が、再生データ表示処理を行なう表示装置から、表示可能なVR画像のタイプ情報等の画像表示機能情報を入力し、情報記録媒体に記録されたデータベースファイルから、情報記録媒体に、タイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR各画像のどの画像が含まれるか否かを示すVR識別情報を取得し、取得した表示装置機能情報とVR識別情報との対比結果に基づいて、表示装置において表示可能な画像データを情報記録媒体から読み取り、表示装置に出力する。
本構成により、情報記録媒体に格納された画像のタイプと、表示装置の表示機能情報に応じて、記録媒体から表示可能な画像を取得して表示装置に出力する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
パノラマ画像等のVR画像について説明する図である。 パノラマ画像等のVR画像について説明する図である。 複数の画像タイプについて説明する図である。 情報記録媒体、再生せ装置、表示装置の組み合わせについて説明する図である。 BDMVフォーマットに従ってメディアに記録されるデータのディレクトリ構成例について説明する図である。 BDMVフォーマットにおいて規定されるプレイリストと、再生データとの対応について説明する図である。 VR識別情報の格納ファイルと格納データについて説明する図である。 インデックスファイルのデータ構成について説明する図である。 インデックスファイルの拡張データ記録領域に記録される拡張データ対応の識別子について説明する図である。 インデックスファイルの拡張データ記録領域のデータ構成について説明する図である。 インデックスファイルの拡張データ記録領域に記録されるVR識別情報の例について説明する図である。 プレイリストファイルのデータ構成について説明する図である。 プレイリストファイルの拡張データ記録領域のデータ構成について説明する図である。 プレイリストファイルの拡張データ記録領域に記録されるVR識別情報の例について説明する図である。 プレイリストファイルの拡張データ記録領域に記録されるVR識別情報について説明する図である。 プレイリストファイルのプレイアイテム単位で記録されるVR識別情報について説明する図である。 プレイリストファイルのプレイアイテム単位で記録されるVR識別情報について説明する図である。 プレイリストファイルのプレイアイテム単位で記録されるVR識別情報について説明する図である。 プレイリストファイルのプレイアイテム単位で記録されるVR識別情報について説明する図である。 プレイリストファイルのプレイアイテム単位で記録されるVR識別情報について説明する図である。 クリップ情報ファイルの拡張データ記録領域のデータ構成について説明する図である。 クリップ情報ファイルの拡張データ記録領域に記録されるVR識別情報の例について説明する図である。 クリップ情報ファイルの拡張データ記録領域に記録されるVR識別情報について説明する図である。 クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について説明する図である。 クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について説明する図である。 クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について説明する図である。 再生装置と表示装置間で転送されるデータについて説明する図である。 表示装置から再生装置に送信される表示装置機能情報(EDID)の具体例について説明する図である。 表示装置から再生装置に送信される表示装置機能情報(EDID)の具体例について説明する図である。 再生装置における表示装置機能情報(EDID)の記憶部(PSR)に対する記録例について説明する図である。 再生装置における画像変換機能について説明する図である。 再生装置の画像変換機能情報の記憶部(PSR)に対する記録例について説明する図である。 再生装置から表示装置に送信される再生データ情報としてのインフォフレームのデータ構成について説明する図である。 情報記録媒体に対するデータ記録を実行する情報処理装置の構成について説明する図である。 情報記録媒体に対するデータ記録を実行する情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 情報記録媒体からのデータ再生を実行する情報処理装置の構成について説明する図である。 情報記録媒体からのデータ再生を実行する情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。 本開示の処理に適用される報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.画像表示処理の概要について
2.複数の画像タイプと、画像の再生、表示処理構成について
3.情報記録媒体に記録された画像データの識別情報記録構成例について
3−1.情報記録媒体の記録データの概要について
3−2.インデックスファイルに対するVR識別情報の記録例について
3−3.プレイリストファイルに対するVR識別情報の記録例について
3−4.プレイリストファイルにおけるプレイアイテム単位のVR識別情報の記録例について
3−5.クリップ情報ファイルに対するVR識別情報の記録例について
3−6.クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について
4.再生装置と表示装置間の情報入出力構成例について
4−1.表示装置が再生装置に送信する表示装置情報について
4−2.再生装置が表示装置に送信する再生データ情報について
5.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について
6.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について
7.情報処理装置の構成例について
8.本開示の構成のまとめ
[1.画像表示処理の概要について]
まず、図1以下を参照して、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を表示部に表示可能とした装置における画像表示処理の概要について説明する。
前述したように、昨今、全天球画像や全方位画像、あるいはパノラマ画像等、様々な方向の画像を撮影可能な撮像装置が開発され、このような撮像装置を用いて撮影された画像をPCや、タブレット端末、携帯端末、あるいはヘッド・マウント・ディスプレイ(HMD)等の表示部に表示し、ユーザが選択した任意方向の画像を観察可能としたシステムが広く利用されている。
例えば、周囲360度の全方位画像の映像(動画像)データを記録メディアや外部サーバから取得してユーザのPCやテレビ、スマートホン等の形態端末等の表示装置に表示させることができる。ユーザは、例えば記録メディアから取得した画像データから、任意方向の画像を選択して表示装置に表示させ、マウスやリモコンを介した入力、あるいは表示パネルに対するタッチスライド処理等の操作により、自由に視点を変えながら映像(動画像)や静止画を観察することが可能となる。
図1は、携帯端末の表示部に様々な方向の画像を選択して表示した例を説明する図である。
図1に示す画像データ1は、パノラマ画像である。水平方向360度の画像が1枚の画像データとして設定されている。
画像データの中心部がユーザ(観察者)の正面方向(例えば0度=北方向)の画像とすると、画像データ1の左端がユーザ(観察者)の後ろ方向(−180度=南方向)の画像であり、画像データ1の右端もユーザ(観察者)の後ろ方向(+180度=南方向)の画像である。
画像データ1の左端と右端は同じ位置の画像となる。
なお、全天球画像や全方位画像、すなわち360度パノラマ画像の場合は、上下方向については180度の画像が撮影されており、上下左右全方向の画像が含まれる。
なお、以下の説明において、全天球画像や全方位画像、あるいはパノラマ画像等、様々な異なる方向の画像を選択的に表示可能とした画像をVR(Virtual Reality)画像(仮想現実画像)と呼ぶ。
図1下段には、ユーザの情報処理装置の一例である携帯端末2を示している。
携帯端末2の表示部には、画像データ1の一部の領域、例えばユーザが任意に選択した領域の画像を表示することができる。
左側の携帯端末2の表示画像Aは、画像データ1内の一部領域の画像区間a1〜a2の部分区間の領域画像である。
右側の携帯端末2の表示画像Bは、画像データ1内の一部領域の画像区間b1〜b2の部分区間の領域画像である。
ユーザは、タッチパネルとして構成された表示部に対する指のスライド処理などによって、表示画像を移動させて、任意の領域の画像を表示することができる。
なお、携帯端2には、スピーカ3が備えられており、表示画像に併せて記録された音声データが出力される。
図2は、ヘッド・マウント・ディスプレイ(HMD)5を利用してパノラマ画像を表示した例である。
ヘッド・マウント・ディスプレイ(HMD)5に画像を表示する場合は、HMDに搭載した頭部の動きや方向を検出するセンサ情報に応じて、ユーザの頭の向きに応じた画像を表示させる。この画像表示制御により、ユーザは、あたかもHMDの表示部に表示された画像の中に存在しているような感覚を味わうことができる。
HMD5を装着したユーザが左を向いたときの画像が表示画像Pである。
HMD5を装着したユーザが右を向いたときの画像が表示画像Qである。
HMD5を装着したユーザは、体(頭)の向きを変更することで、周囲360度の画像を観察することができる。
なお、ヘッド・マウント・ディスプレイ(HMD)5にも、スピーカ6が備えられており、表示画像に併せて記録された音声データが出力される。
[2.複数の画像タイプと、画像の再生、表示処理構成について]
次に、全天球画像や全方位画像、あるいはパノラマ画像等のVR(Virtual Reality)画像(仮想現実画像)の記録再生方式と、再生、表示処理構成について説明する。
全天球画像や全方位画像、あるいはパノラマ画像等のVR画像を記録、表示するための画像記録や再生処理の方式として様々な方式が混在する。
すなわち、VR画像には、その画像の記録処理、表示処理に適用するアルゴリズムが異なる複数の画像タイプ(VRタイプ)がある。
具体的な画像タイプ(VRタイプ)の例について、図3を参照して説明する。
図3には、VR画像タイプの代表例として2つの画像タイプを示している。
(1)タイプ1(Type1)は、「(b)画像の特徴」に説明のあるように、360度周囲画像を構成する複数の異なる視点画像の組み合わせからなる画像であり、「(c)画像例」に示すように、例えば4枚の異なる視点からの画像の組み合わせによって構成される。
(2)タイプ2(Type2)は、「(b)画像の特徴」に説明のあるように、球体面上の周囲画像を平面に展開して記録した画像であり、「(c)画像例」に示すように、球面上の画像を平面状に展開した1枚の画像によって構成される。
このようにVR画像には、様々な異なるタイプがあり、各タイプによって記録データの形式が全く異なる。さらに、表示処理においても、各画像タイプに対応した異なる表示画像生成処理を実行することが必要となる。
例えば、タイプ1の画像を表示するためには、タイプ1の画像対応の表示画像生成アルゴリズムを実行する表示アプリケーション(プログラム)を適用したデータ処理が必要となる。
タイプ2の画像を表示するためには、タイプ2の画像対応の表示画像生成アルゴリズムを実行する表示アプリケーション(プログラム)を適用したデータ処理が必要となる。
タイプ1の画像表示アプリケーションを有する表示装置にタイプ2の画像を入力しても正しい画像表示を行うことができない。
同様に、タイプ2の画像表示アプリケーションを有する表示装置にタイプ1の画像を入力しても正しい画像表示を行うことができない。
なお、VR画像には、上述したタイプ1,2の他にも、複数の異なるタイプが存在する。
図4に、VR画像を記録した情報記録媒体10と、再生装置20と、VR画像を表示するテレビ等の表示装置30a〜30dの接続例を示す。
情報記録媒体10は、例えば、BD(Blu−ray(登録商標) Disc)であり、以下のいずれかのタイプの画像を格納している。
(1)VR画像ではない非VR画像コンテンツ
(2)タイプ1のVR画像コンテンツ
(3)タイプ2のVR画像コンテンツ

(n)タイプnのVRコンテンツ
なお、VR画像ではない非VR画像コンテンツとは、一般的な1つのカメラ視点から撮影された2次元画像コンテンツを意味する。
再生装置20に接続される表示装置30a〜30dは、以下の表示装置である。
(1)表示装置30a:VR画像非対応テレビ
(2)表示装置30b:タイプ1のVR画像対応テレビ
(3)表示装置30c:タイプ2のVR画像対応ヘッド・マウント・ディスプレイ(HMD)
(4)表示装置30d:タイプ1、およびタイプ2のVR画像対応スマートホン
(1)表示装置30a:VR画像非対応テレビはVR画像ではない非VR画像、すなわち、一般的な1つのカメラ視点から撮影された2次元画像のみ表示可能である。
(2)表示装置30b:タイプ1のVR画像対応テレビはタイプ1のVR画像と、VR画像ではない非VR画像を表示可能である。
なお、非VR画像は、すべての表示装置において表示可能であるものとする。
(3)表示装置30c:タイプ2のVR画像対応ヘッド・マウント・ディスプレイ(HMD)は、タイプ2のVR画像と、VR画像ではない非VR画像を表示可能である。
(4)表示装置30d:タイプ1、およびタイプ2のVR画像対応スマートホンは、タイプ1とタイプ2のVR画像と、VR画像ではない非VR画像を表示可能である。
このような設定で、例えば、表示装置30c:タイプ2のVR画像対応ヘッド・マウント・ディスプレイ(HMD)に対して、再生装置20が情報記録媒体10に記録されたタイプ1のVR画像を再生して出力したとする。
表示装置30cは、タイプ1のVR画像の表示処理を行なうためのアプリケーションを有していないため、タイプ1のVR画像の正しい表示ができないという事態が発生する。
図4に示す構成において、BD(Blu−ray(登録商標) Disc)等の情報記録媒体10に記録された画像データを再生装置(BDプレーヤ)20が再生し、表示装置30a〜30dにおいて正常な画像表示を行うために必要な処理は、例えば以下の処理である。
(1)再生装置20が、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認すること。
(2)再生装置20が、再生装置に接続された表示装置が表示可能な画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が表示可能であるかを確認すること。
(3)表示装置30a〜30dが、再生装置20から入力するデータが、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像データであるかを確認すること。
これら(1)〜(3)の確認処理を、再生装置20から表示装置30a〜30dに対する画像データの出力前に実行することで、各画像タイプに応じた正常な、再生、表示処理が可能となる。
なお、上記(1)〜(3)の確認処理によって、再生装置20の装着したBD10の格納データの画像タイプが、再生装置20に接続された表示装置30a〜30dの表示可能な画像タイプと一致しないことが確認された場合は、再生装置20は、表示装置30a〜30dに対して、正常な画像表示が実行できないことを示すメッセージ等を出力するといった対応を行うことができる。
なお、本開示の処理は、VR画像のタイプ種類は2種類に限らず、任意数の種類である場合において適用可能であるが、以下では、説明を理解しやすくするため、主にVR画像のタイプが2種類(タイプ1、タイプ2)である場合の処理として説明する。
以下、上記(1)〜(3)の確認処理を実現可能とするための具体的な構成例について説明する。
[3.情報記録媒体に記録された画像データの識別情報記録構成例について]
まず、情報記録媒体に記録された画像データの識別情報記録構成例について説明する。
先に図4を参照して説明したように、表示装置30において画像の正常な表示を実現するためには、再生装置20が、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認することが必要である。
以下、この確認処理を可能とするための構成として、情報記録媒体に記録された画像データの識別情報を情報記録媒体に記録する構成例について説明する。
[3−1.情報記録媒体の記録データの概要について]
まず、情報記録媒体の記録データの概要について説明する。
図5は、例えばROM型のBD(Blu−ray(登録商標) Disc)である情報記録媒体(メディア)10に記録されたBDMVフォーマットに従った記録データのディレクトリを示す図である。
ディレクトリは図5に示すように管理情報設定部51(AACSディレクトリ)と、データ部52(BDMVディレクトリ)に分離されている。
管理情報設定部51(AACSディレクトリ)には、データの暗号化鍵であるCPSユニットキーファイルや、利用制御情報ファイルなどが格納される。
CPSユニットキーファイルには、クリップAVストリームファイルに格納された再生対象データである暗号化データの復号に適用するCPSユニットキーが暗号化鍵データとして格納されている。
再生装置は、再生装置に格納されたデバイスキーや、ディスクに格納されたデータを適用した処理によって、CPSユニットキーファイルからCPSユニットキーを取得し、取得したCPSユニットキーを適用してクリップAVストリームファイルに格納された暗号化データを復号して再生処理を行なう。
一方、データ部52のBDMVディレクトリ以下には、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
BDJOファイル、
例えば、これらのファイルが記録される。
インデックスファイルには、再生処理に適用するインデックス情報としてのタイトル情報等、ディスク格納データ全体に対応した管理情報等が格納される。
プレイリストファイルは、タイトルによって指定される再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等を有する。
クリップ情報ファイルは、プレイリストファイルによって指定されるファイルであり、クリップAVストリームファイルの再生位置情報等を有する。
クリップAVストリームファイルは、再生対象となるAVストリームデータを格納したファイルである。クリップAVストリームファイルは、再生対象となる画像、音声、字幕等の各データを格納したパケットによって構成される。
BDJOファイルは、JAVA(登録商標)プログラム、コマンド等を格納したファイルの実行制御情報を格納したファイルである。
なお、インデックスファイル、プレイリストファイル、クリップ情報ファイル、これらのデータファイルは、クリップAVストリームファイルに格納された再生データである画像、音声、字幕等の再生処理に適用する管理情報、再生制御情報、再生データ属性情報等を格納したファイルであり、データベースファイルと呼ばれる。
情報処理装置が情報記録媒体に記録されたコンテンツを再生するシーケンスは以下の通りである。
(a)まず、再生アプリケーションによってインデックスファイルから特定のタイトルを指定する。
(b)指定されたタイトルに関連付けられた再生プログラムが選択される。
(c)選択された再生プログラムのプログラム情報に従ってコンテンツの再生順等を規定したプレイリストが選択される。
(d)選択されたプレイリストに規定されたクリップ情報によって、コンテンツ実データとしてのAVストリームあるいはコマンドが読み出されて、AVストリームの再生や、コマンドの実行処理が行われる。
図6は、情報記録媒体(メディア)10に記録される以下のデータ、すなわち、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのデータの対応関係を説明する図である。
実際の再生対象データである画像、音声、字幕等の再生対象データからなるAVストリームはクリップAVストリーム(Clip AV Stream)ファイルとして記録され、さらに、これらのAVストリームの管理情報、再生制御情報ファイルとして、プレイリスト(PlayList)ファイルと、クリップ情報(Clip Information)ファイルが規定される。
これら複数のカテゴリのファイルは、図6に示すように、
プレイリスト(PlayList)ファイルを含むプレイリストレイヤ、
クリップAVストリーム(Clip AV Stream)ファイルと、クリップ情報(Clip Information)ファイルからなるクリップレイヤ、
これらの2つのレイヤに区分できる。
なお、一つのクリップAVストリーム(Clip AV Stream)ファイルには一つのクリップ情報(Clip Information)ファイルが対応付けられ、これらのペアを一つのオブジェクトと考え、これらをまとめてクリップ(Clip)、あるいはクリップファイルと呼ぶ。
クリップAVストリームファイルに含まれるデータの詳細情報、例えばMPEGデータのIピクチャ位置情報などを記録したEPマップなどの管理情報がクリップ情報ファイルに記録される。
クリップAVストリーム(Clip AV Stream)ファイルは、MPEG−2TS(トランスポートストリーム)をBDMVフォーマットの規定構造に従って配置したデータを格納している。
また、クリップ情報(Clip Information)ファイルは、例えば、クリップAVストリームファイルのバイト列データのデータ位置と、時間軸上に展開した場合の再生開始ポイントである(エントリポイント:EP)等の再生時間位置等の対応データ等、クリップAVストリームファイルの格納データの再生開始位置などを取得するための管理情報を格納している。
プレイリストは、クリップ(Clip)の再生開始位置や再生終了位置に対応するアクセスポイントを時間軸上の情報であるタイムスタンプで指し示す情報を有する。
例えば、コンテンツの開始点からの再生時間経過位置を示すタイムスタンプに基づいてクリップ情報ファイルを参照して、クリップAVストリームファイルのデータ読み出し位置、すなわち再生開始点としてのアドレスを取得することが可能となる。
クリップ情報ファイル(Clip Information file)は、このタイムスタンプから、クリップAVストリームファイル中のストリームのデコードを開始すべきアドレス情報を見つけるために利用される。
このように、プレイリスト(PlayList)ファイルは、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
プレイリスト(PlayList)ファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
図5を参照して説明したように、データ部52のBDMVディレクトリ以下に格納されるデータとして、
インデックスファイル、
プレイリストファイル、
クリップ情報ファイル、
クリップAVストリームファイル、
これらのファイルがある。
例えばVR画像データやVR画像ではない非VR画像データ等の再生対象データは、クリップAVストリームファイルに格納される。
インデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルは、クリップAVストリームファイルに格納された再生対象データの再生処理に適用する様々なデータを格納したファイルであり、クリップAVストリームファイルに格納されたデータの属性情報等を記録することができる。
以下、情報記録媒体記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認可能とした画像情報を、インデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録した実施例について説明する。
図7は、インデックスファイル、プレイリストファイル、クリップ情報ファイルに対する格納する画像情報としてのVR識別情報の具体例を説明する図である。
インデックスファイルには、情報記録媒体全体の記録データに関する情報が記録可能であり、インデックスファイルに記録するVR識別情報は、以下の情報となる。
「情報記録媒体の記録データとしてVR画像が含まれているか否か、含まれている場合は、記録データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録可能であり、プレイリストファイルに記録するVR識別情報は、以下の情報となる。
「プレイリストによる再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
クリップ情報ファイルには、そのクリップ情報ファイルを適用して再生されデータに関する情報が記録可能であり、クリップ情報ファイルに記録するVR識別情報は、以下の情報となる。
「クリップ情報ファイルに対応づけられた再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
以下、インデックスファイル、プレイリストファイル、クリップ情報ファイル、各々に対する具体的なVR識別情報の記録例について、順次、説明する。
[3−2.インデックスファイルに対するVR識別情報の記録例について]
まず、図8以下を参照してインデックスファイルに対するVR識別情報の記録例について説明する。
図7を参照して説明したように、インデックスファイルには、情報記録媒体全体の記録データに関する情報が記録可能であり、インデックスファイルに記録するVR識別情報は、以下の情報となる。
「情報記録媒体の記録データとしてVR画像が含まれているか否か、含まれている場合は、記録データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
図8は、インデックスファイルのデータ構成例(シンタックス)を示す図である。
インデックスファイルには、情報記録媒体全体の記録データに関する情報、例えばタイトル情報等が記録される。
インデックスファイルには、図8に示すように、様々な拡張データを記録可能な拡張データ記録領域[ExtensionData()]101が設定される。
なお、拡張データ記録領域[ExtensionData()]には、様々な拡張データが記録されるため、拡張データ各々がどのようなデータであるかを示す拡張データ識別子が、各拡張データに対応付けられて拡張データとともに記録される。
拡張データ識別子の例を図9に示す。
拡張データ識別子は2つのID(ID1,ID2)によって構成される。
インデックスファイルの拡張データ識別子として、既にいくつかの識別子は定義済みである。例えば、
ID1=0x0001
ID2=0x0002
この拡張データ識別子は、LPCM(リニアPCM)のダウンコンバート情報の記録領域として定義されている。
拡張データ識別子としての、
ID1=0x0004
ID2=0x0001
この識別子の組み合わせは未定義であり、この拡張データ識別子をVR識別情報、すなわち以下のVR識別情報を記録する拡張データ記録領域を示す識別子とする。
「情報記録媒体の記録データとしてVR画像が含まれているか否か、含まれている場合は、記録データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
なお、図9に示す拡張データ識別子の設定、すなわち、
ID1=0x0004
ID2=0x0001
これらのID設定は一例であり、この他のIDをVR識別情報の記録領域を示すIDとして利用する構成も可能である。
図10は、図8に示すインデックスファイルの拡張データ記録領域[ExtensionData()]101に記録されるVR識別情報のデータ記録領域の構成例(シンタックス)を示す図である。
図10に示すように、インデックスファイルの拡張データ記録領域101には、拡張データ識別子(ID)記録領域102と、データブロック(data_block)103が設定される。
拡張データ識別子(ID)記録領域102には、上述したVR識別情報の記録領域を示すID(ID1=0x0004,ID2=0x0001)が記録される。
この拡張データ識別子(ID)記録領域102の後にVR識別情報の記録領域であるデータブロック(data_block)103が設定される。
データブロック(data_block)103に記録される具体的なデータについて、図11を参照して説明する。
図11(a)は、図10に示すデータブロック(data_block)103の詳細構成を示す図である。すなわち、インテックスファイルに記録されるVR識別情報の具体的なデータ例を示している。
図11(a)に示すようにデータブロックには、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域104、
(1)VR画像タイプ情報(VR_type)記録領域104の記録データ例を図11(b)に示す。
VR画像タイプ情報(VR_type)記録領域104には、このインデックスファイルの記録された情報記録媒体(ディスク)に記録されている画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域104は、例えば、8ビットデータである。
図11(b)に示すように、VR画像タイプ情報(VR_type)記録領域104に記録されたビット値に応じて、情報記録媒体(ディスク)に記録されている画像データの種類(非VR画像/タイプ1のVR画像/タイプ2のVR画像)を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:情報記録媒体の記録データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:情報記録媒体の記録データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:情報記録媒体の記録データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:情報記録媒体の記録データ中にタイプ1のVR画像と、タイプ2のVR画像が含まれる。
[3−3.プレイリストファイルに対するVR識別情報の記録例について]
次に、図12以下を参照してプレイリストファイルに対するVR識別情報の記録例について説明する。
図7を参照して説明したように、プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録可能であり、プレイリストファイルに記録するVR識別情報は、以下の情報となる。
「プレイリストによる再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
図12は、プレイリストファイルのデータ構成例(シンタックス)を示す図である。
プレイリストファイルには、そのプレイリストを適用して再生されデータに関する情報が記録される。
プレイリストファイルには、図12に示すように、様々な拡張データを記録可能な拡張データ記録領域[ExtensionData()]121が設定される。
なお、先に説明したインデックスファイルと同様、拡張データ記録領域[ExtensionData()]には、様々な拡張データが記録されるため、拡張データがどのようなデータであるかを示す拡張データ識別子が、各拡張データに対応付けられて拡張データとともに記録される。
拡張データ識別子は2つのID(ID1,ID2)によって構成される。
本実施例では、プレイリストファイルにおけるVR識別情報格納領域を示す拡張データ識別子として未定義の以下の識別子、
ID1=0x0004
ID2=0x0002
この拡張データ識別子を利用する。
この識別情報に対応付けられた拡張データ記録領域にVR識別情報、すなわち以下のVR識別情報を記録する。
「プレイリストによる再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
なお、この拡張データ識別子の設定、すなわち、
ID1=0x0004
ID2=0x0002
これらのID設定は、一例であり、この他のIDをVR識別情報の記録領域を示すIDとして利用する構成も可能である。
図13は、図12に示すプレイリストファイルの拡張データ記録領域[ExtensionData()]121に記録されるVR識別情報のデータ記録領域の構成例(シンタックス)を示す図である。
図13に示すように、プレイリストファイルの拡張データ記録領域121には、拡張データ識別子(ID)記録領域122と、データブロック(data_block)123が設定される。
拡張データ識別子(ID)記録領域122には、上述したVR識別情報の記録領域を示すID(ID1=0x0004,ID2=0x0002)が記録される。
この拡張データ識別子(ID)記録領域122の後にVR識別情報の記録領域であるデータブロック(data_block)123が設定される。
データブロック(data_block)123に記録される具体的なデータについて、図14以下を参照して説明する。
図14は、図13に示すデータブロック(data_block)123の詳細構成の一例を示す図である。すなわち、プレイリストファイルに記録されるVR識別情報の具体的なデータ例を示している。
図14(a)は、図13に示すデータブロック(data_block)123の詳細構成を示す図である。すなわち、プレイリストファイルに記録されるVR識別情報の具体的なデータ例を示している。
図14(a)に示すようにデータブロックには、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域124、
(1)VR画像タイプ情報(VR_type)記録領域124の記録データ例を図14(b)に示す。
VR画像タイプ情報(VR_type)記録領域124には、このプレイリストファイルを適用した再生対象データとなる画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域124は、例えば、8ビットデータである。
図14(b)に示すように、VR画像タイプ情報(VR_type)記録領域124に記録されたビット値に応じて、このプレイリストファイルを適用した再生対象データとなる画像データの種類(非VR画像/タイプ1のVR画像/タイプ2のVR画像)を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:このプレイリストによる再生対象データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:このプレイリストによる再生対象データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:このプレイリストによる再生対象データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:このプレイリストによる再生対象データ中にタイプ1のVR画像と、タイプ2のVR画像が含まれる。
図14を参照して説明した例は、VR画像タイプが2つの場合であるが、例えばVR画像タイプが3種類である場合のVR画像タイプ情報の設定例について図15を参照して説明する。
図15は、図13に示すデータブロック(data_block)123の詳細構成のもう1つの例を示す図である。
図15(a)も、図14(a)と同様、図13に示すデータブロック(data_block)123の詳細構成を示す図である。すなわち、プレイリストファイルに記録されるVR識別情報の具体的なデータ例を示している。
図15(a)に示すようにデータブロックには、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域125、
(1)VR画像タイプ情報(VR_type)記録領域125の記録データ例を図15(b)に示す。
VR画像タイプ情報(VR_type)記録領域125には、このプレイリストファイルを適用した再生対象データとなる画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域125は、例えば、8ビットデータである。
図15(b)に示すように、VR画像タイプ情報(VR_type)記録領域125に記録されたビット値に応じて、このプレイリストファイルを適用した再生対象データとなる画像データの種類を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:このプレイリストによる再生対象データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:このプレイリストによる再生対象データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:このプレイリストによる再生対象データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:このプレイリストによる再生対象データ中にタイプ3のVR画像が含まれる。
このように、VR画像タイプが3種類の場合は、図15に示すビット値設定が可能である。
なお、さらに、他のビット値設定として、以下のような情報を示すビット値を設定してもよい。
プレイリストによる再生対象データ中にタイプ1,2のVR画像が含まれる。
プレイリストによる再生対象データ中にタイプ1,3のVR画像が含まれる。
プレイリストによる再生対象データ中にタイプ2,3のVR画像が含まれる。
プレイリストによる再生対象データ中にタイプ1,2,3のVR画像が含まれる。
また、VR画像タイプが4つ以上の場合も同様であり、画像タイプの組み合わせをすべて識別可能としたビット値を設定する構成とすることが可能である。
プレイリストファイルにはこれらの情報が記録され、プレイリストを利用して画像再生を行なう場合、これらの情報を参照して、参照情報に応じて画像特性に応じた適正な処理を行なうことができる。
[3−4.プレイリストファイルにおけるプレイアイテム単位のVR識別情報の記録例について]
次に、図16以下を参照してプレイリストファイルにおけるプレイアイテム単位のVR識別情報の記録例について説明する。
先に図5、図6を参照して説明したように、プレイリストファイルは、コンテンツの再生順等の再生制御情報を格納したファイルであり、例えば、再生位置情報等を記録したクリップ情報ファイルの指定情報等、様々な再生制御情報を有する。
また、プレイリストファイルには、1つ以上のプレイアイテム(PlayItem)が設定され、プレイアイテムの各々が、クリップ(=クリップ情報ファイル+クリップAVストリームファイル)レイヤに含まれる再生可能データに対する再生区間の指定情報を有する。
以下に説明する例は、プレイリストファイルにおけるプレイアイテム単位のVR識別情報の記録例である。
図16は、プレイリストファイルのデータ構成を示すシンタックスである。
図16に示すように、プレイリストファイルは、ファイルタイプを示すタイプ情報[type_indicator]が記録され、その後に各実体データのスタートアドレス情報[PlayList_start_address]〜[ExtensionData_start_address]が記録され、その後に、プレイリストファイルに記録される実体データの記録領域が設けられている。
実体データの記録領域には、以下の各領域が設定される。
(1)再生制御パラメータ等を格納した再生制御バラメータ格納領域である[AppInfoPlayList()]
(2)プレイリストに含まれるプレイアイテム単位の再生対象データのストリーム情報等を記録した再生ストリーム情報記録領域126である[PlayList()]
(3)例えばチャプタサーチ等に用いるエントリマーク等の再生開始位置情報等を記録したマーク情報記録領域である[PlayListMark()]
(4)様々な拡張データを記録可能な拡張データ記録領域である[ExtensionData()]
ここで説明する例は、プレイアイテム単位の再生対象データのストリーム情報等を記録した再生ストリーム情報記録領域[PlayList()]126にVR画像情報を記録した例である。
図17は、再生ストリーム情報記録領域[PlayList()]126のデータ構成(シンタックス)を示す図である。
図17に示すように、プレイリストファイスルの再生ストリーム情報記録領域[PlayList()]126には、プレイアイテム単位情報記録領域[PlayItem()]127が設定される。
図18は、プレイアイテム単位情報記録領域[PlayItem()]127のデータ構成(シンタックス)を示す図である。
図18に示すように、プレイリストファイルの再生ストリーム情報記録領域[PlayList()]126のプレイアイテム単位情報記録領域[PlayItem()]127には、STNテーブル(ストリームナンバーテーブル)128が記録される。
STNテーブル(ストリームナンバーテーブル)128は、プレイリストに含まれるプレイアイテムによって再生される画像や音声、字幕のストリーム情報が記録される。
なお、STNテーブル(ストリームナンバーテーブル)は、プレイリストファイルに含まれるプレイアイテム単位で記録される。
図19に、STNテーブル(ストリームナンバーテーブル)128のデータ構成(シンタックス)を示す。
図19に示すように、STNテーブル(ストリームナンバーテーブル)128には、以下のストリーム情報が記録される。
(a)ストリームエントリ情報(stream_entry)129
(b)ストリーム属性情報(stream_attribute)130
(a)ストリームエントリ情報(stream_entry)129には、例えば、データを格納したTSパケットのパケット識別子に相当するパケットID(PID)等のパケット情報等が記録される。
(b)ストリーム属性情報(stream_attribute)130には、例えば、ストリーム番号、言語の種類、チャネル数、コーデック情報などが記録される。
なお、ストリームエントリ情報(stream_entry)129に含まれるパケットIDは、パケットに格納されるデータの種類に応じて異なるIDに設定される。
具体的には、画像、音声、字幕データ等のデータ種類によって異なるIDが設定される。
さらに、例えば画像データについては、異なる種類の画像については異なるPIDが設定される。音声データや字幕データについても、例えば異なる言語種類(日本語、英語等)に応じて異なるPIDが設定される。
本例では、ストリーム属性情報(stream_attribute)130にVR識別情報を記録する。
ストリーム属性情報(stream_attribute)130には、プレイリストに含まれるプレイアイテムによって再生される画像や音声、字幕のストリーム情報を格納することができる。
すなわち、プレイリストファイルの1つのプレイアイテムによって再生対象として選択される画像ストリームについて、個別にその画像ストリームのVRタイプを記録することができる。
図20に、本例におけるVRタイプ情報の記録例を示す。
図20(a)は、図19に示すSTNテーブルのストリーム属性情報(stream_attribute)130の詳細構成を示す図である。
図20(a)に示すようにSTNテーブルのストリーム属性情報(stream_attribute)には、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域131、
(1)VR画像タイプ情報(VR_type)記録領域131の記録データ例を図20(b)に示す。
VR画像タイプ情報(VR_type)記録領域131には、プレイリストファイルに設定された1つのプレイアイテムを適用した再生対象データとなる画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域131は、例えば、8ビットデータである。
図20(b)に示すように、VR画像タイプ情報(VR_type)記録領域131に記録されたビット値に応じて、このプレイアイテムを適用した再生対象データとなる画像データの種類を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:このプレイアイテムによる再生対象データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:このプレイアイテムによる再生対象データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:このプレイアイテムによる再生対象データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:このプレイアイテムによる再生対象データ中にタイプ3のVR画像が含まれる。
なお、さらに、他のビット値設定として、以下のような情報を示すビット値を設定してもよい。
プレイアイテムによる再生対象データ中にタイプ1,2のVR画像が含まれる。
プレイアイテムによる再生対象データ中にタイプ1,3のVR画像が含まれる。
プレイアイテムによる再生対象データ中にタイプ2,3のVR画像が含まれる。
プレイアイテムによる再生対象データ中にタイプ1,2,3のVR画像が含まれる。
また、VR画像タイプが4つ以上の場合も同様であり、画像タイプの組み合わせをすべて識別可能としたビット値を設定する構成とすることが可能である。
プレイリストファイルには、このようにプレイアイテム単位のVR情報を記録することも可能である。
プレイリストの特定のプレイアイテムを利用して画像再生を行なう場合、これらの情報を参照して、参照情報に応じて画像特性に応じた適正な処理を行なうことができる。
[3−5.クリップ情報ファイルに対するVR識別情報の記録例について]
次に、図21以下を参照してクリップ情報ファイルに対するVR識別情報の記録例について説明する。
図7を参照して説明したように、クリップ情報ファイルには、そのクリップ情報ファイルに対応づけられた再生対象データに関する情報が記録可能であり、クリップ情報ファイルに記録するVR識別情報は、以下の情報となる。
「クリップ情報ファイルに対応づけられた再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
図21は、クリップ情報ファイルのデータ構成例(シンタックス)を示す図である。
クリップ情報ファイルには、そのクリップ情報に対応付けられた再生データに関する情報が記録される。
クリップ情報ファイルには、図21に示すように、様々な拡張データを記録可能な拡張データ記録領域[ExtensionData()]141が設定される。
なお、先に説明したインデックスファイルやプレイリストファイルと同様、拡張データ記録領域[ExtensionData()]には、様々な拡張データが記録されるため、拡張データがどのようなデータであるかを示す拡張データ識別子が、各拡張データに対応付けられて拡張データとともに記録される。
拡張データ識別子は2つのID(ID1,ID2)によって構成される。
本実施例では、クリップ情報ファイルにおけるVR識別情報格納領域を示す拡張データ識別子として未定義の以下の識別子、
ID1=0x0004
ID2=0x0003
この拡張データ識別子を利用する。
この識別情報に対応付けられた拡張データ記録領域にVR識別情報、すなわち以下のVR識別情報を記録する。
「クリップ情報ファイルに対応付けられた再生対象データにVR画像が含まれているか否か、含まれている場合は、再生対象データがタイプ1のVR画像であるか、タイプ2のVR画像であるかを示すVRタイプ情報」
なお、この拡張データ識別子の設定、すなわち、
ID1=0x0004
ID2=0x0003
これらのID設定は、一例であり、この他のIDをVR識別情報の記録領域を示すIDとして利用する構成も可能である。
図22は、図21に示すクリップ情報ファイルの拡張データ記録領域[ExtensionData()]141に記録されるVR識別情報のデータ記録領域の構成例(シンタックス)を示す図である。
図22に示すように、クリップ情報ファイルの拡張データ記録領域141には、拡張データ識別子(ID)記録領域142と、データブロック(data_block)143が設定される。
拡張データ識別子(ID)記録領域142には、上述したVR識別情報の記録領域を示すID(ID1=0x0004,ID2=0x0003)が記録される。
この拡張データ識別子(ID)記録領域142の後にVR識別情報の記録領域であるデータブロック(data_block)143が設定される。
データブロック(data_block)143に記録される具体的なデータについて、図23を参照して説明する。
図23は、図22に示すデータブロック(data_block)143の詳細構成を示す図である。すなわち、クリップ情報ファイルに記録されるVR識別情報の具体的なデータ例を示している。
図23(a)に示すようにデータブロックには、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域144、
(1)VR画像タイプ情報(VR_type)記録領域144の記録データ例を図23(b)に示す。
VR画像タイプ情報(VR_type)記録領域144には、このクリップ情報ファイルに対応付けられた再生対象画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域144は、例えば、8ビットデータである。
図23(b)に示すように、VR画像タイプ情報(VR_type)記録領域144に記録されたビット値に応じて、このクリップ情報ファイルに対応付けられた再生対象画像データの種類を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:このクリップ情報ファイルに対応付けられた画像データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:このクリップ情報ファイルに対応付けられた画像データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:このクリップ情報ファイルに対応付けられた画像データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:このクリップ情報ファイルに対応付けられた画像データ中にタイプ3のVR画像が含まれる。
なお、さらに、他のビット値設定として、以下のような情報を示すビット値を設定してもよい。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,2のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,3のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ2,3のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,2,3のVR画像が含まれる。
また、VR画像タイプが4つ以上の場合も同様であり、画像タイプの組み合わせをすべて識別可能としたビット値を設定する構成とすることが可能である。
クリップ情報ファイルにはこのVR識別情報が記録され、クリップ情報を利用して画像再生を行なう場合、この情報を参照し、参照情報から得られる画像特性等に応じた適正な再生処理を行なうことができる。
[3−6.クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について]
次に、クリップ情報ファイルのストリーム符号化情報記録フィールドにVR識別情報を記録した例について説明する。
図24は、クリップ情報ファイルのデータ構成(シンタックス)を示す図である。
図24に示すように、クリップ情報ファイルには、以下の実体データ記録フィールドが設定される。
(1)クリップストリームタイプ情報や、アプリケーションタイプ情報等のクリップの属性情報が記録されるクリップ情報記録フィールド[ClipInfo()]145、
(2)主に再生処理における時間管理情報などのシーケンス情報を記録するシーケンス情報記録フィールド[SequenceInfo()]146、
(3)プログラムマップテーブルの識別情報、プログラムストリーム中のストリーム数などのプログラム情報を記録するプログラム情報記録フィールド[ProgramInfo()]147、
(4)様々な拡張データを記録可能な拡張データ記録フィールドである[ExtensionData()]148、
以下に説明する例は、クリップ情報ファイルに含まれるプログラム情報を記録するプログラム情報記録フィールド[ProgramInfo()]147にVR識別情報を記録した例である。
クリップ情報ファイルに含まれるプログラム情報記録フィールド[ProgramInfo()]147のデータ構成を示すシンタックス図を図25に示す。
図25に示すプログラム情報記録フィールド[ProgramInfo()]は、クリップ情報ファイルに予め設定されたプログラム情報記録フィールド[ProgramInfo()]である。
この中のストリーム符号化情報記録フィールド[StreamCodingInfo()]149に、VR識別情報を記録する。
ストリーム符号化情報記録フィールド[StreamCodingInfo()]149は、クリップ情報ファイル内のプログラム情報記録フィールド[ProgramInfo()]に設定されたストリーム符号化態様[Stream_coding_type]単位の画像属性情報を記録するフィールドである。
ストリーム符号化情報記録フィールド[StreamCodingInfo()]149の具体的データ構成について、図26を参照して説明する。
図26(a)は、図25に示すストリーム符号化情報記録フィールド[StreamCodingInfo()]149の詳細構成を示す図である。すなわち、クリップ情報ファイルに記録されるVR識別情報の具体的なデータ記録例を示している。
図26(a)に示すようにストリーム符号化情報記録フィールド[StreamCodingInfo()]149には、以下のデータ記録領域が設定される。
(1)VR画像タイプ情報(VR_type)記録領域150、
(1)VR画像タイプ情報(VR_type)記録領域150の記録データ例を図26(b)に示す。
VR画像タイプ情報(VR_type)記録領域150には、このクリップ情報ファイルに対応付けられた再生対象画像データの種類を示すビット値が記録される。
このVR画像タイプ情報(VR_type)記録領域150は、例えば、8ビットデータである。
図26(b)に示すように、VR画像タイプ情報(VR_type)記録領域150に記録されたビット値に応じて、このクリップ情報ファイルに対応付けられた再生対象画像データの種類を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:このクリップ情報ファイルに対応付けられた画像データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:このクリップ情報ファイルに対応付けられた画像データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:このクリップ情報ファイルに対応付けられた画像データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:このクリップ情報ファイルに対応付けられた画像データ中にタイプ3のVR画像が含まれる。
なお、さらに、他のビット値設定として、以下のような情報を示すビット値を設定してもよい。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,2のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,3のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ2,3のVR画像が含まれる。
クリップ情報ファイルに対応付けられた画像データ中にタイプ1,2,3のVR画像が含まれる。
また、VR画像タイプが4つ以上の場合も同様であり、画像タイプの組み合わせをすべて識別可能としたビット値を設定する構成とすることが可能である。
クリップ情報ファイルにはこのVR識別情報が記録され、クリップ情報を利用して画像再生を行なう場合、この情報を参照し、参照情報から得られる画像特性等に応じた適正な再生処理を行なうことができる。
[4.再生装置と表示装置間の情報入出力構成例について]
先に図4等を参照して説明したように、例えば、BD(Blu−ray(登録商標) Disc)等の情報記録媒体10に記録された画像データを再生装置(BDプレーヤ)20が再生し、表示装置30a〜30dにおいて正常な画像表示を行うために必要な処理は、例えば以下の処理である。
(1)再生装置20が、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認すること。
(2)再生装置20が、再生装置に接続された表示装置が表示可能な画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が表示可能であるかを確認すること。
(3)表示装置30a〜30dが、再生装置20から入力するデータが、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像データであるかを確認すること。
これら(1)〜(3)の確認処理を、再生装置20から表示装置30a〜30dに対する画像データの出力前に実行することで、各画像タイプに応じた正常な、再生、表示処理が可能となる。
上記(1)の処理は、再生装置が、上述した情報記録媒体に記録されたVR識別情報、すなわち、インデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録されたVR識別情報を参照することで実現される。
一方、上記の(2),(3)の確認処理を行なうためには、再生装置と表示装置間で、情報を入出力する必要がある。
以下、この処理について説明する。
図27には、BD等の情報記録媒体10を装着した再生装置20と、再生装置20の再生データを表示するテレビ等の表示装置30を示している。
再生装置20と表示装置30は、例えばHDMI(登録商標)ケーブル等によって接続され、相互に様々なデータを送受信することができる。
なお、再生装置20と表示装置30との接続構成はHDMI(登録商標)ケーブルに限らず、その他の様々な接続構成が可能である。例えば無線ネットワークを介した通信を行う構成等としてもよい。
再生装置20と表示装置30の通信接続が確立されると、表示装置30は、再生装置20に対して、表示装置の機能情報等を出力する。
具体的には、図27に示すように、例えばHDMI(登録商標)規定のEDID(Extended Display Identification Data)201を出力する。
このEDIDには、表示装置30がどのようなタイプの画像を出力可能であるか等の表示装置機能情報が含まれる。
再生装置20は、表示装置30から受信した表示装置機能情報を記憶部に格納する。具体的には、例えばPSR(Player Status Resister)に、格納する。
一方、再生装置20は、情報記録媒体10に格納されたコンテンツの再生処理に際して、再生処理データに関する再生データ情報を図27に示すインフォフレーム(info frame)に格納して表示装置30に通知する。
以下、表示装置30が再生装置20に送信する表示装置情報であるEDID201と、再生装置20が表示装置30に送信する再生データ情報を格納したインフォフレーム202の具体的構成例について、順次、説明する。
[4−1.表示装置が再生装置に送信する表示装置情報について]
まず、図28以下を参照して表示装置30が再生装置20に送信する表示装置情報について説明する。
図28は、表示装置30が再生装置20に送信する表示装置機能情報であるEDID(Extended Display Identification Data)のデータ構成例を示す図である。
EDIDとは、規格化団体であるCEA(Consumer Electronics Association)の規格であるCEA861によって定義される256バイトのデータブロックである。
表示装置30は、EDIDに、表示装置30が、どのタイプの画像データ(非VR画像/タイプ1のVR画像/タイプ2のVR画像)を再生可能であるかを示すVR画像再生機能情報(VR type Data block)221を格納して、再生装置20に送信する。
例えば、図28に示すようにEDID中の、EDIDタグコード[0x8]の項目にVR画像再生機能情報(VR type Data block)221を格納して、再生装置20に送信する。
VR画像再生機能情報(VR type Data block)221の具体例を図29に示す。
VR画像再生機能情報(VR type Data block)221は、例えば図29に示す8ビットデータによって構成される。
図29(a)に示すように、VR画像再生機能情報を構成する8ビット(bit0〜bit7)中の全bit=0の設定の場合、表示装置30がVR画像の再生機能を有さないVR画像非対応の表示装置であることを示す。
また、図29(b)に示すように、VR画像再生機能情報を構成する8ビット(bit0〜bit7)中のbit0=1の設定の場合、表示装置30がタイプ1のVR画像の再生機能を有することを示す。
また、図29(c)に示すように、VR画像再生機能情報を構成する8ビット(bit0〜bit7)中のbit1=1の設定の場合、表示装置30がタイプ2のVR画像の再生機能を有することを示す。
また、図29(d)に示すように、VR画像再生機能情報を構成する8ビット(bit0〜bit7)中のbit0=1、bit1=1の設定の場合、表示装置30がタイプ1のVR画像、およびタイプ2のVR画像双方の再生機能を有することを示す。
再生装置20は、このVR画像再生機能情報を含むEDIDを表示装置30から受信すると、受信EDIDに含まれるデータを記憶部(PSR:プレーヤステータスレジスタ)に格納する。
再生装置20の記憶部(PSR33)に格納される表示装置機能情報の例を図30に示す。
再生装置20は、記憶部の一部領域、例えば32ビットデータの記録領域を有するPSR33に表示装置機能情報を格納する。
データ記録領域である32ビット領域の下位2ビット(bit1,bit0)に、表示装置の表示機能に応じたビット値を格納する。
例えば、図30に示すように、ビット値の設定と、表示装置の機能との対応関係は以下の通りである。
(a)(bit1,bit0)=(0,0):表示装置はVR画像の表示機能を有していない。
(b)(bit1,bit0)=(0,1):表示装置はタイプ1のVR画像のみの表示機能を有する。
(c)(bit1,bit0)=(1,0):表示装置はタイプ2のVR画像のみの表示機能を有していない。
(d)(bit1,bit0)=(1,1):表示装置はタイプ1のVR画像,およびタイプ2のVR画像の表示機能を有する。
再生装置20は表示装置30から受信したEDIDに基づいて、図30に示すように記憶部(PSR33)に表示装置の表示機能情報を格納する。
再生装置20は、この記憶部格納情報を参照することで、再生装置20に接続された表示装置30の表示機能、すなわち表示可能画像がタイプ1のVR画像であるか、タイプ2のVR画像であるか、VR画像ではない非VRのみであるかを判別することが可能となる。
なお、ここでは、表示装置30が再生装置20に送信する表示装置情報をEDIDとした例について説明したが、その他の形式を持つデータを送受信して表示装置情報を送信する構成としてもよい。例えば無線通信パケットに表示装置情報を格納して送信する構成等が可能である。
さらに、再生装置20は、再生装置自身の有する画像変換機能情報についても再生装置20の記憶部(PSR32)に格納する。
再生装置20の画像変換機能について図31を参照して説明する。
図31は、再生装置20の装着した情報記録媒体に格納された画像データがタイプ1のVR画像である場合の例を示している。
再生装置20は、情報記録媒体に記録されたVR識別情報に基づいて、再生対象となる画像データがタイプ1のVR画像であることを確認する。
また、再生装置20は、再生装置20に接続された表示装置30から受信した表示装置機能情報(EDID)に基づいて、表示装置30が、VR画像表示機能を有していないことを確認したものとする。
この場合、再生装置20は、タイプ1のVR画像を表示装置30に出力しても、表示装置30はタイプ1のVR画像を表示することができない。
再生装置20は、このような状況において、情報記録媒体から読み出したタイプ1のVR画像を非VR画像に変換する。
図31(1)に示すように、VR画像から非VR画像への変換処理を実行する。
この画像変換処理によって生成した非VR画像225を再生装置30に出力する。
この処理の結果、表示装置30は、非VR画像231を表示することが可能となる。
しかし、このような処理を行なうことができるのは、VR画像を非VR画像に変換する画像変換機能を有する再生装置に限られる。
この画像変換機能は、再生装置ごとに異なり、例えばタイプ1のVR画像のみ非VR画像に変換することができる再生装置や、タイプ2のVR画像のみ非VR画像に変換することができる再生装置等が存在することが想定される。
再生装置20は、再生装置20の有する画像変換機能の情報を記憶部(PSR)に格納する。再生装置20は、必要に応じて記憶部格納情報を参照し、接続された表示装置の表示機能に応じた画像変換が可能か否かを確認し、可能であることが確認された場合に、画像変換を実行し、変換画像を表示装置30に出力する。
再生装置20の記憶部(PSR32)に格納される再生装置画像変換機能情報の例を図32に示す。
再生装置20は、記憶部の一部領域、例えば32ビットデータの記録領域を有するPSR32に再生装置画像変換機能情報を格納する。
データ記録領域である32ビット領域の下位2ビット(bit1,bit0)に、再生装置の画像変換機能に応じたビット値を格納する。
例えば、図32に示すように、ビット値の設定と、再生装置の画像変換機能との対応関係は以下の通りである。
(a)(bit1,bit0)=(0,0):再生装置はVR画像の変換機能を有していない。
(b)(bit1,bit0)=(0,1):再生装置はタイプ1のVR画像のみ非VR画像に変換する変換機能を有する。
(c)(bit1,bit0)=(1,0):再生装置はタイプ2のVR画像のみ非VR画像に変換する変換機能を有する。
(d)(bit1,bit0)=(1,1):再生装置はタイプ1のVR画像と、タイプ2のVR画像を非VR画像に変換する変換機能を有する。
再生装置20はこの記憶部格納情報に基づいて、再生装置20の有する画像変換機能を確認することが可能となる。
再生装置20に接続された表示装置30がVR画像ではない非VRのみ表示可能な表示装置である場合、再生装置は、再生対象となるVR画像のタイプと、記憶部(PSR32)に格納された再生装置画像変換機能を比較し、変換可能であることが確認された場合には、画像変換機能を実行し、VR画像を非VR画像に変換して表示装置30に出力することができる。
[4−2.再生装置が表示装置に送信する再生データ情報について]
次に、図27に示す再生装置20が表示装置30に送信する再生データ情報であるインフォフレーム202の具体的構成例について説明する。
図33は、再生装置20が表示装置30に送信するインフォフレーム202の具体的データ構成例を示す図である。
図33(a)に示すように、インフォフレーム202には、複数のフィールドが設けられ、各フィールド単位で記録された様々な情報が再生装置20から表示装置30に提供される。
この情報は、表示装置30が、再生装置20から入力する再生コンテンツの表示処理等に適用するための再生データ情報である。
データバイト1(DATA BYTE1)フィールド231には、再生画像データのVR画像タイプ情報(VR_type)231が記録される。
図33(b)に示すように、VR画像タイプ情報(VR_type)231に記録されたビット値に応じて、再生画像データの種類を、以下のように識別することができる。
VR画像タイプ情報(VR_type)のビット値=0:再生データ中にはVR画像は含まれず、非VR画像のみから構成される。
VR画像タイプ情報(VR_type)のビット値=1:再生データ中にタイプ1のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=2:再生データ中にタイプ2のVR画像が含まれる。
VR画像タイプ情報(VR_type)のビット値=3:再生データ中にタイプ3のVR画像が含まれる。
なお、さらに、他のビット値設定として、以下のような情報を示すビット値を設定してもよい。
再生データ中にタイプ1,2のVR画像が含まれる。
再生データ中にタイプ1,3のVR画像が含まれる。
再生データ中にタイプ2,3のVR画像が含まれる。
再生データ中にタイプ1,2,3のVR画像が含まれる。
また、VR画像タイプが4つ以上の場合も同様であり、画像タイプの組み合わせをすべて識別可能としたビット値を設定する構成とすることが可能である。
表示装置30は、インフォフレーム202に格納されたデータを参照することで、再生装置20から入力するコンテンツに対して、コンテンツ種類(非VR画像/タイプ1のVR画像/タイプ2のVR画像)に応じた適切な処理を行なうことが可能となり、適切な画像表示を実行することができる。
[5.情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について]
次に、図34、図35を参照して情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と処理について説明する。
先に図4を参照して説明したように、図4に示す表示装置30において画像の正常な表示を実現するためには、再生装置20が、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認することが必要である。
この確認処理を可能とするために、前述したように、画像データ等の管理情報や、属性情報、あるいは再生制御情報を格納したデータファイル中にVR識別情報等を記録する。
情報記録媒体がBD(Blu−ray(登録商標) Disc)である場合、BDフォーマットにおいて規定されるインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルにVR識別情報等を記録する。
以下、このようなVR識別情報を記録した情報記録媒体の生成処理、具体的には、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置の構成と、処理シーケンスについて説明する。
図34は、BD等の情報記録媒体に対するデータ記録処理を実行する情報処理装置300の構成を示す図である。
情報処理装置300は、図34に示す情報記録媒体(記録メディア)320に、タイプ1のVR画像、またはタイプ2のVR画像、またはVR画像ではない非VR画像等の画像ファイルを格納したストリームファイル(クリップAVストリームファイル)を記録し、さらに先に説明したVR識別情報等を格納したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを記録し、BDフォーマットに従ったデータ記録ディスクを生成する。
データ入力部301は、情報記録媒体320に対する記録用データ331、すなわち画像データ、音声データ、字幕データ等の記録用データ331を入力する。これらの記録用データ331はコンテンツ製作者によって制作されたデータであり、例えば1つのメディア、あるいは個別の複数メディアに記録され、メディアを介して情報処理装置300に入力される。あるいは、ネットワーク等を介して入力する構成としてもよい。
記録用データ331は、制御部303の制御によって、記憶部304に格納され、その後、多重化処理部305に入力される。
多重化処理部305は、字幕データ取得部311、画像データ取得部312、音声データ取得部313、およびマルチプレクサ(MUX)314を有する。
字幕データ取得部311は、データ入力部301が入力し、記憶部304に格納された記録用データ331から、字幕データを取得する。
画像データ取得部312は、データ入力部301が入力し、記憶部304に格納された記録用データ331から、画像データを取得する。
音声データ取得部313は、データ入力部301が入力し、記憶部304に格納された記録用データ331から、音声データを取得する。
マルチプレクサ(MUX)314は、字幕データ取得部311、画像データ取得部312、音声データ取得部313の取得した字幕、画像、音声各データを入力し、これらのデータを格納したトランスポートストリームファイル(TSファイル)を生成する。具体的には、例えば、先に図5等を参照して説明したクリップAVストリームファイルである。
このクリップAVストリームファイルが、制御部303の制御の下、記録部306によって、ドライブ307を介して情報記録媒体320に出力され、記録される。
クリップAVストリームファイルは、図34に示す記録データ332の構成データである。
ユーザ入力部302は、例えば情報記録媒体320に対するデータ記録の開始要求等を入力する。
さらに、記録データの種類、具体的には、VR画像ではない非VR画像、タイプ1のVR画像、タイプ2のVR画像等が含まれるか否か等の情報を入力する。
制御部401は、これらの入力情報に基づいて、情報記録媒体520に記録するための管理データや再生制御情報ファイルを生成する。具体的には、前述したVR識別情報を記録したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ332を生成する。
VR識別情報を記録したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルを含む記録データ332は、制御部303の制御の下、記録部306によって、ドライブ307を介して情報記録媒体320に出力され、記録される。
なお、記録データの種類、具体的には、VR画像ではない非VR画像、タイプ1のVR画像、タイプ2のVR画像等が含まれるか否か等の情報について、ユーザ入力部302を介して入力する例を説明したが、これらの情報は、制御部303が、例えば、データ入力部301から入力する記録用データ331に併せて入力されるメタデータから取得する構成としてもよい。
あるいは、制御部303が、データ入力部301から入力する記録用データ331を解析して、画像種類情報を取得する構成としてもよい。
次に、図34に示す情報処理装置300が実行する情報記録媒体320に対するデータ記録処理のシーケンスについて、図35に示すフローチャートを参照して説明する。
図35に示すフローに従った処理は、例えば情報処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図35のフローに示す各ステップの処理について、順次、説明する。
(ステップS101)
まず、情報処理装置300は、ステップS101において、データ入力部301を介して記録用データを入力する。
記録用データには画像データ、音声データ、字幕データ等が含まれる。
画像データは例えばVR画像ではない非VR画像、タイプ1のVR画像、タイプ2のVR画像等によって構成される。
(ステップS102)
次に、ステップS102において、制御部303は、ユーザ入力部302から入力される画像タイプ情報を検出する。
すなわち、記録データの画像タイプが、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VRのいずれを含むものであるかを検出する。
なお、前述したように画像タイプ情報は、メタデータから取得してもよいし、入力画像データを解析して取得する構成としてもよい。
(ステップS103)
次に、ステップS103において、記録データとしての画像、音声、字幕各データの多重化処理[TS(トランスポートストリーム)生成処理]を実行する。
これは、図34に示す多重化処理部305において実行する処理である。
多重化処理部305のマルチプレクサ(MUX)314は、字幕データ取得部311、画像データ取得部312、音声データ取得部313の取得した字幕、画像、音声各データを入力し、これらのデータを格納したトランスポートストリームファイル(TSファイル)を生成する。具体的には、例えば、先に図5等を参照して説明したクリップAVストリームファイルである。
(ステップS104)
ステップS104において、制御部303は、全ての記録データの多重化処理が終了したか否かを判定する。未処理データがある場合は、ステップS101からの処理を繰り返す。
全ての記録データの多重化処理が終了したと判定するとステップS105に進む。
(ステップS105)
次に、ステップS105において、制御部303は、生成したTS(トランスポートストリーム)に対応するクリップ情報ファイルを生成し、クリップ情報ファイルにVR識別情報等を記録する。
具体的には、例えば、先に図21〜図26を参照して説明したVR識別情報等を記録したクリップ情報ファイルを生成する。
(ステップS106)
ステップS106において、制御部303は、全てのクリップ情報ファイルの生成処理が完了したか否かを判定する。完了していない場合は、ステップS105の処理を繰り返す。
全てのクリップ情報ファイルの生成処理が完了したと判定するとステップS107に進む。
(ステップS107)
次に、ステップS107において、制御部303は、生成したTS(トランスポートストリーム)の再生制御情報ファイルであるプレイリストファイルを生成し、プレイリストファイルにVR識別情報等を記録する。
具体的には、例えば、先に図12〜図20を参照して説明したVR識別情報等を記録したプレイリストファイルを生成する。
(ステップS108)
次に、ステップS108において、制御部303は、全てのプレイリストファイルの生成処理が完了したか否かを判定する。完了していない場合は、ステップS107の処理を繰り返す。
全てのプレイリストファイルの生成処理が完了したと判定するとステップS109に進む。
(ステップS109)
次に、ステップS109において、制御部303は、生成したプレイリストファイルに記録されたVR識別情報を参照して、情報記録媒体の全記録データ対応のVR識別情報を生成し、生成したVR識別情報を記録したインデックスファイルを生成する。
具体的には、例えば、先に図8〜図11を参照して説明したVR識別情報等を記録したインデックスファイルを生成する。
(ステップS110)
次に、ステップS110において、制御部303は、生成したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイル、およびTSファイル(クリップAVストリームファイル)を、情報記録媒体に記録する。
図34を参照して説明したように、制御部303の制御の下、記録部306によって、ドライブ307を介して情報記録媒体320に出力され、記録される。
これらの一連の処理によって、VR識別情報等を記録したインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルと、VR画像ではない非VR画像、またはタイプ1のVR画像、またはタイプ2のVR画像等のいずれかの画像データを格納したTSファイル(クリップAVストリームファイル)の記録された情報記録媒体が完成する。
[6.情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について]
次に、図36、図37を参照して情報記録媒体からのデータ再生処理を実行する情報処理装置の構成と処理について説明する。
先に図4を参照して説明したように、図4に示す表示装置30において画像の正常な表示を実現するためには、再生装置20は、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかを確認し、さらに、表示装置の表示機能情報を取得する処理等が必要である。
本開示の再生装置20は、装着した情報記録媒体(BD)10に記録された画像データの種類、すなわち、タイプ1のVR画像,タイプ2のVR画像,VR画像ではない非VR画像、これらのどのタイプの画像が記録されているのかをインデックスファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録されたVR識別情報等に基づいて確認する。
さらに、先に図27を参照して説明したように、再生装置20は、表示装置30から、EDID等の表示装置機能情報を入力し、さらに、表示装置30に対して、インフォフレーム等の再生データ情報を出力する。
これらの処理を実行することで、表示装置30において画像の正常な表示が実現される。
以下、この正常な画像表示処理を実現する情報記録媒体再生装置である情報処理装置の構成と、処理シーケンスについて説明する。
図36は、BD等の情報記録媒体に記録されたデータの再生処理を実行する情報処理装置400の構成を示す図である。
情報処理装置400は、図36に示す情報記録媒体(記録メディア)510に記録されたデータを読み取り、表示装置520に出力する。なお、表示装置20は、例えばテレビ等であり、ディスプレイ、スピーカ等を備えた表示装置である。
情報記録媒体(記録メディア)510は、例えば、BDフォーマットに従ったデータを記録したディスクであり、画像、音声、字幕各データの多重化データであるクリップAVストリームファイル(=トランスポートストリームファイル)の他、インデックススファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイル等が記録されている。
クリップAVストリームファイルにはVR画像ではない非VR画像、タイプ1のVR画像、タイプ2のVR画像、少なくともいずれかのタイプの画像から構成される画像データが格納されている。また、インデックススファイル、プレイリストファイル、クリップ情報ファイルの各々には、前述したVR識別情報が記録されている。
制御部401は、例えば、ユーザ入力部402からの再生指示情報の入力に基づいて、情報記録媒体510の記録データを、記録再生部404、ドライブ403を介して読み取り、データバッファとしての記憶部405に格納し、その格納データを再生処理部406に出力する。
また、制御部401は、入出力インタフェース407を介して表示装置520との通信を実行する。
情報処理装置400の制御部401は、例えば図27〜図33を参照して説明したEDID等の表示装置機能情報を表示装置520から受信する。
また、制御部401は、情報記録媒体510から読み出したインデックススファイル、プレイリストファイル、クリップ情報ファイル等のデータベースファイルに記録されたVR識別情報を解析し、表示装置520における再生データの表示処理に必要となる再生データ情報をインフォフレームに格納して表示装置520に送信する。
再生処理部406は、制御部401の制御の下、情報記録媒体510から読み出された再生データ、すなわち、画像、音声、字幕等の各データを格納したクリップAVストリームファイルから各データを取得して再生データを生成する。
デマルチプレクサ(DeMUX)411は、画像、音声、字幕等の各データを格納したクリップAVストリームファイルを構成するデータ格納パケットを取得し、データ種別のパケットに分類し、各パケットを、データ種類に応じて、字幕データ生成部412、画像データ生成部413、音声データ生成部414に出力する。
字幕データ生成部412、画像データ生成部413、音声データ生成部414は、パケットに格納されたデータの復号処理等を実行し、復号データを出力データ生成部415に出力する。
出力データ生成部415は、字幕、画像、音声の各データを、入出力インタフェース407を介して表示装置520に出力する。
なお、出力データ生成部415は、制御部401の制御の下、必要に応じて画像変換、例えばタイプ1のVR画像をVR画像ではない非VR画像に変換する処理を実行する。
具体的には、表示装置520がVR画像ではない非VRテレビである場合、タイプ1のVR画像を出力すると、表示装置520では表示することができない。
このような場合、出力データ生成部415は、タイプ1のVR画像をVR画像ではない非VR画像に変換する処理を実行して生成してVR画像ではない非VR画像データを表示装置520に出力する。
表示装置520は、情報処理装置400から入力する字幕、画像、音声等の各データを表示装置520の特性や機能に応じた出力データ生成処理、例えばVR画像、または非VR画像等の出力画像生成処理を実行し、表示装置520の機能に応じた出力データを生成して出力する。
なお、情報処理装置400の制御部401は、表示装置520から受信する表示装置機能情報に応じて、再生処理部406において生成する再生データの制御を行う。
また、表示装置520から受信する表示装置機能情報が、情報記録媒体510のデータを再生できない、例えば表示できないことが明らかになった場合には、再生データ生成を実行することなく処理を停止する。なお、この場合、情報処理装置400の制御部401は、表示装置520に対して再生不可であることを示す通知メッセージの出力処理を行なう構成としてもよい。
次に、図36に示す情報処理装置400が実行する情報記録媒体510からのデータ再生処理のシーケンスについて、図37に示すフローチャートを参照して説明する。
図37に示すフローに従った処理は、例えば情報処理装置400の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPUを備えたデータ処理部(制御部)の制御の下で実行することができる。
以下、図37のフローに示す各ステップの処理について、順次、説明する。
(ステップS201)
まず、情報処理装置400は、ステップS201において、表示装置520から表示装置機能情報(EDID)を入力し、記憶部(PSR)に格納する。
この処理は、先に図27〜図30を参照して説明した処理である。情報処理装置(再生装置)400と表示装置520の通信接続が確立されると、表示装置520は、情報処理装置400に対して、表示装置520の機能情報等を出力する。具体的には、図27に示すように、例えばHDMI(登録商標)規定のEDID(Extended Display Identification Data)201を出力する。このEDIDには、表示装置520がどのようなタイプの画像を出力可能であるか等の表示装置機能情報が含まれる。
表示装置機能情報は、図29を参照して説明したように、例えば、表示装置520がタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像、これらのどの画像の再生機能を有するかについての情報が含まれる。
情報処理装置400は、表示装置520から受信した再生機能情報を記憶部(PSR)に格納する。例えば図30を参照して説明したように記憶部(PSR)に格納する。
(ステップS202)
次に、情報処理装置400は、ステップS202において、情報記録媒体からインデックスファイルを取得する。
インデックスファイルには、例えば、先に図8〜図11を参照して説明したVR識別情報が記録されている。
(ステップS203)
次に、情報処理装置400は、ステップS203において、情報記録媒体510から読み出したインデックスファイルに記録されたVR識別情報と、先のステップS201において表示装置520から受信した表示装置機能情報(EDID)に基づいて、表示装置520の表示可能なVR画像が、情報記録媒体510に記録されているか否かを判定する。
表示装置520の表示可能なVR画像が、情報記録媒体510に記録されていると判定した場合は、ステップS204に進み、表示装置520の表示可能なVR画像が、情報記録媒体510に記録されていないと判定した場合は、ステップS211に進む。
(ステップS204)
ステップS203の判定処理において、表示装置520の表示可能なVR画像が、情報記録媒体510に記録されていると判定した場合は、ステップS204に進む。
ステップS204では、表示装置の表示可能なVR画像の再生用プレイリストを選択取得する。
表示装置の表示可能なVR画像は、例えばタイプ1のVR画像、またはタイプ2のVR画像である。いずれが表示装置520において表示可能かについては、ステップS201において表示装置520から受信した表示装置機能情報によって確認済みである。
情報処理装置400は、表示装置520において表示可能なVR画像を格納したストリームファイルの再生制御情報であるプレイリストを選択取得する。。
(ステップS205)
次に、情報処理装置400は、ステップS205において、選択取得したプレイリストの格納データに基づいて、再生データ情報(インフォフレーム)を生成して、表示装置520に送信する。
再生データ情報(インフォフレーム)は、先に図27、図33を参照して説明した再生データ情報(インフォフレーム)である。
図33に示すように、インフォフレームには、複数のフィールドが設けられ、各フィールド単位で記録された様々な情報が情報処理装置(再生装置)400から表示装置520に提供される。この情報は、表示装置520が、情報処理装置(再生装置)400から入力する再生コンテンツの表示処理等に適用するための再生データ情報であり、例えば再生画像データの種類(非VR画像/タイプ1のVR画像/タイプ2のVR画像)情報が記録される。
(ステップS221)
図37に示す点線枠で示すステップ(ステップS221〜S223)の処理は表示装置520において実行する処理である。
表示装置520は、ステップS221において、情報処理装置400から受信した再生データ情報(インフォフレーム)に基づいて、表示モードを設定し、設定した表示モードに従ってVR画像を表示する。
(ステップS211)
次に、ステップS203において、示装置520の表示可能なVR画像が、情報記録媒体510に記録されていないと判定した場合に実行するステップS211以下の処理について説明する。
情報処理装置400は、ステップS211において、情報記録媒体510にVR画像ではない非VR画像が記録されているか否かを判定する。
この判定処理は、ステップS202で情報記録媒体510から読み出したインデックスファイルのVR識別情報に基づいて行われる。
情報記録媒体510にVR画像ではない非VR画像が記録されていないことが確認された場合は、ステップS212に進む。
一方、情報記録媒体510にVR画像ではない非VR画像が記録されていることが確認された場合は、ステップS215に進む。
(ステップS212)
ステップS211の判定処理において、情報記録媒体510にVR画像ではない非VR画像が記録されていないことが確認された場合は、ステップS212に進む。
情報処理装置400は、ステップS212において、情報処理装置(再生装置)400が、情報記録媒体510に記録された再生用VR画像を非VR画像に変換できるか否かを判定する。
これは、先に図31〜図32を参照して説明した情報処理装置(再生装置)400の記憶部(PSR32)に格納された画像変換機能情報を参照して判定する。
情報処理装置(再生装置)400が、情報記録媒体510に記録された再生用VR画像を非VR画像に変換できることが確認された場合は、ステップS214に進む。
一方、情報処理装置(再生装置)400が、情報記録媒体510に記録された再生用VR画像を非VR画像に変換できないことが確認された場合は、ステップS213に進む。
(ステップS213)
ステップS212の判定処理において、情報処理装置(再生装置)400が、情報記録媒体510に記録された再生用VR画像を非VR画像に変換できないことが確認された場合は、ステップS213に進む。
情報処理装置400は、ステップS213において、表示可能な非VR画像がないことを通知するメッセーシを生成して表示装置520に出力する。
(ステップS222)
ステップS222の処理は表示装置520の実行する処理である。
表示装置520は、ステップS222において、情報処理装置400から入力した表示可能な非VR画像がないことを通知するメッセーシの出力(表示)処理を実行する。
(ステップS214)
一方、ステップS212の判定処理において、情報記録媒体510に記録された再生用VR画像を非VR画像に変換できることが確認された場合は、ステップS214に進む。
この場合、情報処理装置400は、ステップS214において、情報記録媒体510に記録された再生用VR画像を非VR画像に変換し、変換後の非VR画像を表示装置520に出力する。
(ステップS223)
ステップS223の処理は表示装置520の実行する処理である。
表示装置520は、ステップS223において、情報処理装置400から入力したVR画像ではない非VR画像の表示処理を実行する。
(ステップS215)
ステップS211において、情報記録媒体510にVR画像ではない非VR画像が記録されていることが確認された場合には、ステップS215に進む。
情報処理装置400は、ステップS215において、VR画像ではない非VR画像データを表示装置に出力する。
(ステップS223)
ステップS215の処理の後も、表示装置520は、ステップS223の処理を実行する。
表示装置520は、ステップS223において、情報処理装置400から入力したVR画像ではない非VR画像の表示処理を実行する。
[7.情報処理装置の構成例について]
次に、情報記録媒体に対するデータ記録、情報記録媒体からのデータ再生を実行する情報処理装置、情報記録媒体からの再生データを表示する表示装置、あるいは情報記録媒体製造装置として適用可能な情報処理装置のハードウェア構成例について、図38を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[8.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記データ処理部は、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する情報処理装置。
(2) 前記表示装置情報は、
画像タイプの異なるタイプ1のVR画像とタイプ2のVR画像、さらに、VR画像ではない非VR画像各々についての表示機能を表示装置が有するか否かの情報を含む情報であり、
前記VR識別情報は、
前記情報記録媒体に、タイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれのタイプの画像データが記録されているかを示す情報を含む情報であり、
前記データ処理部は、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能なVR画像、またはVR画像ではない非VR画像のいずれかを出力する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
前記表示装置情報に基づいて、前記表示装置がVR画像ではない非VR画像のみ表示可能な表示装置であることが確認され、
前記VR識別情報に基づいて、情報記録媒体に記録された画像がVR画像であることが確認された場合、
情報記録媒体から読み取ったVR画像を非VR画像に変換して前記表示装置に出力する(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
記憶部に格納された画像変換機能情報を参照して、情報記録媒体に記録されたVR画像を非VR画像に変換可能か否かを確認し、変換可能であることが確認された場合に、情報記録媒体から読み取ったVR画像を非VR画像に変換して前記表示装置に出力する(3)に記載の情報処理装置。
(5) 前記データベースファイルは、
Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルである(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
前記情報記録媒体に記録された画像データの表示処理に適用する再生データ情報を前記表示装置に送信する構成であり、
前記再生データ情報には、再生画像データがタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれのタイプの画像データであるかを示すVR識別情報を含む(1)〜(5)いずれかに記載の情報処理装置。
(7) 情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記データ処理部は、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する情報処理装置。
(8) 前記データベースファイルは、
Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルである(7)に記載の情報処理装置。
(9) 前記データ処理部は、
インデックスファイルには、情報記録媒体の記録データ全体に関するVR識別情報を記録し、
プレイリストファイルには、プレイリストファイルによる再生対象データ単位のVR識別情報を記録し、
クリップ情報ファイルには、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を記録する(8)に記載の情報処理装置。
(10) 画像データを格納した再生データファイルと、
前記再生データファイルに格納された画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを記録データとして含み、
再生装置が、前記VR識別情報を参照して、再生データを表示する表示装置の表示機能に適合したタイプの画像データを選択再生することを可能とした情報記録媒体。
(11) 前記データベースファイルは、
Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルである(10)に記載の情報記録媒体。
(12) 前記インデックスファイルは、情報記録媒体の記録データ全体に関するVR識別情報を格納し、
前記プレイリストファイルは、プレイリストファイルによる再生対象データ単位のVR識別情報を格納し、
クリップ情報ファイルは、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を格納した構成である(11)に記載の情報記録媒体。
(13) 情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記データ処理部は、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する表示装置。
(14) 前記表示装置情報は、
画像タイプの異なるタイプ1のVR画像とタイプ2のVR画像、さらに、VR画像ではない非VR画像各々についての表示機能を表示装置が有するか否かの情報を含む情報である(13)に記載の表示装置。
(15) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記データ処理部が、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する情報処理方法。
(16) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記データ処理部が、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する情報処理方法。
(17) 表示装置において実行する情報処理方法であり、
前記表示装置は、情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記データ処理部が、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する情報処理方法。
(18) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力する処理と、
前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得する処理と、
前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する処理を実行させるプログラム。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記情報記録媒体の記録画像データとして、
異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する処理を実行させるプログラム。
(20) 表示装置において情報処理を実行させるプログラムであり、
前記表示装置は、情報記録媒体の記録データの再生処理を実行する再生装置とのデータ送受信を実行する通信部と、
データ処理部を有し、
前記プログラムは、前記データ処理部に、
異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を生成して、前記再生装置に出力する処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、情報記録媒体に格納された画像のタイプと、表示装置の表示機能情報に応じて、記録媒体から表示可能な画像を取得して表示装置に出力する。
具体的には、情報記録媒体からのデータ再生を実行するデータ処理部が、再生データ表示処理を行なう表示装置から、表示可能なVR画像のタイプ情報等の画像表示機能情報を入力し、情報記録媒体に記録されたデータベースファイルから、情報記録媒体に、タイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR各画像のどの画像が含まれるか否かを示すVR識別情報を取得し、取得した表示装置機能情報とVR識別情報との対比結果に基づいて、表示装置において表示可能な画像データを情報記録媒体から読み取り、表示装置に出力する。
本構成により、情報記録媒体に格納された画像のタイプと、表示装置の表示機能情報に応じて、記録媒体から表示可能な画像を取得して表示装置に出力する構成が実現される。
1 画像データ
2 携帯端末
3 スピーカ
5 ヘッド・マウント・ディスプレイ(HMD)
6 スピーカ
10 情報記録媒体(ディスク)
20 再生装置
30 表示装置
51 管理情報設定部
52 データ部
300 情報処理装置
301 データ入力部
302 ユーザ入力部
303 制御部
304 記憶部
305 多重化処理部
306 記録部
307 ドライブ
308 情報記録媒体
311 字幕データ取得部
312 画像データ取得部
313 音声データ取得部
314 マルチプレクサ
400 情報処理装置
401 制御部
402 ユーザ入力部
403 ドライブ
404 記録再生部
405 記憶部
406 再生処理部
407 入出力I/F
411 デマルチプレクサ
412 字幕データ生成部
413 画像データ生成部
414 音声データ生成部
415 出力データ生成部
510 情報記録媒体
520 表示装置
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア

Claims (12)

  1. 情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記データ処理部は、
    前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
    異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
    前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する構成であり、
    前記データ処理部は、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能なVR画像が含まれると判定した場合、
    前記表示装置において表示可能なVR画像を格納したストリームファイルの再生制御情報であるプレイリストを選択取得し、
    選択取得したプレイリストの格納データに基づいて、再生画像データの種類情報を含む再生データ情報(インフォフレーム)を生成して、前記表示装置に出力する情報処理装置。
  2. 前記表示装置情報は、
    画像タイプの異なるタイプ1のVR画像とタイプ2のVR画像、さらに、VR画像ではない非VR画像各々についての表示機能を表示装置が有するか否かの情報を含む情報であり、
    前記VR識別情報は、
    前記情報記録媒体に、タイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれのタイプの画像データが記録されているかを示す情報を含む情報であり、
    前記データ処理部は、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能なVR画像、またはVR画像ではない非VR画像のいずれかを出力する請求項1に記載の情報処理装置。
  3. 前記データ処理部は、
    前記表示装置情報に基づいて、前記表示装置がVR画像ではない非VR画像のみ表示可能な表示装置であることが確認され、
    前記VR識別情報に基づいて、情報記録媒体に記録された画像がVR画像であることが確認された場合、
    情報記録媒体から読み取ったVR画像を非VR画像に変換して前記表示装置に出力する請求項1または2に記載の情報処理装置。
  4. 前記データ処理部は、
    記憶部に格納された画像変換機能情報を参照して、情報記録媒体に記録されたVR画像を非VR画像に変換可能か否かを確認し、変換可能であることが確認された場合に、情報記録媒体から読み取ったVR画像を非VR画像に変換して前記表示装置に出力する請求項3に記載の情報処理装置。
  5. 前記データベースファイルは、
    Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルである請求項1〜4いずれかに記載の情報処理装置。
  6. 前記データ処理部は、
    前記情報記録媒体に記録された画像データの表示処理に適用する再生データ情報を前記表示装置に送信する構成であり、
    前記再生データ情報には、再生画像データがタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれのタイプの画像データであるかを示すVR識別情報を含む請求項1〜5いずれかに記載の情報処理装置。
  7. 情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
    前記データ処理部は、
    前記情報記録媒体の記録画像データとして、
    異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する構成であり、
    前記データベースファイルは、
    Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルであり、
    前記データ処理部は、
    インデックスファイルには、情報記録媒体の記録データ全体に関するVR識別情報を記録し、
    プレイリストファイルには、プレイリストファイルによる再生対象データ単位のVR識別情報を記録し、
    クリップ情報ファイルには、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を記録する情報処理装置。
  8. 画像データを格納した再生データファイルと、
    前記再生データファイルに格納された画像データとして、
    異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを記録データとして含み、
    再生装置が、前記VR識別情報を参照して、再生データを表示する表示装置の表示機能に適合したタイプの画像データを選択再生することを可能とした情報記録媒体であり、
    前記データベースファイルは、
    Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルであり、
    前記インデックスファイルは、情報記録媒体の記録データ全体に関するVR識別情報を格納し、
    前記プレイリストファイルは、プレイリストファイルによる再生対象データ単位のVR識別情報を格納し、
    クリップ情報ファイルは、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を格納した構成である情報記録媒体。
  9. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記データ処理部が、
    前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
    異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力し、
    前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得し、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力し、
    前記データ処理部は、さらに、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能なVR画像が含まれると判定した場合、
    前記表示装置において表示可能なVR画像を格納したストリームファイルの再生制御情報であるプレイリストを選択取得し、
    選択取得したプレイリストの格納データに基づいて、再生画像データの種類情報を含む再生データ情報(インフォフレーム)を生成して、前記表示装置に出力する情報処理方法。
  10. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
    前記データ処理部が、
    前記情報記録媒体の記録画像データとして、
    異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する処理を実行し、
    前記データベースファイルは、
    Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルであり、
    前記データ処理部は、
    インデックスファイルには、情報記録媒体の記録データ全体に関するVR識別情報を記録し、
    プレイリストファイルには、プレイリストファイルによる再生対象データ単位のVR識別情報を記録し、
    クリップ情報ファイルには、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を記録する情報処理方法。
  11. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、情報記録媒体の記録データの再生処理を実行するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    前記情報記録媒体からの再生データの表示処理を行なう表示装置から、
    異なる方向の画像を選択的に表示可能とした画像であるVR(Virtual Reality)画像の表示機能情報を含む表示装置情報を入力する処理と、
    前記情報記録媒体に記録されたデータベースファイルから、情報記録媒体に記録された画像データにVR画像が含まれるか否かを示すVR識別情報を取得する処理と、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能な画像データを前記情報記録媒体から読み取り、前記表示装置に出力する処理を実行させ、
    前記プログラムは、さらに、前記データ処理部に、
    前記表示装置情報と、前記VR識別情報との対比結果に基づいて、前記表示装置に表示可能なVR画像が含まれると判定した場合、
    前記表示装置において表示可能なVR画像を格納したストリームファイルの再生制御情報であるプレイリストを選択取得させ、
    選択取得したプレイリストの格納データに基づいて、再生画像データの種類情報を含む再生データ情報(インフォフレーム)を生成して、前記表示装置に出力させるプログラム。
  12. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、情報記録媒体に対するデータ記録を実行するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    前記情報記録媒体の記録画像データとして、
    異なる方向の画像を選択的に表示可能としたVR(Virtual Reality)画像であるタイプ1のVR画像、タイプ2のVR画像、VR画像ではない非VR画像のいずれが含まれるかを示すVR識別情報を格納したデータベースファイルを生成して情報記録媒体に記録する処理を実行させ、
    前記データベースファイルは、
    Blu−ray(登録商標)ディスク・フォーマットにおいて規定されるインデックスファイル、またはプレイリストファイル、またはクリップ情報ファイルのいずれかのデータファイルであり、
    前記プログラムは、前記データ処理部に、さらに、
    インデックスファイルに、情報記録媒体の記録データ全体に関するVR識別情報を記録させ、
    プレイリストファイルに、プレイリストファイルによる再生対象データ単位のVR識別情報を記録させ、
    クリップ情報ファイルに、クリップ情報ファイルに対応付けられた再生データ単位のVR識別情報を記録させるプログラム。
JP2018501118A 2016-02-26 2017-02-06 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム Active JP6973371B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016035428 2016-02-26
JP2016035428 2016-02-26
PCT/JP2017/004179 WO2017145721A1 (ja) 2016-02-26 2017-02-06 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017145721A1 JPWO2017145721A1 (ja) 2018-12-20
JP6973371B2 true JP6973371B2 (ja) 2021-11-24

Family

ID=59685126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501118A Active JP6973371B2 (ja) 2016-02-26 2017-02-06 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11122252B2 (ja)
EP (1) EP3422347B1 (ja)
JP (1) JP6973371B2 (ja)
WO (1) WO2017145721A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7267764B2 (ja) * 2019-02-08 2023-05-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0962861A (ja) * 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置
US7483939B2 (en) * 2005-08-25 2009-01-27 General Electric Company Medical processing system allocating resources for processing 3D to form 2D image data based on report of monitor data
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク
JP5262546B2 (ja) * 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
JP2011254239A (ja) * 2010-06-01 2011-12-15 Sony Corp 記録装置、再生装置、記録再生システム、記録媒体およびプログラム
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP5637298B2 (ja) * 2013-12-10 2014-12-10 ソニー株式会社 情報処理装置、電子機器および表示制御方法
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
KR20170060485A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
EP3422347A1 (en) 2019-01-02
WO2017145721A1 (ja) 2017-08-31
EP3422347A4 (en) 2019-03-13
US20190014306A1 (en) 2019-01-10
EP3422347B1 (en) 2021-12-29
US11122252B2 (en) 2021-09-14
JPWO2017145721A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
CN103503070B (zh) 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法
JP6508248B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6508249B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN103281547B (zh) 数据结构、记录介质、播放设备和播放方法以及程序
JP6471915B2 (ja) 再生装置、再生方法、情報処理装置、情報処理方法、プログラム
JPWO2016027579A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6992740B2 (ja) 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
US8305860B2 (en) Information processing device, information processing method, and program
JP6863271B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6241692B2 (ja) 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体
WO2015178112A1 (ja) 情報処理装置、情報生成装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6973371B2 (ja) 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
JPWO2017199743A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6589980B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR20190131025A (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
JP2015153441A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2015167059A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6973371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151