JP2025008565A - 情報処理装置、再生装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、再生装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2025008565A JP2025008565A JP2023110826A JP2023110826A JP2025008565A JP 2025008565 A JP2025008565 A JP 2025008565A JP 2023110826 A JP2023110826 A JP 2023110826A JP 2023110826 A JP2023110826 A JP 2023110826A JP 2025008565 A JP2025008565 A JP 2025008565A
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional object
- coordinate system
- data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 66
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000009877 rendering Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】複数の3次元オブジェクトデータを同一座標系に表示するための情報を格納した単一のファイルを運用する。
【解決手段】第1の3次元オブジェクトの第1のデータと、第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する。第1の3次元オブジェクトと第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する。第1の3次元オブジェクトと第2の3次元オブジェクトとについて共通するメタデータであって、第1の3次元オブジェクト及び第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する。第1のデータを管理する第1のトラックと、第2のデータを管理する第2のトラックと、メタデータを管理する第3のトラックと、を生成する。第1のトラック、第2のトラック、及び第3のトラックと、第1のデータ及び第2のデータと、配置情報と、メタデータとを格納した単一のファイルを生成する。
【選択図】図3
【解決手段】第1の3次元オブジェクトの第1のデータと、第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する。第1の3次元オブジェクトと第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する。第1の3次元オブジェクトと第2の3次元オブジェクトとについて共通するメタデータであって、第1の3次元オブジェクト及び第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する。第1のデータを管理する第1のトラックと、第2のデータを管理する第2のトラックと、メタデータを管理する第3のトラックと、を生成する。第1のトラック、第2のトラック、及び第3のトラックと、第1のデータ及び第2のデータと、配置情報と、メタデータとを格納した単一のファイルを生成する。
【選択図】図3
Description
本発明は、情報処理装置、再生装置、情報処理方法、及びプログラムに関する。
3Dオブジェクトデータを生成する方法として、従来からコンピュータグラフィックスを用いる方法が知られている。だが近年、専用の装置やスタジオなどを使用して、実際の物や人物などの形状をスキャンして3Dオブジェクトデータを取得する方法が行われてきている。
また、このように生成又は取得した複数の3Dオブジェクトデータを、同一の3次元空間に配置するデータ活用も進められている。例えば、自動運転又は運転支援の分野では、LiDAR(Light Detection And Ranging又はLaser Imaging Detection and Ranging)と呼ばれる車載のリモートセンシング装置により取得した道路周辺の3Dオブジェクトデータをダイナミックマップに重畳して表示することで、道路情報をリアルタイムに更新する仕組みの開発などが進められている。
一方、ISO(International Organization for Standardization)及びIEC(International Electrotechnical Commission)傘下のMPEG(Moving Picture Experts Group)では、点群又はメッシュなどの3Dオブジェクトデータを符号化する規格と、符号化した3Dオブジェクトデータを格納するファイルフォーマット規格との標準化が進められている。
特許文献1では、MPEGで標準化が進められているG-PCC(Geometry based Point Cloud Compression)で符号化された3Dオブジェクトデータを空間的に分割して、分割した各部分の3Dオブジェクトデータの3次元空間における位置情報と、分割した各部分が同じグループに属する事を示すグルーピング情報を生成することで、部分的に3Dオブジェクトデータの品質を変更すること等を可能にする技術を開示している。
しかしながら、特許文献1に記載の技術では、1つの3Dオブジェクトデータを分割する形態は開示されているものの、異なる複数の3Dオブジェクトデータを1つのファイルに格納する形態は考慮されていない。
また、3Dモデルを表現するフォーマットであるglTFは、3次元空間の構造及び構成をJSON形式で記述するものであり、同一の3次元空間に複数の3Dオブジェクトデータを配置することが可能である。しかしながら、glTFでは3次元空間とオブジェクトデータとの関連付けはURIにより行われる仕様となっており、オブジェクトデータが表示可能なデータ形式であるか否かの判断を行うために個々のオブジェクトデータを読み出して解析する必要があった。
本発明は、複数の3次元オブジェクトデータを同一座標系に表示するための情報を格納した単一のファイルを運用することを目的とする。
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する取得手段と、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する第1の生成手段と、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する第2の生成手段と、前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する第3の生成手段と、前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する第4の生成手段と、を備える。
複数の3次元オブジェクトデータを同一座標系に表示するための情報を格納した単一のファイルを運用する
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[実施形態1]
本発明の一実施形態に係る情報処理装置の機能構成について図1を参照して説明する。図1は、実施形態1に係る情報処理装置100の機能構成を示すブロック図である。本実施形態に係る情報処理装置100は、データ取得部101、変換情報生成部102、データ解析部103、データ生成部104、トラック生成部105、及びファイル格納部106を備えている。
本発明の一実施形態に係る情報処理装置の機能構成について図1を参照して説明する。図1は、実施形態1に係る情報処理装置100の機能構成を示すブロック図である。本実施形態に係る情報処理装置100は、データ取得部101、変換情報生成部102、データ解析部103、データ生成部104、トラック生成部105、及びファイル格納部106を備えている。
データ取得部101は、符号化された点群データ又は3Dメッシュデータなどの、符号化された3次元(3D)オブジェクトデータを取得する。データ取得部101は、例えば不図示の外部装置から各種データを取得することができる。本実施形態においては、データ取得部101が取得する3Dオブジェクトデータは符号化されており、3Dオブジェクトデータの復号の際に用いられる情報(復号情報)を有している。本実施形態に係る復号情報は、復号に関連する情報を含むメタデータであり、復号を行う際に復号器に参照されるパラメータセット(プロファイル情報)を含んでいる。本実施形態においては、「復号に関連する情報」が、当該3Dオブジェクトデータが復号可能であるか否かを示す情報をパラメータセットとして含み、このパラメータセットが解析されることによって復号可能であるか否かの判定が行われる。
なお、ここでは、復号情報は、例えば符号化の際に用いられたツールセットを識別するプロファイル又はレベルなど、復号において参照される情報であり、公知の符号化技術により付することが可能であるため、詳細な説明は省略する。データ解析部103は、取得した3Dオブジェクトデータを解析して復号情報を抽出する。以下、このような3Dオブジェクトデータで示される3Dオブジェクトを単に「オブジェクト」と称する場合がある。
変換情報生成部102は、取得した3Dオブジェクトデータを任意の3次元空間に配置するための配置情報を生成する。本実施形態に係る配置情報は、2以上の3Dオブジェクトのローカル座標をそれぞれ同一座標系の座標に変換するための3D座標変換情報であるが、詳細な説明は図3及び図4を参照して後述する。本実施形態においては、データ取得部101により取得された3Dオブジェクトデータそれぞれから各3Dオブジェクトのローカル座標が生成され、これらのローカル座標が同一の座標系におけるグローバル座標に変換される。
データ生成部104は、データ解析部103が抽出した復号情報を管理するメタデータを生成する。本実施形態においては、取得した複数の3Dオブジェクトデータの復号情報が共通であるものとして、例えば後述する図3の303に示されるような共通メタデータを生成する機能を有する。本実施形態に係る共通メタデータは、各オブジェクトの描画に用いる共通の情報と、復号情報と、を含む。この共通の情報は、例えば光源情報又は視野情報であるものとするが、詳細は図5及び図6を参照して後述する。
本実施形態に係るトラック生成部105は、情報処理装置100が生成するファイルにおいて、各種データを管理するためのブロックとして、後述するtrakブロック(トラック)を生成する。ここでは、トラック生成部105は、取得した3Dオブジェクトデータの情報を格納するトラックと、データ生成部104で生成した共通メタデータを管理するトラックと、を生成することができる。
ファイル格納部106は、取得した複数の3Dオブジェクトデータと、トラック生成部105が生成したトラックを格納したファイルを生成する。
次に、本実施形態に係る情報処理装置100による、3Dオブジェクトデータの取得からファイル生成までの一連の処理について、図2を参照して説明する。図2は、本実施形態係る情報処理装置が行うファイルの生成処理の一例を示すフローチャートである。図2に係る処理は、例えば不図示の外部装置から情報処理装置100に3Dオブジェクトデータが送信された場合に開始される。
S201でデータ取得部101は、3Dオブジェクトデータを取得する。ここでは、データ取得部101は、外部装置から3Dオブジェクトデータを取得する。S202でトラック生成部105は、取得した3Dオブジェクトデータを管理するトラックを生成する。3Dオブジェクトデータを管理するトラックについては図3を参照して後述する。
S203でデータ取得部101は、S201においてファイルに格納するオブジェクトデータを全て取得したか否かの判定を行う。すべて取得している場合には処理がS204に進み、そうでない場合には処理がS201に戻る。ここでは、データ取得部101は、例えば所定個数の3Dオブジェクトデータを取得するよう設定がなされており、その所定個数の3Dオブジェクトデータを取得したか否かの判定を行ってもよい。また例えば、データ取得部101は、3Dオブジェクトデータを送信する外部装置から全ての3Dオブジェクトデータを送信したか否かを示す信号を受信することによって当該判定を行ってもよい。
S204で変換情報生成部102は、取得した3Dオブジェクトデータを配置する任意の3次元空間の座標系(グローバル座標系)における原点(基準位置)を設定する。このグローバル座標系は、3Dオブジェクトそれぞれを座標系に表示する際に用いる座標系であり、任意に設定することが可能である。例えば、グローバル座標系は、GPS(Global Positioning System)で特定される地理的な座標に基づいて設定される座標系であってもよい。また、グローバル座標系は、空間IDで定義される各空間の座標を表示するために用いられる座標系であってもよい。この場合、グローバル座標系において空間IDにより指定される空間における所定位置(例えば、空間IDにより指定されるボクセルなどの空間の隅の1つ)を、当該空間IDの基準点と表現するものとする。
本実施形態に係る空間IDは、同一のグローバル座標系における空間位置を指定する識別情報である。すなわち、本実施形態においては、空間IDにより実世界の任意の3次元空間の位置を一意に特定できるため、複数の空間IDにより指定される空間の位置関係も一意に特定することができる。従って、基準位置として空間IDを用いる場合には、3Dオブジェクトデータごとに異なる空間IDの基準点を基準位置として設定することが可能である。
また、本実施形態においては処理対象とするすべての3Dオブジェクトが同一のグローバル座標系上に変換されるものとして説明を行うが、特にこのように限定するわけではない。例えば、3Dオブジェクトをいくつかのグループにわけ、各3Dオブジェクトのローカル座標が、グループごとに異なる3次元空間の座標系の座標に変換されるものとしてもよい。
なお、本実施形態においては、空間IDにより、共通のグローバル座標系における空間位置が指定されるものとして説明を行った。しかしながら、各空間IDにより、異なる3次元空間の座標系における位置が指定されてもよい。例えば、構造物の階層ごとに空間IDが割り振られ、当該階層の隅を原点とした座標系が参照されるようにしてもよい。
S205で変換情報生成部102は、3D座標変換情報を生成する。本実施形態に係る3D座標変換情報は、対応する3Dオブジェクトの、グローバル座標系における位置と、グローバル座標系における姿勢と、グローバル座標系におけるサイズと、を示す情報を含む。ここでは、3D座標変換情報は、例えば、オブジェクトごとに算出される、グローバル座標の原点に対するローカル座標のオフセット(原点のズレ量)、座標軸のグローバル座標に対する傾き(回転角)、グローバル座標系に対するスケール情報(拡大倍率/縮小倍率)などを含む。
S206でデータ解析部103は、取得した3Dオブジェクトデータを解析して復号情報を抽出する。S207でデータ生成部104は、各3Dオブジェクトデータの復号に用いる復号情報を含む共通メタデータを生成する。
S208でトラック生成部105は、3D座標変換情報と共通パラメータとを格納するトラック(ベーストラック)を生成する。S209でファイル格納部106は、取得した複数の3Dオブジェクトデータと、トラック生成部105が生成したトラックを格納したファイルを生成し、図2の処理を終了する。
なお、符号化された3Dオブジェクトデータの形式は、3次元空間における位置情報であるジオメトリ情報を含む形式のものであれば良く、そのデータ形式は特に限定されない。例えば、本実施形態において用いられる3Dオブジェクトデータは、点群データ又は3Dメッシュデータなどの形式であってもよい。
次いで、図2で説明した一連の処理によって生成されるファイルの具体例について、図3を用いて説明する。図3は、本実施形態に係る情報処理装置100により生成されるファイルの内部構造の一例を示す概略図である。なお、図3で説明するファイル形式は、MPEGで標準化されているメディアファイルの基本仕様であるISO Base Media File Format(以降、ISOBMFFと記述する)によるものとして説明を行うが、同ようにデータを格納可能なのであれば特にこれに限定するわけではない。
本実施形態に係る情報処理装置100が生成するファイル300は、4文字の識別子によって識別されるボックスを複数備え、それぞれのボックスに用途別に情報を格納する。以下、各ボックスはそのボックスに割り当てられる4文字の識別子で表される。本実施形態に係るファイル300は、ボックスとして、ftyp、moov301、及びmdat310を含んでいる。ftyp(FileTypeBox)は、画像ファイルのタイプ/サブタイプを識別するためのbrandと呼ばれる4文字の識別子を有する。
moov(MovieBox)301は、trak(TrackBox)ボックスを複数含んでいる。本実施形態に係るmoov301は、動画又は画像などのデータに関するメタデータを格納可能であり、trakボックス(トラック)は動画、画像又は音声などのデータの配置位置(インデックス情報)を示すデータを格納可能である。ここでは、moov301は、ベーストラック302と、トラック306~トラック309と、を含む計9つのトラックを含んでいる。ここでは、オブジェクトの形状を示すための座標情報を管理するジオメトリトラック1~4と、オブジェクトの表面の色又は光の反射率などのオブジェクトの属性情報を管理するアトリビュートトラック1~4と、がmoov301に格納されている。
図3の例では、moov301内に独立したオブジェクト1~4の4つに対応する情報が格納されており、そのそれぞれがジオメトリトラック1~4及びアトリビュートトラック1~4として示されている。すなわち、例えばオブジェクト1に対応する情報を格納するブロックとして、ジオメトリトラック1(306)とアトリビュートトラック1(307)とが含まれている。なお、ジオメトリトラックとアトリビュートトラックとの関連付けは、ジオメトリトラック内にアトリビュートトラックへの参照情報を生成することにより定義される。
なお、これらのトラックで管理する座標情報及び属性情報の実データは、mdat(MediaDataBox)310に格納される。すなわち、moov301内に格納される情報はmdat310に格納された実データの参照先を示すインデックス情報であり、図3においては説明の都合上mdat310が小さく図示されているが、格納されるデータサイズに関しては各トラックに格納される情報よりもmdat310に格納される対応データの方が遥かに大きくなる。
ベーストラック302は、共通メタデータ303と、各オブジェクトに対応する3D座標変換情報と、を格納する。図3の例では、オブジェクト1~4にそれぞれ対応する3D座標変換情報1~4は、オブジェクトデータを共通の3次元空間(以下、仮想空間と呼ぶ)のグローバル座標に配置するための情報である。ここでは、オブジェクトごとにジオメトリトラックで座標情報としてローカル座標が管理されている。そのため、3D座標変換情報は、上述のように、オブジェクトごとに算出される、グローバル座標の原点に対するローカル座標のオフセット(原点のズレ量)、座標軸のグローバル座標に対する傾き(回転角)、グローバル座標系に対するスケール情報(拡大倍率/縮小倍率)などを含む。
ここで、3D座標変換情報の具体例について図4を用いて説明する。図4は、本実施形態に係る3D座標変換情報の一例を示す概略図である。図4において、グローバル座標401は、仮想空間における単一の空間座標であり、ローカル座標1~4は、それぞれオブジェクト1~4のローカル座標の座標系を表現する際の単位ベクトルである。以下、ローカル座標1(402)について説明を行う。
原点オフセット403は、仮想空間における、グローバル座標401の原点からのローカル座標1の原点の位置をオフセット値として示す情報であり、図4に示される3次元の直交座標系では3軸分のオフセット値(dx,dy,dz)で示す事ができる。
また、図4に示されるΔX(404)、ΔY(405)、及びΔZ(406)は、ローカル座標の座標軸のグローバル座標401に対する傾き(回転角)を示す情報である。この回転角は、図4の例では3次元の直交座標系におけるロール角/ピッチ角/ヨー角により示されているが、例えばクォータニオンを用いるなど、回転角を表現できるのであれば異なる手法が用いられてもよい。
また図4の例では、各3Dオブジェクトデータを仮想空間で表す際に、3Dオブジェクトデータのサイズをそれぞれ所望の比率とするためにスケール情報(拡大倍率/縮小倍率)が付与される。スケール情報は、例えば各ローカル座標系における、X,Y,Z方向の各々に対して設定されてもよい。スケール情報の値は、整数や分数などで定義することができる。スケール情報は、例えばユーザの入力に基づいて設定されてもよく、データ取得部101が取得した3Dオブジェクトデータに付されていてもよい。
ここまでローカル座標1について説明したが、他のローカル座標2~4についても同ように、それぞれ各種3D座標変換情報を生成することが可能である。このように各オブジェクトに対して3D座標変換情報を生成することにより、仮想空間における複数の3Dオブジェクトデータの相対的な配置情報を決定する事ができる。
なお、このような構成によれば、1つのファイルに複数の異なる3Dオブジェクトデータを格納できるため、複数の3Dオブジェクトを組み合わせて使用する際にファイル1つのみにより実装を行うことが可能である。例えば、背景の3Dオブジェクトデータと人物の3Dオブジェクトデータとが組み合わされてもよく、自動運転などで利用が期待されるダイナミックマップの一部分とLiDARで取得したリアルタイムに近い3Dオブジェクトデータを組み合わされてもよい。
なお、それぞれの3Dオブジェクトデータは、フレームレートが異なっていても良く、さらには静的な3Dオブジェクトデータと動的な3Dオブジェクトデータとが組み合わせて用いられてもよい。なお、静的な3Dオブジェクトデータをファイルに格納する場合には、trakボックスではなく不図示のiloc及びiinfボックスなどにアイテムとして格納される態様が考えられる。
なお、図3で示したように、3D座標変換情報はベーストラックに格納されるものとして説明したが、この格納場所は特にこのように限定されるわけではない。例えば、3D座標変換情報は、ジオメトリック1~4に各々格納されるなど、共通メタデータではなくオブジェクト各々に対応するトラック内に格納されるようにしてもよい。
ここで、複数の3Dオブジェクトデータを配置する仮想空間は、ユーザにより設定される仮想空間であるものとする。しかしながら、このグローバル座標は上述のように、GPSで特定される地理的な座標に基づいて設定される座標系であってもよく、空間IDを用いる際に使用される、予め定義された座標系であってもよい。
次に、図3の共通メタデータ303に格納する復号情報以外のメタデータの例について、図5及び図6を用いて説明する。図5は、本実施形態に係る仮想空間の光源情報の一例を示す概略図である。図5においては、光源が太陽である例が図5(a)として、光源が室内照明である例が図5(b)として示されている。仮想空間の座標であるグローバル座標501において、例えば光源として太陽を想定した図5(a)の場合、光源が平行光源となっており、光源方向502によって光源(太陽)の方向を定義する。さらに光源情報としては、その他の光源情報503として、光の強さ(全光束及び照度)、光の色(色温度)、並びに全方向から均一に入射する光である環境光の、光源全体に対する割合などが含まれていてもよい。
次いで、光源が室内照明である図5(b)の場合での光源情報の例について説明を行う。室内照明を用いる場合、光源情報として、グローバル座標501における光源の位置(空間座標)をしめす光源位置504、光源の方向を示す光源方向505、及び光源がスポット光であった場合のスポット光の配光角度を示す光源スポット角度506などが用いられてもよい。
なお、光源は一つの仮想空間に複数存在していてもよく、その場合それぞれの光源に対応する光源情報が格納される。さらに、光源が時間と共に動いたり、光の強さ及び色が変化したりなど光源に変化が生じる場合は、時間軸を持った動的な情報として扱えるように、光源情報がタイムドメタデータとして格納されてもよい。
次に図6は、本実施形態に係る仮想空間の視野情報の一例を示す概略図である。図6では、仮想空間の座標であるグローバル座標601における視点(カメラ)の空間座標を示す視点位置602、視点位置602からの視線の方向を示す視線方向603、視線方向603に示す方向を見た場合の画角を示す視野角604、及び視野角604の水平状態からの回転角度を示す回転角605によって、視野情報が示されている。なお、視点位置602、視線方向603、視野角604、及び回転角605は、時間と共に変化する場合があるため、これらの情報は、時間軸を持った動的な情報として扱えるように、タイムドメタデータとして格納されてもよい。また、視野情報として、視点がステレオか否かを示す情報が格納されてもよく、視点を選択可能となるように、複数の視野情報が格納されてもよい。
なお、上記の視野情報を構成する各種情報のパラメータについて説明を行う。視点位置602は、直交座標において(X,Y,Z)の3軸のパラメータで示す事ができる。視線方向603は、視点位置602からのベクトル情報であるため、視点位置602を基準位置とする(X,Y,Z)の3軸パラメータで示す事ができる。視野角604は、図6に示すような矩形の領域の場合、水平方向及び垂直方向のそれぞれの角度で示す事ができる。回転角605は、視野角604が示す矩形領域の水平方向の辺がXY平面と平行な状態を基準として、視点側から見て右回り又は左回りの角度として示す事ができる。
このように、本実施形態においては、共通メタデータとして、復号情報に加えて光源情報又は視野情報などを格納できるものとした。ここで、静的な情報である復号情報をISOBMFFファイルに格納する場合は、ベーストラック内のサンプル記述ボックス(SampleDescriptionBox)に記述するとよい。なお、ここでの「サンプル」は、ISOBMFFファイルに格納する映像、音声又は3Dオブジェクトの所定の単位時間に関連付けられたデータの集合であるものとする。サンプルとしては、例えば映像の場合はフレームレート、音声の場合はサンプリングレート等で表される、単位時間において再生処理されるべきデータの集合が用いられる。
光源情報又は視野情報に関しては、静的なデータである場合には、復号情報と同ようにサンプル記述ボックスに格納してもよいが、これは符号化データに関する情報ではないため、ベーストラック内のmetaボックス(MetaBox)に格納されてもよい。一方で、光源情報又は視野情報が動的なデータである場合、ベーストラックで管理するタイムドメタデータとして格納する事が望ましい。
なお、本実施形態においては、図3を参照して、3D座標変換情報がベーストラック又は個々のジオメトリトラックに格納される形態について説明を行った。しかしながら、3D座標変換情報が静的な情報である場合は、これもmetaボックスに格納するようにしてもよい。その場合、図3に示すようにジオメトリトラック内に3D座標変換情報を格納したmetaボックスへの参照情報311を定義することで、ジオメトリトラックと3D座標変換情報を関連付けることができる。
このように、各種情報が格納されるファイル内の位置は特に限定されるわけではなく、1つのファイル内で複数のオブジェクトについて同様に定義可能なのであれば任意の形態で実装が可能である。
このような構成によれば、複数の3次元オブジェクトについて、それらを同一座標系に配置するための配置情報とそれらのオブジェクトが復号可能であるかを示す復号情報とを生成し、生成した情報を1つのファイル内に格納することが可能となる。
本実施形態に係る情報処理装置100により、複数の3Dオブジェクトデータを格納したファイルが生成される。本実施形態においては、再生装置700が、情報処理装置100が生成したファイルから3Dオブジェクトデータの再生処理を行う。以下、本実施形態に係る再生装置700について、図7~図8を参照して説明を行う。図7は、本実施形態に係る再生装置700の機能構成の一例を示すブロック図である。再生装置700は、構成解析部701、メタデータ抽出部702、変換情報抽出部703、データ抽出部704、データ復号部705、及びレンダリング部706を備えている。
構成解析部701は、3Dオブジェクトデータを格納したファイルを解析し、各種データの場所を特定する。ここでは、構成解析部701は、情報処理装置100が生成したファイルから、共通メタデータ及び3Dオブジェクトデータの場所を特定することができる。
メタデータ抽出部702は、ファイル内の復号情報を解析し、符号化された3Dオブジェクトデータが復号可能か否かを判定する。具体的には、ファイルの共通メタデータを解析し、プロファイル情報に基づいて3Dオブジェクトデータが復号可能であるか否かを判定する。
変換情報抽出部703は、格納された3Dオブジェクトデータを仮想空間内で配置するための座標変換情報である3D座標変換情報を抽出する。
データ抽出部704は、ファイルから動画又は画像などの3Dオブジェクトデータに関する符号化データを抽出する。符号化データは、図3を用いて説明したmdat310に格納されている。この符号化データは、3Dオブジェクトデータを構成する座標情報の符号化された実データであるジオメトリデータ及び属性情報の符号化された実データであるアトリビュートデータを抽出することができる。
データ復号部705は、メタデータ抽出部702の判定結果に基づいて、符号化されたジオメトリデータ及びアトリビュートデータを復号する。
レンダリング部706は、変換情報抽出部703によって抽出された3D座標変換情報に基づいて、仮想空間の所定の座標に3Dオブジェクトデータをレンダリングする機能を有する。以下、このようにファイル内に格納された3Dオブジェクトデータを仮想空間内にレンダリングすることを指して、「再生する」と称するものとする。
なお、3Dオブジェクトデータのレンダリングには視野情報が必要となる。そのため、例えば図6を用いて説明した各種視野情報(視点位置602、視線方向603、視野角604、回転角605)の少なくとも一部を、予め共通メタデータとしてファイルに格納するようにしてもよい。その場合、メタデータ抽出部702は、共通メタデータから視野情報を読み出すことによって、レンダリングすべき対象の3Dオブジェクトデータと領域とを特定することができる。
次に、本実施形態に係る再生装置による、3Dオブジェクトデータ格納ファイルの取得から3Dオブジェクトデータのレンダリングまでの一連の処理について、図8を参照して説明を行う。図8は、本実施形態に係る再生装置による再生処理の一例を示すフローチャートである。
S801で構成解析部701は、符号化された3Dオブジェクトデータを格納したファイルを取得する。S802で構成解析部701は、取得した3Dオブジェクトデータ格納ファイルを解析する。
S803でメタデータ抽出部702は、3Dオブジェクトデータの共通パラメータとして格納されたプロファイル情報を抽出する。S804でメタデータ抽出部702は、プロファイル情報を解析し、ファイルに格納された3Dオブジェクトデータが復号可能か否か判定する。復号可能である場合には処理がS805へと進み、そうでない場合には処理が終了する。
S805で変換情報抽出部703は、ファイルから3D座標変換情報を抽出する。S806でデータ抽出部704は、ファイルから3Dオブジェクトデータを構成するジオメトリデータとアトリビュートデータとを抽出する。S807でデータ復号部705は、抽出した3Dオブジェクトデータを復号する。
S808でレンダリング部706は、抽出した3D座標変換情報を用いて、復号した3Dオブジェクトデータの仮想空間における位置情報を決定し、所定の視野情報を用いてレンダリングを行う。この時、視野情報は上述のように共通パラメータに含まれていてもよく、再生装置700が有していてもよい。
[変形例]
図3においては、座標情報及び属性情報を管理するトラックとは別に共通メタデータを管理するベーストラック302が用意されるファイル構造の例が図示されている。しかしながらファイル構造はこのようには限定されず、例えばジオメトリトラックに共通メタデータが格納されるような態様であってもよい。以下、そのようなファイル構造の変形例について、図9を参照して説明を行う。
図3においては、座標情報及び属性情報を管理するトラックとは別に共通メタデータを管理するベーストラック302が用意されるファイル構造の例が図示されている。しかしながらファイル構造はこのようには限定されず、例えばジオメトリトラックに共通メタデータが格納されるような態様であってもよい。以下、そのようなファイル構造の変形例について、図9を参照して説明を行う。
図9に図示されるファイル900は、ボックスとしてftyp、moov901、及びmdat909を含んでいる。ファイル900の基本的な構造及び機能はファイル300と同様であるため、重複する説明は省略する。
moov901は、図3の例と同様に、オブジェクト1~4に対応するジオメトリトラック1~4とアトリビュートトラック1~4とを含んでいる。ファイル900においては、ファイル300と異なりベーストラックが含まれておらず、ベーストラック302に格納されていた情報がジオメトリトラック1(902)に格納されている。すなわち、ファイル900におけるジオメトリトラック1(902)は、ジオメトリトラック306に格納されていた情報に加え、ファイル300においてはベーストラック302に格納されていた共通メタデータ及び3D座標変換情報を格納している。
一般に、ISOBMFFをベースとするフォーマットに格納されたメディアは、再生する対象のトラックを再生装置が任意に選択する事が可能である。したがって、必ず解析処理を行うことになるトラック(ここでは、ジオメトリトラック902)に、ファイルを再生する際に必須となるコンテンツ(例えば、背景コンテンツ)が格納されるように、ファイル900を生成してもよい。
[実施形態2]
上述の実施形態においては、例えば図1等に示される各処理部は、専用のハードウェアによって実現される。情報処理装置100が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。
上述の実施形態においては、例えば図1等に示される各処理部は、専用のハードウェアによって実現される。情報処理装置100が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。
図10はコンピュータの基本構成を示す図である。図10においてプロセッサ1001は、例えばCPUであり、コンピュータ全体の動作をコントロールする。メモリ1002は、例えばRAMであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体1003は、例えばハードディスク又はCD-ROM等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体1003が格納している、各部の機能を実現するプログラムが、メモリ1002へと読み出される。そして、プロセッサ1001が、メモリ1002上のプログラムに従って動作することにより、各部の機能が実現される。
図10において、入力インタフェース1004は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース1005は外部の装置へと情報を出力するためのインタフェースである。バス1006は、上述の各部を接続し、データのやりとりを可能とする。また、再生装置700についても、図10に示したようなものと同様のハードウェアにより実装可能である。
本明細書の開示は、以下の情報処理装置、情報処理方法、及びプログラムを含む。
(項目1)
第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する取得手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する第1の生成手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する第2の生成手段と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する第3の生成手段と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する第4の生成手段と、
を備える、情報処理装置。
(項目2)
前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、項目1に記載の情報処理装置。
(項目3)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における位置を示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の原点の座標と前記同一座標系の原点の座標との間のベクトルであることを特徴とする、項目2に記載の情報処理装置。
(項目4)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における姿勢を示す情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の座標軸と前記同一座標系の座標軸との回転角であることを特徴とする、項目2又は3に記載の情報処理装置。
(項目5)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系におけるサイズを示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系と前記同一座標系との、X軸、Y軸及びZ軸の値それぞれについての拡大倍率又は縮小倍率であることを特徴とする、項目2乃至4の何れか一項目に記載の情報処理装置。
(項目6)
前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、項目1乃至5の何れか一項目に記載の情報処理装置。
(項目7)
前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるパラメータセットであることを特徴とする、項目1乃至6の何れか一項目に記載の情報処理装置。
(項目8)
前記第3の生成手段は、前記第1、前記第2及び前記第3のトラックとして、データの参照先を示すインデックス情報を格納するボックスを生成し、
前記第4の生成手段は、前記配置情報と前記メタデータとを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目1乃至7の何れか一項目に記載の情報処理装置。
(項目9)
前記第2の生成手段は、前記同一座標系における視点を示す視野情報をさらに生成し、
前記第4の生成手段は、前記メタデータと前記視野情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目8に記載の情報処理装置。
(項目10)
前記視野情報は、前記同一座標系における視点位置を示す情報であることを特徴とする、項目9に記載の情報処理装置。
(項目11)
前記第2の生成手段は、前記同一座標系における光源を示す光源情報をさらに生成し、
前記第3の生成手段は、前記メタデータと前記光源情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目8乃至10の何れか一項目に記載の情報処理装置。
(項目12)
前記光源情報は、前記同一座標系における前記光源の位置、方向、光の強さ、及び光の色のうちの少なくとも1つを含むことを特徴とする、項目11に記載の情報処理装置。
(項目13)
前記光源情報は、前記光源がスポット光を含む場合の、前記スポット光の配光角度を含むことを特徴とする、項目11又は12に記載の情報処理装置。
(項目14)
前記光源情報は、前記同一座標系における、複数の光源を示す情報であることを特徴とする、項目11乃至13の何れか一項目に記載の情報処理装置。
(項目15)
前記光源情報は、前記光源が全方向から均一に入射する環境光を含む場合の、光源全体に対する前記環境光の割合を示す情報を含むことを特徴とする、項目11乃至14の何れか一項目に記載の情報処理装置。
(項目16)
第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する第1の取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する第2の取得手段と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する復号手段と、
前記配置情報と、前記復号手段により復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングするレンダリング手段と、
を備える、再生装置。
(項目17)
前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、項目16に記載の再生装置。
(項目18)
前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、項目16又は17に記載の再生装置。
(項目19)
前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるプロファイル情報であることを特徴とする、項目16乃至18の何れか一項目に記載の再生装置。
(項目20)
前記第2の取得手段は、前記ファイルから、前記同一座標系における視点を示す視野情報をさらに取得し、
前記レンダリング手段は、前記視野情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、項目16乃至19の何れか一項目に記載の再生装置。
(項目21)
前記第2の取得手段は、前記ファイルから、前記同一座標系における光源を示す光源情報をさらに取得し、
前記レンダリング手段は、前記光源情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、項目16乃至20の何れか一項目に記載の再生装置。
(項目22)
第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する工程と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する工程と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する工程と、
を備える、情報処理方法。
(項目23)
第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する工程と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する工程と、
前記配置情報と、復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングする工程と、
を備える、情報処理方法。
(項目24)
コンピュータを、項目1乃至15の何れか一項目に記載の情報処理装置、又は項目16乃至21の何れか一項目に記載の再生装置の各手段として機能させるためのプログラム。
第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する取得手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する第1の生成手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する第2の生成手段と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する第3の生成手段と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する第4の生成手段と、
を備える、情報処理装置。
(項目2)
前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、項目1に記載の情報処理装置。
(項目3)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における位置を示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の原点の座標と前記同一座標系の原点の座標との間のベクトルであることを特徴とする、項目2に記載の情報処理装置。
(項目4)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における姿勢を示す情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の座標軸と前記同一座標系の座標軸との回転角であることを特徴とする、項目2又は3に記載の情報処理装置。
(項目5)
前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系におけるサイズを示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系と前記同一座標系との、X軸、Y軸及びZ軸の値それぞれについての拡大倍率又は縮小倍率であることを特徴とする、項目2乃至4の何れか一項目に記載の情報処理装置。
(項目6)
前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、項目1乃至5の何れか一項目に記載の情報処理装置。
(項目7)
前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるパラメータセットであることを特徴とする、項目1乃至6の何れか一項目に記載の情報処理装置。
(項目8)
前記第3の生成手段は、前記第1、前記第2及び前記第3のトラックとして、データの参照先を示すインデックス情報を格納するボックスを生成し、
前記第4の生成手段は、前記配置情報と前記メタデータとを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目1乃至7の何れか一項目に記載の情報処理装置。
(項目9)
前記第2の生成手段は、前記同一座標系における視点を示す視野情報をさらに生成し、
前記第4の生成手段は、前記メタデータと前記視野情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目8に記載の情報処理装置。
(項目10)
前記視野情報は、前記同一座標系における視点位置を示す情報であることを特徴とする、項目9に記載の情報処理装置。
(項目11)
前記第2の生成手段は、前記同一座標系における光源を示す光源情報をさらに生成し、
前記第3の生成手段は、前記メタデータと前記光源情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、項目8乃至10の何れか一項目に記載の情報処理装置。
(項目12)
前記光源情報は、前記同一座標系における前記光源の位置、方向、光の強さ、及び光の色のうちの少なくとも1つを含むことを特徴とする、項目11に記載の情報処理装置。
(項目13)
前記光源情報は、前記光源がスポット光を含む場合の、前記スポット光の配光角度を含むことを特徴とする、項目11又は12に記載の情報処理装置。
(項目14)
前記光源情報は、前記同一座標系における、複数の光源を示す情報であることを特徴とする、項目11乃至13の何れか一項目に記載の情報処理装置。
(項目15)
前記光源情報は、前記光源が全方向から均一に入射する環境光を含む場合の、光源全体に対する前記環境光の割合を示す情報を含むことを特徴とする、項目11乃至14の何れか一項目に記載の情報処理装置。
(項目16)
第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する第1の取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する第2の取得手段と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する復号手段と、
前記配置情報と、前記復号手段により復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングするレンダリング手段と、
を備える、再生装置。
(項目17)
前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、項目16に記載の再生装置。
(項目18)
前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、項目16又は17に記載の再生装置。
(項目19)
前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるプロファイル情報であることを特徴とする、項目16乃至18の何れか一項目に記載の再生装置。
(項目20)
前記第2の取得手段は、前記ファイルから、前記同一座標系における視点を示す視野情報をさらに取得し、
前記レンダリング手段は、前記視野情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、項目16乃至19の何れか一項目に記載の再生装置。
(項目21)
前記第2の取得手段は、前記ファイルから、前記同一座標系における光源を示す光源情報をさらに取得し、
前記レンダリング手段は、前記光源情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、項目16乃至20の何れか一項目に記載の再生装置。
(項目22)
第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する工程と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する工程と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する工程と、
を備える、情報処理方法。
(項目23)
第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する工程と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する工程と、
前記配置情報と、復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングする工程と、
を備える、情報処理方法。
(項目24)
コンピュータを、項目1乃至15の何れか一項目に記載の情報処理装置、又は項目16乃至21の何れか一項目に記載の再生装置の各手段として機能させるためのプログラム。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば本発明は、システム、装置、方法、プログラム又は記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、又はwebアプリケーション等)から構成されるシステムに適用してもよく、また、一つの機器からなる装置に適用してもよい。
なお本発明は、前述した実施形態における情報処理装置の機能を実現するソフトウェアのプログラムを、システム又は装置に直接若しくは遠隔に供給し、そのシステム又は装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、コンピュータ読取可能であり、実施形態1において図に示したフローチャートに対応した処理を実行するプログラムである。
従って、本発明の情報処理装置による機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の情報処理装置による機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタープリタにより実行されるプログラム、又はOSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、又はDVD(DVD-ROM若しくはDVD-R)などである。
プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)がハードディスク等の記録媒体にダウンロードされてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバーも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。該ユーザは、その鍵情報を使用することによって暗号化されたプログラムをコンピュータにインストールさせることができる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した情報処理装置の機能が実現され得る。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した情報処理装置の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボード又は機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行うことが可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:情報処理装置、101:データ取得部、102:変換情報生成部、103:データ解析部、104:データ生成部、105:トラック生成部、106:ファイル格納部
Claims (24)
- 第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する取得手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する第1の生成手段と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する第2の生成手段と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する第3の生成手段と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する第4の生成手段と、
を備える、情報処理装置。 - 前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、請求項1に記載の情報処理装置。
- 前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における位置を示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の原点の座標と前記同一座標系の原点の座標との間のベクトルであることを特徴とする、請求項2に記載の情報処理装置。
- 前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系における姿勢を示す情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系の座標軸と前記同一座標系の座標軸との回転角であることを特徴とする、請求項2に記載の情報処理装置。
- 前記第1及び前記第2の3次元オブジェクトのそれぞれの前記同一座標系におけるサイズを示す情報は、3次元の直交座標系で評価される、前記第1及び前記第2の3次元オブジェクトのそれぞれのローカル座標系と前記同一座標系との、X軸、Y軸及びZ軸の値それぞれについての拡大倍率又は縮小倍率であることを特徴とする、請求項2に記載の情報処理装置。
- 前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、請求項1に記載の情報処理装置。
- 前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるパラメータセットであることを特徴とする、請求項1に記載の情報処理装置。
- 前記第3の生成手段は、前記第1、前記第2及び前記第3のトラックとして、データの参照先を示すインデックス情報を格納するボックスを生成し、
前記第4の生成手段は、前記配置情報と前記メタデータとを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、請求項1に記載の情報処理装置。 - 前記第2の生成手段は、前記同一座標系における視点を示す視野情報をさらに生成し、
前記第4の生成手段は、前記メタデータと前記視野情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、請求項8に記載の情報処理装置。 - 前記視野情報は、前記同一座標系における視点位置を示す情報であることを特徴とする、請求項9に記載の情報処理装置。
- 前記第2の生成手段は、前記同一座標系における光源を示す光源情報をさらに生成し、
前記第4の生成手段は、前記メタデータと前記光源情報とを、同一の前記ボックスによりインデックスを管理するように前記単一のファイルを生成することを特徴とする、請求項8に記載の情報処理装置。 - 前記光源情報は、前記同一座標系における前記光源の位置、方向、光の強さ、及び光の色のうちの少なくとも1つを含むことを特徴とする、請求項11に記載の情報処理装置。
- 前記光源情報は、前記光源がスポット光を含む場合の、前記スポット光の配光角度を含むことを特徴とする、請求項11に記載の情報処理装置。
- 前記光源情報は、前記同一座標系における、複数の光源を示す情報であることを特徴とする、請求項11に記載の情報処理装置。
- 前記光源情報は、前記光源が全方向から均一に入射する環境光を含む場合の、光源全体に対する前記環境光の割合を示す情報を含むことを特徴とする、請求項11に記載の情報処理装置。
- 第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する第1の取得手段と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する第2の取得手段と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する復号手段と、
前記配置情報と、前記復号手段により復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングするレンダリング手段と、
を備える、再生装置。 - 前記配置情報は、前記第1及び前記第2の3次元オブジェクトのそれぞれの、前記同一座標系における位置を示す情報、前記同一座標系における姿勢を示す情報、及び前記同一座標系におけるサイズを示す情報を含むことを特徴とする、請求項16に記載の再生装置。
- 前記同一座標系の原点は空間IDにより管理される空間の基準位置であることを特徴とする、請求項16に記載の再生装置。
- 前記メタデータは、前記第1及び前記第2の3次元オブジェクトの復号時に参照されるプロファイル情報であることを特徴とする、請求項16に記載の再生装置。
- 前記第2の取得手段は、前記ファイルから、前記同一座標系における視点を示す視野情報をさらに取得し、
前記レンダリング手段は、前記視野情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、請求項16に記載の再生装置。 - 前記第2の取得手段は、前記ファイルから、前記同一座標系における光源を示す光源情報をさらに取得し、
前記レンダリング手段は、前記光源情報に基づいて前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングすることを特徴とする、請求項16に記載の再生装置。 - 第1の3次元オブジェクトの第1のデータと、前記第1の3次元オブジェクトとは異なる第2の3次元オブジェクトの第2のデータと、を取得する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を生成する工程と、
前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを生成する工程と、
前記第1のデータを管理する第1のトラックと、前記第2のデータを管理する第2のトラックと、前記メタデータを管理する第3のトラックと、を生成する工程と、
前記第1のトラック、前記第2のトラック、及び前記第3のトラックと、前記第1のデータ及び前記第2のデータと、前記配置情報と、前記メタデータとを格納した単一のファイルを生成する工程と、
を備える、情報処理方法。 - 第1の3次元オブジェクトのデータ及び第2の3次元オブジェクトのデータを格納した単一のファイルを取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとを同一座標系に配置するための配置情報を取得する工程と、
前記ファイルから、前記第1の3次元オブジェクトと前記第2の3次元オブジェクトとについて共通するメタデータであって、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトの復号に関連する情報を含むメタデータを取得する工程と、
前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトが復号可能である場合に、前記第1の3次元オブジェクトのデータ及び前記第2の3次元オブジェクトのデータを復号する工程と、
前記配置情報と、復号された前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトと、に基づいて、前記同一座標系の空間に、前記第1の3次元オブジェクト及び前記第2の3次元オブジェクトをレンダリングする工程と、
を備える、情報処理方法。 - コンピュータを、請求項1乃至15の何れか一項に記載の情報処理装置、又は請求項16乃至21の何れか一項に記載の再生装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023110826A JP2025008565A (ja) | 2023-07-05 | 2023-07-05 | 情報処理装置、再生装置、情報処理方法、及びプログラム |
PCT/JP2024/023737 WO2025009499A1 (ja) | 2023-07-05 | 2024-07-01 | 情報処理装置、再生装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023110826A JP2025008565A (ja) | 2023-07-05 | 2023-07-05 | 情報処理装置、再生装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2025008565A true JP2025008565A (ja) | 2025-01-20 |
Family
ID=94171541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023110826A Pending JP2025008565A (ja) | 2023-07-05 | 2023-07-05 | 情報処理装置、再生装置、情報処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2025008565A (ja) |
WO (1) | WO2025009499A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4085642A4 (en) * | 2020-01-03 | 2024-01-03 | Nokia Technologies Oy | REAL-TIME TEXTURE ADAPTATION METHOD |
MX2022015293A (es) * | 2020-06-09 | 2023-01-04 | Sony Group Corp | Dispositivo y metodo de procesamiento de informacion. |
KR20230023626A (ko) * | 2020-06-11 | 2023-02-17 | 소니그룹주식회사 | 정보 처리 장치 및 방법 |
WO2022220278A1 (ja) * | 2021-04-14 | 2022-10-20 | ソニーグループ株式会社 | 情報処理装置および方法 |
JPWO2023277062A1 (ja) * | 2021-06-30 | 2023-01-05 | ||
KR20240032899A (ko) * | 2021-07-03 | 2024-03-12 | 엘지전자 주식회사 | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 |
-
2023
- 2023-07-05 JP JP2023110826A patent/JP2025008565A/ja active Pending
-
2024
- 2024-07-01 WO PCT/JP2024/023737 patent/WO2025009499A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2025009499A1 (ja) | 2025-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11488355B2 (en) | Virtual world generation engine | |
KR20190008325A (ko) | 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램 | |
CN109565571B (zh) | 标示关注区域的方法与装置 | |
TWI634516B (zh) | 指示視訊內容之文件格式 | |
US20190200096A1 (en) | File generation device, file generation method, reproducing device, and reproducing method | |
CN112150603B (zh) | 基于三维点云的初始视角控制和呈现方法及系统 | |
CN115379189A (zh) | 一种点云媒体的数据处理方法及相关设备 | |
CN110663067B (zh) | 用于生成现实世界场景的定制视图的虚拟化投影以包括在虚拟现实媒体内容中的方法和系统 | |
CN112954292A (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
CN114556962B (zh) | 多视点视频处理方法和装置 | |
CN118612397A (zh) | 一种点云媒体的数据处理方法及相关设备 | |
CN115883871A (zh) | 媒体文件封装与解封装方法、装置、设备及存储介质 | |
CN114078191B (zh) | 一种点云媒体的数据处理方法、装置、设备及介质 | |
WO2025039862A1 (zh) | 媒体数据处理方法、装置、设备及存储介质 | |
JP2025008565A (ja) | 情報処理装置、再生装置、情報処理方法、及びプログラム | |
CN118470233A (zh) | 全景地理事件场景的生成方法、装置、设备及存储介质 | |
Rossoni et al. | Physically based rendering of animated point clouds for extended reality | |
Han et al. | The application of augmented reality technology on museum exhibition—a museum display project in Mawangdui Han dynasty tombs | |
CN104601950A (zh) | 一种视频监控方法 | |
CN115086635B (zh) | 多视角视频的处理方法、装置、设备及存储介质 | |
CN112825198B (zh) | 移动标签显示方法、装置、终端设备及可读存储介质 | |
CN115426502B (zh) | 点云媒体的数据处理方法、装置、设备及存储介质 | |
CN115834857B (zh) | 点云数据处理方法、装置、设备及存储介质 | |
Song et al. | Image Data Fusion Algorithm Based on Virtual Reality Technology and Nuke Software and Its Application | |
Kim et al. | Digilog miniature: real-time, immersive, and interactive AR on miniatures |