JP2024112624A - 情報処理装置、方法、およびプログラム - Google Patents

Abstract

【課題】視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供する。
【解決手段】本開示の一態様のプログラムは、屋内空間を撮影した写真を含む画像情報を取得する手段、屋内空間に存在する物体の位置を特定可能な情報を取得する手段、少なくとも画像情報に基づくモデル入力データに、屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の属性情報を生成する手段、物体の位置情報および属性情報を含む屋内空間データベースを生成する手段、屋内空間データベースに基づいて、三次元モデルを生成する手段、として機能させる。
【選択図】図２

Description

本開示は、情報処理装置、方法、およびプログラムに関する。

従来の技術では、例えばLiDAR(Light Detection And Ranging)により屋内空間の３次元形状を計測することで三次元メッシュを作成し、屋内空間の撮影画像に基づくテクスチャを貼り付けることで、屋内空間の三次元モデルが生成される。

例えば特許文献１には、撮影エリアを部分的に重複させた複数のシーンの各々の画像データおよび点群データから局所３次元サーフェスモデルを作成し、この局所３次元サーフェスモデルの各要素面に対しシーンの画像データから合成したテクスチャを貼り付け、複数の局所３次元サーフェスモデルを統合した３次元サーフェスモデルを作成する技術思想について開示されている。

特開 特開2006-098256 特表2021-528794 号公報

従来の手法により生成された三次元モデルは、映画、ビデオゲーム、ＶＲ（Virtual Reality）・メタバース、などの高品質な視覚的品質が要求されるコンテンツにおいて利用するにあたっていくつかの問題がある。

第１に、三次元モデルの視覚的品質が、テクスチャのベースとなる画像（以下、「ベース画像」という）の光学的条件および解像度により大きく左右される。仮に、同一の三次元モデルに異なる光学的条件下で撮影されたベース画像に基づくテクスチャとして貼り付けたとすると、観者に違和感を与えるおそれがある。また、かかる三次元モデルを仮想空間に配置すると、当該仮想空間に設定される光学的条件次第で、当該モデルの見た目がいっそう不自然となるおそれがある。例えば、ベース画像に影などのノイズが写り込んでいると、仮想空間における時間帯（朝夕）や天気による光の効果をコンテンツ制作者の意図したとおりに表現できないことがある。また、低い解像度のベース画像に基づくテクスチャを利用すると当該テクスチャの拡大時に粗が目立つ。故に、かかる三次元モデルは、特にビデオゲームのようにプレイヤーが自由に三次元モデルを観察できるコンテンツにおいて、要求される視覚的品質を満たせないおそれがある。

第２に、かかる三次元モデルは、三次元メッシュにテクスチャを貼り付けることで生成されるので、軽微なカスタマイズであっても、三次元メッシュまたはテクスチャの破綻のおそれがあるため容易には施せず、融通が効かない。また、かかる三次元モデルは、特にベース画像と異なる光学的条件下で、屋内空間に存在する物体（すなわち、屋内空間を区画する部位（すなわち、天井、壁、または床）または屋内空間に配置された物品）を構成する材料に特有の質感を再現することが困難である。

第３に、ベース画像には、人の容貌、絵画、などが含まれ得る。故に、ベース画像をそのままテクスチャとして用いる三次元モデルは第三者の権利を侵害するリスクがあるため、コンテンツ制作者が当該三次元モデルの採用をためらうおそれがある。

本開示の目的は、視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供することである。

本開示の一態様のプログラムは、屋内空間を撮影した写真を含む画像情報を取得する手段、屋内空間に存在する物体の位置を特定可能な情報を取得する手段、少なくとも画像情報に基づくモデル入力データに、屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の属性情報を生成する手段、物体の位置情報および属性情報を含む屋内空間データベースを生成する手段、屋内空間データベースに基づいて、三次元モデルを生成する手段、として機能させる。

本実施形態の情報処理装置の構成を示すブロック図である。 本実施形態の一態様の説明図である。 本実施形態の各物体の物体情報のデータ構造を示す図である。 本実施形態の三次元モデル生成処理のフローチャートである。 本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。 本実施形態の三次元モデル編集処理のフローチャートである。 本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理装置の構成
情報処理装置の構成について説明する。図１は、本実施形態の情報処理装置の構成を示すブロック図である。

情報処理装置１０は、コンピュータ（例えば、パーソナルコンピュータ、サーバコンピュータ、ワークステーション、など）である。

図１に示すように、情報処理装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。情報処理装置１０は、ディスプレイ２１に接続される。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、情報処理装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

入出力インタフェース１３は、情報処理装置１０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、情報処理装置１０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、カメラ、センサ（LiDARなどの測距センサを含み得る）、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

通信インタフェース１４は、情報処理装置１０と外部装置（例えば、図示しないサーバ、またはクライアント装置）との間の通信を制御するように構成される。

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

（２）実施形態の一態様
本実施形態の一態様について説明する。図２は、本実施形態の一態様の説明図である。

図２に示すように、カメラＣＭ１１は、屋内空間（例えば、家屋の内部空間、商業施設の内部空間、または公共施設の内部空間）を典型的には複数の異なる方向から撮影する。情報処理装置１０は、カメラＣＭ１１によって撮影された写真（デジタル写真、および撮影された動画像を構成する画像（フレーム）を含み得る）を含む複数の画像情報を取得する。なお、これら画像情報は、１台のカメラＣＭ１１に限らず、当該カメラＣＭ１１を含む複数のカメラによって撮影された写真を含むことができる。情報処理装置１０は、カメラＣＭ１１から直接的に画像情報を取得してもよいし、図示しない外部サーバに蓄積された画像情報を取得してもよい。写真に対応する画像情報は、当該写真を撮影したカメラの位置または姿勢の少なくとも１つに関する情報と関連付けられ得る。

ここで、屋内空間には様々な物体が配置され得る。物体は、物品は勿論、不動産（例えば建物）またはその構成要素（例えば、天井、壁、または床）を含み得る。物品とは、有体物である動産を意味する。物品は、人工物は勿論、自然物（例えば、植物、動物、石、など）、または自然物を加工した物を含み得る。人工物は、工業製品は勿論、美術品（例えば、彫刻、絵画、等）を含み得る。

情報処理装置１０は、屋内空間に存在する物体の位置を特定可能な情報を取得する。例えば、情報処理装置１０は、LiDARまたはその他の測距手段により屋内空間に対して測距を行った結果に関する空間センシング情報を取得してもよい。或いは、情報処理装置１０は、屋内空間の地図情報（例えば、屋内空間の二次元の間取り図）を取得してもよい。情報処理装置１０は、かかる情報を参照することで、物体がどこにあるか、または屋内空間を区画する部位の形状を把握することができる。

情報処理装置１０は、取得した画像情報に基づいて屋内空間に存在する各物体を認識し、当該物体に対応する部分を抽出する。情報処理装置１０は、少なくともこの抽出結果に基づくモデル入力データに、属性予測モデルＬＭ１２を適用する。属性予測モデルＬＭ１２は、モデル入力データに対応する物体の属性を予測することで、属性情報を生成する。

情報処理装置１０は、各物体に関する情報（以下、「物体情報」という）が格納された屋内空間データベースＩＳＤ１３を生成する。物体情報は、対応する物体の位置情報と、対応する物体について属性予測モデルＬＭ１２によって出力された属性情報とを含むことができる。

屋内空間データベースＩＳＤ１３は、屋内空間に存在する各物体を物体情報によって構造化した情報に相当する。故に、屋内空間データベースＩＳＤ１３から生成（モデリング）可能な三次元モデルＴＭ１４は、複数の写真を合成することで生成された三次元モデルとは異なり、拡大により劣化することがない。また、カメラＣＭ１１により撮影された写真に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルＴＭ１４によって表される各物体のベースの色の予測に影響を与えるに過ぎず、三次元モデルＴＭ１４の局所的なノイズとはならない。故に、かかる三次元モデルＴＭ１４は、その配置される仮想空間における光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

人の容貌は、物体として認識されないので、三次元モデルＴＭ１４には反映されない。また、例えば商品タグ、看板などの物体に対する付属物は、属性予測モデルＬＭ１２によって当該物体の属性の１つとして予測可能であり、当該付属物を取り除いた状態、または当該付属物の形態（例えば記載内容）を別の形態（例えば別の文字、数字、記号、絵、またはそれらの組み合わせ）に置き換えた状態の物体を表現する三次元モデルＴＭ１４を生成することができる。故に、第三者の権利を侵害するリスクの低い三次元モデルＴＭ１４を生成することができる。

さらに、属性予測モデルＬＭ１２が属性情報として物体の光学的特性を予測するようにしてもよい。ここで、光学的特性に関する情報は、物体の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含み得る。反射率または透過率に関する情報は、例えば具体的な数値を表してもよい。かかる属性情報に基づいて三次元モデルＴＭ１４を生成し、三次元ＣＧ（Computer Graphics）をレンダリングすることで、オリジナルの屋内空間に存在する各物体が備えていた質感を様々な光学的条件の下で再現することができるうえ、かつ当該物体が備えていた質感を容易に調整することが可能となる。また、物体情報には、各物体の位置情報が含まれ得る。これにより、オリジナルの屋内空間に存在する各物体の位置関係を三次元モデルＴＭ１４においても再現し、臨場感を高めることができる。

（３）データ構造
本実施形態の屋内空間データベースに格納される各物体の物体情報のデータ構造について説明する。図３は、本実施形態の各物体の物体情報のデータ構造を示す図である。

物体情報は、対象の物体（対象の屋内空間に存在する物体）の位置および当該物体が備える属性に関する情報である。図３に示すように、物体情報は、例えば物体ＩＤと、位置情報と、種別情報と、要素情報とを含むことができる。

物体ＩＤは、対象の物体を識別する情報である。
位置情報は、対象の物体の位置（三次元座標）に関する情報である。

種別情報は、対象の物体の種別に関する情報であり、属性情報の一例である。第１例として、種別情報は、対象の物体が、屋内空間を区画する物体（例えば、天井、壁、または床）に相当するか否かを示す情報を含むことができる。第２例として、種別情報は、対象の物体が、屋内空間に配置された据え置き型の物品に相当するか否かを示す情報を含むことができる。据え置き型の物品は、典型的には、据え置き型（つまり、通常移動することなく使用される）家具であり、ソファ、テーブル、デスク、ベッド、収納家具、キッチン、または他の住宅設備などである。据え置き型でない物品は、典型的には、その他の（つまり、通常頻繁に移動する）家具または雑貨であり、チェア、カーテン、ブラインド、クッション、生活雑貨、またはインテリア雑貨である。或いは、種別情報は、機能的分類ではなく、一般名称を表してもよい。

要素情報は、対象の物体を構成する要素（部分）の属性に関する情報であり、属性情報の一例である。なお、対象の物体が一要素から構成される場合に、要素情報は当該物体全体の属性に関する情報を指す。要素の数は任意である。複数の要素から構成される物体として、例えば特定の木材からなる天板と特定の金属からなる脚とにより構成されるデスク、などが挙げられる。一要素から構成される物体として、例えば陶器のカップ、などが挙げられる。なお、特定の種別情報に対応する要素情報のデータ構造が予め定められてもよい。

図３に示すように、要素情報は、要素ＩＤと、位置関係情報と、形状情報と、光学的特性情報と、色情報と、付属物情報と、材料情報とを含むことができる。

要素ＩＤは、対象の要素を識別する情報である。
位置関係情報は、対象の要素と、他の要素、または対象の物体全体との位置関係（接続関係を含み得る）に関する情報である。換言すれば、位置関係情報は、物体における要素間の境界を定義する。

形状情報は、対象の要素の形状（典型的には三次元形状）に関する情報である。一例として、形状情報は、対象の要素の形状を表現する三次元メッシュを定義する情報である。なお、形状情報は、対象の要素ではなく、物体全体に対して定義されてもよい。この場合には、形状情報と位置関係情報との組み合わせにより、各要素の形状は特定可能である。

光学的特性情報は、対象の要素の光学的特性に関する情報である。光学的特性は、例えば、可視光に対する反射、透過、吸収、または屈折の特性を含むことができる。一例として、光学的特性情報は、対象の要素の反射率、および透過率に関する情報を含むことができる。さらに、光学的特性情報は、対象の要素の吸収率、または屈折率などの他の特性に関する情報を含んでもよい。

色情報は、対象の要素の色に関する情報である。特に、色情報は、特定の光学的条件下での、対象の要素の色を表し得る。なお、色情報は、光学的特性情報に基づいて計算されてもよく、この場合に色情報は省略可能である。

付属物情報は、対象の要素に対する付属物に関する情報である。付属物は、例えば、商品タグ、看板などである。付属物情報のデータ構造は、要素情報のデータ構造と同様であってもよいし、異なっていてもよい。

材料情報は、対象の要素を構成する材料に関する情報である。材料情報は、材料の物理的特性（例えば、光学的特性（色を含み得る）、力学的特性、または熱力学的特性）、密度（単位体積あたりの質量）、または化学的特性に関する情報を含むことができる。材料情報（つまり、特定の材料と、当該材料の特性との関係）は、予め定義されていてもよいし、ユーザによって独自に定義されてもよい。なお、光学的特性情報または色情報の少なくとも１つは、材料情報の参照により補うこともできる。この場合に、光学的特性情報または色情報の少なくとも１つは省略可能である。

（４）情報処理
本実施形態の情報処理について説明する。

（４－１）三次元モデル生成処理
本実施形態の三次元モデル生成処理について説明する。図４は、本実施形態の三次元モデル生成処理のフローチャートである。図５は、本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。

図４の三次元モデル生成処理は、例えばユーザ指示に基づく三次元モデルの生成要求に応じて開始する。
まず、情報処理装置１０は、入力情報の取得（Ｓ１１０）を実行する。
具体的には、情報処理装置１０は、屋内空間を撮影した写真を含む画像情報と、当該屋内空間に存在する物体の位置を特定可能な情報とを入力情報として取得する。

入力情報の取得（Ｓ１１０）の第１例として、情報処理装置１０は、情報処理装置１０の外部のカメラにより、三次元モデル生成の対象となる屋内空間（以下、「対象空間」という）を撮影することで生成された画像情報を取得する。

入力情報の取得（Ｓ１１０）の第２例として、情報処理装置１０は、内蔵のカメラにより対象空間を撮影することで生成された画像情報を取得する。

入力情報の取得（Ｓ１１０）の第３例として、情報処理装置１０は、情報処理装置１０の外部の測距センサ（例えばLiDAR）により対象空間をセンシングすることで生成された、空間センシング情報を取得する。空間センシング情報は、対象空間に存在する物体の位置を特定可能な情報の一例である。

入力情報の取得（Ｓ１１０）の第４例として、情報処理装置１０は、内蔵の測距センサにより対象空間をセンシングすることで生成された空間センシング情報を取得する。

入力情報の取得（Ｓ１１０）の第５例として、情報処理装置１０は、対象空間の地図情報を取得する。

入力情報の取得（Ｓ１１０）の第６例として、情報処理装置１０は、上記第１例～第５例の２以上を組み合わせることで、入力情報を取得する。

画像情報のほか、情報処理装置１０は、三次元物体情報を入力情報として取得してもよい。三次元物体情報は、は、対象空間に存在する物体の三次元情報である。三次元物体情報は、例えば、対象空間に存在する物体についての三次元ＣＡＤ（Computer-Aided Design）データである。或いは、三次元物体情報は、対象空間に存在する物体を例えばLiDARなどの測距センサによりセンシングした結果（例えば三次元点群データ）であってもよく、上記空間センシング情報に含まれ得る。

ステップＳ１１０の後に、情報処理装置１０は、物体の認識（Ｓ１１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報（画像情報、地図情報、または三次元物体情報の少なくとも１つ）に基づいて、入力情報においていずれかの種別の物体に対応する部分を認識し、当該部分を抽出する。情報処理装置１０は、認識した物体に対して当該物体を識別する物体ＩＤと、当該物体に対して認識された種別に対応する種別情報とを割り当てる。

一例として、情報処理装置１０は、画像情報に基づくモデル入力データに物体認識モデルを適用することで、画像情報において物体に対応する部分（画素領域）と当該物体の種別とを認識する。ここで、物体認識モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって構築することができる。各教師データは、物体の写真に基づく学習用モデル入力データと、当該学習用モデル入力データにおいて認識されるべき物体に対応する部分と当該物体の種別（正解）を表す正解データとを含む。物体認識モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。さらに、モデル入力データは、対象空間に存在する物体の高さまたは位置の少なくとも１つに基づいてもよい。これにより、物体の高さ（サイズの一例）または位置を手がかりに、当該物体の種別を大まかに絞り込み、認識精度を高めることができる。特定の種別の物体は空間によらずほぼ同様に配置される（例えば、カーテンは通常窓の前に配置され、チェアは通常デスクまたはテーブルの周囲に配置される）し、同種の物体のサイズは極端には変動しない。

ステップＳ１１２の後に、情報処理装置１０は、位置の特定（Ｓ１１２）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した屋内空間に存在する物体の位置を特定可能な情報に基づいて、ステップＳ１１１において認識された各物体の位置を特定する。これにより、情報処理装置１０は、各物体の位置情報を生成する。

ステップＳ１１２の後に、情報処理装置１０は、第１属性情報の解析（Ｓ１１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報に基づいて、ステップＳ１１１において認識された各物体の第１属性情報の解析を行う。第１属性情報とは、対象空間に存在する物体を構造的に表現するために屋内空間データベースに含まれる属性情報のうち、何らかの既定のアルゴリズムによる解析に適した属性情報である。解析対象となる第１属性情報は、ステップＳ１１１において認識した物体の種別、および当該物体についてステップＳ１１０において取得することのできた入力情報に依存し得る。なお、情報処理装置１０は、本ステップＳ１１３を省略可能である。

一例として、情報処理装置１０は、入力情報に基づいて対象空間に存在する物体の形状の解析を行う。形状の解析の第１例として、情報処理装置１０は、複数の異なる方向から対象空間を撮影することで生成された画像情報に基づいて、当該対象空間に存在する物体の三次元構造を復元することで当該物体全体の形状情報を生成する。形状の解析の第２例として、情報処理装置１０は、三次元物体情報に基づいて対象空間に存在する物体全体または当該物体を構成する各要素の形状情報を生成（例えば、抽出、変換、など）する。形状の解析の第３例として、情報処理装置１０は、上記第１例および第２例を組み合わせることで対象空間に存在する物体全体または当該物体を構成する各要素の形状情報を生成する。

ステップＳ１１３の後に、情報処理装置１０は、第２属性情報の予測（Ｓ１１４）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１１において認識された各物体の第２属性情報を予測する。すなわち、情報処理装置１０は、ステップＳ１１０において取得した入力情報（特に、画像情報のうちステップＳ１１１において物体に対応すると認識された部分）に基づくモデル入力データに属性予測モデルを適用することで、各物体の第２属性情報を生成する。第２属性情報とは、対象空間に存在する物体を構造的に表現するために屋内空間データベースに含まれる属性情報のうち、属性予測モデルによる予測（推論）に適した属性情報である。予測対象となる第２属性情報は、ステップＳ１１１において認識した物体の種別、および当該物体についてステップＳ１１０において取得することのできた入力情報に依存し得る。なお、情報処理装置１０は、本ステップＳ１１４を省略可能である。

ここで、属性予測モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって、例えば屋内空間データベースを定義する属性毎に構築することができる。各教師データは、学習用の画像（例えば、様々な材料で構成された物体の撮影画像）に基づく学習用モデル入力データと、当該学習用モデル入力データから予測すべき属性情報（正解）を表す正解データとを含む。属性予測モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。属性予測モデルは、物体の種別ごとに（つまり、単一の物体の種別に対して適用可能に）構築されてもよいし、複数の物体の種別に対して適用可能に構築されてもよい。

情報処理装置１０は、入力情報に基づくモデル入力データに属性予測モデルを適用することで、図５に示す第２属性情報ＡＴ３０を予測する。第２属性情報ＡＴ３０は、位置関係情報ＡＴ３１、光学的特性情報ＡＴ３２、色情報ＡＴ３３、付属物情報ＡＴ３４、および材料情報ＡＴ３５を含む。情報処理装置１０は、図５に示されていない第２属性情報の解析を行ってもよいし、図５に示す第２属性情報のいずれかの予測を行わなくてもよい。

情報処理装置１０は、例えば画像情報に基づくモデル入力データに位置関係予測モデルを適用することで、対象空間に存在する物体を構成する各要素の位置関係情報を生成する。

情報処理装置１０は、例えば画像情報に基づくモデル入力データに光学的特性予測モデルを適用することで、対象空間に存在する物体全体または当該物体を構成する各要素の光学的特性情報ＡＴ３２を生成する。

情報処理装置１０は、例えば画像情報に基づくモデル入力データに色予測モデルを適用することで、対象空間に存在する物体全体または当該物体を構成する各要素の色情報ＡＴ３３を生成する。

情報処理装置１０は、例えば画像情報に基づくモデル入力データに付属物予測モデルを適用することで、対象空間に存在する物体全体または当該物体を構成する各要素の付属物情報ＡＴ３４を生成する。

情報処理装置１０は、例えば画像情報に基づくモデル入力データに材料予測モデルを適用することで、対象空間に存在する物体全体または当該物体を構成する各要素の材料情報ＡＴ３５を生成する。

ステップＳ１１４の後に、情報処理装置１０は、屋内空間データベースの生成（Ｓ１１５）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１１において割り当てた物体ＩＤに、ステップＳ１１１において割り当てた種別情報、ステップＳ１１２において生成した位置情報、およびステップＳ１１３またはステップＳ１１４の少なくとも１つにおいて生成した属性情報を関連付けることで、屋内空間データベースを生成する。屋内空間データベースは、ステップＳ１１２において生成した位置情報と、ステップＳ１１３またはステップＳ１１４の少なくとも１つにおいて生成した属性情報とを含み、当該属性情報によって対象空間に存在する各物体を構造的に表現し、当該位置情報によって対象空間に存在する各物体の位置関係を表現する。

ステップＳ１１５の後に、情報処理装置１０は、三次元モデルの生成（Ｓ１１６）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１５において生成した屋内空間データベースに対してモデリング処理を行うことで、対象空間の三次元モデルを生成する。

ステップＳ１１５を以て、情報処理装置１０は、図４に示す三次元モデル生成処理を終了する。ただし、情報処理装置１０は、ステップＳ１１１において複数の物体を認識した場合には、各物体に対してステップＳ１１２からステップＳ１１５の処理を繰り返してもよい。

（４－２）三次元モデル編集処理
本実施形態の三次元モデル編集処理について説明する。図６は、本実施形態の三次元モデル編集処理のフローチャートである。図７は、本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

図６に示す三次元モデル編集処理は、三次元モデルのユーザ（例えば、図４に示す三次元モデル生成処理によって生成された三次元モデルの提供を有償または無償で受ける者）が、編集対象となる三次元モデルを自らのユーザ端末の入力デバイスを操作して選択したことに応じて開始し得る。

なお、本処理は、様々な形態で実行可能である。第１例として、サーバとしての情報処理装置１０が、クライアントとしてのユーザ端末からの要求に応じて本処理を実行してもよい。第２例として、三次元モデルはユーザ環境（ユーザが利用するクラウド環境を含む）において保存され、ユーザ端末またはユーザ環境内のサーバ（クラウドサーバを含む）が本処理を実行してもよい。以降の説明では、第１例を前提に述べるが、第２例では、「情報処理装置１０」を、「ユーザ端末」または「ユーザ環境内のサーバ」として適宜読み替えることができる。

図６に示すように、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）を実行する。
具体的には、情報処理装置１０は、編集対象となる三次元モデルに対応する屋内空間データベースを読み込み、当該屋内空間データベースに含まれる位置情報および属性情報から、当該屋内空間データベースによって表現される屋内空間に存在する物品の三次元モデルを生成（モデリング）する。そして、情報処理装置１０は、三次元モデルに対してレンダリング処理を行うことで、三次元ＣＧを生成する。

ここで、情報処理装置１０は、例えば図３に示した属性情報に基づいて、付属物が取り除かれた状態の物品の外観を表現する三次元ＣＧを生成し、位置情報の示す位置に配置する。例えば、情報処理装置１０は、特定の物品を構成する各要素の位置関係情報、形状情報、光学的特性情報、色情報、材料情報、および付属物情報に基づいて、付属物が取り除かれた状態の当該物品の三次元ＣＧを再現する。

また、情報処理装置１０は、例えば図３に示した属性情報に基づいて、特定の物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品の外観を表現する三次元ＣＧを生成し、位置情報の示す位置に配置する。例えば、情報処理装置１０は、特定の物品を構成する各要素の位置関係情報、形状情報、光学的特性情報、色情報、材料情報、および付属物情報に基づいて、当該物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品のテクスチャを再現する。これにより、第三者の個人情報、商標、著作物などが三次元ＣＧに表れることを防止できる。

ステップＳ２１０の後に、情報処理装置１０は、三次元ＣＧの表示（Ｓ２１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１０において生成した三次元ＣＧと、編集対象となる三次元モデルに対する編集指示をユーザから受け付けるためのＵＩ（User Interface）とをユーザ端末のディスプレイに表示する。一例として、情報処理装置１０は、図７に示す画面をユーザ端末のディスプレイに表示する。

図７に示す画面は、表示オブジェクトＡ２１，Ａ２２と、操作オブジェクトＢ２１，Ｂ２２とを含む。
表示オブジェクトＡ２１は、ステップＳ２１０において生成した三次元ＣＧを表示する。情報処理装置１０は、表示オブジェクトＡ２１に対するユーザ指示に応じて、三次元ＣＧをロール軸、ピッチ軸、もしくはヨー軸周りの回転、または拡大もしくは縮小して当該表示オブジェクトＡ２１に表示する。表示オブジェクトＡ２１は、屋内空間の全体または一部に対応する三次元ＣＧと、当該屋内空間に存在する特定の物品全体に対応する三次元ＣＧと、当該物品を構成する一部の要素に対応する三次元ＣＧとの表示を例えばユーザ指示に応じて切り替えてもよい。

表示オブジェクトＡ２２は、編集対象となる三次元モデルに対応する屋内空間データベースの備える位置情報および属性情報の値（特に、選択されている物品の位置情報および属性情報の値、または選択されている物品の要素の属性情報の値）を表示するとともに、当該位置情報または属性情報の値を編集する指示を受け付ける。情報処理装置１０は、編集指示を受け付けるために種々の入力フォーム（例えば、テキストフィールド、メニュー、チェックボックス、ラジオボタン、など）を表示オブジェクトＡ２２上に配置することができる。ユーザは、ユーザ端末の入力デバイスを操作することで、所望の編集指示を情報処理装置１０に与える。情報処理装置１０は、表示オブジェクトＡ２２において受け付けた編集指示に応じて、編集対象となる三次元モデルに対応する屋内空間データベースを（一時的に）更新し、更新された屋内空間データベースに基づく三次元ＣＧを表示オブジェクトＡ２２に表示する。これにより、ユーザは、位置情報または属性情報の値の編集に伴う三次元ＣＧの見た目の変化を確認しながら、三次元モデルを自由にカスタマイズすることができる。

ユーザは、表示オブジェクトＡ２２に対して例えば以下の編集指示を行うことができる。
・編集する対象となる構成要素（つまり、物体または物体の要素）の選択
・選択した構成要素の名前の編集
・選択した構成要素（物体）の位置の編集
・選択した構成要素の種別の編集
・選択した構成要素に関わる位置関係の編集
・選択した構成要素の形状の編集
・選択した構成要素の色の編集
・選択した構成要素の材料の編集
・選択した構成要素の光学的特性の編集
・選択した構成要素に対する付属物の編集

操作オブジェクトＢ２１は、三次元モデルに対する１つ前の編集指示を取り消す指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２１を選択することで、取消指示を情報処理装置１０に与える。情報処理装置１０は、取消指示を受けると、１つ前の編集指示を取り消す。これにより、三次元モデルの位置情報または属性情報は、１つ前の編集指示がなされる前の状態に戻る。

操作オブジェクトＢ２２は、三次元モデルの編集を確定する指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２２を選択することで、確定指示を情報処理装置１０に与える。情報処理装置１０は、確定指示を受けると、確定指示時における最新の三次元モデル（つまり、一連の有効な編集指示を反映した三次元モデル）によって、編集対象の三次元モデルに対応する屋内空間データベースを上書きする。これにより、三次元モデルの編集が確定する。なお、上書きを行うことは必須でなく、情報処理装置１０は、編集対象の三次元モデルとは別に編集後の三次元モデルを保存してもよい。これにより、編集前（オリジナル）の三次元モデルと編集後の三次元モデルとを併存させることができる。

ステップＳ２１１において三次元モデルの編集が確定する（例えば、操作オブジェクトＢ２２の選択が検出される）前にユーザが編集指示（例えば、表示オブジェクトＡ２２に対する操作）を行うと、情報処理装置１０は、編集指示の取得（Ｓ２１２）を実行する。
具体的には、情報処理装置１０は、ユーザ端末から編集指示（例えば、編集対象となる位置情報または属性情報、および当該位置情報または属性情報の編集値）を取得する。

ステップＳ２１２の後に、情報処理装置１０は、屋内空間データベースの更新（Ｓ２１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１２において取得した編集指示を反映するように、編集対象の三次元モデルに対応する屋内空間データベースを更新する。
ステップＳ２１３の後に、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）、および三次元ＣＧの表示（Ｓ２１１）を再実行する。つまり、情報処理装置１０は、更新された屋内空間データベースから三次元モデル、そして三次元ＣＧを新たに生成し、当該三次元ＣＧを表示する。これにより、ステップＳ２１２において取得した編集指示が反映された三次元ＣＧをユーザに提示することができる。

他方、ステップＳ２１１において三次元モデルの編集が確定した場合に、情報処理装置１０は、屋内空間データベースの保存（Ｓ２１４）を実行する。
具体的には、情報処理装置１０は、最新の三次元モデルに対応する屋内空間データベースを記憶装置１１に保存する。
ステップＳ２１４を以て、情報処理装置１０は、図６に示す三次元モデル編集処理を終了する。

（５）小括
本実施形態の情報処理装置１０は、屋内空間を撮影した写真を含む画像情報を取得し、屋内空間に存在する物体の位置を特定可能な情報を取得する。情報処理装置１０は、少なくとも画像情報に基づくモデル入力データに、屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の属性情報を生成する。情報処理装置１０は、物体の位置情報および属性情報を含む屋内空間データベースを生成し、屋内空間データベースに基づいて、三次元モデルを生成する。これにより、三次元モデル、および当該三次元モデルから生成される三次元ＣＧは、複数の写真を合成することで生成された三次元モデルとは異なり、拡大により劣化することがない。また、仮に画像情報に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルによって表される物品のベースの色の予測に影響を与えるに過ぎず、当該三次元モデルから生成される三次元ＣＧのノイズとはならない。故に、かかる三次元ＣＧは、その配置される仮想空間に設定された光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

情報処理装置１０は、屋内空間に存在する物体の高さまたは位置の少なくとも１つにさらに基づくモデル入力データに、物体の種別を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の種別に関する属性情報を生成してもよい。これにより、物体の高さ（サイズの一例）または位置を手がかりに、当該物体の種別を大まかに絞り込み、認識精度を高めることができる。

物体の種別に関する情報は、当該物体が、屋内空間を区画する物体に相当するか否かを示す情報を含んでもよい。これにより、例えば特定の三次元ＣＧの用途において、屋内空間を区画する物体は移動できないが、他の物体は移動できる、といった設定が可能となる。

物体の種別に関する情報は、当該物体が、屋内空間に配置された据え置き型の物品に相当するか否かを示す情報を含んでもよい。これにより、例えば特定の三次元ＣＧの用途において、屋内空間に配置された据え置き型の物品は移動できないが、他の物体は移動できる、といった設定が可能となる。

属性情報は、屋内空間に存在する物体の光学的特性に関する情報を含んでもよい。これにより、三次元ＣＧが配置される仮想空間に設定された光学的条件に関わらず、元となる物品の光沢や透明感などの特有の質感を再現し、リアリティを高めることができる。

光学的特性に関する情報は、屋内空間に存在する物体の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含んでもよい。これにより、元となる物品の局所的な光沢や透明感などの特有の質感を再現し、リアリティを高めることができる。

情報処理装置１０は、画像情報に基づくモデル入力データに、特定の光学的条件下での屋内空間に存在する物体の色に関する属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の色に関する属性情報を生成してもよい。これにより、撮影時の光学的条件に関わらず、基準となる特定の光学的条件下での物品の色を、三次元ＣＧにおいて再現することができる。

屋内空間データベースは、当該屋内空間データベースによって表現される屋内空間に存在する物体を構成する材料に関する属性情報を含んでもよい。これにより、これにより、三次元モデルから生成される三次元ＣＧにおいて、物品を構成する材料の特性を反映し、リアリティを高めることができる。

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される屋内空間に存在する物体の三次元ＣＧを生成してもよく、三次元ＣＧは、特定の種別の付属物が取り除かれた状態の物体の外観を表現してもよい。これにより、三次元ＣＧに付属物が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。

情報処理装置１０は、画像情報に基づくモデル入力データに特定の種別の付属物に関する属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する屋内空間に存在する物体の特定の種別の付属物に関する属性情報を生成してもよい。これにより、付属物を取り除いた状態の物品の形状を容易に再現することができる。

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される屋内空間に存在する物体の三次元ＣＧを生成してもよく、三次元ＣＧは、物体の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物体の外観を表現してもよい。これにより、三次元ＣＧにブランド名、ブランドロゴ、キャラクター画像などの著作物が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。

情報処理装置１０は、画像情報に基づくモデル入力データに屋内空間に存在する物体の色に関する属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物体の色に関する属性情報を生成してもよい。これにより、ブランド名、ブランドロゴ、キャラクター画像等を取り除いた状態の物品の色（ベースの色）を容易に再現することができる。

情報処理装置１０は、三次元モデルから屋内空間の三次元ＣＧを生成し、生成された三次元ＣＧと、三次元モデルを編集するためのユーザ指示を受け付けるための情報とを表示してもよい。これにより、ユーザは、三次元ＣＧの確認と三次元モデルのカスタマイズとを同時に行うことができる。

情報処理装置１０は、ユーザ指示に応じて三次元モデルに対応する屋内空間データベースを更新し、
更新された屋内空間データベースから三次元ＣＧを新たに生成してもよい。これにより、ユーザは、屋内空間データベースを更新したことによる三次元ＣＧへの影響を容易に確認し、カスタマイズ作業を効率的に行うことができる。

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、情報処理装置１０と接続されてもよい。ディスプレイ２１は、情報処理装置１０と一体化されていてもよいし、外付けであってもよい。

上記の情報処理の各ステップは、情報処理装置１０が行ってもよいし、外部装置（例えば、クライアント装置、またはサーバ）と協同で行ってもよいし、外部装置が行ってもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

実施形態では、物体の属性情報を第１属性情報および第２属性情報に整理して説明した。しかしながら、前述の整理は例示に過ぎず、各属性情報は実施形態の説明とは異なる方法で生成されてよい。また、各属性情報は、解析または予測のいずれか一方のみによって生成されることもあれば、一部を解析により、残部を予測により生成されることもある。また同一の属性情報であっても、当該属性情報について取得することのできた入力情報次第で、解析のみにより生成されるか、予測のみにより生成されるか、両者の併用により生成されるかが異なり得る。

物体の位置情報は、例えば当該物体の撮影時における撮影手段（例えばカメラ）のグローバル座標系の位置および姿勢に基づいて、グローバル座標系の位置情報（例えば、緯度および経度の組み合わせ、または緯度、経度、および高度の組み合わせ）と関連付けられてもよい。
屋内空間に存在する各物体の位置情報がグローバル座標系の位置情報と関連付けられている場合に、情報処理装置１０は、当該屋内空間のグローバル座標系の位置および方角に対応する日照条件に基づいて、当該屋内空間の三次元ＣＧに対する光学的条件を設定してもよい。一例として、情報処理装置１０は、屋内空間に存在する開口の位置、姿勢、形状、および光学的特性と、太陽（つまり光源）の位置とに基づいて、光学的条件を設定可能である。太陽の位置は、例えば暦（例えば、日、週、月、または季節）および時間帯（或いは時刻）の組み合わせにより特定可能である。これにより、屋内空間に差し込む光などの環境光を再現し、リアリティを高めることができる。
また、屋内空間に存在する各物体の位置情報がグローバル座標系の位置情報と関連付けられている場合に、情報処理装置１０は、当該屋内空間のグローバル座標系の位置および方角と、当該屋内空間の外に位置する地理的要素または物体の三次元モデルに基づいて、当該屋内空間に設けられた開口を通じて見られる風景を再現する風景画像を生成してもよい。情報処理装置１０は、屋内空間の三次元ＣＧおよび風景画像を表示してもよい。屋内空間の外に位置する地理的要素または物体の三次元モデルは、任意の手法により生成可能である。情報処理装置１０は、屋内空間に存在する開口の位置、姿勢、形状、および光学的特性と、屋内空間の外に位置する地理的要素または物体の三次元モデルとに基づいて、風景画像を生成可能である。これにより、屋内空間から見える風景を再現し、リアリティを高めることができる。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１０ ：情報処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ

Claims (18)

1. コンピュータを、
   屋内空間を撮影した写真を含む画像情報を取得する手段、
   前記屋内空間に存在する物体の位置を特定可能な情報を取得する手段、
   少なくとも前記画像情報に基づくモデル入力データに、前記屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物体の属性情報を生成する手段、
   前記物体の位置情報および前記属性情報を含む屋内空間データベースを生成する手段、
   前記屋内空間データベースに基づいて、三次元モデルを生成する手段、
   として機能させるプログラム。
2. 前記属性情報を生成する手段は、前記屋内空間に存在する物体の高さまたは位置の少なくとも１つにさらに基づくモデル入力データに、物体の種別を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物体の種別に関する属性情報を生成する、
   請求項１に記載のプログラム。
3. 前記物体の種別に関する情報は、当該物体が、前記屋内空間を区画する物体に相当するか否かを示す情報を含む、
   請求項２に記載のプログラム。
4. 前記物体の種別に関する情報は、当該物体が、前記屋内空間に配置された据え置き型の物品に相当するか否かを示す情報を含む、
   請求項２に記載のプログラム。
5. 前記属性情報は、前記屋内空間に存在する物体の光学的特性に関する情報を含む、
   請求項１に記載のプログラム。
6. 前記光学的特性に関する情報は、前記屋内空間に存在する物体の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含む、
   請求項５に記載のプログラム。
7. 前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに、特定の光学的条件下での屋内空間に存在する物体の色に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する前記物体の色に関する属性情報を生成する、
   請求項１に記載のプログラム。
8. 前記屋内空間データベースは、当該屋内空間データベースによって表現される屋内空間に存在する物体を構成する材料に関する属性情報を含む、
   請求項１に記載のプログラム。
9. 前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される屋内空間に存在する物体の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
   前記三次元ＣＧは、特定の種別の付属物が取り除かれた状態の前記物体の外観を表現する、
   請求項１に記載のプログラム。
10. 前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに前記特定の種別の付属物に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する屋内空間に存在する物体の前記特定の種別の付属物に関する属性情報を生成する、
    請求項９に記載のプログラム。
11. 前記コンピュータを、前記屋内空間のグローバル座標系の位置および方角に対応する日照条件に基づいて、前記三次元モデルから前記屋内空間の三次元ＣＧ（Computer Graphics）に対する光学的条件を設定する手段、として機能させる、
    請求項１に記載のプログラム。
12. 前記コンピュータを、
    前記三次元モデルから前記屋内空間の三次元ＣＧ（Computer Graphics）を生成する手段、
    前記屋内空間のグローバル座標系の位置および方角と、前記屋内空間の外に位置する地理的要素または物体の三次元モデルに基づいて、前記屋内空間に設けられた開口を通じて見られる風景を再現する風景画像を生成する手段、
    前記屋内空間の三次元ＣＧおよび前記風景画像を表示する手段、
    として機能させる、請求項１に記載のプログラム。
13. 前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される屋内空間に存在する物体の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
    前記三次元ＣＧは、前記物体の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物体の外観を表現する、
    請求項１に記載のプログラム。
14. 前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに屋内空間に存在する物体の色に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物体の色に関する属性情報を生成する、
    請求項１３に記載のプログラム。
15. 前記コンピュータを、
    前記三次元モデルから前記屋内空間の三次元ＣＧ（Computer Graphics）を生成する手段、
    前記三次元ＣＧを生成する手段によって生成された三次元ＣＧと、前記三次元モデルを編集するためのユーザ指示を受け付けるための情報とを表示する手段としてさらに機能させる、
    請求項１に記載のプログラム。
16. 前記コンピュータを、前記ユーザ指示に応じて前記三次元モデルに対応する屋内空間データベースを更新する手段としてさらに機能させ、
    前記三次元ＣＧを生成する手段は、更新された前記屋内空間データベースから前記三次元ＣＧを新たに生成する、
    請求項１５に記載のプログラム。
17. 屋内空間を撮影した写真を含む画像情報を取得する手段と、
    前記屋内空間に存在する物体の位置を特定可能な情報を取得する手段と、
    少なくとも前記画像情報に基づくモデル入力データに、前記屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物体の属性情報を生成する手段と、
    前記物体の位置情報および前記属性情報を含む屋内空間データベースを生成する手段と、
    前記屋内空間データベースに基づいて、三次元モデルを生成する手段と
    を具備する、情報処理装置。
18. コンピュータが、
    屋内空間を撮影した写真を含む画像情報を取得するステップと、
    前記屋内空間に存在する物体の位置を特定可能な情報を取得するステップと、
    少なくとも前記画像情報に基づくモデル入力データに、前記屋内空間に存在する物体の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物体の属性情報を生成するステップと、
    前記物体の位置情報および前記属性情報を含む屋内空間データベースを生成するステップと、
    前記屋内空間データベースに基づいて、三次元モデルを生成するステップと
    を実行する方法。