JP7405735B2 - 表示システム、表示装置、及びプログラム - Google Patents

Description

本明細書では、拡張現実（ＡＲ、Augmented Reality）画像を表示する表示システム、表示装置、及びプログラムが開示される。

従来から、拡張現実技術を用いた表示装置が知られている。例えば特許文献１では、玩具であるアクションフィギュア等の現実物体（現実オブジェクト）が、アニメーション付きの仮想アクションフィギュア等の仮想物体（仮想オブジェクト）に置換された拡張現実画像が表示される。

特表２０１６－５２２４８５号公報

本明細書では、玩具等の商品に対して拡張現実画像の表示サービスを提供するに当たり、従来よりも商品の付加価値を向上可能な、表示システム、表示装置、及びプログラムが開示される。

本明細書では、表示装置及びサーバを備える表示システムが開示される。表示装置は、撮像器、画像認識部、表示制御部、表示部、及び位置情報取得部を備える。撮像器は現実世界を撮像可能となっている。画像認識部は、撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能となっている。表示制御部は、識別子の認識に応じて、商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する。表示部は、拡張現実画像を表示する。位置情報取得部は、現在の位置情報を取得する。サーバは、第一記憶部及び第一抽出部を備える。第一記憶部には、仮想物体の画像データが複数種類に亘って記憶される。第一抽出部は、位置情報取得部が取得した表示装置の位置情報に基づいて、表示装置に提供される仮想物体の画像データを第一記憶部から抽出する。

上記構成によれば、商品に仮想物体画像が重畳される際に、位置情報に基づいた仮想物体画像が提供される。これにより、例えば滞在先の風景に合致した仮想物体画像を商品に重畳させることができ、従来よりも商品の付加価値を向上可能となる。

また上記構成において、識別子が所定期間に亘って画像認識部に認識されるまで、表示制御部は表示部への拡張現実画像の表示を保留してもよい。

上記構成によれば、意図しない商品の写り込みにより拡張現実画像が生成されることを抑制できる。

また上記構成において、サーバは、第二記憶部及び第二抽出部を備えてもよい。第二記憶部には、識別子に対応して設定された仮想物体の画像データが記憶される。第二抽出部は、画像認識部が認識した識別子に基づいて、表示装置に提供される仮想物体の画像データを第二記憶部から抽出する。

上記構成によれば、位置情報に基づく仮想物体に加えて、識別子に基づく仮想物体、すなわち商品に対して定められた仮想物体が拡張現実画像に表示可能となる。これにより、例えば商品に付されたキャラクタの３Ｄ画像を識別子に応じて表示させ、さらに位置情報に基づいて、滞在中のテーマパークに関連した装飾画像を表示させることが可能になる。その結果、遊園地においてキャラクタが玉乗りをする拡張現実画像を表示させる等の、場所に応じた演出が可能となる。

また上記構成において、第二記憶部に記憶された所定の仮想物体の画像データとの組み合わせが禁止された、第一記憶部に記憶された仮想物体の画像データのリストに基づいて、第一抽出部は第一記憶部から仮想物体の画像データを抽出してもよい。

上記構成によれば、キャラクタと組み合わせることが社会通念上ふさわしくない装飾画像を排除でき、例えば、ペンギンが火の輪潜りをするといった画像の生成が抑制可能となる。

また本明細書では、表示装置が開示される。この表示装置は、撮像器、画像認識部、表示制御部、表示部、位置情報取得部、記憶部、及び抽出部を備える。撮像器は、現実世界を撮像可能となっている。画像認識部は、撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能となっている。表示制御部は、識別子の認識に応じて、商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する。表示部は、拡張現実画像を表示する。位置情報取得部は、現在の位置情報を取得する。記憶部には、仮想物体の画像データが複数種類に亘って記憶される。抽出部は、位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを記憶部から抽出する。

また本明細書では、コンピュータを、撮像器、画像認識部、表示制御部、表示部、位置情報取得部、記憶部、及び抽出部として機能させるためのプログラムが開示される。撮像器は、現実世界を撮像可能となっている。画像認識部は、撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能となっている。表示制御部は、識別子の認識に応じて、商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する。表示部は、拡張現実画像を表示する。位置情報取得部は、現在の位置情報を取得する。記憶部には、仮想物体の画像データが複数種類に亘って記憶される。抽出部は、位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを記憶部から抽出する。

本明細書で開示される表示システム、表示装置、及びプログラムによれば、玩具等の商品に対して拡張現実画像の表示サービスを提供するに当たり、従来よりも商品の付加価値が向上可能となる。

本実施形態に係る表示システムを含む複合娯楽施設を例示する図である。 識別子としてＡＲマーカが付された、商品を例示する斜視図である。 本実施形態に係る表示システムの表示装置及びサーバのハードウェア構成を例示する図である。 サーバの機能ブロックを例示する図である。 表示装置の機能ブロックを例示する図である。 表示装置が動物園に所在するときに表示される拡張現実画像を例示する図である。 表示装置が水族館に所在するときに表示される拡張現実画像を例示する図である。 カメラ位置姿勢推定の概要を説明する図である。 拡張現実画像表示フローが例示された図である。 表示装置の一例として、ヘッドマウントディスプレイ（ＨＭＤ）を例示する図である。 表示装置の一例として、サーバの機能を包含させた例を示す機能ブロック図である。

図１には、複合娯楽施設１０が例示される。この施設内で、本実施形態に係る表示システムが利用される。後述されるように、本実施形態に係る表示システムは、ＡＲ表示装置３０及びサーバ７０を含んで構成される。

＜複合娯楽施設の構成＞
複合娯楽施設１０には、複数のテーマパーク１２～１８が設けられる。テーマパークとは、特定のテーマ（主題）に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。例えばテーマパーク１２～１８は、連絡通路２０により接続されており、利用者はこの連絡通路を介してそれぞれのテーマパーク１２～１８の往来が可能となっている。

それぞれのテーマパーク１２～１８及び連絡通路２０には、ビーコンの発信器２２が設けられる。発信器２２は例えば等間隔に複数個設けられる。後述されるように、この発信器２２からの信号をＡＲ表示装置３０のビーコン受信器３７（図３参照）が受信することで、ＡＲ表示装置３０の現在位置を取得可能となる。

複合娯楽施設１０は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設１０には、テーマパークとして、アスレチックパーク１２、遊園地１４、水族館１６、及び動物園１８が設けられる。

それぞれのテーマパーク１２～１８は、それぞれのテーマに基づいて、キャラクタが設定される。キャラクタは、それぞれのテーマパーク１２～１８のテーマ及び世界観に沿ったものに設定される。例えばアスレチックパーク１２では、冒険家、レンジャー、忍者等のキャラクタが設定される。例えば遊園地１４では、ピエロ、ゴーカート等のキャラクタが設定される。例えば水族館１６では、イルカ、金魚、サメ等のキャラクタが設定される。さらに例えば動物園１８では、象、パンダ、ペンギン等のキャラクタが設定される。

また、複合娯楽施設１０には、売店１９が設けられる。例えば連絡通路２０沿いに売店１９が設置される。また、各テーマパーク１２～１８内にも売店１９が設置されてよい。売店１９には、各テーマパーク１２～１８のテーマに基づいた商品が販売される。

＜商品の構成＞
図２には、売店１９にて販売される商品９０が例示される。商品９０は、例えばテーマパーク１２～１８への来場記念として購入される土産物である。例えば図２に例示される商品９０は、略立方体形状のクッキー缶である。

商品９０の表面には、その商品９０がどのテーマパーク１２～１８に関連するものであるかを表す絵図が施される。例えば商品９０の表面に各テーマパーク１２～１８のテーマに基づいて設定されるキャラクタの絵図９６が印刷される。例えば図２では、商品９０であるクッキー缶の側面に、動物園１８の来場記念として、ペンギンのキャラクタ絵図９６が印刷される。

また商品９０の表面には、キャラクタ絵図９６に加えて、拡張現実画像を表示させるための識別子が付される。例えば図２では、商品９０の蓋９４の頂面に、識別子であるＡＲマーカ９８が印刷される。ＡＲマーカ９８は、撮像器３５（図５参照）による復号を容易にするために、例えば白黒２色で構成される。またＡＲマーカ９８は、方向を決定するために平面視で上下及び左右が非対称となるような模様が印刷される。さらにＡＲマーカ９８は、平面形状や傾き角度の推定が容易となるように矩形状に形成され、例えば平面視正方形となるように印刷される。ＡＲマーカ９８の画像認識から拡張現実画像の表示に至るまでのフローは後述される。

商品９０は持ち運び可能であって、複合娯楽施設１０のどの場所にも配置することが出来る。例えば動物園１８の売店１９にて購入した商品９０を、購入者が遊園地１４に持ち運ぶことが出来る。後述されるように、本実施形態に係る表示システムでは、商品９０が置かれた場所に応じた拡張現実画像が表示される。

＜サーバの構成＞
図３には、本実施形態に係る表示システムを構成する、ＡＲ表示装置３０及びサーバ７０のハードウェア構成が例示される。サーバ７０は、例えばコンピュータから構成され、例えば複合娯楽施設１０（図１参照）の管理ビル内に設置される。またサーバ７０は、無線ＬＡＮ等の通信手段によってＡＲ表示装置３０と無線接続される。

サーバ７０は、キーボードやマウス等の入力部７１、演算装置のＣＰＵ７２、及びディスプレイ等の表示部７３を備える。またサーバ７０は記憶装置として、ＲＯＭ７４、ＲＡＭ７５及びハードディスクドライブ７６（ＨＤＤ）を備える。さらにサーバ７０は、情報の入出力を管理する入出力コントローラ７７を備える。これらの構成部品は内部バス７８に接続される。

図４には、サーバ７０の機能ブロックが例示される。この機能ブロック図は、例えばＲＯＭ７４やＨＤＤ７６に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ７２が実行することで構成される。

サーバ７０は、記憶部として、施設マップ記憶部８０、パーク別装飾データ記憶部８１（第一記憶部）、キャラクタ記憶部８２（第二記憶部）、及び、キャラクタ・装飾組合せ記憶部８３を備える。またサーバ７０は、装飾データ抽出部８４、キャラクタデータ抽出部８５、受信部８６及び送信部８７を備える。

施設マップ記憶部８０には、複合娯楽施設１０内の地図情報が記憶される。例えば複合娯楽施設１０内の通路や施設等の位置情報等が記憶される。

パーク別装飾データ記憶部８１（第一記憶部）には、ＡＲ表示装置３０に表示される拡張現実画像のうち、仮想物体である装飾物体の画像データが記憶される。装飾物体とは、例えば図６のような大玉１０２Ａや、図７の魚１０２Ｂの群れを指しており、キャラクタ画像１００の装飾としてＡＲ表示装置３０に表示される仮想物体が含まれる。

パーク別装飾データ記憶部８１に記憶される装飾物体の画像データ、すなわち装飾画像データは、仮想物体である装飾物体の３Ｄモデルデータであってよい。この３Ｄモデルデータには例えば装飾物体の３Ｄ画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。

装飾画像データは、テーマパーク１２～１８別に、それぞれ複数種類記憶される。例えば一つのテーマパークに対して１０種類以上１００種類以下の装飾画像データが記憶される。これらの装飾画像データは、テーマパーク１２～１８別に識別記号が付される。さらにそれぞれの装飾画像データには、固有の識別記号が付される。

装飾画像データは、識別記号が付されたテーマパーク１２～１８に関連性のある画像である。例えば図６のように、遊園地１４に対応する識別記号が付された装飾画像１０２Ａは、玉乗り用の大玉の画像である。また例えば図７のように、水族館１６に対応する識別記号が付された装飾画像１０２Ｂは、魚の群れによるアーチの画像である。

なお、図６、図７では、図示を明確にするために、装飾画像及びキャラクタ画像として輪郭図が図示されているが、この形態に限らずに、装飾画像及びキャラクタ画像の３Ｄ画像が表示されてよい。以下適宜、キャラクタ及び装飾物体の３Ｄ画像は単にキャラクタ画像及び装飾画像と記載される。

図４に戻り、キャラクタ記憶部８２（第二記憶部）には、テーマパーク１２～１８別に設定された仮想物体であるキャラクタの情報が記憶される。キャラクタの情報とは、例えば各キャラクタの３Ｄモデルデータであってよい。この３Ｄモデルデータには例えばキャラクタの３Ｄ画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。

このような各キャラクタの３Ｄモデルデータは、商品９０に付された識別子が復号されることで得られる識別記号（ＡＲ－ＩＤ）と関連付けてキャラクタ記憶部８２に記憶される。例えば後述されるように、商品９０（図２参照）に付された識別子であるＡＲマーカ９８が画像認識部５８（図５参照）により認識されＡＲ－ＩＤに復号（デコード）される。さらに、当該ＡＲ－ＩＤに対応する仮想物体、つまりキャラクタの３Ｄモデルデータがキャラクタ記憶部８２から抽出される。

キャラクタ・装飾組合せ記憶部８３には、キャラクタ画像との組み合わせが禁止された装飾画像のリスト（以下適宜、組合せ禁止リストと記載される）が記憶される。このリストには、例えばキャラクタ画像がペンギンである場合に、装飾画像が火の輪潜りを表すものであるなど、社会通念上組み合わせることが適切でない組み合わせが列挙されている。例えばこのリストは予め複合娯楽施設１０の管理者等によって設定される。リストの形式として、例えばキャラクタ画像のＡＲ－ＩＤと、当該キャラクタ画像との組み合わせが禁止された装飾画像の識別記号（ＩＤ）が関連付けられて記憶される。

受信部８６は、ＡＲ表示装置３０等の外部機器の信号を受信する。ＡＲ表示装置３０からは、ＡＲ表示装置３０の現在位置情報と、ＡＲ表示装置３０が撮像した商品９０のＡＲ－ＩＤ情報が受信部８６に送信される。装飾データ抽出部８４（第一抽出部）は、位置情報取得部５０（図５参照）が取得した現在位置情報に基づいて、ＡＲ表示装置３０がどのテーマパーク１２～１８に所在しているのかを判定する。さらに装飾データ抽出部８４は、所在中のテーマパーク１２～１８に対応して設定された装飾画像データをパーク別装飾データ記憶部８１から抽出する。

またキャラクタデータ抽出部８５（第二抽出部）は、受信したＡＲ－ＩＤに対応する仮想物体であるキャラクタの画像データをキャラクタ記憶部８２から抽出する。抽出された装飾画像データ及びキャラクタ画像データは送信部８７を介してＡＲ表示装置３０に送信される

＜ＡＲ表示装置の構成＞
図１を参照して、ＡＲ表示装置３０は、複合娯楽施設１０の利用者（ユーザ）に利用される表示装置である。ＡＲ表示装置３０は、現実世界の風景に仮想物体の画像を重畳させた仮想現実画像を表示可能となっている。

ＡＲ表示装置３０は、携帯型の機器であってよく、商品９０とともに移動可能となっている。例えばＡＲ表示装置３０は、撮像装置及び表示部を備えたスマートフォンや、眼鏡型のヘッドマウントディスプレイ（ＨＭＤ）である。

現実世界の風景の表示態様という観点から、ＡＲ表示装置３０は、ビデオ透過型（Video See-Through）ディスプレイ（ＶＳＴディスプレイ）と、光学透過型（Optical See-Through）ディスプレイ（ＯＳＴディスプレイ）とに分けることができる。ＶＳＴディスプレイは、カメラ等の撮像器が現実世界の風景を撮像し、表示器にその撮像画像を表示する。一方でＯＳＴディスプレイは、ハーフミラー等の透過型の表示部を通して現実世界の風景が視認され、当該表示部に仮想物体が投影される。

上述したスマートフォン等の、撮像器３５（図３参照）を備えるＡＲ表示装置３０は、ＶＳＴディスプレイに分類される。また上述したヘッドマウントディスプレイ（ＨＭＤ）は、眼鏡のレンズを表示部として、現実世界の風景が視認されるから、ＯＳＴディスプレイに分類される。

以下の実施形態では、図６に例示されるように、ＡＲ表示装置３０の例として、携帯型かつＶＳＴディスプレイ型のスマートフォンが図示される。このスマートフォンは、複合娯楽施設１０の利用者の所有物であってもよいし、複合娯楽施設１０の利用者に対して貸与させるタブレット端末等のリース物品であってもよい。

図３には、ＡＲ表示装置３０のハードウェア構成が、サーバ７０のハードウェア構成とともに例示される。ＡＲ表示装置３０は、ＣＰＵ３１（中央演算装置）、撮像器３５、ＧＰＳ受信器３６、ビーコン受信器３７、入出力コントローラ３９、システムメモリ４０、ストレージ４１、ＧＰＵ４２、フレームメモリ４３、ＲＡＭＤＡＣ４４、表示制御部４５、表示部４６、及び入力部４７を備える。

システムメモリ４０は、ＣＰＵ３１によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージ４１は、外部記憶装置であって、例えば後述する、仮想現実画像（ＡＲ画像）を表示させるためのプログラムが記憶される。

撮像器３５は、例えばスマートフォンに搭載されたカメラデバイスであり、現実世界の風景を静止画及び動画にて撮像可能となっている。撮像器３５は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。さらに撮像器３５は、現実世界の撮像に加えて、撮像器３５からの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３５には、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

ＧＰＵ４２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ４３は、撮像器３５により撮像されさらにＧＰＵ４２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ４４（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ４３に記憶された画像データを、アナログディスプレイである表示部４６向けのアナログ信号に変換する。

ＧＰＳ受信器３６は、ＧＰＳ衛星２４（図１参照）から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。ビーコン受信器３７は、連絡通路２０をはじめとして複合娯楽施設１０内に設置されたビーコンの発信器２２からの位置信号を受信する。

ここで、ＧＰＳ受信器３６とビーコン受信器３７は、ともに位置推定機能が重複する。したがって、ＡＲ表示装置３０には、ＧＰＳ受信器３６とビーコン受信器３７のどちらか一方のみが設けられていてもよい。

入力部４７は撮像器３５への起動指令や撮像指令を入力可能となっている。例えば入力部４７は、表示部４６と一体化されたタッチパネルであってよい。

表示制御部４５は、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像（ＡＲ画像）を生成してこれを表示部４６に表示可能となっている。後述されるように、拡張現実画像の表示は、商品９０（図２参照）に付された識別子であるＡＲマーカ９８を画像認識部が認識することで実行される。

例えば表示制御部４５は、現実世界の撮像画像のうち、ＡＲマーカ９８の画像より上方に、仮想物体画像であるキャラクタ画像１００（図６参照）及び装飾画像１０２Ａを重畳させる画像処理（レンダリング）を行い、拡張現実画像を生成する。この画像は表示部４６に表示される。表示部４６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイであってよい。

図５には、ＡＲ表示装置３０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０やストレージ４１に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１やＧＰＵ４２が実行することで構成される。

図５には、図３にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で示される。図５にはハードウェア構成として、撮像器３５、表示制御部４５、表示部４６、及び入力部４７が例示される。

また機能ブロックとして、ＡＲ表示装置３０は、位置情報取得部５０、送信部５２、受信部５５、位置姿勢推定部５６、及び画像認識部５８を備える。また記憶部としてＡＲ表示装置３０は学習済みモデル記憶部５９を備える。これらの機能ブロックは、ＣＰＵ３１、システムメモリ４０、ストレージ４１、ＧＰＵ４２、及びフレームメモリ４３等から構成される。

位置情報取得部５０は、図３のＧＰＳ受信器３６及びビーコン受信器３７の少なくとも一方から、ＡＲ表示装置３０の現在位置の情報を取得する。この位置情報はいわゆるワールド座標系であって、ＧＰＳ信号の場合は緯度、経度及び高度情報が位置情報に含まれる。また受信した位置情報がビーコン信号から取得したものである場合には、例えば複合娯楽施設１０の任意の地点を原点とした平面座標系のｘ座標及びｙ座標が位置情報に含まれる。

位置姿勢推定部５６は、いわゆるカメラ位置姿勢を推定する。つまり、ＡＲマーカ９８に対する撮像器３５の位置及び姿勢が推定される。例えば図８に例示されるように、ＡＲマーカ９８の輪郭線が抽出された画像が画像認識部５８より送られる。この画像は、既知の画像処理技術によって取得される。例えば位置姿勢推定部５６は、撮像画像を白黒の二値画像に変換し、この２色の境界線すなわち輪郭線を探索する。

位置姿勢推定部５６は、探索した輪郭線のうち、閉じた形状であるものを探索し、さらにその形状の角部（エッジ）を求めることでＡＲマーカ９８の平面を求める。さらに位置姿勢推定部５６は、既知の平面射影変換に基づいてカメラ位置姿勢を算出する。これにより図８の矢印で示されるように、ＡＲマーカ９８の平面に対する直交座標系が求められる。この直交座標系に基づいて、キャラクタ画像１００及び装飾画像１０２（１０２Ａ，１０２Ｂ）の表示時のアングルが定められる。

画像認識部５８は、撮像器３５による撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の物体の認識と、当該物体とＡＲ表示装置３０との離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データ内の各物体の、撮像器３５からの離隔距離データが含まれる。

画像認識部５８は学習済みモデル記憶部５９に記憶された画像認識用の学習モデルを用いて、撮像画像の認識を行う。学習済みモデル記憶部５９には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば複合娯楽施設１０を含む屋外の画像データであって、画像内の各物体のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部５９に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

後述されるように、撮像画像中の各物体がセグメンテーションにより区画され、さらに各物体との離隔距離が求められることで、ＡＲ表示装置３０から見た前後関係に基づく隠蔽処理が可能となる。例えば商品９０の手前を物体が通過したときに、その背後に仮想的に配置されるキャラクタ画像１００及び装飾画像１０２（１０２Ａ，１０２Ｂ）が当該通過物体に隠れるような画像処理が可能となる。

＜拡張現実画像表示フロー＞
図９には、本実施形態に係る表示システムによる、拡張現実画像の表示フローが例示される。例えばシステムメモリ４０やストレージ４１に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１やＧＰＵ４２が実行することで、この表示フローが実行される。

また図９では、ＡＲ表示装置３０により実行されるステップが（Ｄ）で示され、サーバ７０により実行されるステップが（Ｓ）で示される。図９に加えて、図４、図５を参照して、ＡＲ表示装置３０の入力部４７から撮像指令が入力されると、本フローが起動される。撮像器３５は、撮像指令に基づいて得られた撮像画像を画像認識部５８に送信する。

画像認識部５８は、受信した撮像画像に対して画像認識を行う（Ｓ１０）。この画像認識には、撮像画像に含まれる商品９０（図２参照）の認識、商品９０に付された識別子であるＡＲマーカ９８の認識、及び撮像画像中の各物体（現実物体）の認識が含まれる。またこの認識はセグメンテーション及びアノテーションが含まれる。さらにこの画像認識では、各物体の、ＡＲ表示装置３０からの離隔距離が求められる。

画像認識部５８は、撮像画像中にＡＲマーカ９８が認識されたか否かを判定する（Ｓ１２）。ＡＲマーカ９８が認識されなかった場合は、本フローが終了する。一方、撮像画像中にＡＲマーカ９８が認識された場合には、画像認識部５８は、ＡＲマーカ９８を所定期間に亘って追跡（いわゆるマーカトラッキング）し、ＡＲマーカ９８が当該所定期間継続して撮像画像に含まれたか否かを判定する（Ｓ１４）。所定期間は例えば５秒以上１０秒以下であってよい。

所定期間の途中で、撮像画像からＡＲマーカ９８が消えた場合には、いわゆる意図しない写り込みと考えられるので、当該ＡＲマーカ９８により起動される拡張現実画像の生成は見送られる。つまり、拡張現実画像の表示部４６への表示が保留される。一方、所定期間継続してＡＲマーカ９８が撮像画像中に含まれた場合は、画像認識部５８は、ＡＲマーカ９８を復号してＡＲ－ＩＤを取得する（Ｓ１６）。

さらに位置情報取得部５０によってＡＲ表示装置３０の現在位置が取得される。この現在位置情報とＡＲ－ＩＤは送信部５２からサーバ７０に送信される（Ｓ１８）。サーバ７０の受信部８６がＡＲ表示装置３０の現在位置情報と商品９０のＡＲ－ＩＤを受信すると、キャラクタデータ抽出部８５に、ＡＲ－ＩＤが送信される。キャラクタデータ抽出部８５は、受信したＡＲ－ＩＤに対応するキャラクタの画像１００（図６参照）のデータを、キャラクタ記憶部８２から抽出する（Ｓ２０）。

また、ＡＲ表示装置３０の現在位置情報と商品９０のＡＲ－ＩＤは装飾データ抽出部８４に送信される。装飾データ抽出部８４は、現在位置情報に対応する、つまり現在位置をパーク内に含むテーマパーク１２～１８を、施設マップ記憶部８０に記憶されたパークマップデータから求める（Ｓ２２）。さらに装飾データ抽出部８４は、パーク別装飾データ記憶部８１を参照して、求められたテーマパーク１２～１８に対応して設定された装飾画像１０２（１０２Ａ，１０２Ｂ）のデータ（図６、図７参照）を抽出する（Ｓ２４）。求められたテーマパーク１２～１８に対して、複数種類の装飾画像データがパーク別装飾データ記憶部８１に記憶されている場合には、例えばこれらの中からランダムに装飾画像データが抽出される。

さらに装飾データ抽出部８４は、抽出された装飾画像データは、ステップＳ２０にて抽出されたキャラクタ画像データとの組み合わせが禁止されているか否かを判定する（Ｓ２６）。この判定は、キャラクタ・装飾組合せ記憶部８３に記憶された組合せ禁止リストに基づいて行われる。例えば装飾データ抽出部８４は、ＡＲ－ＩＤと抽出された装飾画像データの識別記号との組み合わせが、組み合わせ禁止リストに登録されているか否かを判定する。

抽出された装飾画像が、抽出されたキャラクタ画像との組み合わせが禁止されたものである場合、装飾データ抽出部８４は、装飾画像データの抽出をやり直す（Ｓ２８）ためにステップＳ２４まで戻る。

一方、抽出された装飾画像が、抽出されたキャラクタ画像との組み合わせが禁止されたものでは無い場合、装飾データ抽出部８４は、抽出された装飾画像データを送信部８７に送信する。送信部８７は、受信した装飾画像データとともに、キャラクタデータ抽出部８５により抽出されたキャラクタ画像データをＡＲ表示装置３０に送信する（Ｓ３０）。

ＡＲ表示装置３０の受信部５５がサーバ７０からキャラクタ画像データ及び装飾画像データを受信すると、これらのデータは表示制御部４５に送信される。また、位置姿勢推定部５６は、画像認識部５８からＡＲマーカ９８の輪郭画像（図８参照）を取得して、上述したようなカメラ位置姿勢の推定を行う（Ｓ３２）。

カメラ位置姿勢推定により、ＡＲマーカ９８上の直交座標系が求められると、当該座標系に沿って、キャラクタ画像及び装飾画像の位置姿勢が定められる。これを受けて表示制御部４５は、位置姿勢が定められたキャラクタ画像及び装飾画像、つまり仮想物体の画像を、現実世界の風景に重畳させた拡張現実画像を生成して、表示部４６に表示させる（Ｓ３４）。キャラクタ画像及び装飾画像の表示位置は、例えば撮像画像中、ＡＲマーカ９８の画面上方となるように予め定められる。

このように、本実施形態に係る表示システムによれば、ＡＲ表示装置３０の位置情報に基づいて、仮想物体画像である装飾画像が撮像画像に重畳される。加えて、商品９０に付された識別子であるＡＲマーカ９８に基づいて、仮想物体画像であるキャラクタ画像が撮像画像に重畳される。

位置情報に基づいて装飾画像が設定されることで、来場するテーマパーク１２～１８ごとに装飾画像が変化し、また滞在中のテーマパーク１２～１８の世界観に沿った装飾画像が表示される。

さらにＡＲマーカ９８に基づいてキャラクタ画像が設定され、装飾画像とともに拡張現実画像に表示されることで、当該キャラクタと一緒に各テーマパーク１２～１８を周遊するような演出が可能となる。

＜ＡＲ表示装置の別例＞
上述した実施形態では、ＡＲ表示装置３０として、ビデオ透過型ディスプレイであるスマートフォンが例示されていたが、本実施形態に係るＡＲ表示装置３０はこの形態に限られない。例えば図１０に例示されるようなヘッドマウントディスプレイ（ＨＭＤ）のように、ＡＲ表示装置３０が光学透過型ディスプレイから構成されてもよい。

この場合、ＡＲ表示装置３０は、撮像器３５、表示部４６に対応するハーフミラー１１４、表示制御部４５及び画像認識部５８に対応するプロジェクタ１１６、ならびに、位置情報取得部５０及び位置姿勢推定部５６に対応するセンサユニット１１２を含んで構成される。

ハーフミラー１１４は、例えば眼鏡やゴーグルのレンズであってよい。ハーフミラー１１４は、現実世界からの光（像）が利用者まで透過される。一方、ハーフミラー１１４の上方に配置されたプロジェクタ１１６は、仮想物体の像をハーフミラー１１４に投影させる。これにより、現実世界の風景に仮想物体画像であるキャラクタ画像や装飾画像が重畳された拡張現実画像が表示可能となる。

＜ＡＲ表示装置の別例＞
上述の実施形態では、図９の拡張現実画像の表示フローを、ＡＲ表示装置３０及びサーバ７０にて行っていたが、これに代えて、ＡＲ表示装置３０が当該フローの全ステップを実行してもよい。この場合、ＡＲ表示装置３０は、例えば記憶容量がスマートフォンよりも大きいタブレット型端末から構成される。

図１１には、図５の変形例であって、ＡＲ表示装置３０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０やストレージ４１に記憶されるか、または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１やＧＰＵ４２が実行することで構成される。

図５と比較して、ＡＲ表示装置３０には、施設マップ記憶部８０、パーク別装飾データ記憶部８１（第一記憶部）、キャラクタ記憶部８２（第二記憶部）、及び、キャラクタ・装飾組合せ記憶部８３が設けられる。またＡＲ表示装置３０には、装飾データ抽出部８４（第一抽出部）及びキャラクタデータ抽出部８５（第二抽出部）が設けられる。

図４、図５において、サーバ７０に設けられたこれらの構成が、ＡＲ表示装置３０に設けられることで、仮想現実画像表示フローが、ＡＲ表示装置３０単体にて実行可能となる。例えば図９のフローにおいて、全てのステップがＡＲ表示装置３０により実行される。さらに、ＡＲ表示装置３０とサーバ７０とのデータのやり取りが不要となるので、ステップＳ１８，Ｓ３０が不要となる。

＜識別子の別例＞
上述の実施形態では、ＡＲ表示装置３０が拡張現実画像を生成するための識別子として、商品９０の表面にＡＲマーカ９８が付されていたが、本実施形態に係る表示システムは、この形態に限られない。例えばいわゆる商品９０にＡＲマーカ９８が付されないマーカレスＡＲ方式が採用されてもよい。

具体的には、商品９０の表面に付されたキャラクタ絵図９６（図２参照）が識別子として用いられてよい。例えば図９のステップＳ１２において、画像認識により撮像画像のセグメンテーション及びアノテーションが行われ、商品９０の表面に付されたキャラクタ絵図９６（図２参照）が認識されると、ステップＳ１４に進むように、フローが構成される。さらにステップＳ１４にてキャラクタ絵図９６が所定期間継続して撮像画像に含まれたときに、ステップＳ１６に進むように、フローが構成される。

さらにステップＳ１６では、キャラクタ絵図９６の形状（セグメンテーションにより推定可能）及び属性（アノテーションにより推定可能）に関連したＡＲ－ＩＤを画像認識部５８が取得してもよい。この場合、キャラクタ絵図９６の形状及び属性とＡＲ－ＩＤとの対照関係は、ＡＲ表示装置３０に予め記憶されていてよい。

１０ 複合娯楽施設、１２ アスレチックパーク、１４ 遊園地、１６ 水族館、１８ 動物園、１９ 売店、２０ 連絡通路、２２ ビーコン発信器、２４ ＧＰＳ衛星、３０ ＡＲ表示装置、３５ 撮像器、３６ ＧＰＳ受信器、３７ ビーコン受信器、４５ 表示制御部、４６ 表示部、５０ 位置情報取得部、５６ 位置姿勢推定部、５８ 画像認識部、５９ 学習済みモデル記憶部、７０ サーバ、８０ 施設マップ記憶部、８１ パーク別装飾データ記憶部（第一記憶部）、８２ キャラクタ記憶部（第二記憶部）、８３ キャラクタ装飾組合せ記憶部、８４ 装飾データ抽出部（第一抽出部）、８５ キャラクタデータ抽出部（第二抽出部）、９０ 商品、９６ キャラクタ絵図、９８ ＡＲマーカ（識別子）、１００ キャラクタ画像（仮想物体の画像）、１０２ 装飾画像（仮想物体の画像）、１１２ センサユニット、１１４ ハーフミラー、１１６ プロジェクタ。

Claims (7)

1. 現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   を備える表示装置と、
   仮想物体の画像データが複数種類に亘って記憶された第一記憶部と、
   前記位置情報取得部が取得した前記表示装置の位置情報に基づいて、前記表示装置に提供される仮想物体の画像データを前記第一記憶部から抽出する第一抽出部と、
   を備えるサーバと、
   を備え、
   前記識別子が所定期間に亘って前記画像認識部に認識されるまで、前記表示制御部は前記表示部への前記拡張現実画像の表示を保留する、
   表示システム。
2. 請求項１に記載の表示システムであって、
   前記サーバは、
   前記識別子に対応して設定された仮想物体の画像データが記憶された第二記憶部と、
   前記画像認識部が認識した前記識別子に基づいて、前記表示装置に提供される仮想物体の画像データを前記第二記憶部から抽出する第二抽出部と、
   を備える表示システム。
3. 現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   を備える表示装置と、
   仮想物体の画像データが複数種類に亘って記憶された第一記憶部と、
   前記位置情報取得部が取得した前記表示装置の位置情報に基づいて、前記表示装置に提供される仮想物体の画像データを前記第一記憶部から抽出する第一抽出部と、
   前記識別子に対応して設定された仮想物体の画像データが記憶された第二記憶部と、
   前記画像認識部が認識した前記識別子に基づいて、前記表示装置に提供される仮想物体の画像データを前記第二記憶部から抽出する第二抽出部と、
   を備えるサーバと、
   を備え、
   前記第二記憶部に記憶された所定の仮想物体の画像データとの組み合わせが禁止された、前記第一記憶部に記憶された仮想物体の画像データのリストに基づいて、前記第一抽出部は前記第一記憶部から仮想物体の画像データを抽出する、
   表示システム。
4. 現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   仮想物体の画像データが複数種類に亘って記憶された記憶部と、
   前記位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを前記記憶部から抽出する抽出部と、
   を備える、
   表示装置であって、
   前記識別子が所定期間に亘って前記画像認識部に認識されるまで、前記表示制御部は前記表示部への前記拡張現実画像の表示を保留する、
   表示装置。
5. 現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   仮想物体の画像データが複数種類に亘って記憶された第一記憶部と、
   前記位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを前記第一記憶部から抽出する第一抽出部と、
   前記識別子に対応して設定された仮想物体の画像データが記憶された第二記憶部と、
   前記画像認識部が認識した前記識別子に基づいて、仮想物体の画像データを前記第二記憶部から抽出する第二抽出部と、
   を備える、表示装置であって、
   前記第二記憶部に記憶された所定の仮想物体の画像データとの組み合わせが禁止された、前記第一記憶部に記憶された仮想物体の画像データのリストに基づいて、前記第一抽出部は前記第一記憶部から仮想物体の画像データを抽出する、
   表示装置。
6. コンピュータを、
   現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   仮想物体の画像データが複数種類に亘って記憶された記憶部と、
   前記位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを前記記憶部から抽出する抽出部と、
   として機能させるためのプログラムであって、
   前記識別子が所定期間に亘って前記画像認識部に認識されるまで、前記表示制御部は前記表示部への前記拡張現実画像の表示を保留する、プログラム。
7. コンピュータを、
   現実世界を撮像可能な撮像器と、
   前記撮像器による撮像画像に含まれる持ち運び可能な商品に付された識別子を認識可能な画像認識部と、
   前記識別子の認識に応じて、前記商品を含む現実世界の風景に仮想物体の画像を重畳させた拡張現実画像を生成する表示制御部と、
   前記拡張現実画像を表示する表示部と、
   現在の位置情報を取得する位置情報取得部と、
   仮想物体の画像データが複数種類に亘って記憶された第一記憶部と、
   前記位置情報取得部が取得した現在の位置情報に基づいて、現実世界の風景に重畳される仮想物体の画像データを前記第一記憶部から抽出する第一抽出部と、
   前記識別子に対応して設定された仮想物体の画像データが記憶された第二記憶部と、
   前記画像認識部が認識した前記識別子に基づいて、仮想物体の画像データを前記第二記憶部から抽出する第二抽出部と、
   として機能させるためのプログラムであって、
   前記第二記憶部に記憶された所定の仮想物体の画像データとの組み合わせが禁止された、前記第一記憶部に記憶された仮想物体の画像データのリストに基づいて、前記第一抽出部は前記第一記憶部から仮想物体の画像データを抽出する、プログラム。