JP2015001875A - 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット - Google Patents

Abstract

【課題】処理コストの増加を抑制しつつ、表示可能なＡＲオブジェクトの多様性を高めることのできる仕組みを提供すること。【解決手段】一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、を備える画像処理装置を提供する。【選択図】図７

Description

本開示は、画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセットに関する。

近年注目されている拡張現実（ＡＲ：Augmented Reality）技術は、実空間を映す画像に関連付けられるＡＲ空間内に仮想的なオブジェクト（ＡＲオブジェクト）を配置し、配置したＡＲオブジェクトの画像を実空間の画像と共に画面に表示させる。それにより、実空間にそのＡＲオブジェクトがあたかも存在しているかのようなユーザ体験が、画面上で提供される。表示すべきＡＲオブジェクトは、予め固定的に定義され、又は撮像された実オブジェクトの種類に依存して選択される。

一例として、下記特許文献１は、動物を描いた絵本が撮像された場合に、撮像画像に映る動物を模したＡＲオブジェクトをＡＲ空間に配置するＡＲアプリケーションを開示している。このＡＲアプリケーションでは、各ＡＲオブジェクトに対応する動物の既知画像の特徴量が予めデータベースに登録される。そして、撮像画像の特徴量と既知画像の特徴量との照合の結果として、どの動物が撮像画像に映っているか、即ちどの動物のＡＲオブジェクトを表示すべきかが決定される。

特開２０１３−０９２９６４号公報

表示されるＡＲオブジェクトが多様であればあるほど、ＡＲアプリケーションの魅力は向上するであろう。しかしながら、ＡＲオブジェクトの多様性を高めるために多くの種類の実オブジェクトを認識しなければならないとすれば、照合すべき特徴データが増加し、処理コストが多大となる。そのため、既存の手法では、処理リソースの制約がＡＲオブジェクトの多様性を高めることを妨げていた。

従って、処理コストの増加を抑制しつつ、表示可能なＡＲオブジェクトの多様性を高めることのできる仕組みが提供されることが望ましい。

本開示によれば、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、を備える画像処理装置が提供される。

また、本開示によれば、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得することと、前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定することと、設定された当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、として機能させるためのプログラムが提供される。

また、本開示によれば、印刷面を有する印刷媒体であって、前記印刷媒体を映す画像に拡張現実空間を関連付けるために使用される、前記印刷面に印刷された一次認識対象と前記拡張現実空間に配置される拡張現実オブジェクトを決定するために使用される、前記印刷面に印刷された二次認識対象又は当該二次認識対象のための編集領域と、を含む印刷媒体が提供される。

また、本開示によれば、上述した印刷媒体を複数含む印刷媒体のセットであって、２つ以上の前記印刷媒体は、共通的な外見を有する前記一次認識対象と、異なる値が符号化された前記二次認識対象と、を含む、印刷媒体のセットが提供される。

本開示に係る技術によれば、処理コストの増加を抑制しつつ、表示可能なＡＲオブジェクトの多様性を高めることができる。

一実施形態に係る画像処理システムの概要について説明するための説明図である。 一次認識対象及び二次認識対象のペアの第１の例について説明するための第１の説明図である。 一次認識対象及び二次認識対象のペアの第１の例について説明するための第２の説明図である。 一次認識対象及び二次認識対象のペアの第２の例について説明するための第１の説明図である。 一次認識対象及び二次認識対象のペアの第２の例について説明するための第２の説明図である。 二次認識対象のユーザによる編集の第１の例について説明するための説明図である。 二次認識対象のユーザによる編集の第２の例について説明するための説明図である。 複合的な二次認識対象の一例について説明するための説明図である。 一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 認識辞書データの構成の第１の例を示す説明図である。 認識辞書データの構成の第２の例を示す説明図である。 認識辞書データの構成の第３の例を示す説明図である。 認識辞書データのデータ項目の意味について説明するための説明図である。 オブジェクトデータの構成の一例を示す説明図である。 一次認識対象についての認識の一例について説明するための説明図である。 二次認識対象についての認識の一例について説明するための説明図である。 ＡＲオブジェクトの決定及び配置の一例について説明するための説明図である。 画角の変更を推奨する表示オブジェクトの一例を示す説明図である。 認識ステータスをユーザに通知する表示オブジェクトの一例を示す説明図である。 一実施形態に係る画像処理の流れの一例を示すフローチャートである。 スクラッチ層を有する印刷媒体の一例について説明するための説明図である。 画像処理装置の一変形例について説明するための説明図である。 複数の装置の連携について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．システムの全体像
１−２．認識対象の例
２．画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．応用例
３−１．実オブジェクトの例
３−２．ＨＭＤの利用
３−３．複数の装置の連携
４．まとめ

＜１．概要＞
まず、図１〜図５を用いて、本開示に係る画像処理システムの概要を説明する。

［１−１．システムの全体像］
図１は、一実施形態に係る画像処理システムの概要について説明するための説明図である。図１を参照すると、ユーザＵａが有する画像処理装置１００が示されている。画像処理装置１００は、実空間１を撮像するカメラ１０２と、ディスプレイ１１０とを備える。図１の例において、実空間１には、テーブル１１、コーヒーカップ１２、カードセット１３及び本１４が存在している。画像処理装置１００のカメラ１０２は、このような実空間１を撮像し、実空間１内の実オブジェクトを映す映像を構成する一連の画像を生成する。そして、画像処理装置１００は、カメラ１０２により生成される撮像画像を入力画像として画像処理を行い、出力画像を生成する。本実施形態において、典型的には、出力画像は、入力画像にＡＲオブジェクトを重畳することにより生成される。画像処理装置１００のディスプレイ１１０は、生成された出力画像を順次表示する。なお、図１に示した実空間１は、一例に過ぎない。画像処理装置１００は、いかなる実オブジェクトを映した画像を処理してもよい。

図１では、画像処理装置１００の一例としてスマートフォンを示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、携帯型ゲーム端末、ＰＮＤ（Portable Navigation Device）若しくはデジタルカメラなどのモバイルデバイスであってもい。また、画像処理装置１００は、ＨＭＤ（Head Mounted Display）端末などのウェアラブルデバイスであってもよい。

［１−２．認識対象の例］
本開示に係る技術では、ＡＲアプリケーションのために、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像が、入力画像として取得される。一次認識対象は、撮像面に対する実オブジェクトの相対的な配置を計算するために、画像処理装置１００により認識される。本明細書において、「配置（arrangement）」との用語は、２次元又は３次元の座標系における、位置（並行移動）、姿勢（回転）及びサイズ（スケーリング）のうち少なくとも１つを含むものとする。ＡＲ空間は、一次認識対象についての画像認識に基づいて、入力画像に関連付けて設定される。二次認識対象は、一次認識対象についての画像認識に基づいて画像処理装置１００により認識される。ＡＲ空間に配置されるＡＲオブジェクトは、認識される二次認識対象に依存して決定される。

（１）第１の例
図２Ａ及び図２Ｂは、一次認識対象及び二次認識対象のペアの第１の例について説明するための説明図である。第１の例において、一次認識対象は、マーカの役割を有する絵柄（いわゆる自然マーカ）である。二次認識対象は、可視的なコードである。一次認識対象及び二次認識対象は、実オブジェクトであるカードの印刷面に印刷される。一次認識対象に対する二次認識対象の相対的な配置は、予め固定的に定義される。

図２Ａの左には、カードセット１３に含まれるカード１３ａが示されている。カード１３ａの印刷面には、一次認識対象Ｇ１ａ及び二次認識対象Ｇ２ａが印刷されている。一次認識対象Ｇ１ａは、ロボット型のキャラクターの外見を表現する絵柄である。二次認識対象Ｇ２ａは、３つの矩形のフィールドを有する可視的なコードである。図２Ａの例では、３つのフィールドはいずれも空白である。画像処理装置１００は、例えば、カード１３ａを映す入力画像から抽出される複数の特徴点を一次認識対象Ｇ１ａの既知画像の特徴点セットと照合することにより、入力画像に一次認識対象Ｇ１ａがどのような配置で映っているかを認識し得る。また、画像処理装置１００は、二次認識対象Ｇ２ａについて認識処理を実行し、二次認識対象Ｇ２ａのコード値を認識する。そして、画像処理装置１００は、認識したコード値に対応するＡＲオブジェクトを、ＡＲ空間に配置する。図２Ａの例では、キャラクター３１ａがＡＲ空間に配置すべきＡＲオブジェクトとして決定されている。

図２Ｂの左には、カードセット１３に含まれるカード１３ｂが示されている。カード１３ｂの印刷面には、一次認識対象Ｇ１ａ及び二次認識対象Ｇ２ｂが印刷されている。一次認識対象Ｇ１ａがカード１３ａとカード１３ｂとで共通的な外見を有するため、画像処理装置１００は、１つの特徴点セットを用いて、入力画像内のカード１３ａの配置を認識することも、入力画像内のカード１３ｂの配置を認識することもできる。二次認識対象Ｇ２ｂは、図２Ａに示した二次認識対象Ｇ２ａと同様、３つの矩形のフィールドを有する可視的なコードである。図２Ｂの例では、３つのフィールドのうちの２つが塗りつぶされている。画像処理装置１００は、二次認識対象Ｇ２ｂについて認識処理を実行し、二次認識対象Ｇ２ｂのコード値を認識する。そして、画像処理装置１００は、認識したコード値に対応するＡＲオブジェクトを、ＡＲ空間に配置する。図２Ｂの例では、キャラクター３１ｂがＡＲ空間に配置すべきＡＲオブジェクトとして決定されている。

（２）第２の例
図３Ａ及び図３Ｂは、一次認識対象及び二次認識対象のペアの第２の例について説明するための説明図である。第２の例において、一次認識対象は、パターン化された図形（いわゆる人工マーカ）である。二次認識対象は、可視的なコードである。一次認識対象及び二次認識対象は、実オブジェクトである本の印刷面に印刷される。一次認識対象に対する二次認識対象の相対的な配置は、予め固定的に定義される。

図３Ａの左には、本１４のページ１４ａが示されている。ページ１４ａの印刷面には、一次認識対象Ｇ３ａ及び二次認識対象Ｇ４ａが印刷されている。一次認識対象Ｇ３ａは、ライオンを描いた絵柄１６ａを囲む枠である。二次認識対象Ｇ４ａは、バーコードである。画像処理装置１００は、例えば、一次認識対象Ｇ３ａについての既知のパターンをページ１４ａを映す入力画像から検出し、検出したパターンの形状及びサイズから入力画像に一次認識対象Ｇ３ａがどのような配置で映っているかを認識し得る。また、画像処理装置１００は、二次認識対象Ｇ４ａについて認識処理を実行し（即ち、バーコードを読み取り）、二次認識対象Ｇ４ａのコード値を認識する。そして、画像処理装置１００は、認識したコード値に対応するＡＲオブジェクトを、ＡＲ空間に配置する。図３Ａの例では、キャラクター３２ａがＡＲ空間に配置すべきＡＲオブジェクトとして決定されている。

図３Ｂの左には、本１４のページ１４ｂが示されている。ページ１４ｂの印刷面には、一次認識対象Ｇ３ａ及び二次認識対象Ｇ４ｂが印刷されている。一次認識対象Ｇ３ａがページ１４ａとページ１４ｂとで共通的な外見を有するため、画像処理装置１００は、１つの既知のパターンを用いて、入力画像内のページ１４ａの配置を認識することも、入力画像内のページ１４ｂの配置を認識することもできる。二次認識対象Ｇ４ｂは、図３Ａに示した二次認識対象Ｇ４ａと同様、バーコードである。画像処理装置１００は、二次認識対象Ｇ４ｂについて認識処理を実行し（即ち、バーコードを読み取り）、二次認識対象Ｇ４ｂのコード値を認識する。そして、画像処理装置１００は、認識したコード値に対応するＡＲオブジェクトを、ＡＲ空間に配置する。図３Ｂの例では、キャラクター３２ｂがＡＲ空間に配置すべきＡＲオブジェクトとして決定されている。

一次認識対象として使用されるマーカは、図２Ａ〜図３Ｂに示した例に限定されず、任意の図形、記号、文字列若しくは絵柄、又はそれらの組合せであってよい。一次認識対象として、例えばサイバーコード（登録商標）のような２次元コードが使用されてもよい。

（３）二次認識対象のユーザによる編集
二次認識対象のコードは、ユーザにより編集可能であってもよい。図４Ａは、二次認識対象のユーザによる編集の第１の例について説明するための説明図である。図４Ａを参照すると、図２Ａに例示したカード１３ａが再び示されている。第１の例において、ユーザＵａは、二次認識対象Ｇ２ａのフィールドをペンで塗りつぶすことにより、二次認識対象Ｇ２ａのコード値を書き換えている。

図４Ｂは、二次認識対象のユーザによる編集の第２の例について説明するための説明図である。図４Ｂを参照すると、図２Ａに例示したカード１３ａが再び示されている。第２の例において、ユーザＵａは、二次認識対象Ｇ２ａのフィールドにシール１７を貼り付けることにより、二次認識対象Ｇ２ａのコード値を書き換えている。

図４Ａ及び図４Ｂの例において、編集後の二次認識対象Ｇ２ａについて認識処理が実行されると、二次認識対象Ｇ２ａがどのように編集されたかに依存して異なるコード値が認識される。それに応じて、ＡＲ空間に配置されるＡＲオブジェクトも変化し得る。一例として、二次認識対象が３つのフィールドを有し、各フィールドが白色又は黒色を有する場合には、８（＝２^３）通りのＡＲオブジェクトを識別することができる。フィールドの数は、１つ以上のいかなる数であってもよい。これらフィールドは、３種類以上の色を有していてもよい。一方、カード１３ａの一次認識対象Ｇ１ａは共通的であるため、画像処理装置１００は、入力画像に映るカード１３ａの配置を計算するために、一次認識対象Ｇ１ａについての１つの特徴点セットのみを、入力画像から抽出される特徴点と照合すればよい。

（４）複合的な二次認識対象
１つの実オブジェクトは、複数の部分から構成される複合的な二次認識対象を含んでもよい。図５は、複合的な二次認識対象の一例について説明するための説明図である。図５を参照すると、実オブジェクト１４ｃは、一次認識対象Ｇ５、二次認識対象Ｇ６、及び二次認識対象のための編集領域Ｇ７を含む。一次認識対象Ｇ５は、人工マーカとしての役割を有する枠である。この枠内には、どのような内容が印刷されてもよい。二次認識対象Ｇ６は、特定のコード値が予め符号化されるバーコードである。編集領域Ｇ７は、ユーザによる編集に依存して異なるコード値を有し得る。一次認識対象Ｇ５に対する二次認識対象Ｇ６及び編集領域Ｇ７の相対的な配置は、予め定義される。画像処理装置１００は、一次認識対象Ｇ５についての画像認識に基づいてＡＲ空間を設定し、当該ＡＲ空間に配置されるＡＲオブジェクトを、二次認識対象Ｇ６から認識されるコード値及び編集後の編集領域Ｇ７から認識されるコード値の組合せに依存して決定し得る。

本節で説明したような仕組みによれば、ＡＲ空間を設定するために要する画像認識の処理コストの増加を抑制しつつ、表示されるＡＲオブジェクトの多様性を高めることができる。次節では、こうした仕組みを実現する画像処理装置１００の具体的な構成の例を説明する。

＜２．画像処理装置の構成例＞
［２−１．ハードウェア構成］
図６は、一実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図６を参照すると、画像処理装置１００は、カメラ１０２、センサ１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、バス１１６及びプロセッサ１１８を備える。

（１）カメラ
カメラ１０２は、画像を撮像するカメラモジュールである。カメラ１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実オブジェクトを撮像し、撮像画像を生成する。カメラ１０２により生成される一連の撮像画像は、映像を構成する。

（２）センサ
センサ１０４は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。センサ１０４により測定され得る画像処理装置１００の位置、姿勢又は動きは、後に説明するカメラの位置及び姿勢の認識の支援、地理的な位置に特化したデータの取得、又はユーザからの指示の認識などの様々な用途のために利用されてよい、なお、センサ１０４は、画像処理装置１００の構成から省略されてもよい。

（３）入力インタフェース
入力インタフェース１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力インタフェース１０６は、例えば、ディスプレイ１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。また、入力インタフェース１０６は、キーボード、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。

（４）メモリ
メモリ１０８は、半導体メモリ又はハードディスクなどの記憶媒体である。メモリ１０８は、画像処理装置１００による処理のためのプログラム及びデータを記憶する。メモリ１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び後に説明する様々なデータベース（ＤＢ）内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、メモリ１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（５）ディスプレイ
ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などであってよい。ディスプレイ１１０は、例えば、画像処理装置１００により生成される、ＡＲオブジェクトの重畳された出力画像を表示する。

（６）通信インタフェース
通信インタフェース１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（７）バス
バス１１６は、カメラ１０２、センサ１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２及びプロセッサ１１８を相互に接続する。

（８）プロセッサ
プロセッサ１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。

［２−２．機能構成］
図７は、図６に示した画像処理装置１００のメモリ１０８及びプロセッサ１１８により実現される論理的機能の構成の一例を示すブロック図である。図７を参照すると、画像処理装置１００は、画像取得部１４０、認識データベース（ＤＢ）１５０、認識部１６０、オブジェクトＤＢ１７０及び制御部１８０を備える。

（１）画像取得部
画像取得部１４０は、カメラ１０２により撮像される画像を入力画像として取得する。入力画像は、典型的には、動画を構成する一連のフレームの各々である。本実施形態において、入力画像は、一次認識対象と二次認識対象とを有する実オブジェクトを映す画像である。そして、画像取得部１４０は、取得した入力画像を認識部１６０及び制御部１８０へ出力する。

（２）認識ＤＢ
認識ＤＢ１５０は、後に説明する認識部１６０により使用される認識辞書データを記憶するデータベースである。認識辞書データは、例えば、１つ以上の一次認識対象の各々についての、一次認識対象の特徴を定義する特徴データを含む。また、認識辞書データは、一次認識対象に対する二次認識対象の相対的な配置を定義する配置データを含む。

図８Ａは、認識ＤＢ１５０により記憶され得る認識辞書データの構成の第１の例を示す説明図である。図８Ａを参照すると、認識辞書データ１５１ａは、一次コードＩＤ１５２、特徴データ１５３及び二次コード配置データ１５４ａを含む。二次コード配置データ１５４ａは、コードタイプ１５５、位置オフセット１５６、回転１５７及びサイズ１５８を含む。以下、図９を用いて、認識辞書データ１５１ａのデータ項目の意味について説明する。

一次コードＩＤ１５２は、一次認識対象を一意に識別するための識別子である。特徴データ１５３は、一次認識対象の各々についての既知の特徴を定義する。一次認識対象が図２Ａ及び図２Ｂに例示したような絵柄である場合、特徴データ１５３は、当該絵柄の既知画像から予め抽出される特徴量セットを定義し得る。一例として、特徴量セットは、複数の特徴点の各々についての、実オブジェクトの印刷面の２次元座標系における位置座標と、当該特徴点の輝度とを含んでよい。図９を参照すると、２次元座標系Ｃ_ｒｅｆにおける、特徴点ＦＰ１を含む複数の特徴点の位置が星印で示されている。一次認識対象が図３Ａ及び図３Ｂに例示したようなパターン化された図形である場合、特徴データ１５３は、既知のパターンの形状及びサイズを定義し得る。

コードタイプ１５５は、二次認識対象のタイプを定義する。図９を参照すると、２種類のコードタイプＴ１及びＴ２が例示されている。コードタイプＴ１は、二次認識対象が横に並ぶ３つの矩形のフィールドを有するコードであることを示す。コードタイプＴ２は、二次認識対象がバーコードであることを示す。これらコードはいずれも、可視的なコードである。位置オフセット１５６は、一次認識対象の基準位置（例えば、２次元座標系Ｃ_ｒｅｆの原点）からの二次認識対象の基準位置のオフセットを定義する。図９の例では、位置オフセット１５６は、二次認識対象を囲むバウンディングボックスの左上の頂点の位置座標ＯＦ１に等しい。回転１５７は、基準位置を中心とした二次認識対象の回転量（例えば、実オブジェクトの印刷面上での回転量）を定義する。図９の例では、二次認識対象は回転されないため、回転１５７は省略され得る。サイズ１５８は、２次元座標系Ｃ_ｒｅｆにおける二次認識対象のサイズを定義する。図９の例では、サイズ１５８は、二次認識対象を囲むバウンディングボックスの幅Ｗ１及び高さＨ１を示し得る。

図８Ｂは、認識ＤＢ１５０により記憶され得る認識辞書データの構成の第２の例を示す説明図である。図８Ｂを参照すると、認識辞書データ１５１ｂは、一次コードＩＤ１５２、特徴データ１５３及び二次コード配置データ１５４ｂを含む。二次コード配置データ１５４ｂは、位置オフセット１５６のみを含む。例えば二次認識対象のタイプが１種類のみであり、二次認識対象が回転されず、二次認識対象のサイズも固定的である場合には、このように、二次認識対象の相対的な配置を簡略的に定義することができる。

図８Ｃは、認識ＤＢ１５０により記憶され得る認識辞書データの構成の第３の例を示す説明図である。図８Ｃを参照すると、認識辞書データ１５１ｃは、一次コードＩＤ１５２、特徴データ１５３及び二次コード配置データ１５４ｃを含む。二次コード配置データ１５４ｃは、コード数１５９、並びにコード数１５９により示される数の配置データのセットを含む。配置データの第１のセットは、コードタイプ１５５ａ、位置オフセット１５６ａ及びサイズ１５８ａを含む。配置データの第２のセットは、コードタイプ１５５ｂ、位置オフセット１５６ｂ及びサイズ１５８ｂを含む。図５に例示したような複合的な二次認識対象が利用される場合には、このようなデータフォーマットを用いて、個々の二次認識対象のタイプと配置とを定義することができる。

（３）認識部
認識部１６０は、一次認識対象についての画像認識を実行することにより、入力画像内での一次認識対象の配置を認識する。認識部１６０は、例えば、入力画像から抽出される画像特徴量を認識ＤＢ１５０により記憶される既知の特徴量セットと照合することにより、入力画像に映る一次認識対象を認識してもよい。また、認識部１６０は、入力画像に含まれるパターンを認識ＤＢ１５０により記憶される既知のパターンと照合することにより、入力画像に映る一次認識対象を認識してもよい。さらに、認識部１６０は、検出した複数の特徴点の間の位置関係、又は検出したパターンの形状及びサイズから、入力画像に一次認識対象がどのような配置で映っているかを認識する。

図１１Ａは、一次認識対象についての認識の一例について説明するための説明図である。図１１Ａの左には、ユーザＵａが画像処理装置１００をカード１３ｂにかざしている様子が示されている。画像取得部１４０は、カード１３ｂを映す入力画像ＩＭ１１を取得する。入力画像ＩＭ１１には、斜め上から見た一次認識対象Ｇ１ａが映っている。認識部１６０は、例えば、Ｈａｒｒｉｓ法又はＭｏｒａｖｅｃ法などの公知のコーナー検出法に従って、入力画像ＩＭ１１から特徴点を抽出する（処理Ｐ１）。図中の星印は、入力画像ＩＭ１１から抽出される複数の特徴点を示している。そして、認識部１６０は、これら特徴点の位置座標を含む特徴量を、認識ＤＢ１５０により予め記憶される一次認識対象Ｇ１ａの特徴量セットと照合することにより、入力画像ＩＭ１１に一次認識対象Ｇ１ａが映っていることを認識する。また、認識部１６０は、一次認識対象Ｇ１ａの３次元的な配置を認識する。一例として、認識された３次元的な配置を、撮像面及びその奥行きに対応する３次元のスクリーン座標系Ｃ_ＳＣにおける同次変換行列Ｗ_ＰＲで表現され得る（処理Ｐ２）。同次変換行列Ｗ_ＰＲは、実質的に、入力画像を撮像したカメラ１０２に対する実オブジェクト１３ｂの相対的な配置を示す。認識部１６０は、このように認識される一次認識対象の識別子（一次コードＩＤ）と対応する同次変換行列とを、制御部１８０へ出力する。

認識部１６０は、さらに、一次認識対象についての上述した画像認識に基づいて、二次認識対象を認識する。例えば、認識部１６０は、入力画像から取得される二次認識対象の部分画像について認識処理を実行する。二次認識対象が映っている部分は、一次認識対象についての画像認識の結果、及び上述した配置データを用いて判定され得る。二次認識対象のタイプの候補が２種類以上存在する場合には、認識すべき二次認識対象のタイプもまた上述した配置データにより定義され、その定義を参照することにより実行すべき認識処理が選択され得る。二次認識対象が図２Ａ及び図２Ｂに例示したような複数のフィールドを有する場合には、認識部１６０は、各フィールドの輝度又は色などのパラメータを部分画像から読み取り、読取ったパラメータの組合せに対応するコード値を決定する。二次認識対象が図３Ａ及び図３Ｂに例示したようなバーコードである場合には、認識部１６０は、一般的なバーコード読み取り処理を実行し、コード値を復号する。

図１１Ｂは、二次認識対象についての認識の一例について説明するための説明図である。図１１Ｂの左には、図１１Ａを用いて説明した入力画像ＩＭ１１が再び示されている。この入力画像ＩＭ１１について、同次変換行列Ｗ_ＰＲの逆行列Ｗ_ＰＲ ^−１を用いて逆変換を実行すると、実オブジェクト１３ｂの印刷面が撮像面に正対するように変形された変形画像ＩＭ１２が生成される（処理Ｐ３）。変形画像ＩＭ１２における二次認識対象Ｇ２ｂの配置は、認識辞書データに含まれる二次コード配置データに従って、一次認識対象Ｇ１ａの配置から判定される（処理Ｐ４）。認識部１６０は、このように判定される二次認識対象Ｇ２ｂの部分画像について、二次認識対象Ｇ２ｂのタイプに対応する認識処理を実行する。そして、認識部１６０は、認識処理の結果として認識されたコード値を、制御部１８０へ出力する。

（４）オブジェクトＤＢ
オブジェクトＤＢ１７０は、後に説明する制御部１８０により使用されるオブジェクトデータを記憶するデータベースである。オブジェクトデータは、ＡＲ空間に配置される様々なＡＲオブジェクトの各々と二次認識対象の対応するコード値とのマッピングを定義する。オブジェクトデータは、一次認識対象の複数の候補の各々について定義されてもよい。

図１０は、オブジェクトＤＢ１７０により記憶され得るオブジェクトデータの構成の一例を示す説明図である。図１０を参照すると、オブジェクトデータ１７１は、一次コードＩＤ１７２、二次コード値１７３、オブジェクトＩＤ１７４、位置１７５、姿勢１７６及びグラフィックデータ１７７を含む。一次コードＩＤ１７２は、一次認識対象の複数の候補の各々を識別するための識別子である。二次コード値１７３は、二次認識対象から認識され得るコード値の候補を示す。オブジェクトＩＤ１７４は、ＡＲオブジェクトを一意に識別するための識別子である。位置１７５は、ＡＲ空間内でＡＲオブジェクトが配置される３次元的な位置を定義する。姿勢１７６は、ＡＲ空間内でＡＲオブジェクトが配置される３次元的な姿勢を定義する。ＡＲ空間内のＡＲオブジェクトの位置及び姿勢は、例えば、対応する一次認識対象に対する相対的な関係において定義され得る。グラフィックデータ１７７は、ＡＲオブジェクトの画像を生成する際に使用されるデータであり、例えばポリゴン、テクスチャ、アニメーション及びその他の表示属性を定義し得る。

（５）制御部
制御部１８０は、一次認識対象について認識部１６０により実行される画像認識の結果に基づいて、入力画像に関連付けられるＡＲ空間を設定する。例えば、制御部１８０は、入力画像内の実オブジェクトの印刷面を、ＡＲオブジェクトの姿勢又は動きの基準として扱われるＡＲ空間の水平面としてもよい。撮像面に対する印刷面の相対的な姿勢は、認識部１６０から入力される同次変換行列Ｗ_ＰＲにより表現され得る。また、制御部１８０は、入力画像内の一次認識対象の位置を、ＡＲオブジェクトが配置されるＡＲ空間の基準位置としてもよい。入力画像内の一次認識対象の位置もまた、同次変換行列Ｗ_ＰＲにより表現され得る。

制御部１８０は、さらに、ＡＲ空間にどのＡＲオブジェクトを配置すべきかを、認識部１６０により認識される二次認識対象のコード値に依存して決定する。例えば、制御部１８０は、上述した認識ＤＢ１５０により記憶される配置データを用いて、認識部１６０により認識された一次認識対象の配置から、同じ実オブジェクト上の認識すべき二次認識対象の配置を判定する。配置データにより二次認識対象のタイプが定義される場合には、制御部１８０は、当該配置データにより定義される二次認識対象のタイプ（コードタイプ）に基づいて、認識部１６０に実行させるべき認識処理を選択してもよい。制御部１８０は、入力画像に映る二次認識対象について、認識部１６０に認識処理を実行させる。そして、制御部１８０は、認識処理によって認識された二次認識対象のコード値が認識部１６０から入力されると、オブジェクトデータ１７１において当該コード値にマッピングされているＡＲオブジェクトを、ＡＲ空間に配置すべきＡＲオブジェクトとして決定する。一次認識対象の複数の候補が存在する場合には、制御部１８０は、当該複数の候補のうち認識部１６０により認識された一次認識対象に対応するオブジェクトデータを、ＡＲオブジェクトを決定するために使用し得る。

制御部１８０は、配置すべきＡＲオブジェクトをオブジェクトデータを参照して決定すると、オブジェクトデータでの定義に従って、ＡＲ空間に当該ＡＲオブジェクトを配置する。また、制御部１８０は、認識部１６０による画像認識の結果に基づいて、カメラ１０２の視点から見たＡＲオブジェクトの画像を生成する。そして、制御部１８０は、ＡＲオブジェクトの画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像をディスプレイ１１０の画面に表示させる。

図１１Ｃは、ＡＲオブジェクトの決定及び配置の一例について説明するための説明図である。図１１Ｃの左には、図１１Ｂを用いて説明した変形画像ＩＭ１２が再び示されている。変形画像ＩＭ１２に映る一次認識対象Ｇ１ａの一次コードＩＤは、例えば“ＰＣ１”である。変形画像ＩＭ１２に映る二次認識対象Ｇ２ｂについて認識処理を実行することにより読み取られる二次認識対象Ｇ２ｂのコード値は、例えば“１０１”である。制御部１８０は、オブジェクトデータ１７１の一次コードＩＤ“ＰＣ１”に対応するサブセットの中の二次コード値“１０１”を有するレコードを参照することにより、オブジェクトＩＤ“ＡＲ１５”を有するＡＲオブジェクト３１ｂをＡＲ空間に配置することを決定する（処理Ｐ５）。また、制御部１８０は、ＡＲオブジェクト３１ｂを、入力画像内の一次認識対象Ｇ１ａの位置に、実オブジェクト１３ｂの印刷面に乗っているかのように配置し、配置したＡＲオブジェクト３１ｂの画像を入力画像に重畳する（処理Ｐ６）。

制御部１８０は、例えば、配置データを用いて判定される二次認識対象の配置から、認識すべき当該二次認識対象が入力画像に十分に映っているかを判定してもよい。二次認識対象の主要な部分が入力画像の外側に存在する場合には、制御部１８０は、二次認識対象が入力画像に十分に映っていないと判定し得る。制御部１８０は、二次認識対象が入力画像に十分に映っていないと判定される場合に、画角の変更を推奨する表示オブジェクトを画面に表示させてもよい。一例として、図１２を参照すると、画像ＩＭ２１に表示オブジェクトＡＬ１及びＡＬ２が重畳されている。画像ＩＭ２１には、実オブジェクト１３ｂが映っているものの、実オブジェクト１３ｂの二次認識対象Ｇ２ｂの１つ以上のフィールドが画像ＩＭ２１の画角の右側に外れている。表示オブジェクトＡＬ１は、ユーザに画角の変更を推奨するメッセージを表示するテキストボックスである。表示オブジェクトＡＬ２は、画角を動かす方向を指し示す三角形のアイコンである。ユーザは、これら表示オブジェクトＡＬ１及びＡＬ２に従って画角を右方向へ動かすことにより（又はズームアウトして画角を拡げることにより）、二次認識対象Ｇ２ｂの全体を撮像し、ＡＲオブジェクトを成功裏に表示させることができる。

また、制御部１８０は、一次認識対象についての認識ステータス及び二次認識対象についての認識ステータスの少なくとも一方を、ディスプレイ１１０の画面に表示させてもよい。一例として、図１３を参照すると、画像ＩＭ２２に表示オブジェクトＡＬ３及びＡＬ４が重畳されている。表示オブジェクトＡＬ３は、認識に成功した一次認識対象を囲む枠である。一次認識対象を囲む枠の代わりに（又はそれに加えて）、画像ＩＭ２２から抽出された特徴点を指し示すアイコンが表示されてもよい。表示オブジェクトＡＬ４は、認識ステータスを示すインジケータである。図１３の例では、インジケータは、５０％の進行度を示している。これは、一次認識対象についての認識が成功した一方で、二次認識対象についての認識は未だ完了していないことを意味する。ユーザは、このような認識ステータスを見ることにより、ＡＲアプリケーションの状態をリアルタイムで把握することができる。なお、認識ステータスの表示は、ＡＲアプリケーションの視認性を妨げないように、二次認識対象についての認識が完了した後で自動的に非表示化されてもよい。

［２−３．処理の流れ］
図１４は、本実施形態に係る画像処理装置１００により実行される画像処理の流れの一例を示すフローチャートである。図１４に示した処理は、カメラ１０２により撮像される一連の入力画像の各々について繰り返される。

図１４を参照すると、まず、画像取得部１４０は、一次認識対象と二次認識対象とを有する実オブジェクトを映す入力画像を、カメラ１０２から取得する（ステップＳ１０２）。そして、画像取得部１４０は、取得した入力画像を認識部１６０及び制御部１８０へ出力する。

次に、認識部１６０は、認識ＤＢ１５０により記憶される認識辞書データを用いて、一次認識対象についての画像認識を実行する（ステップＳ１０４）。本実施形態において、認識辞書データは、表示される可能性のあるＡＲオブジェクトの数と比較すると、より少ない数の一次認識対象についての特徴データのみを含む。従って、ここで実行される画像認識の処理コストは、低く抑制される。

次に、認識部１６０は、いずれかの一次認識対象が認識されたか否かを判定する（ステップＳ１０６）。一次認識対象が認識されなかった場合には、処理はステップＳ１０２へ戻り、次の入力画像が取得される。一次認識対象が認識された場合、認識部１６０は、カメラ１０２に対する一次認識対象（あるいは実オブジェクト）の３次元的な配置を表現する変換行列（例えば、同次変換行列）を計算する（ステップＳ１０８）。そして、認識部１６０は、認識した一次認識対象の識別子と計算した変換行列とを、制御部１８０へ出力する。

制御部１８０は、認識部１６０から入力される変換行列の逆行列を用いて、入力画像について逆変換を実行することにより、一次認識対象及び二次認識対象が撮像面に正対するように変形された変形画像を生成する（ステップＳ１１０）。次に、制御部１８０は、認識辞書データに含まれる配置データを用いて、変換画像内の二次認識対象の配置を判定する（ステップＳ１１２）。

次に、制御部１８０は、判定した二次認識対象の配置に基づいて、入力画像に二次認識対象が十分に映っているかを判定する（ステップＳ１１４）。ここで、制御部１８０は、入力画像に二次認識対象が十分に映っていないと判定される場合には、画角の変更を推奨する表示オブジェクトを画面に表示させる（ステップＳ１１６）。その後、処理はステップＳ１０２へ戻る。一方、制御部１８０は、入力画像に二次認識対象が十分に映っていると判定される場合には、配置データにより定義される二次認識対象のコードタイプに基づいて、認識部１６０に実行させるべき認識処理を選択する（ステップＳ１１８）。そして、制御部１８０は、入力画像に映る二次認識対象について、選択した認識処理を認識部１６０に実行させる（ステップＳ１２０）。認識部１６０は、認識処理の結果として認識されたコード値を、制御部１８０へ出力する。

次に、制御部１８０は、認識部１６０により認識されたコード値（及び一次認識対象の識別子）を用いて、オブジェクトＤＢ１７０により記憶されるオブジェクトデータを参照することにより、表示すべきＡＲオブジェクトを決定する（ステップＳ１２２）。なお、制御部１８０は、オブジェクトＤＢ１７０の代わりに、通信インタフェース１１２を介して接続されるデータサーバ上のオブジェクトデータを参照してもよい。次に、制御部１８０は、一次認識対象についての画像認識の結果に基づいて、決定したＡＲオブジェクトの画像を生成する（ステップＳ１２４）。そして、制御部１８０は、ＡＲオブジェクトの画像を入力画像に重畳することにより生成される出力画像を、ディスプレイ１１０の画面に表示させる（ステップＳ１２６）。

＜３．応用例＞
［３−１．実オブジェクトの例］
本開示に係る技術において利用される実オブジェクトは、その表面に認識対象を有するいかなる種類の実オブジェクトであってもよい。例えば、ポスター、広告看板、チラシ、雑誌、新聞紙、書籍及びトレーディングカードなどの様々な印刷媒体を、その印刷面に一次認識対象と二次認識対象又は二次認識対象のための編集領域とを印刷することにより、本開示に係る技術のための実オブジェクトとして利用することができる。印刷面には、ＡＲアプリケーションと連携する撮像装置（例えば、画像処理装置１００のカメラ１０２）を印刷媒体にかざすようにユーザを誘導するガイダンスが印刷されてもよい。

上述した印刷媒体の１つの用途は、カードゲーム用のトレーディングカードである。例えば、複数のカードに共通的な外見を有する一次認識対象（例えば、ゲームキャラクターの絵柄）を印刷し、但しそれらカードに異なるコード値が符号化された二次認識対象を印刷する。一次認識対象は、印刷媒体を映す画像にＡＲ空間を関連付けるために使用される。二次認識対象は、ＡＲ空間に配置されるＡＲオブジェクトを決定するために使用される。印刷面における一次認識対象に対する二次認識対象の相対的な配置は、固定的である。カードを購入したユーザは、購入したカードに画像処理装置１００のカメラ１０２をかざす。すると、画面上には、カードに印刷されたキャラクターに対応するＡＲオブジェクトが表示される。ＡＲオブジェクトは、二次認識対象から認識されるコード値に依存して異なる属性を有する。ここでの属性は、ＡＲオブジェクトの外見に関連する属性であってもよく、又はゲームの進行に影響を与えるその他の属性（例えば、キャラクターのレベルなど）であってもよい。このようなトレーディングカードが実現されれば、画像認識の処理コストを増加させることなく、ＡＲオブジェクトの多様性を高めてユーザの購買意欲又は収集意欲を向上させることができる。また、二次認識対象の代わりに二次認識対象の編集領域がカードに印刷される場合には、ユーザは、カードを入手した後に、二次認識対象を編集することにより、表示されるＡＲオブジェクトの属性を変化させることができる。それにより、カードゲームの進行の単調化を防止することができる。トレーディングカードは、１枚ずつユーザに提供されてもよく、又はトレーディングカードのセットとしてユーザに提供されてもよい。

上述した印刷媒体の別の用途は、広告用のポスターである。例えば、複数のポスターに共通的な外見を有する一次認識対象（例えば、商品の写真）を印刷し、但しそれらポスターに異なるコード値が符号化された二次認識対象を印刷する。商店街や駅などの場所でポスターを発見したユーザは、発見したポスターに画像処理装置１００のカメラ１０２をかざす。すると、画面上には、ポスターに印刷された商品に対応するＡＲオブジェクトが表示される。ＡＲオブジェクトは、二次認識対象から認識されるコード値に依存して異なる属性を有する。ポスターの掲示場所ごとにコード値を変更し、その場所に訪れるユーザに適した属性を有するＡＲオブジェクトが提供されてもよい。このような広告用のポスターが実現されれば、画像認識の処理コストを増加させることなく、ＡＲオブジェクトの多様性を高めて商品に対するユーザの興味を喚起することにより、広告効果を向上させることができる。広告用のポスターは、１枚ずつ提供されてもよく、又はポスターのセットとして事業者に提供されてもよい。

トレーディングカード又はその他の用途において、印刷媒体は、印刷面において二次認識対象を覆う位置に形成されるスクラッチ層をさらに備えてもよい。図１５は、スクラッチ層を有する印刷媒体の一例について説明するための説明図である。図１５を参照すると、一例としてのトレーディングカード１５が示されている。トレーディングカード１５は、その印刷面に印刷された一次認識対象Ｇ７と、印刷面に積層されるスクラッチ層ＳＣ１とを有する。スクラッチ層ＳＣ１は、二次認識対象を覆う位置に形成されており、ユーザがスクラッチ層ＳＣ１を削り取ると、二次認識対象が露出して視認可能となる。例えば、二次認識対象Ｇ８ａが露出した場合、ＡＲアプリケーションの出力画像には、ＡＲオブジェクト３３ａが表示される。二次認識対象Ｇ８ｂが露出した場合、ＡＲアプリケーションの出力画像には、ＡＲオブジェクト３３ｂが表示される。二次認識対象Ｇ８ｃが露出した場合、ＡＲアプリケーションの出力画像には、ＡＲオブジェクト３３ｃが表示される。このようなスクラッチ型のトレーディングカードが実現されれば、画像認識の処理コストを増加させることなく、ＡＲオブジェクトに意外性を持たせてユーザの好奇心を刺激することができる。

［３−２．ＨＭＤの利用］
上述したように、本開示に係る技術は、ＨＭＤ端末を用いて実現されてもよい。図１６は、画像処理装置の一変形例について説明するための説明図である。図１６の例において、画像処理装置２００は、ユーザの頭部に装着される眼鏡型のＨＭＤ端末である。画像処理装置２００は、筐体２０１、カメラ２０２、接触面２０６並びに一対の画面２１０ａ及び２１０ｂを備える。筐体２０１は、画面２１０ａ及び２１０ｂを支持するフレームと、ユーザの側頭部に位置するいわゆるテンプルとを含む。テンプルの内部には、画像処理のためのメモリ及びプロセッサを含むいくつかのモジュールが格納される。それらモジュールは、図７に示した画像処理装置１００の様々な論理的機能と同等の機能を有する。カメラ２０２は、そのレンズの光軸がユーザの視線と略平行になるように配置され、画像を撮像するために用いられる。接触面２０６は、ユーザによるタッチを検出する面であり、画像処理装置２００がユーザ入力を受け付けるために用いられる。画面２１０ａ及び２１０ｂは、ユーザの左目及び右目の前方にそれぞれ配置される、シースルー型の又は非シースルー型の画面である。

［３−３．複数の装置の連携］
本開示に係る技術は、複数の装置が互いに連携することにより実現されてもよい。例えば、上述した認識部１６０及び制御部１８０の機能の一部は、画像処理装置１００又は２００とは物理的に異なる装置により実行されてもよい。

図１７は、複数の装置の連携について説明するための説明図である。図１７を参照すると、画像処理装置１００、及び画像処理装置１００と通信するサーバ装置３００が示されている。サーバ装置３００は、ユーザの近傍に構築されるパーソナルネットワーク若しくはホームネットワーク上に配置されてもよく、又はインターネットなどの遠隔的なネットワーク上に配置されてもよい。画像処理装置１００は、例えば入力画像をサーバ装置３００へ送信する（ＳＩＧ１）。サーバ装置３００は、図７に示した認識部１６０及び制御部１８０の機能を有する装置である。サーバ装置３００は、画像処理装置１００から受信される入力画像について画像認識を実行し、一次認識対象及び二次認識対象を認識する。また、サーバ装置３００は、それら認識の結果に基づいてＡＲ空間に配置すべきＡＲオブジェクトを決定し、決定したＡＲオブジェクトの画像又はグラフィックデータを画像処理装置１００へ送信する（ＳＩＧ２）。画像処理装置１００は、サーバ装置３００から受信されるデータを用いて、ＡＲオブジェクトの重畳された出力画像を画面に表示させる。かかる構成によれば、画像処理装置１００が少ない処理リソースしか有しない場合であっても、ユーザにＡＲアプリケーションを提供することができる。

＜４．まとめ＞
ここまで、図１〜図１７を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、入力画像に映る実オブジェクトの一次認識対象について画像認識が実行され、当該画像認識に基づいてさらに同じ実オブジェクトの二次認識対象が認識される。そして、ＡＲ空間は、一次認識対象についての画像認識に基づいて設定される。ＡＲ空間に配置されるＡＲオブジェクトは、二次認識対象に依存して決定される。従って、ＡＲ空間を設定するための特徴データの照合のような重い処理の処理コストの増加を抑制しつつ、二次認識対象のバリエーションを増やすことにより、表示可能なＡＲオブジェクトの多様性を高めることができる。

また、上述した実施形態によれば、一次認識対象に対する二次認識対象の相対的な配置は固定的に定義され、一次認識対象の入力画像内での配置から、認識すべき二次認識対象の配置が判定され得る。かかる構成によれば、事前に配置が知られていない二次認識対象を入力画像内で探索する処理は不要である。従って、二次認識対象を認識するための処理コストは、大幅に低減される。

また、上述した実施形態によれば、二次認識対象は、上記配置データに従って取得される部分画像について認識処理を実行することにより認識され得る。従って、例えばバーコード読み取りモジュールのような汎用化された認識モジュールを活用することにより、上述した仕組みを少ない開発コストで実現することができる。二次認識対象のタイプを定義するデータが提供され、当該データを用いて二次認識対象のための認識処理が切り替えられる場合には、ＡＲアプリケーションの用途に応じて二次認識対象の形態を柔軟に選択することが可能となる。それにより、共通的な仕組みで、例えば広告、ゲーム又は教育などの幅広い用途にＡＲアプリケーションを適応させることができる。

また、上述した実施形態によれば、二次認識対象は、ユーザにより編集される可視的なコードを含み、ＡＲオブジェクトは、編集された二次認識対象から読み取られるコードにマッピングされ得る。この場合、ユーザが二次認識対象をどのように編集するかに依存して異なるＡＲオブジェクトを表示することが可能となる。それにより、ＡＲアプリケーションの単調化を防止し、ＡＲアプリケーションに対するユーザの興味を維持することができる。

なお、本明細書において説明した各装置による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、
前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、
を備える画像処理装置。
（２）
前記制御部は、前記一次認識対象に対する前記二次認識対象の相対的な配置を定義する配置データを用いて、前記一次認識対象の前記画像内での配置から、認識すべき前記二次認識対象の配置を判定する、前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記二次認識対象の前記配置から前記二次認識対象が前記画像に十分に映っていないと判定される場合に、画角の変更を推奨する表示オブジェクトを画面に表示させる、前記（２）に記載の画像処理装置。
（４）
前記二次認識対象は、前記二次認識対象の前記配置に従って取得される部分画像について、認識処理を実行することにより認識される、前記（２）又は前記（３）に記載の画像処理装置。
（５）
前記配置データは、前記二次認識対象のタイプをさらに定義し、
前記二次認識対象を認識するための前記認識処理は、前記配置データを用いて判定される前記二次認識対象の前記タイプに基づいて選択される、
前記（４）に記載の画像処理装置。
（６）
前記二次認識対象は、ユーザにより編集される可視的なコードを含み、
前記制御部は、前記拡張現実空間に配置すべき前記拡張現実オブジェクトを、前記二次認識対象の認識されるコードと対応する拡張現実オブジェクトとをマッピングするオブジェクトデータを用いて決定する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記オブジェクトデータは、前記一次認識対象の複数の候補の各々について定義され、
前記制御部は、前記複数の候補のうち認識された前記一次認識対象に対応する前記オブジェクトデータを、前記拡張現実オブジェクトを決定するために使用する、
前記（６）に記載の画像処理装置。
（８）
前記一次認識対象は、既知の画像又はパターンであり、
前記画像処理装置は、１つ以上の既知の画像又はパターンの特徴データに対して前記画像を照合することにより、前記画像認識を実行する認識部、をさらに備える、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記制御部は、前記一次認識対象についての認識ステータス及び前記二次認識対象についての認識ステータスの少なくとも一方を画面に表示させる、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記配置は、認識対象の位置、姿勢及びサイズのうち少なくとも１つを含む、前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（１１）
一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得することと、
前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定することと、
設定された当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定することと、
を含む画像処理方法。
（１２）
画像処理装置を制御するコンピュータを、
一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、
前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、
として機能させるためのプログラム。
（１３）
印刷面を有する印刷媒体であって、
前記印刷媒体を映す画像に拡張現実空間を関連付けるために使用される、前記印刷面に印刷された一次認識対象と
前記拡張現実空間に配置される拡張現実オブジェクトを決定するために使用される、前記印刷面に印刷された二次認識対象又は当該二次認識対象のための編集領域と、
を含む印刷媒体。
（１４）
前記（１３）に記載の印刷媒体を複数含む印刷媒体のセットであって、
２つ以上の前記印刷媒体は、共通的な外見を有する前記一次認識対象と、異なる値が符号化された前記二次認識対象と、を含む、
印刷媒体のセット。
（１５）
２つ以上の前記印刷媒体の印刷面における前記一次認識対象に対する前記二次認識対象の相対的な配置は、固定的である、前記（１４）に記載の印刷媒体のセット。
（１６）
前記印刷媒体は、
前記二次認識対象と、
前記印刷面において前記二次認識対象を覆う位置に形成されるスクラッチ層と、
をさらに含む、前記（１３）に記載の印刷媒体。

１００，２００ 画像処理装置
１２０ 画像取得部
１６０ 認識部
１８０ 制御部
１５１ 認識辞書データ
１５３ 特徴データ
１５４ａ〜ｃ 二次コード配置データ
１７１ オブジェクトデータ

Claims (16)

1. 一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、
   前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、
   を備える画像処理装置。
2. 前記制御部は、前記一次認識対象に対する前記二次認識対象の相対的な配置を定義する配置データを用いて、前記一次認識対象の前記画像内での配置から、認識すべき前記二次認識対象の配置を判定する、請求項１に記載の画像処理装置。
3. 前記制御部は、前記二次認識対象の前記配置から前記二次認識対象が前記画像に十分に映っていないと判定される場合に、画角の変更を推奨する表示オブジェクトを画面に表示させる、請求項２に記載の画像処理装置。
4. 前記二次認識対象は、前記二次認識対象の前記配置に従って取得される部分画像について、認識処理を実行することにより認識される、請求項２に記載の画像処理装置。
5. 前記配置データは、前記二次認識対象のタイプをさらに定義し、
   前記二次認識対象を認識するための前記認識処理は、前記配置データを用いて判定される前記二次認識対象の前記タイプに基づいて選択される、
   請求項４に記載の画像処理装置。
6. 前記二次認識対象は、ユーザにより編集される可視的なコードを含み、
   前記制御部は、前記拡張現実空間に配置すべき前記拡張現実オブジェクトを、前記二次認識対象の認識されるコードと対応する拡張現実オブジェクトとをマッピングするオブジェクトデータを用いて決定する、
   請求項１に記載の画像処理装置。
7. 前記オブジェクトデータは、前記一次認識対象の複数の候補の各々について定義され、
   前記制御部は、前記複数の候補のうち認識された前記一次認識対象に対応する前記オブジェクトデータを、前記拡張現実オブジェクトを決定するために使用する、
   請求項６に記載の画像処理装置。
8. 前記一次認識対象は、既知の画像又はパターンであり、
   前記画像処理装置は、１つ以上の既知の画像又はパターンの特徴データに対して前記画像を照合することにより、前記画像認識を実行する認識部、をさらに備える、
   請求項１に記載の画像処理装置。
9. 前記制御部は、前記一次認識対象についての認識ステータス及び前記二次認識対象についての認識ステータスの少なくとも一方を画面に表示させる、請求項１に記載の画像処理装置。
10. 前記配置は、認識対象の位置、姿勢及びサイズのうち少なくとも１つを含む、請求項２に記載の画像処理装置。
11. 一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得することと、
    前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定することと、
    設定された当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定することと、
    を含む画像処理方法。
12. 画像処理装置を制御するコンピュータを、
    一次認識対象と二次認識対象とを有する実オブジェクトを映す画像を取得する画像取得部と、
    前記画像に関連付けられる拡張現実空間を、前記一次認識対象についての画像認識に基づいて設定し、当該拡張現実空間に配置される拡張現実オブジェクトを、前記一次認識対象についての前記画像認識に基づいて認識される前記二次認識対象に依存して決定する制御部と、
    として機能させるためのプログラム。
13. 印刷面を有する印刷媒体であって、
    前記印刷媒体を映す画像に拡張現実空間を関連付けるために使用される、前記印刷面に印刷された一次認識対象と
    前記拡張現実空間に配置される拡張現実オブジェクトを決定するために使用される、前記印刷面に印刷された二次認識対象又は当該二次認識対象のための編集領域と、
    を含む印刷媒体。
14. 請求項１３に記載の印刷媒体を複数含む印刷媒体のセットであって、
    ２つ以上の前記印刷媒体は、共通的な外見を有する前記一次認識対象と、異なる値が符号化された前記二次認識対象と、を含む、
    印刷媒体のセット。
15. ２つ以上の前記印刷媒体の印刷面における前記一次認識対象に対する前記二次認識対象の相対的な配置は、固定的である、請求項１４に記載の印刷媒体のセット。
16. 前記印刷媒体は、
    前記二次認識対象と、
    前記印刷面において前記二次認識対象を覆う位置に形成されるスクラッチ層と、
    をさらに含む、請求項１３に記載の印刷媒体。
    

Images