JP6256497B2 - 情報処理システム、情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置、制御方法、及びプログラムに関する。

商品に関する情報を閲覧するためのシステムが提供されている。特許文献１は商品情報出力装置の発明を開示している。この商品情報出力装置に設けられたカメラでユーザが商品を撮影すると、商品情報出力装置は、カメラによって生成された画像に写っている商品の商品情報を取得して、タッチパネルに表示する。こうすることで、ユーザは商品情報を閲覧することができる。またユーザは、商品情報出力装置に設けられているタッチパネルを操作するか、又は商品情報出力装置に設けられているマイクに対して発話することで、閲覧している商品に関する質問を行うことができる。

特許５２２０９５３号

店舗で商品を見ながら前述した商品情報出力装置を利用する場合、ユーザは、商品情報の閲覧や商品に関する質問を行うために、商品情報出力装置を手に持っている必要がある。そのため、少なくともユーザの片手がふさがってしまい、ユーザの行動の自由度が下がってしまう。また、マイクを利用して商品に関する情報の入力を行う方法は、周囲に人がいる状況では利用しづらいことがある。

本発明は、上記課題に鑑みてなされたものである。本発明の目的は、閲覧している商品に関連した入力操作を行うシステムの利便性を高くする技術を提供することである。

本発明の情報処理装置は、（１）撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識手段と、（２）前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御手段と、（３）撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識手段と、を有する。前記オブジェクト認識手段は、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出する。前記表示制御手段は、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させる。前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である。

本発明の情報処理システムは、本発明の情報処理装置及び前記表示装置を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、（１）撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識ステップと、（２）前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御ステップと、（３）撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識ステップと、を有する。前記オブジェクト認識ステップにおいて、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出する。前記表示制御ステップにおいて、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させる。前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、閲覧している商品に関連した入力操作を行うシステムの利便性を高くする技術が提供される。

実施形態１に係る情報処理システムを例示するブロック図である。 情報処理システムを概念的に説明するための図である。 情報処理装置を実現する計算機の構成を例示する図である。 カメラが設けられているヘッドマウントディスプレイを例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 撮像画像の所定領域に写っている商品を例示する図である。 所定領域を表すガイドが表示されている表示装置を例示する図である。 商品情報をテーブル形式で例示する図である。 操作画面のテンプレートを例示する図である。 操作体の位置を定める方法を例示する第１の図である。 操作体の位置を定める方法を例示する第２の図である。 ユーザの指がぶれて写っている撮像画像２２を例示する図である。 操作体の位置に基づいて定まる操作を例示する図である。 操作体の動きによって定まる形状を入力する入力操作を認識するケースを例示する図である。 ジェスチャ入力を例示する図である。 操作体の位置や動きが、撮像画像全体における相対的な位置や動きによって表される様子を例示する図である。 実施形態２に係る情報処理システムを例示するブロック図である。 実施形態２の商品認識部によって実行される処理の流れを例示するフローチャートである。 第１マーカとして扱われる画像を表示するデバイスを例示する図である。 商品認識領域を例示する第１の図である。 商品認識領域を例示する第２の図である。 商品認識領域を例示する第３の図である。 商品認識領域を例示する図４の図である。 第１マーカの傾きに合わせて商品認識領域の姿勢が変化する様子を例示する図である。 手が含まれる領域を例示する図である。 実施形態３に係る情報処理システムを例示するブロック図である。 実施形態３の情報処理装置によって実行される処理の流れを例示するフローチャートである。 第２マーカの位置によって位置が定まる操作画面を例示する第１の図である。 第２マーカの位置によって位置が定まる操作画面を例示する第２の図である。 第２マーカの位置によって位置が定まる操作画面を例示する第３の図である。 第２マーカの位置によって位置が定まる操作画面を例示する図４の図である。 実施形態４に係る情報処理システムを例示するブロック図である。 実施形態４の情報処理装置によって実行される処理の流れを例示するフローチャートである。 センサによって振動が検出された際に、デバイスのディスプレイ装置に表示されている画像が変更される様子を例示する図である。 検出対象タイミングを検出対象時間の開始時点とするケースを例示する図である。 検出対象タイミングを検出対象時間の終了時点とするケースを例示する図である。 各実施例に共通する情報処理システムの構成を例示するブロック図である。 各実施例に共通する情報処理システムの利用環境を例示する図である。 実施例１においてディスプレイ装置に表示される操作画面を例示する図である。 オーダー情報をテーブル形式で例示する図である。 実施例２のコンシェルジュサービスを提供するコンシェルジュシステムの構成を例示する図である。 実施例３においてヘッドマウントディスプレイが利用される様子を例示する図である。 ディスプレイ装置に表示される店舗の地図を例示する図である。 実施例４においてディスプレイ装置に表示される操作画面を例示する図である。 売り場担当者へ連絡するための操作画面が表示されたディスプレイ装置を例示する図である。 実施例５においてディスプレイ装置に表示される情報を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１に係る情報処理システム３０００を例示するブロック図である。情報処理システム３０００は、表示装置３０２０及び情報処理装置２０００を有する。情報処理装置２０００は、商品認識部２０２０、表示制御部２０４０、及び操作認識部２０６０を有する。

商品認識部２０２０は商品を認識する。表示制御部２０４０は、商品認識部２０２０によって認識された商品に関する商品情報を取得する。さらに表示制御部２０４０は、取得した商品情報を含む操作画面を、表示装置３０２０に表示させる。操作認識部２０６０は、カメラによって生成された撮像画像に写っている操作体の位置又は動きに基づいて、操作画面に対する入力操作を認識する。ここで、操作体は、ユーザが操作に利用する任意の物である。例えば操作体は、ユーザの身体の一部（指など）や、ユーザの身体によって保持されている物（ペンなど）である。

図２は、情報処理システム３０００を概念的に説明するための図である。図２において、ユーザはヘッドマウントディスプレイ１００を装着している。カメラ２０は、撮像画像を生成するカメラであり、ヘッドマウントディスプレイ１００に設けられている。また、カメラ２０はユーザの視界方向を撮影するように設けられている。図２において、表示装置３０２０は、ヘッドマウントディスプレイ１００に設けられているディスプレイ装置１０２である。

商品認識部２０２０は、商品１０を認識する。その結果、表示制御部２０４０は、ディスプレイ装置１０２に操作画面４０を表示させる。操作画面４０には、商品１０の商品情報が含まれている。本例における商品情報は、商品１０の商品名及び価格を示している。さらに操作画面４０には、商品を購入するか否かを選択するための画像が含まれている。

図２において、操作体はユーザの指３０である。ユーザは、指３０を、YES の画像に重なる位置に留めている。ここで、本例ではカメラ２０によってユーザの視界方向の景色が撮像されるため、指３０はカメラ２０によって生成される撮像画像に写っている。操作認識部２０６０は、撮像画像に写っている指３０の位置に基づき、YES を選択する入力操作を認識する。これにより、商品１０が、購入対象として登録される。

ここで、図２を用いて説明した情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は上述の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては、以降の記載で説明する。

＜作用・効果＞
本実施形態の情報処理システム３０００によれば、認識された商品に関する商品情報を含む操作画面４０が表示装置３０２０に表示される。さらに、カメラ２０によって生成された撮像画像に写っている操作体の位置又は動きに基づいて、操作画面４０に対する入力操作が認識される。ユーザは、カメラ２０の撮像範囲内で操作体を動かしたり止めたりすることによって、商品に関連した入力操作を行うことができる。よって、タッチパネル等の入力デバイスを用いて入力操作を行わなければならない場合と異なり、ユーザは手に入力デバイスなどを持つ必要がない。よって、閲覧している商品に関連した入力操作を行う際のユーザの行動の自由度が高くなると共に、ユーザが入力操作を容易に行えるようになる。このことから、入力デバイスを介して入力操作を受け付けるシステムと比較し、情報処理システム３０００はユーザにとって利便性が高い。

以下、本実施形態の情報処理システム３０００について、さらに詳細に説明する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は種々の計算機である。例えば計算機１０００は、ヘッドマウントディスプレイ、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図３は、情報処理装置２０００を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、及びストレージ１０８０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３において、入出力インタフェース１１００にはカメラ２０及び表示装置３０２０が接続されている。カメラ２０は、繰り返し撮像を行って、各撮像結果を表す撮像画像を生成する任意のカメラである。なお、カメラ２０は、２次元（２Ｄ）カメラであってもよいし、３次元（３Ｄ）カメラであってもよい。

カメラ２０が設けられる位置は任意である。例えばカメラ２０は、ユーザが身につけている物に取り付けられる。ユーザが身につけている物とは、例えばヘッドマウントディスプレイや、首から提げている社員証などである。

図４は、カメラ２０が設けられているヘッドマウントディスプレイを例示する図である。ヘッドマウントディスプレイ１００は、眼鏡型のヘッドマウントディスプレイである。ヘッドマウントディスプレイ１００のレンズ部分はディスプレイ装置１０２となっている。いる。カメラ２０は、ディスプレイ装置１０２の付近に設けられている。こうすることで、カメラ２０によって生成される撮像画像に写る景色は、ヘッドマウントディスプレイ１００を装着するユーザの視線方向にある景色と同様の景色となる。

カメラ２０が設けられる位置は、ユーザが身に付けている物に限定されない。例えば、カメラ２０は、ユーザが情報処理装置２０００に対する入力操作を行う部屋の壁等に設けられてもよい。後者の場合、カメラ２０の撮影範囲（撮影方向やズーム率など）は、リモコンなどによる遠隔操作によって変更できることが好ましい。

また例えば、カメラ２０は、ユーザが身につけている物に取り付けられてもよい。ユーザが身につけている物とは、例えばユーザの衣服、ユーザが首から提げている社員証などである。

表示装置３０２０は、画面を出力する任意の装置である。例えば表示装置３０２０は、画面を表示するディスプレイ装置である。例えばディスプレイ装置は、前述したヘッドマウントディスプレイ１００に設けられているディスプレイ装置１０２である。また表示装置３０２０は、プロジェクタなど、画面を投影する装置であってもよい。

ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

計算機１０００のハードウエア構成は図３に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。また、カメラ２０を計算機１０００に接続する方法は、入出力インタフェース１１００を介して接続する方法に限定されない。例えばカメラ２０は、ネットワークを介して計算機１０００に接続されてもよい。この場合、計算機１０００は、ネットワークに接続するためのネットワークインタフェースを有する。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。商品認識部２０２０は商品を認識する（Ｓ１０２）。表示制御部２０４０は、認識された商品の商品情報を取得する（Ｓ１０４）。表示制御部２０４０は、商品情報を含む操作画面を表示装置３０２０に表示させる（Ｓ１０６）。情報処理装置２０００は、撮像画像を取得する（Ｓ１０８）。操作認識部２０６０は、撮像画像に写っている操作体の位置又は動きに基づいて、操作画面に対する入力操作を認識する（Ｓ１１０）。

なお、情報処理装置２０００によって実行される処理の流れは図４に示した流れに限定されない。例えば、撮像画像の取得は、Ｓ１１０よりも前の任意のタイミングで行うことができる。また後述するように、操作画面の表示（Ｓ１０６）に撮像画像を利用する場合、Ｓ１０８はＳ１０６よりも前に行われる。

＜商品を認識する方法：Ｓ１０２＞
商品認識部２０２０は商品１０を認識する（Ｓ１０２）。商品認識部２０２０が商品１０を認識する方法は任意である。以下、商品１０を認識する方法を具体的に例示する。

＜＜撮像画像を利用する方法＞＞
商品認識部２０２０は、カメラ２０によって生成された撮像画像に写っている商品１０を認識する。より具体的には、商品認識部２０２０は、撮像画像に対してオブジェクト認識を行うことで商品１０を認識する。ここで、画像に写っている商品を認識する方法には、既存の種々の技術を利用できる。そのため、商品認識部２０２０が撮像画像に写っている商品を認識する具体的な方法については省略する。

商品認識部２０２０は、撮像画像全体を対象として商品１０の認識を行ってもよいし、撮像画像内の一部の領域を対象として商品１０の認識を行ってもよい。後者の場合、例えば商品認識部２０２０は、撮像画像の所定位置にある所定領域を対象として商品１０の認識を行う。図６は、撮像画像の所定領域に写っている商品１０を例示する図である。図６において、この所定領域は、所定領域２４である。所定領域２４は、その中心位置が撮像画像の中心にあり、幅が所定幅 w であり、高さが所定の高さ h である矩形である。なお、撮像画像２２における所定領域２４の位置、並びに所定領域２４の形状及び大きさを表す情報は、商品認識部２０２０に予め設定されていてもよいし、商品認識部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定可能であってもよい。

撮像画像に含まれる所定領域２４に写っている商品１０の認識を行う場合、表示装置３０２０には、所定領域２４を視覚的に表すガイドが表示されることが好ましい。こうすることでユーザは、どのように商品１０を撮像すればその商品１０を情報処理装置２０００に認識させることができるかを、容易に把握できる。

図７は、所定領域２４を表すガイドが表示されている表示装置３０２０を例示する図である。図７において、表示装置３０２０はヘッドマウントディスプレイ１００に設けられているディスプレイ装置１０２であり、カメラ２０はヘッドマウントディスプレイ１００に設けられている。また図７において、所定領域２４を視覚的に表すガイドは、ガイド２６である。

図７（ａ）において、商品１０は、ユーザの視界（カメラ２０の撮像範囲）には入っているものの、ガイド２６の外側にある。そのため、撮像画像２２において所定領域２４の中に商品１０が写っておらず、商品１０は商品認識部２０２０によって認識されない。

一方、図７（ｂ）において、商品１０はガイド２６の内側にある。そのため、撮像画像２２において所定領域２４の中に商品１０が写っており、商品１０は商品認識部２０２０によって認識される。その結果、表示制御部２０４０はディスプレイ装置１０２に操作画面４０を表示させる。

なお、撮像画像内の一部の領域を対象として商品１０の認識を行う方法は、所定位置にある所定領域から商品１０を認識する方法に限定されない。その他の方法の一例は、後述の実施形態で述べる。

＜＜商品１０のタグを利用する方法＞＞
商品認識部２０２０は、商品１０のタグ（商品１０に付されたタグ又は商品１０に内蔵されたタグ）から読み取られた商品の識別子（以下、商品ＩＤ（Identifier））を取得することによって、商品１０を認識する。上記タグは、例えば RFID（radio frequency identifier）タグである。

商品認識部２０２０は、商品１０のタグから商品ＩＤを読み取る種々のリーダと通信可能に接続されている。情報処理システム３０００のユーザは、このリーダに、商品１０のタグから商品ＩＤを読み取らせる。商品認識部２０２０は、そのリーダから商品ＩＤを取得する。なお、このリーダは、据え置き型のものであってもよいし、携帯型のものであってもよい。後者の場合、例えばユーザは、手に装着可能な（ウェアラブル）なリーダを装着して利用する。

＜＜商品情報シンボルを利用する方法＞＞
商品認識部２０２０は、商品に付された商品情報シンボルから読み取られた商品ＩＤを取得することで、その商品を認識する。商品情報シンボルは、商品を特定する情報を表したシンボルである。ここでシンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。より具体的には、商品情報シンボルは、商品ＩＤを含む情報が符号化されたバーコード等、又は商品ＩＤを含む情報を表す文字列シンボルなどである。

商品情報シンボルから商品ＩＤを取得する方法は、商品情報シンボルとして何を用いるかによって異なる。商品情報シンボルがバーコードである場合、例えば商品ＩＤは、バーコードリーダを用いることで、商品１０に付されたバーコードから読み取ることができる。この場合、情報処理装置２０００は、そのバーコードリーダと通信可能に接続されている。

商品情報シンボルが２次元コードである場合、例えば商品ＩＤは、２次元コードリーダを用いることで、商品１０に付された２次元コードから読み取ることができる。この場合、情報処理装置２０００は、その２次元コードリーダと通信可能に接続されている。

商品情報シンボルが文字列シンボルである場合、例えば商品ＩＤは、商品１０に付された文字列シンボルが写っている画像を解析することによって取得できる。なお、文字列シンボルの解析には、文字列解析に関する様々な既知の技術を用いることができる。

文字列シンボルが写っている画像は、カメラ２０によって撮像される前述の撮像画像であってもよいし、その他のカメラによって撮像される画像であってもよい。後者の場合、文字列シンボルを解析する処理は、商品認識部２０２０によって行われてもよいし、情報処理装置２０００以外の装置によって行われてもよい。商品１０に付された文字列シンボルの解析が情報処理装置２０００以外の装置によって行われる場合、商品認識部２０２０は、その文字列シンボルの解析を行った装置から、商品１０の商品ＩＤを取得する。またこの場合、情報処理装置２０００は、商品１０に付された文字列シンボルの解析を行う装置と通信可能に接続されている。

商品情報シンボルとして複数の種類のシンボルが用いられうる場合、情報処理装置２０００は、これら複数の種類のシンボルそれぞれから商品ＩＤを読み取るためのリーダ等と通信可能に接続されている。例えば、商品情報シンボルとしてバーコード及び２次元コードが用いられる場合、情報処理装置２０００は、バーコードリーダ及び２次元コードリーダと通信可能に接続されている。

＜商品情報を取得する方法：Ｓ１０４＞
表示制御部２０４０は、商品認識部２０２０によって認識された商品１０の商品情報を取得する（Ｓ１０４）。商品認識部２０２０が撮像画像に写っている商品１０を認識する場合、表示制御部２０４０は、商品１０の画像を用いて、商品１０の商品情報を取得する。例えば表示制御部２０４０は、商品１０の特徴量（商品１０の形状、色、又は模様などの特徴を表す情報）と商品１０の商品情報とを関連付けて記憶している記憶装置やデータベースから、商品情報を取得する。例えば表示制御部２０４０は、撮像画像から抽出した商品１０の特徴量との類似度合いが所定値以上である特徴量と関連付けられている商品情報を取得する。この所定値を表す情報は、表示制御部２０４０に予め設定されていてもよいし、表示制御部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

一方、商品認識部２０２０が商品１０の商品ＩＤを取得することで商品１０を認識する場合、表示制御部２０４０は、商品１０の商品ＩＤと商品１０の商品情報とを関連付けて記憶している記憶装置やデータベースから、商品認識部２０２０によって認識された商品１０の商品ＩＤと関連付けられている商品情報を取得する。

図８は、商品１０の特徴量や商品ＩＤに関連付けられた商品情報をテーブル形式で例示する図である。図８に示すテーブルを、商品情報テーブル５００と表記する。商品ＩＤ５０２は、商品１０の商品ＩＤを示す。特徴量５０４は、商品１０の特徴量を示す。商品情報５０６は、商品１０の商品情報を示す。商品情報５０６には、商品名５０８、価格５１０、及び説明５１２が含まれる。商品名５０８は、商品の名前を示す。価格５１０は、商品の価格を示す。説明５１２は、商品の使い方や特徴などを示す情報である。なお、商品情報５０６に含まれる情報は任意であり、図８に示される情報に限定されない。

なお、商品情報を記憶している記憶装置やデータベースは、情報処理装置２０００の内部に設けられていてもよいし、情報処理装置２０００の外部に設けられていてもよい。

＜操作画面４０を表示させる方法：Ｓ１０６＞
表示制御部２０４０は、表示装置３０２０に商品情報を表示させる（Ｓ１０６）。そのために表示制御部２０４０は、商品認識部２０２０によって認識された商品１０の商品情報に基づいて、操作画面４０を生成する。

例えば表示制御部２０４０は、操作画面４０のテンプレートを取得し、そのテンプレートに商品情報を埋め込むことで、操作画面４０を生成する。図９は、操作画面４０のテンプレートを例示する図である。図９において、操作画面４０のテンプレートはテンプレート２００である。

テンプレート２００には、置換領域２０２−１及び置換領域２０２−２が含まれる。テンプレート２００において、置換領域２０２以外の部分は、認識された商品１０に依存せずに予め定まっている部分である。一方、置換領域２０２は、認識された商品１０に応じて定まる部分である。

表示制御部２０４０は、認識された商品１０の商品情報に含まれる情報を埋め込むことで、操作画面４０を生成する。図９の場合、表示制御部２０４０は、置換領域２０２−１に、認識された商品１０に対応する商品情報テーブル５００の商品名５０８を埋め込む。また表示制御部２０４０は、置換領域２０２−２に、認識された商品１０に対応する商品情報テーブル５００の価格５１０を埋め込む。

＜撮像画像を取得する方法：Ｓ１０８＞
情報処理装置２０００は、カメラ２０によって生成された撮像画像を取得する（Ｓ１０８）。情報処理装置２０００が撮像画像を取得する方法は任意である。例えば情報処理装置２０００は、カメラ２０から撮像画像を取得する。この場合、情報処理装置２０００とカメラ２０とは通信可能に接続されている。

また、カメラ２０が外部の記憶装置に撮像画像を記憶する場合、情報処理装置２０００は、この記憶装置から撮像画像を取得してもよい。この場合、情報処理装置２０００は、この記憶装置と通信可能に接続されている。

なお、情報処理装置２０００は、カメラ２０によって生成される撮像画像の全てを取得してもよいし、一部のみを取得してもよい。後者の場合、例えば情報処理装置２０００は、表示装置３０２０によって操作画面が表示された後に生成された撮像画像のみを取得する。ただしこの場合、商品認識部２０２０による商品の認識は、商品認識部２０２０が撮像画像を用いて行う方法以外の方法となる。

＜操作体について＞
操作認識部２０６０によって操作体として扱われる物は様々である。例えば操作認識部２０６０は、ユーザの腕部の一部（指など）や、ユーザの腕部によって保持される物（ペンなど）を操作体として扱う。腕部とは、手及び手から肩にかけての部分を意味する。この場合、ユーザは、カメラ２０の撮像範囲内で指やペンなどを動かすことにより、入力操作を行う。

また例えば、操作認識部２０６０は、物やユーザの身体に付されたマーカを操作体として扱ってもよい。ここにおけるマーカとは、カメラ２０によって撮像可能な任意の印である。この場合、ユーザは、カメラ２０の撮像範囲内でマーカを動かすことにより、入力操作を行う。

例えばマーカは、ユーザの身体（指など）に付される。また例えば、マーカは、ユーザが保持する物（ペンなど）に付される。また例えば、マーカは、ユーザが身につける物に付される。ユーザに身につけられる物は、例えばユーザの指にはめられる指輪や、任意のウェアラブルデバイスなどである。

操作認識部２０６０が何を操作体として扱うかを示す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよい。

なお、操作認識部２０６０が操作体として扱う物は、一種類であってもよいし、複数種類であってもよい。

＜操作体の位置を検出する方法：Ｓ１１０＞
操作認識部２０６０は、操作画面に対する入力操作を認識するために、撮像画像に写っている操作体の位置を検出する（Ｓ１０８）。ここで、画像に写っている所定のオブジェクトを検出する技術には、既知の技術を利用できる。そのため、撮像画像から所定の操作体を検出する方法についての具体的な説明は省略する。

操作認識部２０６０が操作体の位置を定める方法は様々である。例えば操作認識部２０６０は撮像画像の中から操作体を表す領域を割り出す。そして、操作認識部２０６０は、割り出した領域に含まれる点を、操作体の位置とする。この際、操作体の位置は、操作体を表す領域に含まれる任意の点でよい。

例えば操作体がユーザの身体の一部やユーザに保持されている物体である場合、操作認識部２０６０は、操作体を表す領域の重心を算出する。そして、操作認識部２０６０は、操作体を表す領域に含まれ、なおかつその領域の重心から最も遠い点を、操作体の位置とする。この方法によれば、例えば指先やペン先などが操作体の位置となる。

図１０は、操作体の位置を定める方法を例示する第１の図である。図１０において、操作体はユーザの手である。まず操作認識部２０６０は、撮像画像の中からユーザの手を表す領域６０を割り出す。次に操作認識部２０６０は、領域６０の重心６２を算出する。そして操作認識部２０６０は、領域６０に含まれる点であり、なおかつ重心６２から最も遠い点６４を、操作体の位置とする。なお、重心６２から最も遠い点が領域６０の中に複数ある場合、例えば操作認識部２０６０は、これら複数の点のうち、第１マーカ３０４０から最も遠い点を操作体の位置とする。

ここで、例えば指の腹で入力操作を行う場合など、指先とは少しずれた場所を操作体の位置として扱うことが好ましい場合もある。そこで操作認識部２０６０は、操作体の重心から最も遠い点６４を算出し、さらにこの点から少しずらした位置（例えば、指の根元へ近づく方向に所定距離ずらした位置）を操作体の位置としてもよい。操作体の重心から最も遠い点６４と操作体の位置との位置関係を表す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

ただし、操作体の位置は、重心６２から最も遠い点又はその点を基準として定まる点に限定されない。例えば、重心６２を操作体の位置として扱ってもよい。

操作体が物やユーザの身体に付されたマーカである場合、例えば操作認識部２０６０は、撮像画像からこのマーカを表す領域を割り出し、その領域の中心位置などを操作体の位置とする。

また、操作認識部２０６０が、操作体として検出すべき物を表す参照画像を利用して、操作体を検出するとする。この場合、この参照画像において、操作体の位置を予め定義しておいてもよい。操作認識部２０６０は、撮像画像の中から参照画像と類似する領域を割り出す。そして、操作認識部２０６０は、その領域において、参照画像において定義されている操作体の位置と対応する点を割り出し、その点を操作体の位置として扱う。

図１１は、操作体の位置を定める方法を例示する第２の図である。この例において、操作体はユーザの指である。参照画像１２０は、ユーザの指の形状などを表す参照画像である。操作体の位置１２１は、参照画像において予め定義されている、操作体の位置である。

操作認識部２０６０は、撮像画像２２の中から、参照画像１２０と類似する領域１３０を割り出す。この領域１３０はユーザの指を表す。さらに操作認識部２０６０は、参照画像１２０を領域１３０にマッピングした際に操作体の位置１２１と対応する点１３１を割り出す。そして、操作認識部２０６０は点１３１を操作体の位置として扱う。

操作認識部２０６０が操作体の位置をどのように定めるかを表す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜操作体の動きを検出する方法：Ｓ１１０＞
操作認識部２０６０は、操作画面に対する入力操作を認識するために、撮像画像に写っている操作体の動きを検出する（Ｓ１１０）。操作認識部２０６０は、複数の撮像画像を用いて操作体の動きを検出してもよいし、１つの撮像画像を用いて操作体の動きを検出してもよい。前者の場合、例えば操作認識部２０６０は、それら複数の撮像画像それぞれについて画像解析を行うことで、各撮像画像内の操作体の位置を算出する。そして操作認識部２０６０は、操作体の位置の変化を表す情報を、操作体の動きを表す情報とする。操作体の位置の変化を表す情報は、例えば操作体の位置を時系列で並べた情報である。

前述したように、操作認識部２０６０は、１つの撮像画像を用いて操作体の動きを検出してもよい。動いている操作体は、１つの撮像画像にぶれた状態で写ることが多い。そこで操作認識部２０６０は、その１つの撮像画像にぶれて写っている操作体の画像から、操作体の動きを算出する。

図１２は、ユーザの指がぶれて写っている撮像画像２２を例示する図である。撮像画像２２では、ユーザの指３０が、指３０−Ａから指３０−Ｂへ移動するようにぶれて写っている。操作認識部２０６０は、指３０−Ａと指３０−Ｂに共通する特徴点の位置の変化を、操作体の動きとして検出する。例えば操作認識部２０６０は、指３０−Ａの指先と指３０−Ｂの指先の位置の変化によって定まる動き５０を検出する。

＜操作認識部２０６０によって認識される入力操作：Ｓ１１０＞
操作認識部２０６０は、検出した操作体の位置又は動きに基づいて、操作画面に対する入力操作を認識する（Ｓ１１０）。操作認識部２０６０は、操作体の位置又は動きに基づいて定まる様々な入力操作を認識できる。以下、操作認識部２０６０によって認識できる種々の入力操作を例示する。

＜＜操作体の位置に基づいて定まる入力操作＞＞
操作体の位置に基づいて操作認識部２０６０が認識する入力操作は様々である。例えば操作認識部２０６０は、操作体の位置に基づいて、キーを表す画像を選択する入力操作（以下、キー入力操作）を受け付ける。

図１３は、操作体の位置に基づいて定まる操作を例示する図である。図１３において、操作体は指３０である。図１３（ａ）において、指３０は「５」のキーの上に位置している。そのため、操作認識部２０６０は、「５」を入力する入力操作を受け付ける。一方、図１３（ｂ）において、指３０は「キャンセル」のキーの上に位置している。そのため、操作認識部２０６０は、「キャンセル」を入力する入力操作を受け付ける。

なお、操作体の位置に基づいて操作認識部２０６０が認識する入力操作は、操作体の位置によって定まる任意の入力操作でよく、キー入力操作に限定されない。例えば操作認識部２０６０は、操作体の位置に基づき、表示装置３０２０に表示された複数の写真の中から１つを選択する入力操作などを受け付けてもよい。

＜＜操作体の動きに基づいて定まる入力操作＞＞
操作認識部２０６０は、１）検出した操作体の動きに基づく形状を入力する入力操作を認識してもよいし、２）検出した操作体の動きに対応する所定の入力操作を認識してもよい。以下、それぞれについて説明する。

＜＜操作体の動きに基づく形状を入力する入力操作を認識するケース＞＞
図１４は、操作体の動きによって定まる形状を入力する入力操作を認識するケースを例示する図である。図１４（ａ）では、操作認識部２０６０は、操作体の動き５０−Ａが表す形状５１や、動き５０−Ｂが表す形状５２を入力する入力操作を認識する。例えばこの入力操作は、手書き入力を行う入力操作で利用される。

図１４（ｂ）では、操作認識部２０６０は、操作体の動きとは異なる形状ではあるものの、操作体の動きによって形状及び大きさが定まる形状を入力する入力操作を認識する。具体的には、操作認識部２０６０は、動き５０−Ｃの両端を対角線の両端とする矩形５４や、動き５０−Ｃの両端を直径の両端とする円形５６を入力する入力操作を認識する。例えばこの入力は、ユーザがある範囲を表す入力（選択操作など）を行う際や、所定の図形の描画を行う際に用いられる。

図１４（ａ）に示した方法と図１４（ｂ）で示した方法のどちらを用いるのかを表す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜＜操作体の動きに対応する所定の入力操作を認識するケース＞＞
検出した操作体の動きに対応する所定の入力操作は、例えばジェスチャ入力による入力操作である。図１５は、ジェスチャ入力を例示する図である。図１５（ａ）はフリック動作を表し、図１５（ｂ）はピンチイン・ピンチアウト動作を表している。なお、矢印は操作体の動きを表している。

操作体の動きと、その動きに対応する所定の入力操作とを関連付ける情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に予め記憶されていてもよいし、ユーザによって設定可能であってもよい。

＜操作体の位置や動きの表し方について＞
操作認識部２０６０が認識する操作体の位置や動きの表し方は任意である。例えば操作認識部２０６０は、操作体の位置や動きを撮像画像全体における相対位置として表す。図１６は、操作体の位置や動きが、撮像画像全体における相対的な位置や動きによって表される様子を例示する図である。図１６（ａ）は、操作体の位置を入力操作として認識するケースである。図１６（ａ）において、操作体の位置である座標 (x1, x1) は、撮像画像２２の左上端を原点とし、撮像画像２２を平面視した場合における右方向を x 軸とし、撮像画像２２を平面視した場合における下方向を y 軸とする座標系における座標である。

図１６（ｂ）は、操作体の動きを入力操作として認識するケースである。矢印は、操作体の軌跡を表す。図１６（ｂ）において、操作体の位置は (x2, y2)、(x3, y3)、(x4, y4) の順に変化している。これらの座標はいずれも、図１６（ａ）で説明した座標系における座標である。操作体の動きは、例えばこれらの座標を時系列で並べた情報によって表される。

なお、上述した操作体の位置や動きを表す方法は、あくまで例示である。操作体の位置や動きを表す方法は、操作体の位置や動きを表すことができる任意の方法でよく、上述した方法には限定されない。

＜＜操作体を動かす動作が行われた場所の取り扱いについて＞＞
操作認識部２０６０は、１）操作体を動かす動作が行われた位置に関係なく、その操作体の動きのみを入力として認識してもよいし、２）操作体の動きと、その操作体を動かす動作が行われた位置との組み合わせを入力として認識してもよい。前者の場合、操作体を動かす動作が撮像画像上のどの場所で行われても、同じ操作体の動きは同じ入力を表す。一方後者の場合、操作体を動かす動作が撮像画像上のどの場所で行われたかが意味を持つ。例えばユーザが撮像画像に写っている特定の物を丸で囲む入力を行う場合、丸という形状だけでなく、その丸によって何が囲われたかが意味を持つ。

１）の場合、例えば操作認識部２０６０は、前述したように操作認識部２０６０によって検出された操作体の動きで定まる形状や、操作体の動きで定まるジェスチャを、入力として認識する。また例えば、操作認識部２０６０は、操作体の動きの始点を基準とした操作体の相対座標の遷移を、入力として認識してもよい。

一方２）の場合、操作認識部２０６０は、操作認識部２０６０によって検出された撮像画像上の操作体の座標の遷移を入力として認識する。ただし、操作認識部２０６０は、１）の場合においても、２）の場合と同様に、撮像画像上の操作体の座標の遷移を入力として認識してもよい。

操作認識部２０６０が１）と２）のどちらの方法で入力を認識するのかは、予め操作認識部２０６０に設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定可能であってもよい。

＜操作体の位置と動きのどちらによって入力操作を認識するか＞
操作認識部２０６０は、操作体の位置又は動きによって入力操作を認識する。ここで、操作体の位置と動きのどちらによって入力操作を認識するかを決定する方法は様々である。例えば、操作体の位置と動きのどちらによって入力操作を認識するかを、予め定めておく。ここで、操作体の位置と動きのどちらによって入力操作を認識するか示す情報は、操作認識部２０６０に設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

また例えば、操作認識部２０６０は、操作体の動きの程度によって、操作体の位置と動きのどちらで入力操作を認識するかを決定してもよい。例えば、所定時間内における操作体の移動範囲の大きさが所定値未満である場合、操作認識部２０６０は操作体の位置によって入力操作を認識する。これにより、例えばユーザが操作体を或る位置に留めることで、その位置を表す入力操作が操作認識部２０６０によって認識される。この操作は、例えばマウスで或る場所を長押しするようなイメージの操作である。

この場合に操作認識部２０６０が入力操作として認識する操作体の位置は、この所定時間内における操作体の位置によって定まる。例えば操作認識部２０６０は、この所定時間内における操作体の位置の内のいずれか１つを操作体の位置とする。また例えば、操作認識部２０６０は、この所定時間内における操作体の位置から算出される統計値（平均値や最頻値など）を操作体の位置とする。

一方、所定時間内における操作体の移動範囲の大きさが所定値以上である場合、操作認識部２０６０は、操作体の動きによって入力操作を認識する。

上記所定時間又は所定値を示す情報は、操作認識部２０６０に設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

［実施形態２］
図１７は、実施形態２に係る情報処理システム３０００を例示するブロック図である。下記で説明する点を除き、実施形態２の情報処理システム３０００は、実施形態１の情報処理システム３０００と同様の機能を有する。

情報処理システム３０００は第１マーカ３０４０を有する。第１マーカ３０４０は、ユーザに身につけられるものか、又はユーザの身体の一部である。第１マーカ３０４０についての詳細な説明は後述する。

実施形態２の商品認識部２０２０は、カメラ２０によって生成された撮像画像から商品を認識する。その際、商品認識部２０２０は、撮像画像全体からではなく、撮像画像に含まれる一部の領域から商品を認識する。この「一部の領域」は、撮像画像に写っている第１マーカ３０４０によって定まる。

具体的にはまず、商品認識部２０２０は、撮像画像に写っている第１マーカ３０４０の位置に基づいて定まる商品認識領域を抽出する。そして商品認識部２０２０は、この商品認識領域に写っている商品を認識する。

＜処理の流れ＞
図１８は、実施形態２の商品認識部２０２０によって実行される処理の流れを例示するフローチャートである。このフローチャートは、図４のＳ１０２において行われる一連の処理の一態様を表す。

商品認識部２０２０は、撮像画像を取得する（Ｓ２０２）。商品認識部２０２０は、撮像画像に写っている第１マーカ３０４０の位置を算出する（Ｓ２０４）。商品認識部２０２０は、第１マーカ３０４０の位置に基づいて、撮像画像から商品認識領域を抽出する（Ｓ２０６）。商品認識部２０２０は、商品認識領域に写っている商品１０を認識する（Ｓ２０８）。

＜第１マーカ３０４０について＞
第１マーカ３０４０は、カメラ２０によって生成される撮像画像において少なくともその位置が特定できる任意の物である。例えば第１マーカ３０４０は、３次元の座標系の決定に利用できるマーカである。３次元の座標系の決定に利用できるマーカは、例えば AR（Augmented Reality）マーカである。ただし、３次元の座標系の決定に利用できるマーカは、参照方向によらず、或る基準点からの相互に直交する３つの方向を一定に得ることができるものであればよく、AR マーカには限定されない。また、第１マーカ３０４０は、撮像画像においてその位置が特定できる物であればよく、必ずしも３次元の座標系の決定に利用できる必要はない。

第１マーカ３０４０がユーザの身体に身に付けられるものである場合、第１マーカ３０４０は、ユーザの身体の任意の箇所に取り付けることができる。例えば第１マーカ３０４０は、ユーザの腕部に身に付けられる。

例えばこの場合、第１マーカ３０４０は、ユーザの腕部に取り付けられたデバイスのディスプレイ装置に表示される画像である。このデバイスは、ディスプレイ装置上に画像を表示する機能を有する任意の電子機器である。なおこのデバイスは、ユーザの腕に直接取り付けられてもよいし、服の上からユーザの腕に取り付けられてもよい。

図１９は、第１マーカ３０４０として扱われる画像を表示するデバイスを例示する図である。図１９において、第１マーカ３０４０は、デバイス８０のタッチパネル８２に表示されているマーカ画像８４である。マーカ画像８４は、予めデバイス８０に記憶されている画像であってもよいし、デバイス８０の外部にある記憶装置に記憶されている画像であってもよい。後者の場合、デバイス８０は、マーカ画像８４を記憶装置から取得して表示する。

第１マーカ３０４０は、上述のようにデバイスに表示されるものに限定されない。また第１マーカ３０４０は、ユーザの腕部などに直接描画されていてもよいし、ユーザの腕部などにある任意の物に描画されていてもよい。後者の場合、例えば第１マーカ３０４０は、ユーザの指に取り付けられている指輪、ユーザの手首に取り付けられているリストバンド、又はユーザが着ている服の袖などに描画される。なお、第１マーカ３０４０は、手で描画されてもよいし、印字されてもよい。

さらに、第１マーカ３０４０は、光を発する発光デバイス（LED（Light Emitting Diode）など）であってもよい。なお、第１マーカ３０４０が発光デバイスであり、なおかつ第１マーカ３０４０に基づいて３次元の座標系が定められる場合、第１マーカ３０４０は３つ以上の発光デバイスを用いて構成される。商品認識部２０２０は、撮像画像に写っているこれら３つ以上の発光デバイスそれぞれによって発せられた光の位置を算出する。そして、商品認識部２０２０は、各発光デバイスの位置に基づいて、３次元の座標系を決定することができる。なお、３点以上の物を用いて３次元の座標系を決定する方法には既知の方法を利用できるため、その具体的な方法の説明は省略する。

さらに第１マーカ３０４０は、ユーザの身体の特定の部分であってもよい。例えば第１マーカ３０４０は、ユーザの手の甲などである。

撮像画像から第１マーカ３０４０を検出するために、商品認識部２０２０は、第１マーカ３０４０として扱うものを特定する情報（第１マーカ３０４０の形状、サイズ、色などについての情報など：以下、マーカ情報）を利用する。マーカ情報は、予め商品認識部２０２０に設定されていてもよいし、商品認識部２０２０からアクセス可能な記憶装置に記憶されていてもよい。

＜第１マーカ３０４０の位置を算出する方法：Ｓ２０４＞
商品認識部２０２０は、マーカ情報を用いて撮像画像を画像解析することで、撮像画像に写っている第１マーカ３０４０を検出する。そして商品認識部２０２０は、検出した第１マーカ３０４０の位置を算出する。ここで、画像内から所定の物を検出し、さらにその物の画像内における位置を算出する技術には、既知の様々な技術を利用できる。なお、第１マーカ３０４０の位置は、操作体の位置と同様に、例えば撮像画像全体における相対位置（座標）で表される。例えば第１マーカ３０４０の位置は、撮像画像全体における第１マーカ３０４０の中心位置の座標である。ただし、第１マーカ３０４０の位置は、第１マーカ３０４０の中心位置に限定されない。

＜商品認識領域を抽出する方法：Ｓ２０６＞
商品認識部２０２０は、算出した撮像画像上の第１マーカ３０４０の位置に基づいて、撮像画像から商品認識領域を抽出する（Ｓ１０６）。商品認識領域は、第１マーカ３０４０の位置を基準として定められる任意の領域である。例えば商品認識領域は、第１マーカ３０４０の位置（例えば中心位置）を中心位置とする所定形状で定まる領域である。この所定形状は、円形や矩形など、任意の形状である。

図２０は、商品認識領域７０を例示する第１の図である。図２０において、商品認識領域７０は、マーカ画像８４（第１マーカ３０４０）の中心位置を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。

ただし、第１マーカ３０４０の位置によって定まる位置は、商品認識領域７０の中心位置に限定されない。例えば、第１マーカ３０４０の位置によって商品認識領域７０の左上端などの位置が定まってもよい。

また例えば商品認識領域７０は、第１マーカ３０４０の位置から所定方向に所定距離離れた場所に中心位置などがある領域であってもよい。図２１は、商品認識領域７０を例示する第２の図である。図２１において、商品認識領域７０の中心位置は、第１マーカ３０４０から矢印７２によって定まる方向へ距離 d だけ移動した場所である。

なお図２０及び図２１において、商品認識領域７０は、撮像画像によって表される平面（図１６の xy 平面）における所定形状となっている。しかし、商品認識領域７０は、撮像画像によって表される平面以外の平面における所定形状であってもよい。

例えば商品認識領域７０は、第１マーカ３０４０によって定まる３次元座標系における平面上の所定形状でもよい。図２２は、商品認識領域７０を例示する第３の図である。図２２の商品認識領域７０は、図２０の商品認識領域７０と同様に、マーカ画像８４（第１マーカ３０４０）の中心位置を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。ただし図２２では、商品認識領域７０は、マーカ画像８４によって定まる座標系８７の xy 平面における矩形である。より具体的には、商品認識領域７０は、座標系８７の原点を中心位置とし、座標系８７の x 軸方向における長さが w であり、座標系８７の y 軸方向における長さが h である。

図２３は、商品認識領域７０を例示する図４の図である。図２３の商品認識領域７０は、図２１の商品認識領域７０と同様に、マーカ画像８４から矢印７２によって定まる方向へ距離 d だけ移動した場所を中心位置とし、幅が所定の長さ w であり、高さが所定の長さ h である矩形である。ただし図２３では、矢印７２によって表される方向が、座標系８７における方向となっている。また商品認識領域７０は、座標系８７の x 軸方向における長さが w であり、座標系８７の y 軸方向における長さが h である。

このように、第１マーカ３０４０で定まる座標系を利用して商品認識領域７０を抽出することにより、第１マーカ３０４０の姿勢の変化に商品認識領域７０の姿勢が追従する。例えば図２２の例において、デバイス８０が設けられている手首をユーザが捻ると、その捻りにあわせて商品認識領域７０の姿勢が変化する。

図２４は、第１マーカ３０４０の傾きに合わせて商品認識領域７０の姿勢が変化する様子を例示する図である。図２４において、ユーザが手首を捻ることにより、マーカ画像８４の姿勢（マーカ画像８４によって定まる座標系８７）が変化している。さらに、その変化に追従するように、商品認識領域７０の姿勢も変化している。

このように、第１マーカ３０４０の姿勢の変化に合わせて商品認識領域７０の姿勢が変化するようにすると、商品認識領域７０に含めたい実世界上の物を、第１マーカ３０４０の姿勢に依らずに商品認識領域７０に含めることができるようになる。例えば図２３及び図２４の例では、商品認識領域７０の形状及び大きさ、並びに商品認識領域７０の位置を適切に定義することにより、マーカ画像８４の姿勢に依らずにユーザの手が商品認識領域７０に含まれるようになる。この場合、ユーザは、手に商品１０を持つことで、商品１０を情報処理装置２０００に認識させることができる。よって、ユーザにとって、情報処理装置２０００の利用が容易となる。

なお、前述した所定形状を表す情報や、どの場所を第１マーカ３０４０の中心とするかを表す情報（矢印７２の情報など）は、商品認識部２０２０に予め設定されていてもよいし、商品認識部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

また、第１マーカ３０４０に基づいて定まる座標系８７を利用する場合、第１マーカ３０４０は、３次元の座標の決定に用いることができるマーカ（AR マーカなど）である。なお、AR マーカなどを用いて３次元の座標系を決定する技術には既存の種々の技術を利用することができる。

また、商品認識領域７０の大きさ（前述した幅 w や高さ h など）は、絶対値（画素数など）で定義されていてもよいし、相対値で定義されていてもよい。後者の場合、例えば商品認識領域７０の大きさは、撮像画像の大きさに対する相対値で表される。撮像画像の大きさに対する相対値は、例えば撮像画像の幅又は高さを１とする相対値である。また例えば、商品認識領域７０の大きさは、第１マーカ３０４０の大きさに対する相対値で表されてもよい。第１マーカ３０４０の大きさに対する相対値は、例えば第１マーカ３０４０の幅、高さ、対角線又は直径などを１とする相対値である。商品認識領域７０の大きさを第１マーカ３０４０の大きさに対する相対値で定義すると、第１マーカ３０４０をカメラ２０に近づけた場合に商品認識領域７０が大きくなり、第１マーカ３０４０をカメラ２０から遠ざけた場合に商品認識領域７０が小さくなる。

また商品認識部２０２０は、第１マーカ３０４０を境界として定まる所定の領域を商品認識領域７０として抽出してもよい。例えば商品認識部２０２０は、ユーザの手首にデバイス８０が設けられている状況において、マーカ画像８４（第１マーカ３０４０）を境界として定まる領域のうち、手が含まれる領域を商品認識領域７０として抽出する。

図２５は、手が含まれる領域を例示する図である。図２５において、商品認識部２０２０は、マーカ画像８４によって定まる座標系８７における y 軸を境界として、撮像画像２２を２つの領域に分割する。そして、商品認識部２０２０は、分割された２つの領域のうち、手が含まれる領域（図２５では右側の領域）を商品認識領域７０として抽出する。

なお、第１マーカ３０４０を境にした腕と手の位置関係（どちら側が腕で、どちら側が手か）は、第１マーカ３０４０がどちらの腕部に設けられているかによって異なる。例えば商品認識部２０２０は、第１マーカ３０４０がどちらの腕部に設けられているかを示す情報を利用することによって、第１マーカ３０４０がどちらの腕部に設けられているかを把握する。この情報は、商品認識部２０２０に予め設定されていてもよいし、商品認識部２０２０からアクセス可能な記憶装置に記憶されていてもよいし、ユーザによって設定されてもよい。

＜商品認識領域に写っている商品を認識する方法：Ｓ２０８＞
商品認識部２０２０は、撮像画像から抽出された商品認識領域７０に写っている商品１０を認識する。ここで、画像の特定の領域に写っているオブジェクトを画像解析によって認識する方法には、既知の種々の技術を利用できる。

＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
本実施形態によれば、撮像画像の一部の領域である商品認識領域７０が抽出され、その商品認識領域７０から商品１０が認識される。よって、撮像画像全体から商品１０を認識する処理を行うケースと比較し、画像処理の対象となるデータのサイズが小さくなる。よって、本実施形態において商品１０を認識する処理は、撮像画像全体から商品１０を認識する処理に比べて軽量な処理となり、処理に要する時間や計算機資源が削減される。

また本実施形態によれば、撮像画像に写っている第１マーカ３０４０に基づいて抽出される商品認識領域７０から商品１０が認識されるため、撮像画像に第１マーカ３０４０が写っていない時には商品１０の認識が行われず、ひいては操作画面４０の表示が行われない。よって、ユーザは、表示装置３０２０に操作画面４０を表示させるか否かを、第１マーカ３０４０をカメラ２０の撮像範囲に含めるか否かによって容易に制御できる。

ユーザにとって、操作画面４０が常に表示される必要があるとは限らない。例えば表示装置３０２０がヘッドマウントディスプレイ１００のディスプレイ装置１０２である場合、ユーザは、できる限り視界をクリアにするために、必要な時にだけ操作画面４０を表示させたいとも考えられる。本実施形態の情報処理装置２０００によれば、ユーザは、表示装置３０２０に操作画面４０を表示させるか否かを、第１マーカ３０４０をカメラ２０の撮像範囲に含めるか否かによって容易に制御できる。より具体的には、カメラ２０がヘッドマウントディスプレイ１００に設けられている場合、ユーザは、第１マーカ３０４０を視界に入れることで操作画面４０を表示させることができ、第１マーカ３０４０を視界から外すことで操作画面４０を表示させないことができる。このような容易な操作により、必要な時にだけ操作画面４０を表示させることができるため、ユーザにとって情報処理システム３０００の利便性が向上する。

また、ユーザによる入力操作は操作画面４０が表示されている時に行われるため、操作画面４０が表示されないとき、即ち第１マーカ３０４０が撮像画像に写っていない時には、ユーザに入力操作を行う意思がないといえる。本実施形態の情報処理装置２０００によれば、第１マーカ３０４０が撮像画像に写っていない時には商品１０の認識が行われず、ひいては操作画面４０が表示されないため、操作認識部２０６０による入力操作の認識も行われない。このように、ユーザに入力操作を行う意思がないときに操作認識部２０６０による入力操作の認識が行われることが無くなるため、情報処理装置２０００の計算機資源が浪費されることを防ぐことができる。

［実施形態３］
図２６は、実施形態３に係る情報処理システム３０００を例示するブロック図である。下記で説明する点を除き、実施形態３の情報処理システム３０００は、実施形態１又は実施形態２の情報処理システム３０００と同様の機能を有する。

実施形態３の情報処理システム３０００は、第２マーカ３０６０を有する。第２マーカ３０６０は、第１マーカ３０４０と同様に、ユーザに身につけられるものか、又はユーザの身体の一部であるマーカである。

実施形態３の表示制御部２０４０は、撮像画像に第２マーカ３０６０が写っている場合に、表示装置３０２０に操作画面を表示させる。

＜処理の流れ＞
図２７は、実施形態３の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。下記で説明する点を除き、図２７のフローチャートは、図４のフローチャートと同様である。

表示制御部２０４０は、撮像画像から第２マーカ３０６０を検出する（Ｓ３０２）。撮像画像から第２マーカ３０６０を検出できた場合（Ｓ３０４：ＹＥＳ）、図２７の処理はＳ１０８に進む。一方、撮像画像から第２マーカ３０６０を検出できなかった場合（Ｓ３０４：ＮＯ）、図２７の処理は終了する。

＜第２マーカ３０６０について＞
第２マーカ３０６０として用いることができるものは、第１マーカ３０４０として用いることができるものと同様である。

第１マーカ３０４０と第２マーカ３０６０は、同一のもので実現されてもよい。例えば情報処理装置２０００は、デバイス８０に表示されたマーカ画像８４を、第１マーカ３０４０及び第２マーカ３０６０として扱う。ただし、第１マーカ３０４０と第２マーカ３０６０は、互いに異なるもので実現されてもよい。

＜第２マーカ３０６０を検出する方法：Ｓ３０２＞
表示制御部２０４０が撮像画像から第２マーカ３０６０を検出する方法は、実施形態２の商品認識部２０２０が撮像画像から第１マーカ３０４０を検出する方法と同様である。ただし、特に言及する場合を除き、表示制御部２０４０は、撮像画像に第２マーカ３０６０が写っていることを把握すればよく、第２マーカ３０６０の位置を把握する必要はない。

＜操作画面の表示：Ｓ１０８＞
表示制御部２０４０は、撮像画像から第２マーカ３０６０が検出された場合に（Ｓ３０４：ＹＥＳ）、表示制御部２０４０に操作画面を表示させる（Ｓ１０８）。表示制御部２０４０に操作画面を表示させる方法は、実施形態１で説明した通りである。

＜第２マーカ３０６０の位置を利用した操作画面４０の表示＞
本実施形態において、表示制御部２０４０は、操作画面の表示位置を第２マーカ３０６０の位置によって決定してもよい。この場合、表示制御部２０４０は、第２マーカ３０６０の位置を算出する。なお、第１マーカ３０４０の位置を算出する方法と同様に、第２マーカ３０６０の位置を算出する方法には、画像内から検出されたオブジェクトの画像内における位置を算出する既知の様々な技術を利用できる。

第２マーカ３０６０の位置に基づいて操作画面を表示する位置を決定する方法は様々である。例えば表示制御部２０４０は、操作画面４０の中心位置を、第２マーカ３０６０の中心位置にする。図２８は、第２マーカ３０６０の位置によって位置が定まる操作画面４０を例示する第１の図である。図２８において、操作画面４０の中心位置は、マーカ画像８４（第２マーカ３０６０）の中心位置である。なお、図２８において、操作画面４０の形状は、撮像画像２２で定まる平面（例えば図１６の xy 平面）における矩形である。また、図２８では、図を見やすくするため、操作画面４０に含まれる情報は省略されている。

また例えば、表示制御部２０４０は、操作画面４０の中心位置を、第２マーカ３０６０の中心位置から所定方向に所定距離離れた位置としてもよい。図２９は、第２マーカ３０６０の位置によって位置が定まる操作画面４０を例示する第２の図である。図２９において、操作画面４０の中心位置は、マーカ画像８４の中心位置から矢印４６よって定まる方向へ所定距離 d だけ移動した位置である。図２９においても、操作画面４０の形状は、撮像画像２２で定まる平面（例えば図１６の xy 平面）における矩形である。また、図２９においても、操作画面４０に含まれる情報は省略されている。

ただし、操作画面４０の形状は矩形に限定されない。また、操作画面４０の形状は、撮像画像２２で定まる平面以外の平面における矩形等であってもよい。例えば表示制御部２０４０は、操作画面４０を、第２マーカ３０６０によって定まる座標系（例えば、マーカ画像８４によって定まる座標系８７）における平面にマッピングする。

図３０は、第２マーカ３０６０の位置によって位置が定まる操作画面４０を例示する第３の図である。図３０において、操作画面４０の中心位置は、マーカ画像８４の中心位置である。また、図３０において、操作画面４０は、マーカ画像８４によって定まる座標系８７の xy 平面にマッピングされている。なお、図３０においても、操作画面４０に含まれる情報は省略されている。

図３１は、第２マーカ３０６０の位置によって位置が定まる操作画面４０を例示する図４の図である。図３１において、操作画面４０の中心位置は、マーカ画像８４の中心位置から矢印４６よって定まる方向へ所定距離 d だけ移動した位置である。ただし、矢印４６は、マーカ画像８４によって定まる座標系８７における方向を表す。また、操作画面４０は、座標系８７の xy 平面）にマッピングされている。なお、図３１においても、操作画面４０に含まれる情報は省略されている。

なお、実施形態３の情報処理装置２０００が実施形態２の情報処理装置２０００の機能を有し、なおかつ第１マーカ３０４０と第２マーカ３０６０に同じもの（例えばマーカ画像８４）を利用する場合、商品認識領域７０の位置を定める矢印７２が示す方向と、操作画面４０の位置を定める矢印４６が示す方向とは、異なる方向に設定されていることが好ましい。例えば図２９と図３１の矢印４６が示す方向はそれぞれ、図１８と図２０の矢印７２が示す方向と正反対の方向である。このようにすることで、商品認識領域７０（ユーザが商品１０を位置させる場所）と、操作画面４０が表示される場所とが重ならないようにすることができる。つまり、操作画面４０が商品１０に重ならず、ユーザが商品１０と操作画面４０の双方を同時に見ることができるようになる。

前述した種々の方法により、第２マーカ３０６０の位置に基づいて、撮像画像上における操作画面４０の位置が定まる。そこで表示制御部２０４０は、上記決定した撮像画像上の位置に対応する表示装置３０２０上の位置に操作画面４０が表示されるように、表示装置３０２０に操作画面４０を表示させる。その方法には、撮像画像に重畳せずに操作画面４０を表示させる方法と、撮像画像に重畳して操作画面４０を表示させる方法がある。以下、それぞれについて説明する。

＜＜撮像画像に重畳させずに操作画面４０を表示させる方法＞＞
ヘッドマウントディスプレイ１００を用いて情報処理装置２０００が実現され、なおかつヘッドマウントディスプレイ１００のディスプレイ装置１０２が透過型のディスプレイ装置である（ヘッドマウントディスプレイ１００が透過型のヘッドマウントディスプレイである）とする。この場合、表示装置３０２０は、透過型のヘッドマウントディスプレイ１００のディスプレイ装置１０２（レンズ部分）として実現される。またこの場合、撮像画像を生成するカメラ２０は、ユーザの目に映る景色と同様の景色を撮像するように設けられる（図２のカメラ２０など）。このような透過型のヘッドマウントディスプレイ１００を利用する場合、ユーザはディスプレイ装置１０２の先に見える実物体（実世界の景色）を見ることで周囲の景色を把握でき、なおかつその景色は撮像画像に写る景色と同様の景色となる。そのため、ディスプレイ装置１０２に撮像画像を表示させる必要がない。

そこで表示制御部２０４０は、操作画面４０を、撮像画像に重畳せずに、表示装置３０２０に表示させる。具体的には、表示制御部２０４０は、撮像画像上における操作画面４０の位置を、ディスプレイ装置１０２上の位置に変換し、この変換によって算出されたディスプレイ装置１０２上の位置に操作画面４０を表示させる。

撮像画像上の座標とディスプレイ装置１０２上の座標との対応関係は、カメラ２０に関する各種のパラメタ（画角や焦点距離）や、ディスプレイ装置１０２とカメラ２０との位置関係などに基づいて定めることができる。この対応関係は、これらのパラメタなどを用いて表示制御部２０４０によって算出されてもよいし、設定値として予め定められていてもよい。

＜＜撮像画像に重畳させて操作画面４０を表示させる方法＞＞
ユーザが直接周囲の景色を見ることができない場合や、撮像画像に写る景色がユーザの目に映る景色と同様でない場合（カメラ２０によってユーザの視界方向が撮像されない場合）、ユーザは、撮像画像を見ながら入力操作を行う。例えばヘッドマウントディスプレイ１００を用いて情報処理装置２０００が実現され、なおかつヘッドマウントディスプレイ１００のディスプレイ装置１０２が非透過型のディスプレイ装置である（ヘッドマウントディスプレイ１００が非透過型のヘッドマウントディスプレイである）とする。この場合、ユーザは、周囲の景色を直接見ることができない。そのためディスプレイ装置１０２には、ユーザの視界方向を撮像するカメラ２０によって生成された撮像画像が表示される。ユーザは、その撮像画像を見ることで周囲の景色を把握する。よって、ユーザは、撮像画像を見ながら入力操作を行うこととなる。

また、カメラ２０がユーザの社員証などに設けられる場合には、カメラ２０が必ずしもユーザの視界方向を撮像するとは限らない。この場合、ユーザは、カメラ２０によって生成された撮像画像を見ながら入力操作を行う。なおこの場合、表示装置３０２０は、例えばプロジェクタ、据え置き型のディスプレイ装置（PC のディスプレイ装置など）、又は携帯端末のディスプレイ装置などとして実現される。

上述したように、ユーザが撮像画像を見ながら入力操作を行う場合、撮像画像が表示装置３０２０によって表示される。そこで表示制御部２０４０は、表示装置３０２０によって表示される撮像画像に操作画面４０を重畳させることで、表示装置３０２０に操作画面４０を表示させる。この場合、表示制御部２０４０は、前述した種々の方法で定めた撮像画像上における操作画面４０の位置（例えば、図２８から図３１などで示した操作画面４０の位置）に、操作画面４０を重畳させる。

＜第２マーカ３０６０が撮像画像から検出されない場合：Ｓ３０４：ＮＯ＞
第２マーカ３０６０が撮像画像から検出されない場合（Ｓ３０４：ＮＯ）、表示制御部２０４０は、表示装置３０２０に操作画面を全く表示させなくてもよいし、表示装置３０２０に操作画面の一部を表示させてもよい。

後者の場合、例えば表示制御部２０４０は、操作画面の内、ユーザが入力操作のために利用するインタフェース部分（キーボードを表す画像など）については表示装置３０２０に表示させず、商品情報を表す部分については表示装置３０２０に表示させる。このようにすることで、ユーザは、第２マーカ３０６０が撮像画像に写らない場合であっても、商品に関する情報の閲覧をすることができる。

＜ハードウエア構成＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、第２マーカ３０６０が撮像画像に写った場合に、操作画面４０が表示させる。よって、実施形態２の場合と同様に、ユーザが必要な時にだけ操作画面４０を表示させることができるため、ユーザにとって情報処理システム３０００の利便性が向上する。また、情報処理装置２０００の計算機資源が浪費されることを防ぐことができる。

さらに操作画面４０の位置を第２マーカ３０６０の位置によって定めれば、ユーザにとって自然で見やすい位置に操作画面４０が表示されるようにすることができる。例えば、デバイス８０に表示されるマーカ画像８４を第２マーカ３０６０として扱い、ユーザが手首にデバイス８０を身につけるようにすることで、ユーザの腕部付近に操作画面４０が表示されるようにすることができる。こうすることで、ユーザにとって情報処理装置２０００の操作性が向上する。

［実施形態４］
図３２は、実施形態４に係る情報処理システム３０００を例示するブロック図である。下記で説明する点を除き、実施形態４の情報処理システム３０００は、実施形態１から実施形態３のいずれかに係る情報処理システム３０００と同様の機能を有する。

実施形態４の情報処理システム３０００はセンサ３０８０を有する。センサ３０８０は、情報処理システム３０００のユーザに身に付けられるセンサである。例えばセンサ３０８０は振動センサである。

本実施形態において、操作体の位置に基づいて入力操作が認識される場合、操作認識部２０６０は、センサ３０８０の検出結果に基づくタイミングにおいて撮像画像に写っている操作体の位置を算出し、その位置に基づいて入力操作を認識する。また、操作体の動きに基づいて入力操作が認識される場合、操作認識部２０６０は、センサ３０８０の検出結果に基づくタイミングを含む時間において撮像画像に写っている操作体の動きを算出し、その算出した動きに基づいて入力操作を認識する。

＜処理の流れ＞
図３３は、実施形態４の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。図３３におけるＳ１０２からＳ１０８の処理は、図５におけるＳ１０２からＳ１０８の処理と同様である。Ｓ４０２において、情報処理装置２０００は、センサ３０８０の検出結果を把握する。そして、Ｓ１１０において、操作認識部２０６０は、センサ３０８０の検出結果に基づくタイミングにおいて撮像画像に写っている操作体の位置、又はそのタイミングを含む時間において撮像画像に写っている操作体の動きに基づいて、入力操作を認識する。

＜センサ３０８０について＞
センサ３０８０は、ユーザによる入力操作のタイミングを把握するために利用できる任意のセンサである。例えばセンサ３０８０は、前述した振動センサである。振動センサが設けられる場所は任意である。例えば振動センサは、前述したようにデバイス８０の内部に設けられる。また例えば、振動センサは、ユーザの腕や手などに貼られてもよいし、ユーザの衣服（服の袖など）に設けられてもよい。

センサ３０８０が振動センサである場合、ユーザは、入力操作を行うタイミング又はそれに近いタイミングで、センサ３０８０が身に付けられている箇所又はその付近に対して振動を加える。例えばユーザは、左の手首に振動センサが内蔵されているデバイス８０が身に付けられている状態で、右手を使って左の腕部の任意の箇所に対して振動を加える。その結果、振動センサに対して振動が伝わり、その振動が振動センサによって検出される。

また例えば、ユーザは、入力操作を行うタイミング又はそれに近いタイミングで、センサ３０８０が身に付けられている部位などを用いて、他の場所に振動を加える。例えばユーザは、右の手首に振動センサが内蔵されているデバイス８０が身に付けられている状態で、右手を使って任意の場所（例えば机）に対して振動を加える。その結果、振動センサにも振動が伝わるため、振動センサによる振動の検出が行われる。

なお、センサ３０８０は、振動センサに限定されない。例えばセンサ３０８０は、圧力センサや静電容量センサでもよい。圧力センサや静電容量センサが設けられる場所は任意である。例えば圧力センサや静電容量センサは、デバイス８０のタッチパネルに設けられる。また例えば、圧力センサや静電容量センサは、ユーザの腕や手などに貼られたり巻き付けられたりするシートなどに設けられてもよい。また例えば、圧力センサや静電容量センサは、ユーザの衣服（服の袖など）に設けられてもよい。

センサ３０８０が静電容量センサである場合、ユーザは、センサ３０８０が身に付けられている箇所に触れる。これにより、静電容量センサによって静電容量の変化が検出される。また例えば、センサ３０８０が圧力センサである場合、ユーザは、センサ３０８０が身に付けられている箇所に圧力を加える。これにより、圧力センサによって圧力が検出される。

なお、センサ３０８０による検出を行わせるための動作（振動を加える動作など）は、操作体によって行われてもよいし、操作体以外を用いて行われてもよい。

＜センサ３０８０の検出結果の把握方法：Ｓ４０２＞
情報処理装置２０００は、センサ３０８０の検出結果を把握する（Ｓ４０２）。情報処理装置２０００がセンサ３０８０の検出結果を把握する方法は様々である。以下、その方法を例示する。

＜＜無線通信の利用＞＞
例えば情報処理装置２０００は、センサ３０８０を内蔵するデバイス８０と無線通信を行うことにより、センサの検出結果を示す情報を取得する。この情報を用いて、情報処理装置２０００は、センサ３０８０の検出結果を把握する。

例えばデバイス８０は、センサが所定の大きさ以上の振動を検出したタイミングで、情報処理装置２０００に対して所定の信号を送信する。この場合、情報処理装置２０００は、この所定の信号を受信することにより、「センサ３０８０によって振動が検出された」というセンサの検出結果を取得することができる。

また例えば、デバイス８０は、センサ３０８０によって所定の大きさ以上の振動が検出された場合に、その振動が検出された時点を示す情報を情報処理装置２０００に送信しても良い。

＜＜デバイス８０の外観の変化の検出＞＞
デバイス８０は、センサ３０８０による振動の検出に応じてデバイス８０の外観を変化させてもよい。この場合、情報処理装置２０００は、カメラ２０によって生成された撮像画像を用いてデバイス８０の外観の変化を検出することで、センサ３０８０の検出結果（センサ３０８０によって振動が検出されたこと）を把握する。

例えばデバイス８０がディスプレイ装置を有する場合、デバイス８０は、センサ３０８０によって所定の大きさ以上の振動が検出されたときに、ディスプレイ装置の表示を変更する。より具体的には、デバイス８０は、センサ３０８０によって所定の大きさ以上の振動が検出されたとき、デバイス８０のディスプレイ装置に表示されている画像を変更するか、又は何も表示されていなかったディスプレイ装置に新たに画像を表示する。情報処理装置２０００は、カメラ２０によって繰り返し生成される撮像画像を解析することで、デバイス８０のディスプレイ装置の表示が変更されたことを検出する。これにより、情報処理装置２０００は、センサによって振動が検出されたことを把握する。図３４は、センサ３０８０によって振動が検出された際に、デバイス８０のディスプレイ装置に表示されている画像が変更される様子を例示する図である。

また例えば、デバイス８０は、センサ３０８０によって振動が検出された場合に、デバイス８０のディスプレイ装置のバックライトやデバイス８０に設けられた LED（Light Emitting Diode）ライトなどのライトを点灯又は点滅させてもよい。情報処理装置２０００は、カメラ２０によって繰り返し生成される撮像画像を解析することで、これらのライトの点灯や点滅を検出する。これにより、情報処理装置２０００は、センサ３０８０によって振動が検出されたことを把握する。

このように、センサ３０８０による振動の検出に応じてデバイス８０の外観を変化させることによって情報処理装置２０００がその振動の検出を把握すれば、デバイス８０と情報処理装置２０００との間で無線通信を行う必要がない。そのため、他に無線通信の必要性がない限り、デバイス８０や情報処理装置２０００は無線通信の機能を有さなくてよい。

情報処理装置２０００が振動センサ以外のセンサによる検出結果を把握する方法は、振動センサについて説明した上述の方法と同様である。例えばセンサが圧力センサである場合、デバイス８０や情報処理装置２０００は、圧力センサが所定の大きさ以上の圧力を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。また例えば、センサが静電容量センサである場合、デバイス８０や情報処理装置２０００は、静電容量センサが所定の大きさ以上の静電容量の変位を検出したときに、振動センサが所定の大きさ以上の振動を検出したときと同様の処理を行う。

＜操作体の位置の算出について＞
操作認識部２０６０は、センサ３０８０の検出結果に基づくタイミングにおいて操作体の検出し、検出した操作体の位置を算出する。以下、「センサ３０８０の検出結果に基づくタイミング」を検出対象タイミングと表記する。

検出対象タイミングは、センサ３０８０によって振動などが検出されたタイミング又はこれに近いタイミングである。例えばセンサ３０８０によって振動などが検出された場合にデバイス８０から情報処理装置２０００へ所定の信号が送信される場合、検出対象タイミングは、情報処理装置２０００がこの所定の信号を受信した時点である。また例えば、センサ３０８０によって振動などが検出された時点を示す情報がデバイス８０から情報処理装置２０００へ送信される場合、検出対象タイミングは、この情報によって示される時点である。また例えば、センサ３０８０によって振動などが検出された場合にデバイス８０の外観に所定の変化が加わる場合、検出対象タイミングは、情報処理装置２０００によってこの所定の変化が検出された時点である。

また、操作認識部２０６０は、上述した種々のタイミング（情報処理装置２０００がデバイス８０から所定の信号を受信した時点など）よりも所定時間前又は後の時点を検出対象タイミングとしてもよい。

操作認識部２０６０が前述したどの時点を検出対象タイミングとして扱うかを示す情報や、上述の所定時間を示す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよい。

操作認識部２０６０は、検出対象タイミングにおいてカメラ２０によって生成された撮像画像から操作体を検出し、その操作体の位置を算出する。ここで一般に、カメラ２０は間欠的に撮像画像を生成するため（例えば 30 fps（フレーム／秒）の頻度）、検出対象タイミングと一致する時点で生成された撮像画像が無い場合もある。この場合、例えば操作認識部２０６０は、検出対象タイミングの直前又は直後に生成された撮像画像を用いる。

＜操作体の動きを算出する方法＞
操作認識部２０６０は、検出対象タイミングを含む時間において操作体を検出し、その操作体の動きを算出する。以下、「検出対象タイミングを含む時間」を検出対象時間と表記する。操作認識部２０６０は、検出対象時間において生成された撮像画像を用いて操作体の動きを算出する。

操作認識部２０６０は、検出対象タイミングを用いて検出対象時間の開始時点及び終了時点を決定する。例えば操作認識部２０６０は、検出対象タイミングを検出対象時間の開始時点とする。図３５は、検出対象タイミングを検出対象時間の開始時点とするケースを例示する図である。図３５（ａ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点を検出対象タイミングとしている。図３５（ｂ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点よりも所定時間前の時点を検出対象タイミングとしている。図３５（ｃ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点よりも所定時間後の時点を検出対象タイミングとしている。

また例えば、操作認識部２０６０は、検出対象タイミングを検出対象時間の終了時点とする。図３６は、検出対象タイミングを検出対象時間の終了時点とするケースを例示する図である。図３６（ａ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点を検出対象タイミングとしている。図３６（ｂ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点よりも所定時間前の時点を検出対象タイミングとしている。図３６（ｃ）の場合、操作認識部２０６０は、センサ３０８０によって振動が検出された時点よりも所定時間後の時点を検出対象タイミングとしている。

操作認識部２０６０は、検出対象タイミングを１つ又は２つ用いて検出対象時間を定める。検出対象タイミングを１つ用いて検出対象時間を定める場合、例えば操作認識部２０６０は、図３５のいずれかの方法で検出対象時間の開始時点を定め、その時間から所定時間後の時点を検出対象時間の終了時点とする。また例えば、操作認識部２０６０は、図３６のいずれかの方法で検出対象時間の終了時点を定め、その時間から所定時間前の時点を検出対象時間の終了時点とする。

検出対象タイミングを２つ用いて検出対象時間を定める場合、操作認識部２０６０は、図３５のいずれかの方法で検出対象時間の開始時点を定め、なおかつ図３６のいずれかの方法で検出対象時間の終了時点を定める。

なお、センサ３０８０によって振動が検出される時点以前を検出対象時間の開始時点とする場合（図３５（ａ）又は図３５（ｂ））や、検出対象タイミングを１つのみ用い、なおかつ図３６のように検出対象タイミングによって検出対象時間の終了時点を定める場合、カメラ２０は、センサ３０８０によって振動が検出される前から撮像画像を生成している必要がある。この場合、カメラ２０は、センサ３０８０によって振動が検出される前から撮像を開始する。例えばカメラ２０は、ユーザが情報処理装置２０００の利用を開始してから終了するまでの間、継続して撮像を行う。また、カメラ２０によって生成される撮像画像は、所定期間継続して記憶装置などに記憶される。

一方、センサ３０８０によって振動が検出された時点よりも後の時点を検出対象時間の開始時点とする場合（図３５（ｃ））、カメラ２０は、センサ３０８０によって振動が検出されてから撮像を開始してもよい。この場合、例えばカメラ２０は、デバイス８０又は情報処理装置２０００から、センサ３０８０によって振動が検出された旨の信号を受信し、その信号を受信したタイミングで撮像を開始する。

ただし、撮像画像を用いて商品１０の認識が行われる場合、カメラ２０が撮像を開始するタイミングは、商品１０の認識に必要なタイミングで開始される。例えばこの場合、カメラ２０は、情報処理装置２０００を起動してから停止するまでの間、常に撮像画像の生成を行う。

なお、上述した各所定時間を表す情報は、操作認識部２０６０に予め設定されていてもよいし、操作認識部２０６０からアクセス可能な記憶装置に記憶されていてもよい。また、検出対象時間の開始時点の決定に用いる所定時間と、検出対象時間の終了時点に用いる所定時間は、同じであってもよいし、異なっていてもよい。

＜ハードウエア構成例＞
実施形態４の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
撮像画像に写っている操作体の位置又は動きのみを利用してユーザの入力操作を認識しようとすると、ユーザが入力操作を行っていないにも関わらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにも関わらず入力操作が認識されなかったりする可能性がある。

本実施形態の情報処理システム３０００によれば、ユーザに身につけられているセンサ３０８０の検出結果に基づくタイミングにおける操作体の位置、又はセンサ３０８０の検出結果に基づくタイミングを含む時間における操作体の動きを解析することで、入力操作が認識される。そのため、入力操作の際にセンサ３０８０による検出が行われるようにユーザが入力操作を行えば、上記タイミングに基づく操作体の位置や動きは、ユーザの入力操作を表している蓋然性が高い。そのため、ユーザが意図して行った入力操作が正しく認識されるようになり、ユーザが入力操作を行っていないにもかかわらず入力操作が誤って認識されたり、ユーザが入力操作を行っているにもかかわらず入力操作が認識されなかったりすることを防ぐことができる。

［実施例］
以下、情報処理システム３０００について、より具体的な利用方法を例示して説明する。後述する各実施例はあくまで情報処理システム３０００の利用方法の一例であり、情報処理システム３０００の利用方法は後述の実施例で説明するものに限定されない。

図３７は、各実施例に共通する情報処理システム３０００の構成を例示するブロック図である。情報処理システム３０００は、情報処理装置２０００、表示装置３０２０、第１マーカ３０４０、第２マーカ３０６０、及びセンサ３０８０を有する。

図３８は、各実施例に共通する情報処理システム３０００の利用環境を例示する図である。各実施例において、情報処理装置２０００は、ヘッドマウントディスプレイ１００の内部に実装される。ヘッドマウントディスプレイ１００は、表示装置３０２０を実現するためのディスプレイ装置１０２を有する。また、カメラ２０は、ヘッドマウントディスプレイ１００に設けられる。

ユーザは、デバイス８０を手首に装着する。デバイス８０のタッチパネル８２には、マーカ画像８４が表示される。マーカ画像８４は、情報処理装置２０００により、第１マーカ３０４０及び第２マーカ３０６０の双方として扱われる。つまり、商品認識部２０２０は、マーカ画像８４によって定まる商品認識領域７０に含まれる商品１０を認識する。また、表示制御部２０４０は、マーカ画像８４が写っている場合に、表示装置３０２０に操作画面４０を表示させる。

表示制御部２０４０は、マーカ画像８４の位置を基準として、操作画面４０を表示させる位置を決定する。ここで操作画面４０は、入力エリア４２及び情報エリア４４のいずれか一方、又は入力エリア４２及び情報エリア４４の双方を含む。入力エリア４２は、キーボードやボタンなどの入力インタフェースを含む領域であり、情報エリア４４は、入力インタフェースを含まない領域である。

入力エリア４２と情報エリア４４の表示位置は、マーカ画像８４の位置を基準としてそれぞれ定められている。具体的には、入力エリア４２の表示位置は、ユーザの腕に重畳される位置として定められている。一方、情報エリア４４の表示位置は、ユーザの腕の上方に位置するように情報エリア４４を表示させる。

各実施例において、操作体はユーザの指３０である。また、デバイス８０は、センサ３０８０を実現するための振動センサ８６を有する。操作認識部２０６０は、振動センサ８６による検出結果に基づいて定まる検出対象タイミングにおける指３０の位置、又は検出対象時間における指３０の動きに基づいて、入力操作を認識する。

例えば、ユーザは、キーボードを表す入力エリア４２に含まれる各キーを指３０でタップする。振動センサ８６によってタップの振動が検出されると、デバイス８０から操作認識部２０６０へ通知が行われる。操作認識部２０６０は、この通知を受け、振動が検出されたタイミングにおける指３０の位置を割り出し、その位置に対応するキーを入力する入力操作を認識する。またユーザは、腕３２を指３０でタップしてから指３０を動かし、その動作を終了するタイミングで再度指３０で腕３２をタップする。操作認識部２０６０は、こうすることで、指３０の動きを操作認識部２０６０に認識させる。例えばユーザは、指３０の動きにより、手書き入力などを行う。

［［実施例１］］
実施例１は、店舗に来店した顧客によってヘッドマウントディスプレイ１００が利用される例である。この店舗では、来店した各顧客に対し、デバイス８０及びヘッドマウントディスプレイ１００が貸与される。各ヘッドマウントディスプレイ１００には、個別のＩＤが割り振られている。顧客は、デバイス８０及びヘッドマウントディスプレイ１００を装着して、店舗の商品１０を見て回る。

この店舗では、顧客は、購入したい商品を商品カゴに入れて持ち歩く必要がない。代わりに顧客は、ヘッドマウントディスプレイ１００を用いて商品１０の購入手続きを行う。そのために、店舗には商品１０の見本が陳列されている。

まず顧客は、店舗内を歩いて、購入したい商品１０を探す。興味が惹かれる商品１０を見つけたら、顧客は、その商品１０をヘッドマウントディスプレイ１００に認識させる。具体的には、顧客は、デバイス８０が装着されている方の手で商品１０を持ち、その商品１０を見る。こうすると、商品認識部２０２０によって商品１０が認識される。また、表示制御部２０４０により、その商品１０の商品情報を含む操作画面４０がディスプレイ装置１０２に表示される。

図３９は、実施例１においてディスプレイ装置１０２に表示される操作画面４０を例示する図である。ディスプレイ装置１０２には、商品１０の説明を含む情報エリア４４、及び商品１０を購入する個数を入力するための入力エリア４２が表示されている。入力エリア４２は、個数を入力するための数値キー、購入することを決定するためのＯＫキー、及び購入をキャンセルするためのキャンセルキーを含む。

ユーザは、情報エリア４４を見て、商品１０の情報（図３９では商品名及び価格）を確認する。この商品１０を購入したい場合、ユーザは、数値キーを用いて購入したい個数を入力した後、ＯＫキーをタップする。一方、この商品１０を購入しない場合、ユーザはキャンセルキーをタップする。

ＯＫキーをタップすると、ヘッドマウントディスプレイ１００のＩＤと対応づけられたオーダー情報にその商品１０が追加される。図４０は、オーダー情報をテーブル形式で例示する図である。図４０に示すテーブルを、オーダー情報テーブル７００と表記する。オーダー情報テーブル７００は、ヘッドマウントディスプレイ１００のＩＤ（ＨＭＤ＿ＩＤ）と対応付けられている。オーダー情報テーブル７００は、商品ＩＤ７０２及び個数７０４を含む。商品ＩＤ７０２は商品１０のＩＤを示す。個数７０４は商品１０を購入する個数を示す。図３９で説明した操作でＯＫキーをタップすると、オーダー情報テーブル７００に新たな行が追加される。

購入したい各商品１０について図３９で説明した操作を終えると、ユーザは、精算カウンタへ行って精算を行う。精算カウンタにおいて、ユーザは店員にデバイス８０及びヘッドマウントディスプレイ１００を返却する。そのヘッドマウントディスプレイ１００を受け取った店員は、精算カウンタに設けられているコンピュータで、ヘッドマウントディスプレイ１００のＩＤを読み取る。このコンピュータは、ヘッドマウントディスプレイ１００のＩＤに対応付けられているオーダー情報テーブル７００を取得して精算金額を算出し、顧客に閲覧可能なディスプレイ装置に精算金額を表示する。ユーザは、その精算金額を支払った後、店員から商品を受け取る。

なお代金の精算は、現金を用いずに行われてもよい。例えばユーザは、ヘッドマウントディスプレイ１００を利用してクレジットカードの情報を入力することにより、クレジットカードで代金の精算を行ってもよい。

ヘッドマウントディスプレイ１００は、多言語に対応する機能を有することが好適である。ヘッドマウントディスプレイ１００が多言語に対応する機能を有する場合、例えばユーザは、ヘッドマウントディスプレイ１００を借りる際に、店員に利用したい言語を伝える。ここで、ユーザが利用したい言語が英語であるとする。この場合、店員は、ヘッドマウントディスプレイ１００の言語設定を英語に変更した上で、ユーザにヘッドマウントディスプレイ１００を貸与する。こうすることで、情報エリア４４に表示される情報や、入力エリア４２に表示される入力キーの言語が英語表記になる。

このように多言語に対応する機能をヘッドマウントディスプレイ１００に備えることで、様々な国の人々がヘッドマウントディスプレイ１００を利用しやすくなり、ひいてはこのヘッドマウントディスプレイ１００を導入した店舗を利用しやすくなる。なお、ヘッドマウントディスプレイ１００の言語設定の変更は、ユーザによって行われてもよい。

［［実施例２］］
実施例２は、インターネットを介したコンシェルジュサービスにおいてヘッドマウントディスプレイ１００を利用する例である。ここでいうコンシェルジュサービスとは、商品１０に関する要望を顧客から受け付け、その要望に合った商品１０をユーザに提供するサービスを意味する。

図４１は、実施例２のコンシェルジュサービスを提供するコンシェルジュシステム６００の構成を例示する図である。コンシェルジュシステム６００は、サーバ６１０、デバイス８０及びヘッドマウントディスプレイ１００を含む。なお、コンシェルジュシステム６００では、各コンシェルジュスタッフが、デバイス８０及びヘッドマウントディスプレイ１００の組みを装着する。

顧客端末６２０は、顧客によって利用される種々の端末（例えば PC）である。顧客端末６２０は、インターネットを介してサーバ６１０と接続されている。サーバ６１０は、顧客端末６２０からサービス提供の要求を受け付けると、その要求をいずれかのヘッドマウントディスプレイ１００に割り当てる。その要求が割り当てられたヘッドマウントディスプレイ１００を装着しているコンシェルジュスタッフは、顧客端末６２０のユーザ（顧客）に対してサービスを提供する。ここで、ヘッドマウントディスプレイ１００は、LAN（Local Area Network）を介してサーバ６１０と接続されている。

コンシェルジュスタッフは、商品１０に関する要望を顧客から受け付ける。例えば顧客は、顧客端末６２０に接続されたマイクを通じて、音声で要望を伝える。顧客の音声は、顧客端末６２０を介してサーバ６１０へ送信される。なお、インターネットを介してサーバへ送信された顧客の音声をサービス提供者が聴く方法には、種々の既存の技術を利用できるため、その方法の説明は省略する。

コンシェルジュスタッフは、顧客の要望に合った商品１０を見つけ出し、ヘッドマウントディスプレイ１００を介してその商品１０を見る。こうすることで、商品１０の商品情報を含む操作画面４０がディスプレイ装置１０２に表示される。顧客がその商品１０を気に入った場合、コンシェルジュスタッフは顧客から購入を希望する個数を聞き、操作画面４０に対して個数を入力する入力操作を行う。ここで、コンシェルジュスタッフが装着しているヘッドマウントディスプレイ１００のディスプレイ装置１０２に表示される情報は、例えば図３９に示した入力エリア４２及び情報エリア４４と同様である。

顧客は、商品１０に関する情報をコンシェルジュスタッフから音声で伝えられてもよいし、顧客端末６２０のディスプレイ装置を用いて、商品１０に関する情報を閲覧してもよい。後者の場合、例えばサーバ６１０は、コンシェルジュスタッフが閲覧している情報と同一の情報又はそれに類似する情報を顧客端末６２０へ提供する。こうすることで、コンシェルジュスタッフが閲覧している情報と同一の情報又はそれに類似する情報が顧客端末６２０のディスプレイ装置に表示され、顧客はその情報を閲覧することができる。

例えば、サーバ６１０は、ヘッドマウントディスプレイ１００に装着されているカメラ２０によって生成される映像を顧客端末６２０へ送信する。また例えば、サーバ６１０は、ディスプレイ装置１０２に写っている映像（カメラ２０によって生成される映像に操作画面４０が重畳されたもの）を顧客端末６２０へ送信する。また例えば、サーバ６１０は、カメラ２０によって生成された映像を顧客端末６２０へ送信せず、操作画面４０のみを顧客端末６２０へ送信してもよい。

なお、顧客端末６２０へ送信される操作画面４０は、コンシェルジュスタッフによって閲覧されている操作画面４０と異なるものであってもよい。例えば本実施例の場合、顧客はヘッドマウントディスプレイ１００を用いた入力操作を行わないため、入力エリア４２を見る必要がない。そこでヘッドマウントディスプレイ１００は、ディスプレイ装置１０２に表示させる操作画面４０には入力エリア４２及び情報エリア４４を含める一方で、サーバ６１０を介して顧客端末６２０へ送信する操作画面４０には、情報エリア４４のみが含まれるようにする。

また、コンシェルジュスタッフが閲覧する商品情報と顧客端末６２０へ送信される商品情報は、異なっていてもよい。例えばヘッドマウントディスプレイ１００は、コンシェルジュスタッフが閲覧する商品情報には、商品の管理のために必要な種々の管理情報を含める一方で、顧客端末６２０へ送信される商品情報には、そのような管理情報を含めないようにする。

このように、ディスプレイ装置１０２に表示される操作画面４０と顧客端末６２０に送信される操作画面４０をそれぞれ異なるものにする場合、前述した操作画面４０のテンプレート２００として、ディスプレイ装置１０２用のテンプレートと顧客端末６２０用のテンプレートの双方を用意しておく。

［［実施例３］］
実施例３は、自動販売機へ商品を補充する作業においてヘッドマウントディスプレイ１００を利用する例である。自動販売機へ商品を補充する作業を行う作業員は、ヘッドマウントディスプレイ１００を利用することで、補充する商品１０に関する種々の情報を見たり、商品１０に関する情報を入力したりする。

例えば作業員は、ヘッドマウントディスプレイ１００を用いて、補充した商品１０の個数を記録する入力操作を行う。図４２は、実施例３においてヘッドマウントディスプレイ１００が利用される様子を例示する図である。商品格納庫８００は、自動販売機において商品が格納されている格納庫である。なお、図を見やすくするため、図４２では、商品格納庫８００の一部のみを図示している。

まず作業員は、商品１０を補充した後、ヘッドマウントディスプレイ１００を介して、商品格納庫８００から見えているその商品１０を見ることで、ヘッドマウントディスプレイ１００に商品１０を認識させる。

ここで本実施例では、タッチパネル８２が手の甲の側に見えるように、デバイス８０が装着されている。また、商品認識領域７０は、マーカ画像８４の上端に接する矩形である。そこで作業員は、商品格納庫８００から見えている商品１０の近くにマーカ画像８４をかざすことで、商品１０が商品認識領域７０に含まれるようにする。

商品１０がヘッドマウントディスプレイ１００に認識されると、操作画面４０（入力エリア４２及び情報エリア４４）がディスプレイ装置１０２に表示される。作業員は、操作画面４０に含まれる数値キーを利用して、補充した個数を入力する入力操作を行う。

なお操作画面４０には、作業員が自由に情報を記述できるメモ欄が含まれていてもよい。例えば作業員は、各商品１０について、次回の補充時に持ってくるべき商品１０の個数を多めにすべきか、又は少なめにすべきかなどの情報を入力する。

本実施例において、ヘッドマウントディスプレイ１００は、作業対象の自動販売機を特定し、特定した自動販売機に入れるべき商品１０のリストを取得する機能を有していてもよい。自動販売機の特定は、例えば自動販売機に付されているＩＤを読み取ることで実現される。

例えば、自動販売機に、その自動販売機のＩＤを符号化したＱＲコード（登録商標）が付されているとする。この場合、作業員は、ヘッドマウントディスプレイ１００を介してそのＱＲコード（登録商標）を見る。その結果、カメラ２０により、そのＱＲコード（登録商標）が写った撮像画像が生成される。ヘッドマウントディスプレイ１００は、その撮像画像を解析することで、自動販売機のＩＤを認識する。

ヘッドマウントディスプレイ１００は、自動販売機のＩＤと、そのＩＤで特定される自動販売機に入れるべき商品１０のリストとを関連付けたデータベースを検索して、商品１０のリストを取得する。この場合、ヘッドマウントディスプレイ１００は、そのデータベースと通信可能に接続されている。ただし、自動販売機に入れるべき商品１０のリストは、予めヘッドマウントディスプレイ１００の内部の記憶装置に記憶されていてもよい。

なお、作業対象の自動販売機の特定は、手動で行われてもよい。この場合、作業員は、ヘッドマウントディスプレイ１００に対して、作業対象の自動販売機を選択する入力操作を行う。例えばヘッドマウントディスプレイ１００は、作業対象の自動販売機のリストをディスプレイ装置１０２に表示する。作業員は、そのリストから、これから行う作業の対象である自動販売機を選択する。

ヘッドマウントディスプレイ１００は、自動販売機と通信する機能を有していてもよい。この場合、例えば自動販売機は、各商品１０について補充すべき個数などを示す情報を、ヘッドマウントディスプレイ１００へ送信する。ヘッドマウントディスプレイ１００は、その情報をディスプレイ装置１０２へ表示する。作業員は、その情報を見て、補充すべき商品１０の個数を把握することができる。

また自動販売機は、補充された商品１０の個数をカウントし、補充された商品１０の個数をヘッドマウントディスプレイ１００へ通知する機能を有していてもよい。この場合、補充された商品１０の個数の記録は、ヘッドマウントディスプレイ１００によって自動的に行われる。そのため、作業員は、補充した商品１０の個数を入力する入力操作を行う必要がない。

［［実施例４］］
実施例４は、ネットショッピングのサービスを提供するスーパーにおいて、ネットショッピングで注文された商品を店舗の商品棚から収集する作業に、ヘッドマウントディスプレイ１００が利用される例である。顧客がネットショッピングで商品を注文すると、注文された商品のリストが店舗のサーバへ送信される。その店舗の店員は、店舗を歩き回り、そのリストに載っている商品を商品棚から収集する。その際、店員は、ヘッドマウントディスプレイ１００を装着して収集作業を行う。

店舗サーバは、注文された商品のリスト、及び店舗の地図を取得する。さらに店舗サーバは、商品データベースを検索して、注文された商品のリストに載っている各商品が配置されている店舗上の位置を特定する。各商品の位置は、予め商品データベースに登録しておく。そして店舗サーバは、各商品の位置を示す印が重畳された地図を生成する。

ヘッドマウントディスプレイ１００は、店舗サーバから上記地図を取得して、ディスプレイ装置１０２に表示させる。図４３は、ディスプレイ装置１０２に表示される店舗の地図を例示する図である。図４３において、ディスプレイ装置１０２には地図３００が表示されている。地図３００には、上記リストに載っている各商品の位置（店員が収集すべき各商品の位置）を示す商品位置３０２が重畳されている。店員は、この地図３００を見ながら商品を収集することで、目的の商品を容易に収集することができる。

店員は、ディスプレイ装置１０２に表示された地図を見て、収集対象の商品が陳列されている商品棚へ行く。そして店員は、収集対象の商品が見つかったら、ヘッドマウントディスプレイ１００を介してその商品を見る。ヘッドマウントディスプレイ１００は、その商品の商品情報を含む操作画面４０をディスプレイ装置１０２に表示させる。

図４４は、実施例４においてディスプレイ装置１０２に表示される操作画面４０を例示する図である。図４４（ａ）は、店員が手に取った商品１０が、収集対象の商品であるケースを例示している。操作画面４０には、収集すべき商品１０の個数が表示されている。店員は、収集すべき個数をカゴに入れた後、ＯＫボタンをタップする。一方、この商品１０の収集を後回しにする場合、店員はキャンセルボタンをタップする。

一方、図４４（ｂ）は、店員が手に取った商品１０が、収集対象の商品ではないケースを例示している。操作画面４０には、手に取った商品が収集対象の商品ではない（注文された商品ではない）ことを通知するメッセージが表示されている。このメッセージを確認したユーザは、ＯＫボタンをタップする。

なお、新人の店員など、店舗に不慣れな店員の場合、ディスプレイ装置１０２に表示された地図３００を見ても、目的の商品を探し出せない場合がありうる。このような場合、ヘッドマウントディスプレイ１００は、各売り場の売り場担当者へ連絡する手段を提供してもよい。

図４５は、売り場担当者へ連絡するための操作画面４０が表示されたディスプレイ装置１０２を例示する図である。情報エリア４４には、売り場担当者の写真が含まれている。入力エリア４２には、売り場担当者の名前が示されたボタンが含まれている。店員は、連絡を取りたい売り場担当者の名前が示されたボタンをタップする。これにより、例えば店員とその売り場担当者との間で、音声通話が確立される。この場合、ヘッドマウントディスプレイ１００は、音声通話を行う機能を提供する。

［［実施例５］］
実施例５は、店舗における商品の管理にヘッドマウントディスプレイ１００が利用されるケースである。ヘッドマウントディスプレイ１００は、店員によって装着される。ヘッドマウントディスプレイ１００を装着した店員は、例えばヘッドマウントディスプレイ１００を用いて商品１０の発注業務を行う。

図４６は、実施例５においてディスプレイ装置１０２に表示される情報を例示する図である。ディスプレイ装置１０２には、商品認識領域７０に含まれる商品１０に関する情報を含む情報エリア４４、及び入力操作のための入力エリア４２が表示されている。ここで、情報エリア４４には、情報エリア４４−１及び情報エリア４４−２が含まれる。情報エリア４４−１には、認識された商品１０の商品名、在庫数、及び発注数を示すテーブルが表示されている。情報エリア４４−２には、認識された商品１０の画像が大きく表示されている。ここで、情報エリア４４−２に表示される商品１０の画像は、撮像画像から抽出した商品１０の画像を拡大したものであってもよいし、商品データベース（例えば商品情報テーブル５００）に登録されている商品１０の画像であってもよい。

店員は、情報エリア４４に示されている商品１０の在庫数などを見て、商品１０の発注数を決める。そして店員は、入力エリア４２の数値キーを用いて、商品の発注数を入力する。図４６では、発注数として「２１個」が入力されている。発注数を入力し終えた店員は、ＯＫキーをタップする。こうすることで、商品１０の発注が行われる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 表示装置と、
情報処理装置と、を有し、
前記情報処理装置は、
商品を認識する商品認識手段と、
前記認識された商品に関する商品情報を取得し、前記取得された商品情報を含む操作画面を前記表示装置に表示させる表示制御手段と、
カメラによって生成された撮像画像に写っている操作体の位置又は動きに基づいて、前記操作画面に対する入力操作を認識する操作認識手段と、
を有する情報処理システム。
２． 前記商品認識手段は、前記撮像画像を用いて前記撮像画像に写っている商品を認識するか、商品に付された又は内蔵されたタグからその商品の識別子を読み取ることでその商品を認識するか、又は商品に付された商品情報シンボルからその商品の識別子を読み取ることでその商品を認識する、１．に記載の情報処理システム。
３． ユーザに身につけられるか、又はユーザの身体の一部であるマーカを有し、
前記商品認識手段は、
前記撮像画像から、前記撮像画像に写っている前記マーカの位置に基づいて定まる商品認識領域を抽出し、
前記抽出された商品認識領域に写っている商品を認識する、２．に記載の情報処理システム。
４． ユーザに身につけられるか、又はユーザの身体の一部であるマーカを有し、
前記表示制御手段は、前記撮像画像に前記マーカが写っている場合に、前記表示装置に前記操作画面を表示させる、１．乃至３．いずれか一つに記載の情報処理システム。
５． 前記表示制御手段は、前記撮像画像に写っている前記マーカの位置に基づいて定まる位置に前記操作画面を表示させる、４．に記載の情報処理システム。
６． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、３．乃至５．いずれか一つに記載の情報処理システム。
７． 前記表示制御手段は、通信回線を介し、前記操作画面又は前記操作画面を重畳させた前記撮像画像を送信する、１．乃至６．いずれか一つに記載の情報処理システム。
８． ユーザに身に付けられるセンサを有し、
前記操作認識手段は、前記センサの検出結果に基づくタイミングにおいて前記撮像画像に写っている操作体の位置を検出するか、又は前記タイミングを含む時間において前記撮像画像に写っている前記操作体の動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する、１．乃至７．いずれか一つに記載の情報処理システム。
９． 商品を認識する商品認識手段と、
前記認識された商品に関する商品情報を取得し、前記取得された商品情報を含む操作画面を表示装置に表示させる表示制御手段と、
カメラによって生成された撮像画像に写っている操作体の位置又は動きに基づいて、前記操作画面に対する入力操作を認識する操作認識手段と、
を有する情報処理装置。
１０． 前記商品認識手段は、前記撮像画像を用いて前記撮像画像に写っている商品を認識するか、商品に付された又は内蔵されたタグからその商品の識別子を読み取ることでその商品を認識するか、又は商品に付された商品情報シンボルからその商品の識別子を読み取ることでその商品を認識する、９．に記載の情報処理装置。
１１． 前記商品認識手段は、
前記撮像画像から、前記撮像画像に写っているマーカの位置に基づいて定まる商品認識領域を抽出し、
前記抽出された商品認識領域に写っている商品を認識し、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、１０．に記載の情報処理装置。
１２． 前記表示制御手段は、前記撮像画像にマーカが写っている場合に、前記表示装置に前記操作画面を表示させ、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、９．乃至１１．いずれか一つに記載の情報処理装置。
１３． 前記表示制御手段は、前記撮像画像に写っている前記マーカの位置に基づいて定まる位置に前記操作画面を表示させる、１２．に記載の情報処理装置。
１４． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、１１．乃至１３．いずれか一つに記載の情報処理装置。
１５． 前記表示制御手段は、通信回線を介し、前記操作画面又は前記操作画面を重畳させた前記撮像画像を送信する、９．乃至１４．いずれか一つに記載の情報処理装置。
１６． 前記操作認識手段は、ユーザに身に付けられるセンサの検出結果に基づくタイミングにおいて前記撮像画像に写っている操作体の位置を検出するか、又は前記タイミングを含む時間において前記撮像画像に写っている前記操作体の動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する、９．乃至１５．いずれか一つに記載の情報処理装置。
１７． コンピュータによって実行される制御方法であって、
商品を認識する商品認識ステップと、
前記認識された商品に関する商品情報を取得し、前記取得された商品情報を含む操作画面を表示装置に表示させる表示制御ステップと、
カメラによって生成された撮像画像に写っている操作体の位置又は動きに基づいて、前記操作画面に対する入力操作を認識する操作認識ステップと、
を有する制御方法。
１８． 前記商品認識ステップは、前記撮像画像を用いて前記撮像画像に写っている商品を認識するか、商品に付された又は内蔵されたタグからその商品の識別子を読み取ることでその商品を認識するか、又は商品に付された商品情報シンボルからその商品の識別子を読み取ることでその商品を認識する、１７．に記載の制御方法。
１９． 前記商品認識ステップは、
前記撮像画像から、前記撮像画像に写っているマーカの位置に基づいて定まる商品認識領域を抽出し、
前記抽出された商品認識領域に写っている商品を認識し、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、１８．に記載の制御方法。
２０． 前記表示制御ステップは、前記撮像画像にマーカが写っている場合に、前記表示装置に前記操作画面を表示させ、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、１７．乃至１９．いずれか一つに記載の制御方法。
２１． 前記表示制御ステップは、前記撮像画像に写っている前記マーカの位置に基づいて定まる位置に前記操作画面を表示させる、２０．に記載の制御方法。
２２． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、１９．乃至２１．いずれか一つに記載の制御方法。
２３． 前記表示制御ステップは、通信回線を介し、前記操作画面又は前記操作画面を重畳させた前記撮像画像を送信する、１７．乃至２２．いずれか一つに記載の制御方法。
２４． 前記操作認識ステップは、ユーザに身に付けられるセンサの検出結果に基づくタイミングにおいて前記撮像画像に写っている操作体の位置を検出するか、又は前記タイミングを含む時間において前記撮像画像に写っている前記操作体の動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する、１７．乃至２３．いずれか一つに記載の制御方法。
２５． コンピュータに、
商品を認識する商品認識ステップと、
前記認識された商品に関する商品情報を取得し、前記取得された商品情報を含む操作画面を表示装置に表示させる表示制御ステップと、
カメラによって生成された撮像画像に写っている操作体の位置又は動きに基づいて、前記操作画面に対する入力操作を認識する操作認識ステップと、
を実行させるプログラム。
２６． 前記商品認識ステップは、前記撮像画像を用いて前記撮像画像に写っている商品を認識するか、商品に付された又は内蔵されたタグからその商品の識別子を読み取ることでその商品を認識するか、又は商品に付された商品情報シンボルからその商品の識別子を読み取ることでその商品を認識する、２５．に記載のプログラム。
２７． 前記商品認識ステップは、
前記撮像画像から、前記撮像画像に写っているマーカの位置に基づいて定まる商品認識領域を抽出し、
前記抽出された商品認識領域に写っている商品を認識し、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、２６．に記載のプログラム。
２８． 前記表示制御ステップは、前記撮像画像にマーカが写っている場合に、前記表示装置に前記操作画面を表示させ、
前記マーカは、ユーザに身につけられるものか、又はユーザの身体の一部である、２５．乃至２７．いずれか一つに記載のプログラム。
２９． 前記表示制御ステップは、前記撮像画像に写っている前記マーカの位置に基づいて定まる位置に前記操作画面を表示させる、２８．に記載のプログラム。
３０． 前記マーカは、前記ユーザに身につけられているデバイスのディスプレイ装置に表示される画像である、２７．乃至２９．いずれか一つに記載のプログラム。
３１． 前記表示制御ステップは、通信回線を介し、前記操作画面又は前記操作画面を重畳させた前記撮像画像を送信する、２５．乃至３０．いずれか一つに記載のプログラム。
３２． 前記操作認識ステップは、ユーザに身に付けられるセンサの検出結果に基づくタイミングにおいて前記撮像画像に写っている操作体の位置を検出するか、又は前記タイミングを含む時間において前記撮像画像に写っている前記操作体の動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する、２５．乃至３１．いずれか一つに記載のプログラム。

１０ 商品
２０ カメラ
２２ 撮像画像
２４ 所定領域
２６ ガイド
３０ 指
３２ 腕
４０ 操作画面
４２ 入力エリア
４４ 情報エリア
４６ 矢印
５０ 動き
５１ 形状
５２ 形状
５４ 矩形
５６ 円形
６０ 領域
６２ 重心
６４ 点
７０ 商品認識領域
７２ 矢印
８０ デバイス
８２ タッチパネル
８４ マーカ画像
８６ 振動センサ
８７ 座標系
１００ ヘッドマウントディスプレイ
１０２ ディスプレイ装置
１２０ 参照画像
１２１ 位置
１３０ 領域
１３１ 点
２００ テンプレート
２０２ 置換領域
３００ 地図
３０２ 商品位置
５００ 商品情報テーブル
５０２ 商品ＩＤ
５０４ 特徴量
５０６ 商品情報
５０８ 商品名
５１０ 価格
５１２ 説明
６００ コンシェルジュシステム
６１０ サーバ
６２０ 顧客端末
７００ オーダー情報テーブル
７０２ 商品ＩＤ
７０４ 個数
８００ 商品格納庫
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
２０００ 情報処理装置
２０２０ 商品認識部
２０２０ 認識部
２０４０ 表示制御部
２０６０ 操作認識部
３０００ 情報処理システム
３０２０ 表示装置
３０４０ 第１マーカ
３０６０ 第２マーカ
３０８０ センサ

Claims (14)

1. 撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識手段と、
   前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御手段と、
   撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識手段と、
   を有し、
   前記オブジェクト認識手段は、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出し、
   前記表示制御手段は、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させ、
   前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である、情報処理装置。
2. 前記オブジェクト認識手段は、撮像画像を解析することでその撮像画像に含まれるオブジェクトを認識するか、又はオブジェクトに付されたシンボルからそのオブジェクトの識別子を読み取ることでそのオブジェクトを認識する、請求項１に記載の情報処理装置。
3. 前記オブジェクト認識手段は、撮像画像に含まれるマーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出する、請求項１又は２に記載の情報処理装置。
4. 前記表示制御手段は、撮像画像にマーカが含まれる場合に、前記表示装置に前記操作画面を表示させる、請求項１又は２いずれか一項に記載の情報処理装置。
5. 前記表示制御手段は、撮像画像に含まれる前記マーカの位置に基づいて定まる位置に前記操作画面を表示させる、請求項４に記載の情報処理装置。
6. 前記第１マーカと前記第２マーカは同一のものである請求項１乃至５いずれか一項に記載の情報処理装置。
7. 前記表示制御手段は、前記表示装置の表示画面において、前記撮像画像における前記オブジェクト認識領域の位置に対応する前記表示画面上の位置とは異なる位置に、前記操作画面を表示させる、請求項１乃至６いずれか一項に記載の情報処理装置。
8. 前記オブジェクト認識領域は、予め定められた領域である、請求項１乃至７いずれか一項に記載の情報処理装置。
9. 前記表示制御手段は、通信回線を介し、前記操作画面又は前記操作画面を重畳させた撮像画像を送信する、請求項１乃至８いずれか一項に記載の情報処理装置。
10. 前記操作認識手段は、ユーザに身につけられるデバイスに備えられたセンサの検出結果に基づいて定まるタイミングにおいて撮像画像に含まれる操作体の位置を検出するか、又は前記タイミングに基づいて定まる時間において撮像画像に含まれる前記操作体の動きを検出し、前記検出した位置又は動きに基づいて入力操作を認識する、請求項１乃至９いずれか一項に記載の情報処理装置。
11. 前記オブジェクトは商品である、請求項１乃至１０いずれか一項に記載の情報処理装置。
12. 表示装置と、
    情報処理装置と、を有し、
    前記情報処理装置は、
    撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識手段と、
    前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御手段と、
    撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識手段と、
    を有し、
    前記オブジェクト認識手段は、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出し、
    前記表示制御手段は、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させ、
    前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である、情報処理システム。
13. コンピュータによって実行される制御方法であって、
    撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識ステップと、
    前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御ステップと、
    撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識ステップと、
    を有し、
    前記オブジェクト認識ステップにおいて、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出し、
    前記表示制御ステップにおいて、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させ、
    前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である、制御方法。
14. コンピュータに、
    撮像画像の一部の領域であるオブジェクト認識領域を抽出し、前記抽出されたオブジェクト認識領域に含まれるオブジェクトを認識するオブジェクト認識ステップと、
    前記認識されたオブジェクトに関するオブジェクト情報を取得し、前記取得されたオブジェクト情報とそのオブジェクトに関する操作画面とを表示装置に表示させる表示制御ステップと、
    撮像画像に含まれる操作体の位置及び動きの少なくとも一方に基づいて、前記操作画面に対する入力操作を認識する操作認識ステップと、
    を実行させ、
    前記オブジェクト認識ステップにおいて、撮像画像に含まれる第１マーカの位置に基づいて定まる前記オブジェクト認識領域を撮像画像から抽出し、
    前記表示制御ステップにおいて、撮像画像に第２マーカが含まれる場合に、前記表示装置に前記操作画面を表示させ、
    前記第１マーカ及び前記第２マーカの少なくとも一方は、ユーザに身につけられているデバイスのディスプレイ装置に表示される画像であるか、前記デバイスに描画、印字、若しくは付されたものであるか、前記ユーザに身につけられているか、又は前記ユーザの身体の一部である、プログラム。