JP6781385B2 - 情報処理装置、情報処理方法、情報処理プログラム、利用者端末および端末制御プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム、利用者端末および端末制御プログラムに関する。

従来、食券等を販売する券売機において、ユーザが商品選択ボタンを操作した際に、この商品選択ボタンに対応する商品またはサービス（商品等）の内容を表す写真画像をディスプレイに表示する技術が開示されている（例えば、特許文献１を参照）。

また、購入する商品等によっては、券売機の複数のボタンを組み合わせた操作が必要となる場合がある。例えば、メイン料理に副菜等を付けるセットメニュー、料理にトッピング等を追加して完成させるメニュー、または料理の量を変更（例えば、大盛りに変更）できるメニュー等においては複数のボタンを組み合わせた操作が必要になる。特許文献１の券売機においては、複数のボタンを操作した場合、ボタンを操作する度に操作したボタンに対応した商品等の写真画像がディスプレイに表示される。

特開平１０−２３２９５５号公報

しかし、従来の券売機においては、複数のボタン等の操作部の操作の組み合わせによって購入することができるメニューの写真を表示することができないため、ユーザは、購入するメニューのイメージができない場合があった。

また、複数の操作部の操作が必要な商品等を購入するためには、券売機において複数のボタンの操作を連続して行う必要があるため、例えば、組み合わせが可能なボタンをユーザが予め把握していないと商品等の購入が困難となる場合があった。

本発明は上記事情に鑑みてなされたものであり、券売機において複数の操作部の操作が必要なメニューの購入を容易にすることができる、情報処理装置、情報処理方法、情報処理プログラム、利用者端末および端末制御プログラムを提供することを一つの目的とする。

（１）上記の課題を解決するため、実施形態の情報処理装置は、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶部と、券売機の操作部を撮影した撮影画像を取得する取得部と、取得部において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析部と、解析部において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶部から抽出する抽出部と、抽出部において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信部と、を備える。

（２）また、実施形態の情報処理装置において、利用者端末に送信されたメニューの中から選択された特定メニューを利用者端末から受け付ける受付部と、受付部において受け付けられた特定メニューを構成する注文内容に対応した操作部を示す操作部情報を生成する情報生成部と、をさらに備え、送信部は、情報生成部において生成された操作部情報を表示するために表示データをさらに送信する。

（３）また、実施形態の情報処理装置において、情報生成部は、注文内容に対応する前記操作部の位置を示す情報を操作部情報として生成する。

（４）また、実施形態の情報処理装置において、情報生成部は、注文内容に対応する操作部の位置を示す画像情報を撮影画像に合成した合成画像を操作部情報として生成する。

（５）また、実施形態の情報処理装置において、抽出部において抽出されたメニューを構成する注文内容の単価に基づき、抽出されたメニューの金額を算出する算出部をさらに備え、送信部は、算出部において算出された金額を表示するための表示データをさらに送信する。

（６）また、実施形態の情報処理装置において、送信部は、取得部において取得された撮影画像の取得日時を表示するための表示データをさらに送信する。

（７）また、実施形態の情報処理装置において、取得部において新たに撮影画像が取得されたときに撮影画像を更新して記録する撮影画像記憶部をさらに備え、解析部は、撮影画像が更新して記憶されたときに撮影画像に基づき含まれる操作部に対応する注文内容を解析する。

（８）また、実施形態の情報処理装置において、構成記憶部において記憶されたメニューを表すメニュー画像を記憶するメニュー画像記憶部をさらに備え、送信部は、メニュー画像記憶部に記憶されたメニュー画像の中から、抽出部において抽出されたメニューを表すメニュー画像を表示するための表示データをさらに送信する。

（９）また、実施形態の情報処理装置において、構成記憶部は、メニューを複数の言語で記憶し、送信部は、利用者端末から指定された言語においてメニューを表示するための表示データを送信する。

（１０）上記の課題を解決するため、実施形態の情報処理方法は、情報処理装置が実行する情報処理方法であって、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶ステップと、券売機の操作部を撮影した撮影画像を取得する取得ステップと、取得ステップにおいて取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析ステップと、解析ステップにおいて解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶ステップにおいて記憶されたメニューから抽出する抽出ステップと、抽出ステップにおいて抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信ステップと、を含む。

（１１）上記の課題を解決するため、実施形態の情報処理プログラムは、コンピュータに、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶手順と、券売機の操作部を撮影した撮影画像を取得する取得手順と、取得手順において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析手順と、解析手順において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶手順において記憶されたメニューから抽出する抽出手順と、抽出手順において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信手順と、を実行させる。

（１２）上記の課題を解決するため、実施形態の利用者端末は、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶部と、券売機の操作部を撮影した撮影画像を取得する取得部と、取得部において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析部と、解析部において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶部から抽出する抽出部と、抽出部において抽出されたメニューを表示する表示部と、を備える。

（１３）上記の課題を解決するため、実施形態の端末制御プログラムは、利用者が利用する利用者端末に、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶手順と、券売機の操作部を撮影した撮影画像を取得する取得手順と、取得手順において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析手順と、解析手順において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶手順において記憶されたメニューから抽出する抽出手順と、抽出手順において抽出されたメニューを表示する表示手順と、を実行させる。

本発明の一つの実施形態によれば、情報処理装置、情報処理方法、情報処理プログラム、利用者端末および端末制御プログラムは、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶し、券売機の操作部を撮影した撮影画像を取得し、撮影画像に含まれる操作部に対応する注文内容を解析し、注文内容を組み合わせることによって構成することができるメニューを構成記憶部から抽出し、抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信することにより、券売機において複数の操作部の操作が必要なメニューの購入を容易にすることができる。

実施形態における情報処理装置のソフトウェア構成の一例を示すブロック図である。 実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。 実施形態における情報処理プログラムの動作の一例を示すフローチャートである。 実施形態における利用者端末の表示画面の一例を示す図である。 実施形態における利用者端末の表示画面の一例を示す図である。 実施形態における利用者端末の表示画面の一例を示す図である。

以下、図面を参照して本発明の一実施形態における情報処理装置、情報処理方法、情報処理プログラム、利用者端末および端末制御プログラムについて詳細に説明する。

先ず、図１を用いて、情報処理装置のソフトウェア構成を説明する。図１は、実施形態における情報処理装置のソフトウェア構成の一例を示すブロック図である。

図１において、情報処理装置１は、ネットワーク９を介して、利用者端末２と通信可能に接続されている。

情報処理装置１は、記憶部１１、取得部１２、解析部１３、抽出部１４、送信部１５、受付部１６、情報生成部１７および算出部１８の各機能部を有する。記憶部１１は、構成記憶部１１１、撮影画像記憶部１１２およびメニュー画像記憶部１１３の各機能部を有する。本実施形態における情報処理装置１の上記各機能部は、情報処理装置１を制御する情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。

＜券売機について＞
本実施形態における券売機とは、券売機の利用者が券売機の操作部を操作して、商品またはサービス（商品等）を購入するための機器であって、例えば、商品等の提供を受けるための券を発券する。券売機は、例えば、レストランや食堂において提供される食事を購入するための食券、施設を利用するための利用券（入場券等）、または交通機関を利用するための乗車券、乗船券もしくは航空券等を発券する。券売機は、紙による発券をする代わりに、例えば、サービスを受けるための二次元コードの出力等、電子的な発券をするものであってもよい。

券売機の操作部とは、券売機の利用者が操作するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であり、利用者が操作部を操作することにより注文内容が指定される。操作部は、例えば、ハードキーによって実現されるボタンであっても、タッチパネルに表示されるボタンであってもよい。券売機は、複数の操作部を有している。利用者は購入する商品等に応じて、複数の操作部の中から一または複数の操作部を選択して操作（押下）する。なお、操作部の操作は、ボタンの押下以外に、例えば、利用者の音声を認識させることによる操作、利用者の視線を認識させることによる操作、または、利用者のジェスチャを認識させることによる操作等を含んでいてもよい。以下の説明においては、操作部がボタンである場合を例示して説明する。

＜注文内容とメニュー＞
注文内容とは、商品等の購入または予約（以下、「注文」という。）の内容を指定するための指定単位であり、１つの操作部に対して１つの注文内容が対応する。例えば、券売機が蕎麦屋における食券を発券するものである場合、注文内容とは、「うどん」、「そば」、「生卵」、「油揚げ」、「大盛り」または「カツ丼」等の注文を指定するための単位である。券売機の利用者は、それぞれの注文内容に対応したボタン（操作部）を押下することにより、注文内容を購入することができる。

また、メニューとは、複数の注文内容によって構成される注文内容の組合せである。例えば、上記の蕎麦屋の券売機において、メニューとは、「うどん」と「生卵」を組み合わせた「月見うどん」であり、「そば」と「油揚げ」を組み合わせた「きつねそば」であり、「うどん」と「大盛り」を組み合わせた「大盛りうどん」であり、または、「うどん」と「カツ丼」を組み合わせた「うどんカツ丼セット」等である。メニューは、注文内容を組み合わせて構成されるため、注文内容の数が多い場合、その組合せによって構成されるメニューは非常に多数になる。このため、券売機においては、注文内容の一部の組合せで構成されるメニューを１つの操作部に割り当てるとともに、注文内容の他の組合せで構成されるメニューは、利用者が複数の操作部を操作することにより作成される。例えば、メニューが「大盛りのきつねそば」である場合、上記の券売機において利用者は、「そば」、「油揚げ」および「大盛り」の３つの操作部を連続して操作することにより、所望のメニューを購入することが可能となる。

＜メニューの記憶＞
構成記憶部１１１は、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する。

メニューは複数の注文内容が組み合わされて作成されるため、メニューとして組合せが可能であるか否かを券売機の利用者が判断することが難しい場合がある。例えば、店舗の利用経験がない利用者が券売機を操作する場合、複数の操作部を操作して作成される利用内容を組み合わせが適切であるか否かを判断することは困難である。例えば、「うどん」と「生卵」の組み合わせが適切であることは、「月見うどん」を知らない利用者にとって判断が難しい。また、「うどん」と「そば」の組合せが適切でないことは、うどんとそばがいずれか一方のみを選択する注文内容であることを知らない利用者にとって判断が難しい。構成記憶部１１１は、「うどん」と「生卵」が組み合わせをメニューとして記憶するとともに、「うどん」と「そば」の組合せをメニューとしては記憶しない。構成記憶部１１１は、注文内容と、注文内容を組み合わせることにより構成されるメニューとを予め記憶しておくことにより、組合せが適切な注文内容を予め記憶しておくことが可能となる。なお、記憶された注文内容を組み合わせで構成されるメニューは、後述するように抽出部１４において抽出可能となる。

なお、メニューとして記憶される注文内容の組み合わせは、一般的な組合せであっても、店舗等におけるオリジナルな組合せであってもよい。例えば、「月見うどん」における「うどん」と「生卵」の組合せは、各店舗における一般的な組合せである。一方、「カツ丼」と「生卵」の組合せは、特定の店舗においてのみのオリジナルメニューとして提供される可能性がある。構成記憶部１１１は、例えば、店舗等との契約においてオリジナルな注文内容の組合せを店舗等毎の個別データとして記憶することにより、オリジナルメニューにおける注文内容を抽出することが可能になる。

また、構成記憶部１１１は、メニューを複数の言語で記憶してもよい。メニューを複数の言語で記憶することにより、利用者端末２の利用者が使用する言語に対応した多言語対応が可能となる。

また、注文内容およびメニューは、食事以外の商品等であってもよい。例えば、券売機が施設の利用券であった場合、注文内容は、「入場券」、「入場券＋乗り物５回券」、「入場券＋乗り物乗り放題」、「乗り物１回券」、「乗り物５回券」等であり、メニューは「入場券」と「乗り物１回券」の組合せ等である。構成記憶部１１１は、組合せ可能な注文内容をメニューとして予め記憶しておく。例えば、「入場券」と「入場券＋乗り物５回券」の組合せは適切ではないので、構成記憶部１１１は、メニューとして記憶していない。

＜撮影画像の取得と記憶＞
取得部１２は、券売機の操作部を撮影した撮影画像を取得する。撮影画像記憶部１１２は、取得部１２において取得された、券売機の操作部を撮影した撮影画像を記憶する。撮影画像記憶部１１２は、新たに撮影画像が撮影されて取得されたときに記憶している撮影画像を更新する。

取得部１２は、券売機の操作部を撮影した撮影者が送信する撮影画像を取得する。撮影画像の送信は、例えば、撮影者に提供される撮影画像送信用のＵＩを通じて送信される。撮影画像送信用のＵＩは、例えば、Ｗｅｂサーバによって送信されるＷｅｂページであり、撮影者の携帯端末のＷｅｂブラウザにおいて提供されたＷｅｂページを表示することにより提供することができる。撮影画像送信用のＵＩは、撮影者の携帯端末で動作する撮影画像送信用のアプリケーションプログラム（アプリ）として提供されてもよい。

券売機の操作部を撮影する撮影者は、例えば、撮影者は、券売機を設置している事業者（その従業員等）、撮影を依頼された撮影業者、または券売機の利用者等である。例えば、事業者が券売機の購入内容を変更したときに操作部を撮影して送信することにより、撮影画像記憶部１１２には、最新の状態における撮影画像を記憶させることが可能となる。また、券売機の利用者が券売機を利用するときに操作部を撮影して送信することにより、事業者等によって撮影画像が送信されていない券売機においても撮影部の撮影画像を記録することが可能となる。なお、後述するように、券売機の利用者は、記録された撮影画像に基づき、券売機の注文内容によって構成されるメニューを表示するための表示データを送信部１５から取得することが可能となる。撮影画像記憶部１１２は、新たに撮影画像が撮影されて取得されたときに記憶している撮影画像を更新することができるため、事業者または利用者のいずれの撮影者が撮影画像を送信した場合であっても、撮影画像を最新の状態にすることが可能となる。

＜メニュー画像の記憶＞
メニュー画像記憶部１１３は、構成記憶部１１１において記憶されたメニューを表すメニュー画像を記憶する。メニューを表すメニュー画像とは、券売機の利用者がメニューを視覚的に把握しやすくするための画像であって、例えば、写真またはイラストの画像である。例えば、メニュー画像記憶部１１３は、「月見うどん」、「きつねそば」、「うどんカツ丼セット」の写真画像を記憶する。これにより、券売機の利用者は、うどんの上に生卵がのせられた月見うどんのメニュー、または、うどんとカツ丼がそれぞれのどんぶりにおいて提供されるセットメニューの内容を視覚的に確認することが可能となる。なお、メニュー画像記憶部１１３に記憶されるメニュー画像は、そのメニューにおける一般的な画像であっても、その店舗等におけるオリジナルの画像であってもよい。例えば、「月見うどん」や「きつねそば」は、各店舗において視覚的に類似した商品が提供されるため、一般的な画像を利用者に提供しても問題はない。しかし、トッピングの仕方、商品の色もしくは形状、またはセットメニューの提供方法等において視覚的に個性的な商品等である場合、その店舗等におけるオリジナル画像を提供することにより、メニューを確認しやすくすることが可能となる。

＜注文内容の解析＞
解析部１３は、取得部１２において取得された撮影画像に含まれる操作部に対応する注文内容を解析する。撮影画像に含まれる操作部に対応する注文内容の解析とは、撮影画像に含まれる注文内容を特定することである。撮影画像に複数の操作部が含まれる場合、解析部１３は、複数の操作部のそれぞれに対応する注文内容を解析する。例えば、券売機の操作部には、注文内容を表す文字（点字を含む）や画像が表示されている。券売機の利用者は、操作部の表示を確認して操作部を操作することにより注文内容を購入することができる。解析部１３は、例えば、操作部の文字をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって認識することにより注文内容を特定することができる。また、解析部１３は、操作部の画像の特徴量を解析して機械学習の学習結果における特徴量と比較することにより注文内容を特定してもよい。

＜メニューの抽出＞
抽出部１４は、解析部１３において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶部１１１から抽出する。注文内容を組み合わせることによって構成することができるメニューとは、例えば、「うどん」と「生卵」を組み合わせることによって構成することができる「月見うどん」のメニューである。抽出部１４は、券売機の複数の操作部のそれぞれに対応した注文内容の組合せを、構成記憶部１１１に記憶されている注文内容の組合せと比較することにより、構成記憶部１１１に記憶されているメニューを抽出することができる。抽出部１４は、注文内容を組み合わせることによって構成することができるメニューが複数である場合、複数のメニューを抽出することができる。例えば、操作部に「うどん」、「そば」、「生卵」、および「油揚げ」の注文内容が存在し、構成記憶部１１１に「月見うどん」、「月見そば」、および「きつねうどん」のメニューが記憶されている場合（「きつねそば」は記憶されていない場合）、抽出部１４は、「月見うどん」、「月見そば」、および「きつねうどん」のメニューを抽出することができる。

＜表示データの送信＞
送信部１５は、抽出部１４において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末２に送信する。送信部１５は、抽出部１４において複数のメニューが抽出された場合、複数の表示データを送信する。利用者端末２は、例えば、スマートフォン、タブレットＰＣまたはノートＰＣ等である。メニューを表示するための表示データとは、利用者端末２において表示可能な表示データであって、例えば利用者端末２のＷｅｂブラウザにおいて表示可能なＷｅｂページである。利用者は、送信された表示データが利用者端末２に表示されることにより、券売機において注文内容を組合せることによって構成可能な一または複数のメニューを確認することができる。

送信部１５は、メニュー画像記憶部１１３に記憶されているメニュー画像を表示データとして送信することができる。メニュー画像を送信することにより、利用者はメニューを視覚的に確認することが容易となる。なお、大盛り等のメニュー画像は、メニュー画像に「大盛り」の文字等を加えることによってメニューの確認を容易にすることができる。

なお、送信部１５は、利用者端末２から指定された言語においてメニューを表示するための表示データを送信してもよい。例えば、利用者端末２のＷｅｂブラウザは、情報処理装置１に対して使用言語を指定することができる。送信部１５は、利用者端末２から指定された言語においてメニューを表示することにより、利用者端末２の利用者が使用する言語に対応した多言語対応をすることが可能となる。送信部１５は、表示データと合わせて、表示データの内容を説明するための音声データを利用者端末２に送信するようにしてもよい。

＜特定メニューの受付＞
受付部１６は、利用者端末２に送信されたメニューの中から選択された特定メニューを利用者端末２から受け付ける。特定メニューの選択は、利用者端末２に表示された一または複数のメニューの中から利用者が一のメニューを選択する操作を行うことにより実行される。受付部１６は、利用者によって選択された特定メニューを受け付けることによって、利用者が購入を希望するメニューを取得することができる。

＜操作部情報の生成＞
情報生成部１７は、受付部１６において受け付けられた特定メニューを構成する注文内容に対応した操作部を示す操作部情報を生成する。特定メニューを構成する注文内容に対応した操作部を示す操作部情報とは、特定メニューを構成する注文内容に対応した操作部を操作するための情報であり、例えば、注文内容に対応する操作部の位置、操作部の操作方法、または操作部の操作手順を示す情報である。特定メニューを構成する注文内容に対応した操作部を示す操作部情報を生成することにより、券売機において複数の操作部の操作の組み合わせが必要なメニューの購入を容易にすることが可能となる。

操作部の位置を示す情報は、券売機の一又は複数の操作部の中で、注文内容に対応した操作部が配置されている位置を示す情報であり、利用者端末２において利用者に操作部の位置を示すものである。操作部の位置を示す情報は、例えば、券売機に含まれる複数の操作部の中で操作対象の操作部の位置を示す画像情報または位置を示すコード等である。

情報生成部１７は、画像情報として、取得部１２において取得された撮影画像に操作対象の操作部の位置を示す情報を合成して生成してもよい。例えば、情報生成部１７は、操作部の撮影画像に操作を指示するためのアイコン等の画像を合成することにより画像情報を生成する。画像情報において操作部の位置を示すことによって、操作部の位置を視覚的に把握することが可能となる。

また、操作部の操作方法または操作手順を示す情報とは、例えば、複数の操作部を操作する順番、複数の操作画面が遷移する場合における操作画面を遷移させる方法、複数のメニューを購入するときの操作方法（例えば、都度の決済が必要か否か等）、または現金の投入もしくは電子マネーによる決済のタイミング、メニューを購入後のおつりボタンの押下の案内等である。

＜注文情報の送信＞
送信部１５は、情報生成部１７において生成された操作部情報を表示するために表示データをさらに利用者端末２に送信する。表示データは、上述のように、例えばＷｅｂページである。送信された表示データが利用者端末２において表示されることにより、券売機において複数の操作部の操作が必要なメニューの購入を容易にすることができる。なお、操作部の位置を示す方法は、利用者端末２において撮影画像に合成されて表示されてもよい。すわわち、利用者端末２で操作部を撮影された撮影画像が情報処理装置１に送信された場合、利用者端末２において、記憶されている撮影画像に送信部１５から送信された表示データ（例えば、アイコンデータ）を合成するようにしてもよい。

＜金額の算出＞
算出部１８は、抽出部１４において抽出されたメニューを構成する注文内容の単価に基づき、抽出されたメニューの金額を算出する。例えば、抽出されたメニューが「月見うどん」である場合、算出部１８は、「うどん」の単価と「生卵」の単価を合算して「月見うどん」の金額を算出する。注文内容の単価は、構成記憶部１１１に店舗等毎の個別データとして記憶させておくことができる。個別データにおいて単価が記憶されている場合、例えば、注文内容を組み合わせたセットメニューによる割引を考慮した金額を算出することができる。送信部１５は、算出部１８において算出された金額を表示するための表示データをさらに送信する。

＜撮影画像の取得日時＞
送信部１５は、取得部１２において取得された撮影画像の取得日時を表示するための表示データをさらに送信する。券売機の注文内容は、例えば、券売機を設置している事業者によって定期的にまたは不定期に変更される場合がある。したがって、撮影画像の撮影日時が古い場合、撮影画像記憶部１１２に記憶されている撮影画像における注文内容と実際の操作部の注文内容とが異なる場合がある。送信部１５は、撮影画像の取得日時を表示するための表示データを利用者端末２に送信することにより、利用者に利用内容に変更がされた可能性があることを警告することが可能となる。なお、撮影画像の取得日時は、取得部１２において撮影画像が取得された日時であっても、撮影画像に含まれる撮影条件の情報から取得される日時であってもよい。

撮影画像記憶部１１２は、取得部１２において新たに撮影画像が取得されたときには、撮影画像を更新して記録する。撮影画像を更新することによって、撮影画像と実際の券売機の注文内容が異なる可能性を低くすることが可能となる。

なお、情報処理装置１が有する、記憶部１１、取得部１２、解析部１３、抽出部１４、送信部１５、受付部１６、情報生成部１７、算出部１８、構成記憶部１１１、撮影画像記憶部１１２およびメニュー画像記憶部１１３の各機能部は、情報処理装置１の機能部の一例を示したものであり、情報処理装置１が有する機能を限定したものではない。例えば、情報処理装置１は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理装置１は、上記以外の他の機能を有していてもよい。例えば、情報処理装置１は、情報を入力するために入力機能や、装置の稼働状態をＬＥＤランプ等により報知する出力機能を有していてもよい。

また情報処理装置１が有する上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、情報処理装置１が有する上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであっても良い。

また、情報処理装置１が有する上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、情報処理装置１が有する上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。すなわち、図１は、情報処理装置１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイルで構成されていることを示すものではない。

また、情報処理装置１は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理装置１は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、仮想的な装置によって実現するものであってもよい。すなわち、情報処理装置１は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。また、情報処理装置１は、デスクトップＰＣ等の汎用的なコンピュータであってもよく、機能が限定された専用の装置であってもよい。

また、図１は、情報処理装置１のソフトウェア構成を説明したものであるが、同様な構成は利用者端末２においても実施することができる。すなわち、実施形態の利用者端末２は、複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶部と、券売機の操作部を撮影した撮影画像を取得する取得部と、取得部において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析部と、解析部において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶部から抽出する抽出部と、抽出部において抽出されたメニューを表示する表示部とを備える。これら利用者端末２の各機能部は、情報処理装置１の機能部と同様の機能を有するものであるため、説明は省略する。

次に、図２を用いて、情報処理装置１のハードウェア構成を説明する。図２は、実施形態における情報処理装置１のハードウェア構成の一例を示すブロック図である。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、タッチパネル１０４および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理装置１は、図１で説明した情報処理プログラムを実行する装置である。

ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、情報処理装置１の制御を行う。情報処理プログラムは、例えば、情報処理プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。

タッチパネル１０４は、操作入力機能と表示機能（操作表示機能）を有する。タッチパネル１０４は、情報処理装置１の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態における情報処理装置１は操作表示機能を有するタッチパネル１０４を用いる場合を説明するが、情報処理装置１は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネル１０４の表示画面は表示装置の表示画面、タッチパネル１０４の操作は操作入力装置の操作として実施することができる。なお、タッチパネル１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。

通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理装置１は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。

次に、図３を用いて、情報処理装置１の動作を説明する。図３は、実施形態における情報処理装置１の動作の一例を示すフローチャートである。図３のフローチャートにおける動作の実行主体は情報処理装置１であるものとして説明するが、それぞれの動作は、上述した情報処理装置１の各機能部において実行することができる。

図３において、情報処理装置１は、動作を開始する（ステップＳ１１）。動作の開始は、構成記憶部１１１に対する注文内容とメニューの記憶、およびメニュー画像記憶部１１３に対するメニュー画像の記憶を実行することにより、動作の準備を完了させることによって実行することが可能となる。

ステップＳ１１の処理を実行した後、情報処理装置１は、撮影画像を取得したか否かを判断する（ステップＳ１２）。撮影画像を取得したか否かは、取得部１２が、券売機の操作部を撮影した撮影画像を取得したか否かで判断することができる。撮影画像を取得していないと判断した場合（ステップＳ１２：ＮＯ）、情報処理装置１は、ステップＳ１２の処理を繰り返して、撮影画像の取得を待機する。

一方、撮影画像を取得したと判断した場合（ステップＳ１２：ＹＥＳ）、情報処理装置１は、注文内容を解析する（ステップＳ１３）。注文内容の解析は、解析部１３が、取得部１２において取得された撮影画像に含まれる操作部に対応する注文内容を解析することによって実行される。

ステップＳ１３の処理を実行した後、情報処理装置１は、メニューの抽出を実行する（ステップＳ１４）。メニューの抽出は、抽出部１４が、解析部１３において解析された注文内容を組み合わせることによって構成することができるメニューを構成記憶部１１１から抽出することによって実行することができる。

ステップＳ１４の処理を実行した後、情報処理装置１は、金額を算出する（ステップＳ１５）。金額の算出は、算出部１８が、抽出部１４において抽出されたメニューを構成する注文内容の単価に基づき、抽出されたメニューの金額を算出することにより実行することができる。

ステップＳ１５の処理を実行した後、情報処理装置１は、メニューと金額を送信する（ステップＳ１６）。メニューの送信は、送信部１５が、抽出部１４において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末２に送信するおとにより実行することができる。また、金額の送信は、送信部１５が、算出部１８において算出された金額を表示するための表示データをさらに送信することによって実行することができる。

なお、図３においては、撮影画像の取得（ステップＳ１２）を契機にメニューの表示データを送信する場合を説明したが、例えば、券売機を特定できる情報を利用者端末２から取得した場合、情報処理装置１は、特定された券売機に関するメニューの表示データを送信してもよい。券売機を特定できる情報とは、例えば、券売機を設置している店舗等の情報、券売機のＩＤ（例えば、ＱＲコード）、利用者端末２が券売機の設置場所にある場合の利用者端末の位置情報等である。券売機を特定できる情報を利用者端末２から取得することにより、操作部の撮影を行わない場合であっても、情報処理装置１は適切なメニューの表示データを利用者端末２に提供することが可能となる。

ステップＳ１６の処理を実行した後、情報処理装置１は、特定メニューを受け付けたか否かを判断する（ステップＳ１７）。特定メニューを受け付けたか否かは、受付部１６が、利用者端末２に送信されたメニューの中から選択された特定メニューを利用者端末２から受け付けたか否かで判断することができる。特定メニューを受け付けていないと判断した場合（ステップＳ１７：ＮＯ）、情報処理装置１は、ステップＳ１７の処理を繰り返し、特定メニューの受付を待機する。

一方、特定メニューを受け付けたと判断した場合（ステップＳ１７：ＹＥＳ）、情報処理装置１は、操作部情報を生成する（ステップＳ１８）。操作情報の生成は、情報生成部１７が、受付部１６において受け付けられた特定メニューを構成する注文内容に対応した操作部を示す操作部情報を生成することにより実行することができる。

ステップＳ１８の処理を実行した後、情報処理装置１は、操作部情報を表示するための表示データをさらに送信する（ステップＳ１９）。操作部情報を表示するための表示データをさらに送信は、送信部１５が、情報生成部１７において生成された操作部情報を表示するために表示データをさらに送信することにより実行することができる。ステップＳ１９の処理を実行した後、情報処理装置１は、フローチャートで示す動作を終了する。

次に、図４〜図６を用いて、利用者端末２に表示される表示画面を説明する。図４〜図６は、実施形態における利用者端末２の表示画面の一例を示す図である。

図４は、利用者端末２において撮影される券売機の操作部の撮影画像を示している。利用者端末２の表示画面２１には、利用者端末２の図示しないカメラで撮影された券売機の複数の操作パネル２１ａに複数配置された操作部ｂが含まれている。操作パネル２１ａには、「うどん」、「そば」、「生卵」、「油揚げ」、「カツ丼」、「カレー」、および「大盛り」の注文内容を示す操作部２１ｂが含まれている。撮影された撮影画像は、情報処理装置１に送信される。なお、撮影画像には、操作パネル２１ａ以外の部分が含まれていてもよい。

図５は、撮影画像に含まれる注文内容から組合せが可能であるとして抽出されたメニューの画像を示している。利用者端末２の表示画面２１には、抽出された複数のメニューの一部として、「月見うどん」と、「大盛り月見うどん＋カツ丼セット」のメニューカセット２１ｃが表示されている。利用者は、表示画面２１をスクロールすることにより、抽出された全てのメニューを確認することができる。図示する利用者端末２は、英語による表示が可能な端末であり、メニューの文字は英語で表示されている。また、メニューは、「うどん」に「生卵」が乗せられ、またはカツ丼が別のどんぶりで提供されることが画像で表示されている。また、それぞれのメニューには金額が表示されている。利用者は、表示されたメニューカセット２１ｃの中から特定メニューを選択することができる。例えば、利用者が「大盛り月見うどん＋カツ丼セット」のメニューを特定メニューとして選択したものとする。

図６は、特定メニューを構成するための注文内容の組合せを示している。利用者端末２の表示画面２１には、券売機の撮影画像に、「大盛り月見うどん＋カツ丼セット」のメニューを構成するための「うどん」、「生卵」、「カツ丼」、および「大盛り」の注文内容に対応する操作部２１ｂに網点の画像が合成されて表示されている。利用者は、網点の画像が合成されている操作部２１ｂを操作することにより、「大盛り月見うどん＋カツ丼セット」のメニューを購入することが可能となる。

なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１ 情報処理装置
１１ 記憶部
１１１ 構成記憶部
１１２ 撮影画像記憶部
１１３ メニュー画像記憶部
１２ 取得部
１３ 解析部
１４ 抽出部
１５ 送信部
１６ 受付部
１７ 情報生成部
１８ 算出部
２ 利用者端末
２１ 表示画面
２１ａ 操作パネル
２１ｂ 操作部
２１ｃ メニューカセット
９ ネットワーク
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ タッチパネル
１０５ 通信Ｉ／Ｆ

Claims (13)

1. 複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶部と、
   券売機の操作部を撮影した撮影画像を取得する取得部と、
   前記取得部において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析部と、
   前記解析部において解析された注文内容を組み合わせることによって構成することができるメニューを前記構成記憶部から抽出する抽出部と、
   前記抽出部において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信部と
   を備える、情報処理装置。
2. 前記利用者端末に送信されたメニューの中から選択された特定メニューを前記利用者端末から受け付ける受付部と、
   前記受付部において受け付けられた特定メニューを構成する注文内容に対応した操作部を示す操作部情報を生成する情報生成部と、をさらに備え、
   前記送信部は、前記情報生成部において生成された操作部情報を表示するために表示データをさらに送信する、請求項１に記載の情報処理装置。
3. 前記情報生成部は、注文内容に対応する前記操作部の位置を示す情報を前記操作部情報として生成する、請求項２に記載の情報処理装置。
4. 前記情報生成部は、注文内容に対応する前記操作部の位置を示す画像情報を前記撮影画像に合成した合成画像を前記操作部情報として生成する、請求項３に記載の情報処理装置。
5. 前記抽出部において抽出されたメニューを構成する注文内容の単価に基づき、抽出されたメニューの金額を算出する算出部をさらに備え、
   前記送信部は、前記算出部において算出された金額を表示するための表示データをさらに送信する、請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記送信部は、前記取得部において取得された撮影画像の取得日時を表示するための表示データをさらに送信する、請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記取得部において新たに撮影画像が取得されたときに撮影画像を更新して記録する撮影画像記憶部をさらに備え、
   前記解析部は、撮影画像が更新して記憶されたときに撮影画像に基づき含まれる操作部に対応する注文内容を解析する、請求項１から６のいずれか一項に記載の情報処理装置。
8. 前記構成記憶部において記憶されたメニューを表すメニュー画像を記憶するメニュー画像記憶部をさらに備え、
   前記送信部は、前記メニュー画像記憶部に記憶されたメニュー画像の中から、前記抽出部において抽出されたメニューを表すメニュー画像を表示するための表示データをさらに送信する、請求項１から７のいずれか一項に記載の情報処理装置。
9. 前記構成記憶部は、前記メニューを複数の言語で記憶し、
   前記送信部は、前記利用者端末から指定された言語において前記メニューを表示するための表示データを送信する、請求項１から８のいずれか一項に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶ステップと、
    券売機の操作部を撮影した撮影画像を取得する取得ステップと、
    前記取得ステップにおいて取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析ステップと、
    前記解析ステップにおいて解析された注文内容を組み合わせることによって構成することができるメニューを前記構成記憶ステップにおいて記憶されたメニューから抽出する抽出ステップと、
    前記抽出ステップにおいて抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信ステップと
    を含む、情報処理方法。
11. コンピュータに、
    複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶手順と、
    券売機の操作部を撮影した撮影画像を取得する取得手順と、
    前記取得手順において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析手順と、
    前記解析手順において解析された注文内容を組み合わせることによって構成することができるメニューを前記構成記憶手順において記憶されたメニューから抽出する抽出手順と、
    前記抽出手順において抽出されたメニューを表示するための表示データを、ユーザが利用する利用者端末に送信する送信手順と
    を実行させるための、情報処理プログラム。
12. 複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶部と、
    券売機の操作部を撮影した撮影画像を取得する取得部と、
    前記取得部において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析部と、
    前記解析部において解析された注文内容を組み合わせることによって構成することができるメニューを前記構成記憶部から抽出する抽出部と、
    前記抽出部において抽出されたメニューを表示する表示部と
    を備える、利用者端末。
13. 利用者が利用する利用者端末に、
    複数の操作部を有する券売機の操作部のそれぞれに対応する注文内容と、複数の注文内容を組み合わせることにより構成されるメニューとを記憶する構成記憶手順と、
    券売機の操作部を撮影した撮影画像を取得する取得手順と、
    前記取得手順において取得された撮影画像に含まれる操作部に対応する注文内容を解析する解析手順と、
    前記解析手順において解析された注文内容を組み合わせることによって構成することができるメニューを前記構成記憶手順において記憶されたメニューから抽出する抽出手順と、
    前記抽出手順において抽出されたメニューを表示する表示手順と
    を実行させるための、端末制御プログラム。

Images