JP5485954B2 - 店舗システム及びプログラム - Google Patents

Description

本発明の実施形態は、店舗システム及びプログラムに関する。

従来、物品を撮像した画像データから当該対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、飲食物等の種別判別に用いたシステムが提案されている。

ところで、上記した一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、不用意に一覧表示させると商品の選定をかえって妨げる可能性がある。そのため、商品の選定をより効率的に行うための技術が要求されている。

実施の形態の店舗システムは、取込手段と、類似度算出手段と、表示制御手段と、選択受付手段と、処理手段とを備える。取込手段は、撮像手段が撮像した画像を取り込む。類似度算出手段は、各商品の特徴量と前記撮像手段で撮像された物体の特徴量とがどの程度類似しているかを示す類似度を算出する。表示制御手段は、前記類似度算出手段が算出した類似度のうち、類似度の高い商品の商品情報を、登録処理を実行する商品候補として表示手段に表示させるとともに、未表示の商品候補の表示への移行を指示する第１操作子を前記表示手段に表示し、前記第１操作子による前記未表示の商品候補の表示への移行の指示、又は前記商品候補の表示から所定時間が経過した場合に、前記未表示の商品候補を表示する。選択受付手段は、表示手段に表示された商品情報の選択を受け付ける選択受付手段。処理手段は、撮像手段で撮像された物体を、選択受付手段が選択を受け付けた商品情報に対応する商品として処理する。更に、表示制御手段は、最初に表示する前記商品候補の数と比較し、後に表示する前記未表示の商品候補の数を多くする。

図１は、実施形態に係るチェックアウトシステム（店舗システム）の一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図５は、本実施形態に係るチェックアウトシステムの動作の一例を示すフローチャートである。 図６は、読取窓における読取領域の例を示す概念図である。 図７は、商品候補提示処理の動作の一例を示すフローチャートである。 図８は、類似度と商品画像との関係の一例を示す図である。 図９は、商品画像のグループ分けの一例を示す図である。 図１０は、商品読取装置の表示デバイスに表示される表示画面の一例を示す図である。 図１１は、商品読取装置の表示デバイスに表示される表示画面の一例を示す図である。 図１２は、商品読取装置の表示デバイスに表示される表示画面の一例を示す図である。 図１３は、商品読取装置の表示デバイスに表示される表示画面の一例を示す図である。 図１４は、商品読取装置の表示デバイスに表示される表示画面の他の例を示す図である。

以下では、チェックアウトシステムを例に本実施形態に係る店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値とを、その商品Ｇの商品情報として格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ｇが果物や生鮮品等であり、鮮度が落ち変色した場合等は、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取ることが可能な各商品についての後述する特徴量（色合いや表面の凹凸状況等）を、対応付けて格納する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。

図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、登録商品通知部１６１５としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、売上登録部６１１としての機能を備える。

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。

また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値（「類似度：0.XX」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。

ところで、類似度算出部１６１３での認識の結果、商品候補が複数個認識される場合がある。そこで、商品候補提示部１６１４は、類似度算出部１６１３の認識の結果に基づき、商品候補となる登録商品が複数存在する場合に、これら登録商品の商品画像をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度の高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に係る処理について後述する。

また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１５に出力する。

なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、当該登録商品の商品画像の表示を省略する形態とするが、これに限らず、商品画像を表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。

登録商品通知部１６１５は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１５がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。

売上登録部６１１は、登録商品通知部１６１５により通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。

画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、画像取込部１６１１が取り込んだフレーム画像から商品Ｇの全部または一部の検出を行う（ステップＳ１３）。続いて、類似度算出部１６１３は、商品Ｇの全部または一部の画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する（ステップＳ１４）。

次いで、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値（「類似度：0.XX」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する（ステップＳ１５）。

図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ｇを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ｇの移動過程において読取領域Ｒに商品Ｇが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ１３で商品Ｇの全部または一部が検出される。この商品Ｇの全部または一部の検出により、ステップＳ１４では商品Ｇの認識が行われることとなる。

次いで、商品候補提示部１６１４は、ステップＳ１５で認識された商品候補（登録商品）の個数が複数か否かを判定する（ステップＳ１６）。ここで、商品候補とされた登録商品の個数が一つと判定した場合（ステップＳ１６；Ｎｏ）、商品候補提示部１６１４は、この登録商品が商品Ｇに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報を別途入力された販売個数とともに登録商品通知部１６１５に出力し、ステップＳ１８に移行する。

一方、商品候補（登録商品）の個数が複数と判定した場合（ステップＳ１６；Ｙｅｓ）、商品候補提示部１６１４は、ステップＳ１７の商品候補提示処理に移行する。以下、図７を参照し、ステップＳ１７の商品候補提示処理の動作について説明する。

図７は、商品候補提示処理の動作の一例を示すフローチャートである。まず、商品候補提示部１６１４は、商品候補となった各登録商品の商品画像をＰＬＵファイルＦ１から読み出す（ステップＳ１７１１）。次いで、商品候補提示部１６１４は、ステップＳ１７１１で読み出した複数の商品画像を、ステップＳ１４で算出された類似度の高い順にソートする（ステップＳ１７１２）。次いで、商品候補提示部１６１４は、表示個数設定情報に基づいて、複数の商品画像を、類似度の高いものから予め定められた個数ずつグループに区分けする（ステップＳ１７１３）。

ここで、「表示個数設定情報」は、ステップＳ１７１１で読み出した商品画像を、表示デバイス１０６に表示させる際の表示形態を定めた設定情報であって、商品読取装置１０１のＲＯＭ１６２やＰＯＳ端末１１のＨＤＤ６４等の記憶媒体に予め記憶されている。係る表示個数設定情報には、例えば、複数の商品画像を類似度の高い順に区分け（グループ分け）する際の、各グループでの商品画像の構成数が定められている。一例として、表示個数設定情報に、類似度の高いものから「１個、３個、３個」と三つのグループに区分けすることが定められていた場合、商品候補提示部１６１４は、類似度が最も高い一つの商品画像を第１グループ、類似度が２番目、３番目及び４番目に高い三つの商品画像を第２グループ、類似度が５番目、６番目及び７番目に高い三つの商品画像を第３グループに区分けする。

なお、類似度が同一の商品画像が複数個存在する場合には、それら商品画像の個数を加味して区分けを行うものとする。また、表示個数設定情報での表記方法や設定内容は上記例に限らず、例えば、類似度の高いものから２個ずつ区分け等と設定することも可能である。また、類似度が１．００〜０．９０までを一つのグループ、０・９０〜０・８０までを一つのグループ等、類似度の値に基づいて区分けする形態としてもよい。

続いて、商品候補提示部１６１４は、ステップＳ１７１３で区分けしたグループから、類似度がより高い商品画像を含んだ一のグループを順次選択し、選択したグループに含まれた商品画像を表示デバイス１０６に表示させる（ステップＳ１７１４）。

次いで、商品候補提示部１６１４は、タッチパネル１０５又はキーボード１０７を介して、表示デバイス１０６に表示された商品画像のうち、何れか一つが選択されたか否かを判定する（ステップＳ１７１５）。ここで、商品画像の一つが選択されたと判定した場合（ステップＳ１７１５；Ｙｅｓ）、商品候補提示部１６１４は、選択された商品画像に対応する登録商品が、商品Ｇに対応すると判断し、この登録商品を指示する情報を登録商品通知部１６１５に出力した後、図５のステップＳ１８に移行する。

一方、商品が選択されないと判定した場合（ステップＳ１７１５；Ｎｏ）、商品候補提示部１６１４は、タッチパネル１０５やキーボード１０７を介して、次グループへの移行が指示されたか、又は、直近のステップＳ１７１３で商品画像の表示を行ってから所定時間（例えば５秒等）が経過したか否かを判定する（ステップＳ１７１６）。なお、ステップＳ１７１６で何れの条件にも該当しない場合には（ステップＳ１７１６；Ｎｏ）、ステップＳ１７１５に再び戻る。

ステップＳ１７１６において、次グループへの移行が指示された場合、又は、所定時間が経過したと判定した場合には（ステップＳ１７１６；Ｙｅｓ）、商品候補提示部１６１４は、全グループの表示が完了したか否かを判定する（ステップＳ１７１７）。ここで、未表示のグループが存在すると判定した場合には（ステップＳ１７１７；Ｎｏ）、ステップＳ１７１４に再び戻り、未表示のグループを表示の対象とする。

ステップＳ１７１７において、全グループの表示が完了したと判定した場合（ステップＳ１７１７；Ｙｅｓ）、商品候補提示部１６１４は、ステップＳ１７１１で読み出した全ての商品画像を表示デバイス１０６に表示させるとともに（ステップＳ１７１８）、商品Ｇに対応する登録商品の指定を手入力で行うための操作子（以下、手入力項目という）を表示デバイス１０６に表示させる（ステップＳ１７１９）。なお、ステップＳ１７１８で表示される商品画像には、ステップＳ１７１３においてグループ分けから除外された商品画像も含まれるものとする。また、各商品画像の表示順序は特に問わず、例えば、類似度の高い順としてもよいし、類似度の低い順としてもよい。

次いで、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像及び手入力項目に基づいて、一の登録商品が選択されるまで待機する（ステップＳ１７２０；Ｎｏ）。そして、タッチパネル１０５又はキーボード１０７を介して、一の登録商品が選択されたと判定すると（ステップＳ１７２０；Ｙｅｓ）、商品候補提示部１６１４は、その選択された登録商品が商品Ｇに対応すると判断し、この登録商品を指示する情報を登録商品通知部１６１５に出力した後、図５のステップＳ１８に移行する。

ここで、図６、図８〜図１３を参照して、上述した商品候補提示処理の動作について説明する。例えば、図６に示した商品Ｇ（にんじん）について、類似度算出部１６１３により、図８に示す９つの商品画像Ｇ１１〜Ｇ１９との類似度が予め定められた閾値（ここでは「類似度：0.50」が各登録商品に設定されているものとする）を超えると判定されたとすると、商品候補提示部１６１４は、ステップＳ１７１１において、これらの９つの商品画像Ｇ１１〜Ｇ１９をＰＬＵファイルＦ１から読み出す。なお、図８では、類似度算出部１６１３により算出された類似度と、その商品画像との関係を対応付けて示している。

次に、商品候補提示部１６１４は、上述した商品候補提示処理のステップＳ１７１２において、ＰＬＵファイルＦ１から読み出した商品画像を類似度の高い順にソートする。そして、商品候補提示部１６１４は、続くステップＳ１７１３において、表示個数設定情報に基づき、ソート後の商品画像を所定個数の商品画像からなる１又は複数のグループに区分けする。

ここで、例えば表示個数設定情報において、類似度の高い順に「１個、３個、３個」の３グループに区分けすることが設定されていたとすると、商品候補提示部１６１４は、図８に示す９つの商品画像Ｇ１１〜Ｇ１９を、図９に示す３つのグループ（グループＧＰ１、ＧＰ２、ＧＰ３）に区分けする。なお、商品画像Ｇ１８及びＧ１９については、表示個数設定情報の適用範囲外となるため、何れのグループにも所属しない。

次に、商品候補提示部１６１４は、ステップＳ１７１４において、類似度がより高い商品画像を含むグループＧＰ１を選択し、このグループＧＰ１に含まれた一の商品画像Ｇ１１をタッチパネル１０５に表示させる（図１０参照）。

図１０は、表示デバイス１０６に表示される表示画面の一例を示す図である。領域Ａ１１は、直近のステップＳ１７１４で選択されたグループに含まれる商品画像を表示するための表示領域である。同図では、直近のステップＳ１７１４において図９に示すグループＧＰ１が選択された例を表しており、このグループＧＰ１に含まれる商品画像Ｇ１１が領域Ａ１１に表示される。また、ボタンＢ１１は、次グループの表示を指示するための操作ボタンである。

ここで、領域Ａ１１に表示された商品画像Ｇ１１がオペレータにより選択（タッチ）されると、商品候補提示部１６１４は、この選択された商品画像Ｇ１１の登録商品を指示する情報を、登録商品通知部１６１５に出力する（ステップＳ１７１５；Ｙｅｓ）。

一方、商品画像Ｇ１１が選択されない状態で、ボタンＢ１１に対する操作を受け付けた場合、或いは、領域Ａ１１に商品画像Ｇ１１を表示してから所定時間が経過した場合（ステップＳ１７１５；Ｎｏ→ステップＳ１７１６；Ｙｅｓ）、商品候補提示部１６１４は、ステップＳ１７１７において未表示のグループが存在すると判定する（ステップＳ１７１７；Ｎｏ）。そして、商品候補提示部１６１４は、ステップＳ１７１４に再び戻り、次のグループである「グループＧＰ２」を選択し、当該グループＧＰ２に含まれた三つの商品画像Ｇ１２〜Ｇ１４を表示デバイス１０６に表示させる（図１１参照）。

図１１は、表示デバイス１０６に表示される表示画面の一例を示す図である。図１１では、直近のステップＳ１７１４においてグループＧＰ２が選択されているため、このグループＧＰ２に含まれた商品画像Ｇ１２〜Ｇ１４が領域Ａ１１に表示される。また、領域Ａ１２は、前回までに領域Ａ１１に表示されていた商品画像を、履歴として表示するための表示領域である。図１１では、領域Ａ１１に前回表示されていたグループＧＰ１の商品画像Ｇ１１が領域Ａ１２に表示されている。

ここで、領域Ａ１１及び領域Ａ１２に表示された商品画像Ｇ１１〜Ｇ１４のうち、何れか一つがオペレータにより選択されると、商品候補提示部１６１４は、この選択された商品画像を指示する情報を、登録商品通知部１６１５に出力する（ステップＳ１７１５；Ｙｅｓ）。

一方、商品画像Ｇ１１〜Ｇ１４の何れもが選択されない状態で、ボタンＢ１１に対する操作を受け付けた場合、或いは、領域Ａ１１に商品画像Ｇ１２〜Ｇ１４を表示してから所定時間が経過した場合（ステップＳ１７１５；Ｎｏ→ステップＳ１７１６；Ｙｅｓ）、商品候補提示部１６１４は、ステップＳ１７１７において未表示のグループが存在すると判定する（ステップＳ１７１７；Ｎｏ）。そして、商品候補提示部１６１４は、ステップＳ１７１４に再び戻り、次のグループである「グループＧＰ３」を選択し、当該グループＧＰ３に含まれた三つの商品画像Ｇ１５〜Ｇ１７をタッチパネル１０５に表示させる（図１２参照）。

図１２は、表示デバイス１０６に表示される表示画面の一例を示す図である。図１２では、直近のステップＳ１７１４においてグループＧＰ３が選択されているため、このグループＧＰ３に含まれた商品画像Ｇ１５〜Ｇ１７が領域Ａ１１に表示される。また、前回までに領域Ａ１１に表示された商品画像Ｇ１１〜Ｇ１４が、履歴として領域Ａ１２に表示される。

ここで、領域Ａ１１及び領域Ａ１２に表示された商品画像Ｇ１１〜Ｇ１７のうち、何れか一つがオペレータにより選択されると、商品候補提示部１６１４は、この選択された商品画像を指示する情報を、登録商品通知部１６１５に出力する（ステップＳ１７１５；Ｙｅｓ）。

一方、商品画像Ｇ１１〜Ｇ１７の何れもが選択されない状態で、ボタンＢ１１に対する操作を受け付けた場合、或いは、領域Ａ１１に商品画像Ｇ１５〜Ｇ１７を表示してから所定時間が経過した場合（ステップＳ１７１５；Ｎｏ→ステップＳ１７１６；Ｙｅｓ）、商品候補提示部１６１４は、ステップＳ１７１６において全グループの表示が完了したと判定する（ステップＳ１７１７；Ｙｅｓ）。そして、商品候補提示部１６１４は、ステップＳ１７１８及びＳ１７１９を実行することで、表示デバイス１０６に全ての商品画像と、手入力項目とを表示させる（図１３参照）。

図１３は、表示デバイス１０６に表示される表示画面の一例を示す図である。領域Ａ１３は、商品画像を一覧表示するための表示領域である。同図では、ステップＳ１７１１で読み出された商品画像Ｇ１１〜Ｇ１９が、類似度の高い順（図９に示すソート結果の順）に領域Ａ１３に表示されている。なお、領域Ａ１３において、表示可能な商品画像の個数が制限されている場合には、この上限値分の商品画像を表示する形態としてもよいし、ページ送りボタン等を設けることで複数頁にわたって全ての商品画像を表示する形態としてもよい。

また、図１３において、領域Ａ１４は、手入力項目を表示するための表示領域である。同図では、商品の絞り込みのための選択肢として、商品の商品分類や商品名等を選択可能な項目が表示されており、これら項目を順次選択していくことで一の商品を選択することが可能となっている。この手入力項目は、商品Ｇに対応する商品画像が領域Ａ１３中に存在しない場合に主に用いられることになる。なお、手入力項目の構成はこの例に限らず、例えば、商品価格を入力可能な構成としてもよい。

ここで、領域Ａ１３に表示された商品画像Ｇ１１〜Ｇ１９の何れか一つがオペレータにより選択又は領域Ａ１４に表示された手入力項目により一の商品が選択されると、商品候補提示部１６１４は、この指定された商品画像（商品）を指示する情報を登録商品通知部１６１５に出力する（ステップＳ１７２０；Ｙｅｓ）。

このように、商品候補提示部１６１４では、撮像された商品Ｇに類似する登録商品の商品画像を、類似度の高いものから所定の個数ずつオペレータに提示する。また、商品候補提示部１６１４は、タッチパネル１０５等を介して商品画像の選択を受け付けると、この商品画像に対応する登録商品が商品Ｇに対応すると判断する。これにより、商品読取装置１０１のオペレータは、所定の個数ずつ提示された商品画像から一の商品画像を選択することで、商品Ｇに対応する登録商品を指定することができるため、商品の選定を効率的に行うことができる。

図５に戻り、登録商品通知部１６１５は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する（ステップＳ１８）。ここで、販売個数の入力は、タッチパネル１０５や操作部１０４を介して行われるものとするが、その入力方法は特に問わず、例えば表示デバイス１０６に表示された商品画像に対するタッチ回数を販売個数としてもよい。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ１９）。業務を継続する場合（ステップＳ１９；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１９；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２０）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から通知された、商品Ｇの商品ＩＤとその販売個数とを受信する（ステップＳ３１）。

次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する（ステップＳ３２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上のように、本実施形態のチェックアウトシステム１によれば、商品Ｇとの類似度の高い登録商品から、当該登録商品の商品画像を所定の個数ずつ表示デバイス１０６に提示する。これにより、商品読取装置１０１のオペレータは、類似度の高い順に所定個数ずつ表示される商品画像の中から、撮像部１６４で撮像された商品Ｇに対応するものを選択することができるため、商品Ｇに対応する登録商品の選定を効率的に行うことができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、商品読取装置１０１において、商品Ｇを一つずつ撮像する形態について説明したが、一度に撮像する商品Ｇの個数は特に限らず、複数であってもよい。一度に複数の商品Ｇを撮像するような場合には、撮像部１６４の撮影画像を表示デバイス１０６に表示することで、複数の商品Ｇから登録の対象とする一の商品Ｇを選択可能な構成とし、タッチパネル１０５を介して選択された一の商品Ｇの認識及び商品画像の表示を行う形態としてもよい。また、複数の商品Ｇの認識を一度に行い、この認識結果に基づいて類似度の高い商品画像から表示を行う形態としてもよい。なお、この形態の場合には、撮像された画像に含まれる一の商品Ｇを選択した後に商品画像を選択する等の操作を行うことで、撮像された画像に含まれる商品Ｇと、選択した商品画像とを対応付けるための構成が具備されているものとする。

また、上記商品候補提示処理で説明した表示画面の構成は、図１０〜図１３の例に限らず、他の要素を表示するための表示領域や操作ボタンを設ける形態としてよい。例えば、図１４に示すように、商品Ｇの撮り直しを指示する操作子として、ボタンＢ１２を設ける形態としてもよい。ここで、ボタンＢ１２が操作された場合には、図５のステップＳ１２に処理を戻すことで、撮像部１６４で撮像された画像データの取り込みを行うものとする。これにより、類似度算出部１６１３では、商品Ｇの認識を新たに行うことで、表示デバイス１０６に表示される商品画像を更新する。したがって、適切な商品候補（商品画像）が表示されなかった場合には、商品Ｇの撮像状態（商品Ｇの配置や手の位置等）を変更した後、ボタンＢ１２を操作することで、より適切な商品候補（商品画像）を表示させることができる。

また、上記商品候補提示処理では、全グループの表示が完了したことを条件に、手入力項目を表示する形態としたが、これに限らないものとする。例えば、２番目のグループの表示を条件に手入力項目を表示する形態としてもよいし、手入力項目の表示を指示する所定の操作がなされたこと（例えば、手入力項目表示用のボタン押下）を条件に手入力項目を表示する形態としてもよい。

また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム（店舗システム）
１１ ＰＯＳ端末
１０１ 商品読取装置
１０５ タッチパネル
１０６ 表示デバイス
１０７ キーボード
１６４ 撮像部
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ 登録商品通知部
Ｆ１ ＰＬＵファイル

特開２００３−１７３３６９号公報

Claims (6)

1. 撮像手段が撮像した画像を取り込む取込手段と、
   各商品の特徴量と前記撮像手段で撮像された物体の特徴量とがどの程度類似しているかを示す類似度を算出する類似度算出手段と、
   前記類似度算出手段が算出した類似度のうち、類似度の高い商品の商品情報を、登録処理を実行する商品候補として表示手段に表示させるとともに、未表示の商品候補の表示への移行を指示する第１操作子を前記表示手段に表示し、前記第１操作子による前記未表示の商品候補の表示への移行の指示、又は前記商品候補の表示から所定時間が経過した場合に、前記未表示の商品候補を表示する表示制御手段と、
   前記表示手段に表示された前記商品情報の選択を受け付ける選択受付手段と、
   前記撮像手段で撮像された物体を、前記選択受付手段が選択を受け付けた前記商品情報に対応する商品として処理する処理手段と、
   を備え、
   前記表示制御手段は、最初に表示する前記商品候補の数と比較し、後に表示する前記未表示の商品候補の数を多くする店舗システム。
2. 前記表示制御手段は、第１表示領域、及び第２表示領域を有した画面を前記表示手段に表示させ、前記第１操作子による指示後に表示する商品候補を前記第１表示領域に表示させるとともに、前記第１操作子を操作する前に表示していた商品候補を履歴として、前記第２表示領域に表示させる請求項１に記載の店舗システム。
3. 前記選択受付手段は、前記第１表示領域及び前記第２表示領域に表示された前記商品情報から、一の商品情報の選択を受け付ける請求項２に記載の店舗システム。
4. 前記表示制御手段は、前記画像の取込を指示する第２操作子を有した画面を前記表示手段に表示させ、
   前記取込手段は、前記第２操作子が操作された場合に、前記撮像手段が撮像した新たな画像を取り込む請求項２又は３に記載の店舗システム。
5. 前記表示制御手段は、前記類似度算出手段が算出した類似度に基づいて商品候補をグループに区分けし、グループ毎に前記第１表示領域、及び前記第２表示領域に表示することを特徴とする請求項２乃至請求項４の何れか一項に記載の店舗システム。
6. コンピュータを、
   撮像手段が撮像した画像を取り込む取込手段と、
   各商品の特徴量と前記撮像手段で撮像された物体の特徴量とがどの程度類似しているかを示す類似度を算出する類似度算出手段と、
   前記類似度算出手段が算出した類似度のうち、類似度の高い商品の商品情報を、登録処理を実行する商品候補として表示手段に表示させるとともに、未表示の商品候補の表示への移行を指示する第１操作子を前記表示手段に表示し、前記第１操作子による前記未表示の商品候補の表示への移行の指示、又は前記商品候補の表示から所定時間が経過した場合に、前記未表示の商品候補を表示する表示制御手段と、
   前記表示手段に表示された前記商品情報の選択を受け付ける選択受付手段と、
   前記撮像手段で撮像された物体を、前記選択受付手段が選択を受け付けた前記商品情報に対応する商品として処理する処理手段と、
   して機能させ、
   前記表示制御手段は、最初に表示する前記商品候補の数と比較し、後に表示する前記未表示の商品候補の数を多くするプログラム。

Images