JP6316245B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来から、物品を撮像した画像データから当該物品の特徴量を抽出し、予め記憶された照合用物品の特徴量を示すデータと比較することで、当該物品の種別等を認識する技術が存在する。また、この技術を店舗で販売される商品の識別に用いることで、認識された商品を売上登録する店舗システムが提案されている。係る店舗システムは、撮像が行われた商品の画像データから得られる商品の特徴量と照合用商品のデータとの比較を行って類似度を判定する。そして、店舗システムは、判定した類似度が高い所定数の照合用商品を、当該商品の候補として画面に表示する。

しかしながら、現在の店舗システムは、画面に表示する候補商品の数に制限があるため、判定された類似度によっては商品が候補商品として表示されないことがあった。

本発明が解決しようとする課題は、画面に候補商品を確実に表示することが可能な情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、撮像手段が撮像した物品の画像から抽出した当該物品の特徴と予め物品別に当該物品の特徴を記憶した複数の物品の情報とに基づいて、前記複数の物品の中から最も前記撮像した物品に特徴が類似する一つの物品を認識する認識手段と、一つの物品を複数個に切り分けたカット物品であって異なる個数に切り分けたそれぞれのカット物品を同一のカテゴリに含むカテゴリグループ別に区別して記憶部に記憶された複数の物品のうち、前記認識手段が認識した前記物品が属するカテゴリグループに含まれるすべての物品を当該撮像された物品の候補物品として表示する候補表示手段と、を備える。

実施形態のプログラムは、情報処理装置をコンピュータによって制御するためのプログラムであって、前記コンピュータを、撮像手段が撮像した物品の画像から抽出した当該物品の特徴と予め物品別に当該物品の特徴を記憶した複数の物品の情報とに基づいて、前記複数の物品の中から最も前記撮像した物品に特徴が類似する一つの物品を認識する認識手段と、一つの物品を複数個に切り分けたカット物品であって異なる個数に切り分けたそれぞれのカット物品を同一のカテゴリに含むカテゴリグループ別に区別して記憶部に記憶された複数の物品のうち、前記認識手段が認識した前記物品が属するカテゴリグループに含まれるすべての物品を当該撮像された物品の候補物品として表示する候補表示手段と、して機能させる。

図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示した情報処理装置のハードウェア構成を示すブロック図である。 図３は、図２に示した商品マスタのデータ構成の一例を模式的に示す図である。 図４は、図２に示した辞書のデータ構成の一例を模式的に示す図である。 図５は、図１に示したＰＯＳ端末のハードウェア構成を示すブロック図である。 図６は、商品マスタと辞書の関連付け処理の流れを示すフローチャートである。 図７は、商品マスタおよび辞書の設定の画面を示す図である。 図８は、商品読取装置の機能構成を示す機能ブロック図である。 図９は、商品読取装置が実行する一般物体認識処理の流れを示すフローチャートである。 図１０は、商品読取装置の一般物体認識中の画面を示す図である。 図１１は、オペレータ用表示部に表示されたカテゴリグループの画面の一例を示す図である。 図１２は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１３は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。 図１４は、図１０に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下、図１〜図１４を参照して、実施形態に係る情報処理装置およびプログラムについて詳細に説明する。実施形態では、情報処理装置として商品読取装置を用いて説明する。また、物品として商品を用いて説明する。以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、チェックアウトシステム１の外観構成を示す斜視図である。チェックアウトシステム１は、スーパーマーケットやコンビニエンスストア等に設置され、販売される商品の商品情報を入力して商品の売上登録、決済を行うシステムである。図１に示すように、チェックアウトシステム１は、商品読取装置１０とＰＯＳ端末３０とを備える。

横長テーブル状のカウンタ台１５１には、ＰＯＳ端末３０とデータ送受信可能に接続された商品読取装置１０が設置される。商品読取装置１０は、薄型矩形形状のハウジング２９で形成される。

ハウジング２９の正面には、撮像部２４の読取窓２４ａが設けられている。ハウジング２９の上部には、オペレータ用表示部２２、客用表示部２３、操作部２１、および溝２７ａを有するカードリーダ２７が設けられている。オペレータ用表示部２２上には、タッチパネル２５が設けられている。操作部２１は、商品読取装置１０での処理の終了を宣言する仮締めキー２１１を有している。

カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｐを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ１５３ｂとが存在する。

第１の買物カゴ１５３ａには、顧客が購入する商品Ｐが収納される。商品読取装置１０を操作するオペレータは、第１の買物カゴ１５３ａ内の商品Ｐを取出して第２の買物カゴ１５３ｂへと移動する。

この移動過程で、商品Ｐは商品読取装置１０の読取窓２４ａの前を通過する。この際、商品読取装置１０は、読取窓２４ａ内に配置された撮像部２４（図２参照）を用いて商品Ｐを撮像する。商品読取装置１０は、撮像した商品の画像の特徴量と予め記憶した複数の基準商品（基準物品）の特徴量とに基づいて、一般物体認識（generic object recognition）を実行し、撮像された商品に該当する１または複数の候補商品を抽出する。このような一般物体認識については、下記の文献において各種認識技術が解説されている。なお、一般物体認識の具体的な処理については、図９で説明する。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１月２４日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

商品読取装置１０は、オペレータ用表示部２２に、商品名が表示され商品を選択するためのプリセットキー（図９を参照）や、一般物体認識で抽出された候補商品がそれぞれ表示されたプリセットキー（図１１を参照）を表示する。オペレータは、タッチパネル２５を操作して、表示された商品や候補商品から該当する商品を選択する。商品読取装置１０は、選択された商品の売上登録処理を実行する。売上登録処理とは、商品情報に基づいて当該商品の商品名や価格（商品情報）を表示するとともに、商品情報をバッファに記憶する処理をいう。オペレータは、第１の買物カゴ１５３ａに収納されたすべての商品Ｐについてこの操作を繰り返した後に仮締めキー２１１が操作する。すると、商品読取装置１０は、売上登録処理された商品の商品情報をＰＯＳ端末３０に送信する。

ＰＯＳ端末３０は、商品読取装置１０から受信した商品情報に基づいて商品の決済処理を実行する。決済処理とは、受信した商品情報に基づいて、取引に係る合計金額の表示、顧客から預かった預り金に基づいて実行する処理をいう。具体的には、決済処理とは、釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。また、取引処理された情報を売上情報という。

ＰＯＳ端末３０は、カウンタ台１５１とＬ字状に配置されたチェックアウト台５１上のドロワ４１上面に載置される。ドロワ４１は、顧客から預かった金銭（紙幣と貨幣）を金銭箱に収納する。ドロワ４１は、顧客に手渡す釣銭を金銭箱に収納している。ドロワ４１は、ＰＯＳ端末３０から開放動作の制御を受けると、金銭箱を開放する。

ＰＯＳ端末３０は、上面にオペレータ（店員等）によって押下操作される操作部４２を配置する。操作部４２を操作するオペレータから見て操作部４２よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部４３を備える。オペレータ用表示部４３はオペレータに対して情報を表示する。タッチパネル４６は、オペレータ用表示部４３の表示面４３ａに積層されている。客用表示部４４は、オペレータ用表示部４３よりもさらに奥側に回転自在に立設される。客用表示部４４は、顧客に対して情報を表示する。

続いて、図２のブロック図を用いて、商品読取装置１０のハードウェア構成について説明する。図２に示すように、商品読取装置１０は、制御主体となるＣＰＵ（Central Processing Unit）１１を備える。また商品読取装置１０は、各種プログラムを記憶するＲＯＭ（Read Only Memory）１２を備える。また商品読取装置１０は、ＣＰＵ１１のワークエリアとして機能するＲＡＭ（Random Access Memory）１３を備える。また商品読取装置１０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部１４等を備える。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１６を介して接続されている。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、制御部１００を構成する。制御部１００は、ＣＰＵ１１が、メモリ部１４の制御プログラム部１４１に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、各種データも記憶する。ＲＡＭ１３は、商品情報部１３１、画像記憶部１３２を備える。商品情報部１３１は、売上登録処理した商品の商品情報を記憶する。画像記憶部１３２は、後述する撮像部２４が撮像した商品の画像を記憶する。

メモリ部１４は、制御プログラム部１４１、商品マスタ１４２、辞書１４３を備える。制御プログラム部１４１は、商品読取装置１０を制御するプログラムを記憶する。商品マスタ１４２（図３で後述）は、商品毎に商品の種々の情報を記憶する。辞書１４３（図４で後述）は、商品の特徴を示す特徴量等を記憶する。

データバス１６は、操作部２１、オペレータ用表示部２２、客用表示部２３、撮像部２４、タッチパネル２５、音声出力部２６、カードリーダ２７を、コントローラ１５を介して制御部１００に接続している。また、データバス１６は、通信Ｉ／Ｆ（Interface）２８を制御部１００に接続しており、通信Ｉ／Ｆ２８は通信回線Ｌを介してＰＯＳ端末３０と接続する。

撮像手段として機能する撮像部２４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓２４ａの前を通過した商品の撮像を行う。音声出力部２６は、予め設定された警告音等を発生するための音声回路とスピーカー等である。音声出力部２６は、制御部１００の制御の下で警告音等の音声による報知を行う。カードリーダ２７は、溝２７ａを走査されたカードからカード情報を読み取る。

次に図３を用いて、商品マスタ１４２のデータ構成を示す。商品マスタ１４２は、商品を特定する商品ＩＤ（Identification）に対応して、当該商品の商品情報（商品分類、商品名、単価、商品画像、カテゴリＩＤ、カテゴリグループ、表示位置情報等）を記憶する。図３に示すように、商品マスタ１４２は、商品ＩＤ部１４２１、商品分類部１４２２、商品名部１４２３、単価部１４２４、商品画像部１４２５、カテゴリＩＤ部１４２６、カテゴリグループ部１４２７、表示位置情報１４２８を備えている。

商品ＩＤ部１４２１は、商品を特定する商品ＩＤを記憶する。商品分類部１４２２は、商品ＩＤが特定する商品が属する上位の分類を記憶する。商品名部１４２３は、商品ＩＤが特定する商品の商品名を記憶する。単価部１４２４は、商品ＩＤが特定する商品の単価を記憶する。商品画像部１４２５は、商品ＩＤが特定する商品の画像を記憶する。カテゴリＩＤ部１４２６は、商品ＩＤが特定する商品について、後述する辞書で当該商品を特定する商品のコードを記憶する。

カテゴリグループ部１４２７は、商品を特定の趣旨でグループ化（例えば商品分類部１４２２に記憶された分類を下位概念化）したカテゴリグループ情報を記憶する。例えば、野菜のうちの葉物野菜は「ａ」のカテゴリグループ情報を記憶する。

表示位置情報部１４２８は、商品ＩＤで特定された商品の、オペレータ用表示部２２における表示位置（プリセットキー）を示す位置情報（例えば座標情報）を記憶する。各商品のプリセットキーは、表示位置情報部１４２８に記憶された表示位置情報に基づいて、オペレータ用表示部２２の決められた位置に表示される。すなわち、同じ商品のプリセットキーは、一般物体認識する度に算出された類似度が変わっても、常にオペレータ用表示部２２の同じ位置に表示される。

図４は、商品を特定するための特徴を示す特徴量を商品毎に記憶した辞書１４３を示す図である。図４において、辞書１４３は、カテゴリＩＤ部１４３１、カテゴリ名部１４３２、特徴量部１４３３を備えている。カテゴリＩＤ部１４３１は、商品を特定する商品のコード（カテゴリＩＤ部１４２６と同じコード）を記憶する。カテゴリ名部１４３２は、カテゴリＩＤで特定される商品のカテゴリ名（商品名部１４２３の商品名と同じ）を記憶する。特徴量部１４３３は、商品ＩＤが特定する基準商品の特徴を示す情報である特徴量を記憶する。特徴量とは、商品表面の色合いや模様、凹凸状況、形状等の（商品の特徴を表した情報である。基準商品とは、各商品の最も標準的な色あい、模様、凹凸状況、形状を有する商品をいう。

続いて、図５のブロック図を用いて、ＰＯＳ端末３０のハードウェア構成について説明する。図５に示すように、ＰＯＳ端末３０は、制御主体となるＣＰＵ３１を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＲＯＭ３２を備える。またＰＯＳ端末３０は、ＣＰＵ３１のワークエリアとして機能するＲＡＭ３３を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部３４等を備える。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにデータバス３５を介して接続されている。

ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、制御部３００を構成する。制御部３００は、ＣＰＵ３１が、メモリ部３４の制御プログラム部３４１に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ３３は、各種データも記憶する。ＲＡＭ３３は、商品情報部３３１を備える。商品情報部３３１は、商品読取装置１０から受信した商品情報を記憶する。また、商品情報部３３１は、ＰＯＳ端末３０で売上登録処理した商品の商品情報を記憶する。

メモリ部３４は、制御プログラム部３４１、商品マスタ３４２を備える。制御プログラム部３４１は、ＰＯＳ端末３０を制御するプログラムを記憶する。商品マスタ３４２は、商品読取装置１０の商品マスタ１４２と同じ構成である。ＰＯＳ端末３０は、追加の商品の売上登録処理や返品処理を実行することがあるため、自身でも商品マスタ３４２を記憶している。

データバス３５は、締めキー４２１を備えた操作部４２、オペレータ用表示部４３、客用表示部４４、タッチパネル４６、ドロワ４１、印字部４７を、コントローラ３６を介して制御部３００に接続している。また、データバス３５は、通信Ｉ／Ｆ４５を制御部３００に接続しており、通信Ｉ／Ｆ４５は通信回線Ｌを介して商品読取装置１０と接続している。

続いて、図６および図７を用いて、商品読取装置１０の制御処理のうち、商品マスタ１４２と辞書１４３の関連付け処理について説明する。図６は、商品マスタ１４２と辞書１４３の関連付け処理の流れを示すフローチャートである。図６において、商品マスタ１４２と辞書１４３の関連付けするためのメンテナンス処理が指示された場合、制御部１００は、メンテナンス画面Ｍを表示する（Ｓ１１）。

図７は、Ｓ１１で表示されたメンテナンス画面Ｍの一例である。メンテナンス画面Ｍは、例えば商品読取装置１０のオペレータ用表示部２２に表示され、オペレータがオペレータ用表示部２２に表示されたメンテナンス画面Ｍの所定の位置に、操作部２１やタッチパネル２５を用いて情報を入力する。メンテナンス画面Ｍは、商品マスタ１４２に記憶する商品情報を入力する商品マスタ部Ｍ１と、辞書１４３に記憶する商品情報を記憶する辞書部Ｍ２を有する。

商品マスタ部Ｍ１は、商品ＩＤを入力する商品ＩＤ部、商品名を入力する商品名部、商品の分類を入力する分類部、商品の単価を入力する単価部等を有する。さらに商品マスタ部Ｍ１は、商品を特定するカテゴリＩＤを入力するカテゴリＩＤ部Ｍ１１、当該商品のカテゴリグループを入力するカテゴリグループ入力部Ｍ１２を有している。

辞書部Ｍ２は、商品を特定するカテゴリＩＤ（カテゴリＩＤ部Ｍ１１と同じカテゴリＩＤ）を入力するカテゴリＩＤ部Ｍ２１、当該商品のカテゴリ名を入力するカテゴリ名部Ｍ２２等を有する。

また、メンテナンス画面Ｍは、メンテナンスのための入力を確定するための確定キーＭ３と、メンテナンス処理の終了を宣言する終了キーＭ４を表示する。

図６の説明に戻る。次に制御部１００は、オペレータによってカテゴリＩＤやカテゴリグループを含む各種情報が入力されたか否かを判断する（Ｓ１２）。入力されたと判断した場合には（Ｓ１２のＹｅｓ）、制御部１００は、当該情報をＲＡＭ１３に記憶する（Ｓ１３）。そして制御部１００は、Ｓ１２に戻る。

一方、情報が入力されていないと判断した場合には（Ｓ１２のＮｏ）、制御部１００は、オペレータによって確定キーＭ３が操作されたか否かを判断する（Ｓ１４）。操作されたと判断した場合には（Ｓ１４のＹｅｓ）、制御部１００は、Ｓ１３で記憶した情報を、商品マスタ１４２と辞書１４３に記憶する（Ｓ１５）。このとき、商品マスタ１４２と辞書１４３には、同じカテゴリＩＤが記憶されるため、このカテゴリＩＤによって商品マスタ１４２に記憶された商品と辞書１４３に記憶された商品とが関連付けされる。そして制御部１００は、Ｓ１１に戻る。

また、確定キーＭ３が操作されていないと判断した場合には（Ｓ１４のＮｏ）、制御部１００は、オペレータによって終了キーＭ４が操作されたか否かを判断する（Ｓ１６）。操作されたと判断した場合には（Ｓ１６のＹｅｓ）、制御部１００は、一つの商品についてのメンテナンス処理を終了する。なお、Ｓ１６において終了キーＭ４が操作されていないと判断した場合には（Ｓ１６のＮｏ）、それぞれ制御部１００はＳ１１に戻る。すなわち、引き続き他の商品についてメンテナンス処理を実行する場合には、オペレータは、メンテナンス画面Ｍを用いて新たな入力を行う。制御部１００は、再度Ｓ１１〜Ｓ１６の処理を行う。

このように、メンテナンス画面Ｍを用いて、商品ＩＤとカテゴリグループの情報を入力することで、入力されたカテゴリＩＤに基づいて、商品マスタ１４２に記憶された商品と辞書１４３に記憶された商品とが関連付けられる。また、商品と当該商品が属するカテゴリグループが関連付けられる。

続いて、図８〜図１１を用いて、商品読取装置１０の制御処理のうち、商品候補表示処理について説明する。図８は、商品読取装置１０の機能構成を示す機能ブロック図である。制御部１００が、メモリ部１４の制御プログラム部１４１に記憶された制御プログラムに従うことで、認識手段１０１、候補表示手段１０２として機能する。

認識手段１０１は、撮像部２４が撮像した商品の画像に基づいて当該商品と最も特徴が類似する商品を基準物品の中から認識する機能を有する。

候補表示手段１０２は、商品マスタ１４２にカテゴリグループ別に区別して記憶された複数の商品のうち、認識手段１０１が認識した商品が属するカテゴリグループに含まれるすべての商品を商品マスタ１４２から抽出して、当該撮像された商品の候補商品として表示する機能を有する。

図９は、商品読取装置１０が一般物体認識処理を実行する商品候補表示処理の流れを示すフローチャートである。制御部１００は、待機状態での初期画面をオペレータ用表示部２２に表示する（Ｓ２１）。

次に制御部１００は、撮像部２４が撮像した商品の画像が入力されたか否かを判断する（Ｓ２２）。入力されたと判断した場合は（Ｓ２２のＹｅｓ）、制御部１００は、入力された画像を画像記憶部１３２に記憶する（Ｓ２３）。そして制御部１００は、記憶した画像の特徴量と辞書１４３の特徴量部１４３３に記憶されている比較対照用の各基準商品の特徴量とを比較して類似度を算出する（Ｓ２４）。

具体的には、制御部１００は、まず画像記憶部１３２に記憶された撮像画像から、商品Ｐの表面の状態（表面の色合い、模様、凸凹状況）、形状等を特徴量として抽出する。次に制御部１００は、抽出された特徴量と特徴量部１４３３に記憶されている各基準商品の特徴量とを比較する。そして制御部１００は、比較した特徴量について、撮像した商品Ｐに対する各基準商品の類似度を算出する。

ここで、類似度は、商品Ｐの特徴量と、特徴量部１４３３に記憶された商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値である。なお、類似度の概念は、この例に限らず、特徴量部１４３３に記憶された各商品の特徴量との一致度を示す値や、商品Ｐの特徴量と特徴量部１４３３に記憶された各商品の特徴量とがどの程度相関するかを示す値であってもよい。

図１０は、記憶した画像の特徴部と特徴量部１４３３に記憶されている各商品の特徴量に基づいて類似度を算出中の表示画面Ｇ２の一例を示す図である。図１０において、分類部Ｇ２１、プリセットキー部Ｇ２２、決済部Ｇ２３を有する。分類部Ｇ２１は、商品をカテゴリ毎に分類した分類の分類名が表示されたタブを表示する。プリセットキー部Ｇ２２は、各分類に属する商品を指定するために、商品名が表示された複数のプリセットキーを表示する。実施形態では、分類名「野菜」で分類された商品を指定するための複数のプリセットキーを表示している。例えば「果実」のタブが指定されれば、分類名「果実」に属する商品を指定するための複数のプリセットキーが表示される。決済部Ｇ２３は、指定された商品の点数と合計金額が表示される。

また、表示画面Ｇ２は、プリセットキー部Ｇ２２上に、現在、一般物体認識中であって、類似度を算出中であることを示すポップアップＧ２４が表示される。ポップアップ２４には、撮像部２４が撮像しＳ２３で記憶した画像（フレーム画像）Ｇ２４１が表示され、また、画像Ｇ２４１に対して一般物体認識を実行中であることを示す「オブジェクト認識中・・・」の文字Ｇ２４２が表示されている。

図９の説明に戻る。次に制御部１００（認識手段１０１）は、算出した類似度が最も高い一つの商品を認識する（Ｓ２５）。そして制御部１００は、認識した類似度が最も高い特徴量を特徴量部１４３３に記憶している商品のカテゴリＩＤをカテゴリＩＤ部１４３１から抽出する。そして制御部１００は、抽出したカテゴリＩＤと同じカテゴリＩＤを、商品マスタ１４２のカテゴリＩＤ部１４２６から抽出する。そして制御部１００は、抽出されたカテゴリＩＤに対応してカテゴリグループ部１４２７に記憶されたカテゴリグループを、当該商品のカテゴリグループと決定する（Ｓ２６）。実施形態では、制御部１００は、撮像部２４が撮像した「商品Ａ１／４カット」（例えば「白菜１／４カット」）の画像について辞書１４３の特徴量部１４３３に記憶された特徴量と比較して類似度を算出し、「ａ」のカテゴリグループを決定する。

なお、Ｓ２６においてカテゴリグループを決定する際の特徴量の比較において、類似度の精度をある程度低く設定することも可能である。例えば、制御部１００は、撮像部２４が撮像した商品の画像から、当該商品を特定するための特徴量ではなく、当該商品が持つ特徴的な情報を特定する特徴量を抽出して、当該特徴量を辞書１４３の特徴量部１４３３に記憶された特徴量と比較するようにしてもよい。実施形態の場合、「商品Ａ１／４カット」の一つの特徴である「商品Ａ」であることを示す特徴量を抽出して、特徴量部１４３３に記憶された特徴量と比較して類似度を算出する。そして、その中で最も類似度が高いとされた商品が認識される。そして、認識された商品が属するカテゴリグループが決定される。「商品Ａ１／４カット」はこのようにして決定されたカテゴリグループに含まれる可能性が高い。このようにすることで、「商品Ａ１／４カット」を高い精度で候補商品とすることができる。

次に制御部１００は、Ｓ２６で決定したカテゴリグループに属するすべての商品について、特に高い類似度（例えば類似度９０％以上）を示す商品の有無を判断する（Ｓ２７）。特に高い類似度を示す商品がある場合は（Ｓ２７のＹｅｓ）、制御部１００（候補表示手段１０２）は、当該商品を他の商品と視覚的に区別して、当該カテゴリグループに属するすべての商品のプリセットキーを、候補商品としてオペレータ用表示部２２に表示する（Ｓ２８）。この際、制御部１００は、表示位置情報部１４２８に記憶された表示位置情報にしたがって、決められた位置にプリセットキーを表示する。また、高い類似度を示す商品がない場合は（Ｓ２７のＮｏ）、制御部１００（候補表示手段１０２）は、当該カテゴリグループに属するすべての商品を、候補商品としてオペレータ用表示部２２に表示する（Ｓ２９）。この際、制御部１００は、表示位置情報部１４２８に記憶された表示位置情報にしたがって、決められた位置にプリセットキーを表示する。

図１１は、Ｓ２８で表示された候補商品を表示した表示顔面Ｇ３を示す図である。図１１において、分類部Ｇ３１と決済部Ｇ３３は、それぞれ分類部Ｇ２１と決済部Ｇ２３と同じである。また、図１１では、抽出されたカテゴリグループに属するすべての商品のプリセットキーＧ３２が表示されている。各プリセットキーＧ３２には、該当する商品の商品名が表示されている。実施形態では、例えばプリセットキーＧ３２１に「商品Ａ１／４」の商品名が表示されている。

また、分類部Ｇ３１は、決定したカテゴリグループのカテゴリグループ名が表示されたタブＧ３４を、当該カテゴリグループに属する商品と対応させて表示される。実施形態では、「ａ」カテゴリグループ名のタブが表示されている。そして、カテゴリグループ名「ａ」のカテゴリグループに属する１２種類の商品を候補商品として、当該候補商品のプリセットキーＧ３２が、タブＧ３４に対応して表示されている。各候補商品のプリセットキーＧ３２は、商品マスタ１４２の表示位置情報部１４２８に記憶されている位置情報によって表示位置が予め決められているため、いつも同じ位置に表示される。そのため、オペレータは、一旦プリセットキーの位置を覚えれば、該当するプリセットキーを探すことなく操作することができる。オペレータがプリセットキーＧ３２の表示位置に対応したタッチパネル２５を操作することで、当該プリセットキーＧ３２が操作され、候補商品から操作されたプリセットキーＧ３２に対応した一つの商品が選択される。

また、実施形態では、商品名「商品Ａ１／４」が表示されているプリセットキーＧ３２１は、キーの表示色を他のプリセットキーＧ３２と異ならせている。これは、Ｓ２４で算出された「商品Ａ１／４」が特に高い類似度（例えば類似度９０％以上）であると、Ｓ２７で判断されたためである。なお、高い類似度を示す商品の表示を他の商品と視覚的に区別する方法として、キーの色を異ならせる以外に次のような例がある。例えば、当該プリセットキーＧ３２の文字を反転させて表示する、当該プリセットキーＧ３２を網掛けして表示する、プリセットキーＧ３２に枠を表示する、プリセットキーＧ３２に特別なマークを表示する、等である。このように表示することで、オペレータは、複数のプリセットキーＧ３２が混在する中で、類似度が高い商品のプリセットキーＧ３２を一目で視認することができる。

なお、実施形態では、Ｓ２８およびＳ２９において、候補商品のプリセットキーは予め決められた位置に表示するとしたが、Ｓ１７で算出した類似度が高い順に候補商品のプリセットキーを並べて表示するようにしてもよい。このようにすることで、最も類似度が高い商品のプリセットキーがいつも左上の位置に表示され、最も類似度が低い商品のプリセットキーが右下に表示される。そのため、オペレータは、表示されたプリセットキーの左上を探すことで、該当する商品のプリセットキーが発見できる可能性が高い。このような表示は、特に商品読取装置１０の操作経験が少ない初心者のオペレータにとって有効である。

図９の説明に戻る。Ｓ２８またはＳ２９において候補商品を表示した後、制御部１００は、表示された商品からオペレータによって一つの商品が選択されたか否かを判断する（Ｓ３０）。選択されるまで待機し（Ｓ３０のＮｏ）、選択されたと判断した場合は（Ｓ３０のＹｅｓ）、制御部１００は、選択された商品について売上登録処理を実行する。すなわち制御部１００は、選択された商品の商品情報（商品名、単価等）を商品マスタ１４２から抽出して商品情報部１３１に記憶する（Ｓ３１）。そして制御部１００は、Ｓ２１に戻る。制御部１００は、商品の画像が入力される度にＳ２２〜Ｓ３１を処理して、商品情報を商品情報部１３１に記憶する。

一方、Ｓ２２において、商品の画像が入力されていないと判断した場合は（Ｓ２２のＮｏ）、次に制御部１００は、仮締めキー２１１が操作されたか否かを判断する（Ｓ４１）。操作されたと判断した場合は（Ｓ４１のＹｅｓ）、制御部１００は、商品情報部１３１に記憶されている商品情報を、通信回線Ｌを介してＰＯＳ端末３０に送信する（Ｓ４２）。そして制御部１００は、Ｓ２１に戻る。なお、仮締めキー２１１が操作されていないと判断した場合は（Ｓ４１のＮｏ）、制御部１００はＳ２１に戻る。

次に図１２を用いて、ＰＯＳ端末３０の制御部３００が実行する処理に付いて説明する。制御部３００は、商品読取装置１０がＳ４２で送信した商品情報を受信したか否かを判断する（Ｓ５１）。受信したと判断した場合は（Ｓ５１のＹｅｓ）、制御部３００は、受信した商品情報をオペレータ用表示部４３と客用表示部４４に表示する（Ｓ５２）。また、制御部３００は、受信した商品情報を商品情報部３３１に記憶する（Ｓ５３）。そして制御部３００は、Ｓ５１に戻る。

商品情報を受信していないと判断した場合は（Ｓ５１のＮｏ）、次に制御部３００は、締めキー４２１が操作されたか否かを判断する（Ｓ５４）。操作されたと判断した場合は（Ｓ５４のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報に基づいて決済処理を実行する（Ｓ５５）。そして制御部３００は、Ｓ５１に戻る。なお、締めキー４２１が操作されていないと判断した場合は（Ｓ５４のＮｏ）、制御部３００はＳ５１に戻る。このようにして、ＰＯＳ端末３０は、決済処理を終了する。

このような実施形態によれば、撮像部２４で撮像された商品について、商品読取装置１０は、撮像された商品の画像の特徴量と辞書１４３に記憶されている特徴量に基づいて最も類似度が高い商品を抽出し、当該商品が属するカテゴリグループに含まれるすべての商品に対するプリセットキーを、オペレータ用表示部２２に候補商品として表示するようにした。表示する候補商品の数が多い場合は、各プリセットキーを小さくして全体を表示するか、画面をスクロールして全体を表示するようにする。このため、オペレータ用表示部２２に候補商品を確実に表示することが可能である。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば実施形態では、商品読取装置１０を情報処理装置の一例として説明したが、ＰＯＳ端末３０を情報処理装置としてもよい。

また、実施形態では、商品読取装置１０に記憶された辞書１４３を用いて一般物体認識処理を実行したが、ＰＯＳ端末３０に辞書を記憶させて一般物体認識処理を実行してもよい。

また、実施形態では、商品読取装置１０とＰＯＳ端末３０の両方に商品マスタを備えるようにしたが、ＰＯＳ端末３０のみに商品マスタを備えてもよい。

また、実施形態では、一般物体認識処理、類似度の算出処理を商品読取装置１０で実行したが、これらの処理のすべてまたは一部をＰＯＳ端末３０で行うようにしてもよい。

また、実施形態では、商品を物品の一例として説明したが、商品以外の例えば店舗で販売しない物品であってもよい。

また、実施形態では、ＰＯＳ端末３０と商品読取装置１０とで構成されるチェックアウトシステム１のうち、商品読取装置１０を情報処理装置として説明したが、これに限るものではなく、ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置としては、例えば、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１３は、セルフＰＯＳ２００の外観構成を示す斜視図、図１４は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１、図２および図５に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１３および図１４に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル２０９が表面に配設された表示部２１０や、商品を認識（抽出）するために商品画像を読み取る商品読取部２１２を備える。

表示部２１０としては例えば液晶表示器が用いられる。表示部２１０は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部２１２で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部２１２は、客が商品に付されたコードシンボルを商品読取部２１２の読取窓２０８にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３および２０４は、計量器２０７、２０８をそれぞれ備えており、決済の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末３０と商品読取装置１０との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７および２０８を除いて構成された装置であってもよい。

なお、実施形態の商品読取装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の商品読取装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の商品読取装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の商品読取装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ チェックアウトシステム
１０ 商品読取装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ メモリ部
２４ 撮像部
３０ ＰＯＳ端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ メモリ部
１００ 制御部
１０１ 認識手段
１０２ 候補表示手段
１４２ 商品マスタ
１４３ 辞書

特開２０１５−０２２３６７号公報

Claims (6)

1. 撮像手段が撮像した物品の画像から抽出した当該物品の特徴と予め物品別に当該物品の特徴を記憶した複数の物品の情報とに基づいて、前記複数の物品の中から最も前記撮像した物品に特徴が類似する一つの物品を認識する認識手段と、
   一つの物品を複数個に切り分けたカット物品であって異なる個数に切り分けたそれぞれのカット物品を同一のカテゴリに含むカテゴリグループ別に区別して記憶部に記憶された複数の物品のうち、前記認識手段が認識した前記物品が属するカテゴリグループに含まれるすべての物品を当該撮像された物品の候補物品として表示する候補表示手段と、
   を備えた情報処理装置。
2. 前記候補表示手段は、前記候補物品を予め定められた位置に表示する、
   請求項１に記載の情報処理装置。
3. 前記認識手段は、前記撮像した物品の画像に基づいて前記物品の類似度を算出し、
   前記候補表示手段は、前記認識手段が算出した類似度が特に高い前記候補物品を他の前記候補物品と視覚的に区別して表示する、
   請求項２に記載の情報処理装置。
4. 前記認識手段は、前記撮像した物品の画像に基づいて前記物品の類似度を算出し、
   前記候補表示手段は、前記候補物品を前記認識手段が算出した類似度が高い順に並べて表示する、
   請求項１に記載の情報処理装置。
5. 前記候補表示手段は、前記認識手段が認識した前記物品が属するカテゴリグループのグループ名をタブ情報として前記候補物品と対応して表示する、
   請求項１乃至４のいずれか一に記載の情報処理装置。
6. 情報処理装置をコンピュータによって制御するためのプログラムであって、
   前記コンピュータを、
   撮像手段が撮像した物品の画像から抽出した当該物品の特徴と予め物品別に当該物品の特徴を記憶した複数の物品の情報とに基づいて、前記複数の物品の中から最も前記撮像した物品に特徴が類似する一つの物品を認識する認識手段と、
   一つの物品を複数個に切り分けたカット物品であって異なる個数に切り分けたそれぞれのカット物品を同一のカテゴリに含むカテゴリグループ別に区別して記憶部に記憶された複数の物品のうち、前記認識手段が認識した前記物品が属するカテゴリグループに含まれるすべての物品を当該撮像された物品の候補物品として表示する候補表示手段と、
   して機能させるためのプログラム。

Images