JP6272810B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

近年、従来のバーコード読取でなく画像認識で商品を識別する装置が用いられるようになってきている。このような装置は、物品を撮像した画像のデータを、商品のデータに照らし合わせ、それらがある程度以上似ている場合に、撮像された物品がそのデータの商品であると自動的に確定する。

上記装置は、自動確定できない場合は、候補の商品を提示する。この候補提示が行われた場合、現行の装置では、次の画像認識を一旦停止して、オペレータによる操作を求める。オペレータは、提示された候補のいずれかを選択するか、あるいは、全候補をキャンセルする操作を行う。

このような動作であると、そもそも候補提示のもととなった撮像が、ユーザの意図しないものであった場合、不都合である。すなわち、例えば、商品でないものがたまたま撮像された場合にも、候補が見つかれば提示されて画像認識が一時停止される。そして、一時停止した処理の再開にはユーザの操作を要する。つまり、ユーザが候補をキャンセルする手間が発生する。

本発明が解決しようとする課題は、意図しない撮像により候補提示に至った場合の手間を減らすことができる情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、取込部と、検出部と、認識部と、商品候補表示部と、判断部と、確認部と、継続部と、を備える。取込部は、撮像部が撮像した画像を取り込む。検出部は、前記取込部が取り込んだ画像の中から商品を検出する。認識部は、前記検出部が検出した前記商品の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する。商品候補表示部は、前記商品候補を選択可能に表示する。判断部は、前記認識部による認識処理があった後に前記検出部が商品を検出できなくなった場合に、撮像実施意図の有無を判断する。確認部は、前記判断部により撮像実施意図があったと判断された場合、認識処理を一時停止するとともに当該認識処理再開指示または候補の選択を受け付ける。継続部は、前記判断部により撮像実施意図がなかったと判断された場合、認識処理を継続する。

図１は、実施形態のチェックアウトシステムの外観を示す斜視図である。 図２は、ＰＯＳ端末装置および商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成の一例を模式的に示す図である。 図４は、ＰＯＳ端末装置および商品読取装置の機能構成を示すブロック図である。 図５は、商品候補画面の一例を示す図である。 図６は、商品候補が認識されている際に表示されるガイダンス画面の一例を示す図である。 図７は、商品候補が認識されていない際に表示されるガイダンス画面の一例を示す図である。 図８は、商品読取装置が実行する処理の手順を示すフローチャートである。

以下、実施形態にかかる情報処理装置およびプログラムについて説明する。本実施形態では、情報処理装置の一例を商品読取装置１０１とする。図１は、実施形態のチェックアウトシステム１の外観を示す斜視図である。チェックアウトシステム１は、ＰＯＳ端末装置１１および商品読取装置１０１を備える。このようなチェックアウトシステム１は、例えばスーパーマーケット等の店舗に導入される。

ＰＯＳ端末装置１１は、ドロワ２１の上面に載置される。ドロワ２１は、チェックアウト台５１に載置される。ドロワ２１は、紙幣および硬貨を収納し、ＰＯＳ端末装置１１から開放動作の制御を受ける。

ＰＯＳ端末装置１１は、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、タッチパネル２５を備える。

キーボード２２は、ＰＯＳ端末装置１１の上面に配され、オペレータ（店員等）に操作される。表示デバイス２３は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に配され、表示面２３ａに、オペレータに向けた情報を表示する。タッチパネル２５は、表示面２３ａに積層され、オペレータによる操作を受け付ける。顧客用表示デバイス２４は、表示デバイス２３より奥側に配され、表示面２４ａに、顧客向けの情報を表示する。

商品読取装置１０１は、カウンタ台１５１に載置される。カウンタ台１５１は、横長のテーブル状であって、チェックアウト台５１とＬ字を形成するように配される。カウンタ台１５１の上面は、荷受け面１５２である。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３としては、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとがある。

商品読取装置１０１は、ＰＯＳ端末装置１１とデータ送受信可能に接続されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

ハウジング１０２の正面には、読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された液晶表示器等の表示デバイス１０６が設けられる。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納される。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

図２は、ＰＯＳ端末装置１１および商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末装置１１は、情報処理を実行するマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。ＲＯＭ６２は、ＣＰＵ６１が実行するプログラムを記憶する。また、マイクロコンピュータ６０は、時間を計時するＲＴＣ（Real Time Clock）等の計時部（図示せず）を備える。

ＰＯＳ端末装置１１のＣＰＵ６１には、各種の入出力回路（何れも図示せず）を介して、上述の各部（ドロワ２１、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、タッチパネル２５）の他、通信インターフェース２６、ＨＤＤ（Hard Disk Drive）６４、接続インターフェース６５、およびプリンタ６６が接続されている。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。

ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末装置１１の起動時等に、ＨＤＤ６４に記憶されたプログラムの全部又は一部をＲＡＭ６３にコピーし、実行する。

また、ＨＤＤ６４は、ＰＬＵファイルＦ１等のデータファイルを記憶する。ＰＬＵファイルＦ１は、接続インターフェース６５を介し、商品読取装置１０１から読み出し可能である。

ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録等に関する情報との関連付けが設定されたデータファイルである。図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品名、単価等の商品Ｇに関する情報と、その商品Ｇを撮像した商品画像とが関連付けて登録される。また、ＰＬＵファイルＦ１には、商品Ｇ毎に、その商品Ｇの特徴量（基準商品の特徴量データ）が関連付けられて登録される。

商品画像は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像である。商品画像は、後述する商品候補の表示の際に、その商品候補を表す画像として表示される。また、各商品Ｇの撮像画像（例えば、商品画像）から予め抽出された、その商品Ｇの特徴量が、対応する商品ＩＤに関連付けて登録される。ここで、特徴量とは、商品Ｇ表面の色合いや模様、凹凸状況、形状等、商品Ｇの特徴を表した情報である。

なお、本実施形態では、各商品Ｇの特徴量をＰＬＵファイルＦ１に予め登録しておく形態としているが、これに限らず、特徴量を登録しない形態としてもよい。この場合、後述する特徴量抽出部１６１３により、各商品画像から特徴量を抽出することで、その都度特徴量を取得する形態としてもよい。また、商品画像の代わりに表示用の画像を登録する形態としてもよい。以下では、ＰＬＵファイルＦ１に登録された商品を「登録商品」という。

図２に戻り、ＰＯＳ端末装置１１のＣＰＵ６１は、通信インターフェース２６を介して、ストアコンピュータＳＣとのデータ通信を行う。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）は、ＰＯＳ端末装置１１に配信されるＰＬＵファイルＦ１、当該ＰＬＵファイルＦ１に登録された各登録商品の在庫状態を管理するための在庫管理ファイル等を記憶する。

ＰＯＳ端末装置１１のＣＰＵ６１は、接続インターフェース６５を介して、商品読取装置１０１との間でデータ送受信を行う。また、ＰＯＳ端末装置１１は、ＣＰＵ６１の制御の下、プリンタ６６にて、一取引の取引内容をレシートに印字する。

商品読取装置１０１は、商品読取部１１０と、表示・操作部１０４とを備える。商品読取部１１０は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラムを記憶する。また、マイクロコンピュータ１６０は、時間を計時するＲＴＣ等の計時部（図示せず）を備える。

ＣＰＵ１６１には、各種の入出力回路（何れも図示せず）を介して、撮像部１６４、音声出力部１６５、および接続インターフェース１７５が、接続されている。上記各部（撮像部１６４、音声出力部１６５、および接続インターフェース１７５）は、ＣＰＵ１６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

表示・操作部１０４は、タッチパネル１０５、表示デバイス１０６、キーボード１０７、顧客用表示デバイス１０９、および接続インターフェース１７６を備える。商品読取部１１０の接続インターフェース１７５は、ＰＯＳ端末装置１１の接続インターフェース６５に接続して、ＰＯＳ端末装置１１との間でデータ送受信を可能にする。接続インターフェース１７５は、接続インターフェース１７６を介して、表示・操作部１０４と接続し、ＣＰＵ１６１は、接続インターフェース１７５を介して、商品読取部１１０と表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。図４は、ＰＯＳ端末装置１１および商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを実行することにより、画像取込部１６１１、商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補表示部１６１５、ガイダンス表示部１６１６、入力受付部１６１７、情報出力部１６１８、判断部１６１９、確認部１６２０、および継続部１６２１として機能する。

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行う。

商品検出部１６１２は、画像取込部１６１１が取り込んだ撮像画像に含まれる商品Ｇの全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品Ｇの写り込み領域を検出する。

商品Ｇを検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ｇの輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品Ｇを検出する。

特徴量抽出部１６１３は、画像取込部１６１１が取り込んだ撮像画像から、商品検出部１６１２で検出された商品Ｇの表面の状態（表面の色合い、模様、凸凹状況、形状等）を特徴量として抽出する。

類似度判定部１６１４は、確定部（確定手段）および選出部（選出手段）の二つの機能部を含んでいる。確定部は、物品を撮像した画像に基づくデータと商品Ｇのデータとを比較してある程度以上類似していると判断できる場合に、その物品がその商品と等価であると自動確定する。選出部は、確定部により自動確定されない場合に、その物品と等価である可能性がある商品Ｇの候補を、選出する。

類似度判定部１６１４は、ＰＬＵファイルＦ１に登録された各登録商品の特徴量と、特徴量抽出部１６１３が抽出した特徴量とを比較し、その類似度をそれぞれ算出する。

確定部としての類似度判定部１６１４は、類似度が閾値以上の登録商品のうち、その類似度の値が他と比べて非常に高くなる登録商品が一つ存在するような場合、当該登録商品が撮像部１６４で撮像された商品Ｇと等価なものであると自動確定する。

選出部としての類似度判定部１６１４は、商品候補の認識に係る処理（認識処理）を行う。類似度判定部１６１４は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部１６４で撮像された商品Ｇの候補（商品候補）として認識する。

なお、類似度の比較基準は任意に設定可能である。例えば、他の商品候補について算出した類似度の最高値と比較し、２０％以上の類似度を有する一の登録商品を自動確定してもよい。

また、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品Ｇの基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

上記のように画像中に含まれる物体を認識（オブジェクト認識）することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１２月１２日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像を物品（オブジェクト）毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２５年１２月１２日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

選択受付部（選択受付手段）は、選出部（類似度判定部１６１４）により選出された候補を出力デバイスにより報知し、当該候補から、入力デバイスにより、一の候補の選択を受け付ける。当該選択受付部に対応する機能部は、商品候補表示部１６１５と入力受付部１６１７とで構成される。

商品候補表示部１６１５は、類似度判定部１６１４で商品候補と認識された登録商品に関する情報を、表示デバイス１０６に表示する。より詳細には、商品候補表示部１６１５は、商品候補として認識された登録商品のレコードをＰＬＵファイルＦ１から読み出し、表示デバイス１０６の商品候補画面内に表示する。

図５は、商品候補画面の一例を示す図である。表示デバイス１０６に表示される商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補領域Ａ１２とを含む。

撮像画像領域Ａ１１は、画像取込部１６１１が取り込んだ撮像画像を表示するための領域である。撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品Ｇを認識（登録）するための手動登録ボタンＢ１が設けられる。ＣＰＵ１６１は、手動登録ボタンＢ１の操作に応じて、商品Ｇの認識（登録）を手動で行うための手動登録画面（図示せず）を表示デバイス１０６に表示する。なお、手動登録画面を介して指定された商品Ｇは、後述する確定商品として処理される。

商品候補領域Ａ１２は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域Ａ１２には、表示領域Ａ１２ａが配置される。図５では、商品候補領域Ａ１２に４つの表示領域Ａ１２ａを設定した例を示しているが、表示領域Ａ１２ａの個数は特に問わないものとする。また、商品候補の個数に応じて、表示領域Ａ１２ａの個数を動的に増加又は減少させる形態としてもよい。

商品候補表示部１６１５は、表示領域Ａ１２ａに、商品候補の商品画像や商品名等の情報（Ｇ１〜Ｇ４）を配置して表示する。商品候補領域Ａ１２に表示された商品候補は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成される。ここで、商品候補の配置順は特に問わないものとする。例えば、類似度の高い商品候補の順に、図面左上の表示領域Ａ１２ａから右下の表示領域Ａ１２ａにかけて順次配置する形態としてもよい。この構成により、商品読取装置１０１のオペレータは、商品候補領域Ａ１２に表示された商品候補を選択することで商品Ｇを確定することができる。

ガイダンス表示部１６１６は、商品検出部１６１２による商品検出からの経過時間に関わる所定条件の満了に伴って、撮像から認識までの間に行う処理のいずれかを一時停止するとともに候補選択または停止した処理の再開指示を受け付ける。

一時停止および再開指示受付の対象にできる処理は、例えば、撮像部１６４による撮像、画像取込部１６１１による画像取込、商品検出部１６１２による商品検出、特徴量抽出部１６１３による特徴量抽出、類似度判定部１６１４による類似度算出や認識処理等である。以下、ガイダンス表示部１６１６が一時停止および再開指示受付するのが認識処理である場合を例に説明する。

ガイダンス表示部１６１６は、商品検出部１６１２が商品Ｇを検出してから所定時間（例えば１秒）が経過すると、ガイダンス画面を表示する。また、ガイダンス表示部１６１６は、ガイダンス画面の表示に際し、類似度判定部１６１４が商品候補を認識しているか否かに応じて、ガイダンス画面の内容を切り替える。なお、類似度判定部１６１４は、ガイダンス画面が表示されるタイミングで、認識処理（即ち商品候補の認識に係る処理）を停止する。

図６は、商品候補が認識されている際に表示されるガイダンス画面の一例を示す図である。図６に示すように、第１ガイダンス画面Ａ２ａは、商品候補画面Ａ１（撮像画像領域Ａ１１）上に表示される。第１ガイダンス画面Ａ２ａは、商品候補領域Ａ１２に表示された商品候補の選択を促すメッセージＭ１と、商品候補の再認識を促すメッセージＭ２と、商品候補の再認識を指示するための再認識ボタンＢ２とを有する。

商品読取装置１０１のオペレータは、商品候補の選択を行う場合、メッセージＭ１に従い商品候補領域Ａ１２に表示された商品候補の中から、商品Ｇに該当する商品候補を選択する。また、商品候補領域Ａ１２に表示された商品候補の中に商品Ｇに該当するものが存在しない場合、商品読取装置１０１のオペレータは、メッセージＭ２に従い再認識ボタンＢ２を操作する。ガイダンス表示部１６１６は、再認識ボタンＢ２の操作を受け付けると、第１ガイダンス画面Ａ２ａを消去し、類似度判定部１６１４に認識処理を再開させる。なお、手動での登録を行う場合には、商品候補画面Ａ１の手動登録ボタンＢ１を操作することで、手動登録画面（図示せず）が表示される。

また、図７は、商品候補が認識されていない際に表示されるガイダンス画面の一例を示す図である。図７に示すように、第２ガイダンス画面Ａ２ｂは、商品候補画面Ａ１上に重畳表示される。第２ガイダンス画面Ａ２ｂは、商品候補が見つからない旨を示すメッセージＭ３と、商品候補の再認識又は手動での登録を促すメッセージＭ４と、再認識ボタンＢ３と、閉じるボタンＢ４とを有する。

商品読取装置１０１のオペレータは、商品候補の認識処理を継続させたい場合、メッセージＭ４に従い、再認識ボタンＢ３を操作する。ガイダンス表示部１６１６は、再認識ボタンＢ３の操作を受け付けると、第２ガイダンス画面Ａ２ｂを消去し、類似度判定部１６１４に認識処理を再開させる。

また、商品読取装置１０１のオペレータは、商品候補の認識処理を継続させたい場合、メッセージＭ４に従い、閉じるボタンＢ４を操作する。ガイダンス表示部１６１６は、閉じるボタンＢ４の操作を受け付けると、第２ガイダンス画面Ａ２ｂを消去する。その後、商品読取装置１０１のオペレータは、商品候補画面Ａ１の手動登録ボタンＢ１を操作することで、手動登録画面（図示せず）が表示される。

なお、ガイダンス画面（Ａ２ａ、Ａ２ｂ）に、手動登録ボタンＢ１と同等の機能を有するボタンを設けることで、ガイダンス画面から手動登録画面（図示せず）に移行できるよう構成してもよい。

図４に戻り、入力受付部１６１７は、商品候補表示部１６１５とともに選択受付部に対応する機能部を構成する。入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。

例えば、入力受付部１６１７は、表示デバイス１０６に表示された商品候補の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１７は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。

情報出力部１６１８は、上述のように確定された確定商品について、その商品Ｇを示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末装置１１に出力する。

なお、情報出力部１６１８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末装置１１に出力してもよい。また、情報出力部１６１８がＰＯＳ端末装置１１に出力する情報としては、情報出力部１６１８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。

一方、ＰＯＳ端末装置１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１として機能する。売上登録部６１１は、商品読取装置１０１の情報出力部１６１８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。

ところで、撮像部１６４が撮像した物品が、オペレータが意図的に撮像させた商品ではなく、意図せず撮像されたものである場合がある。本実施形態では、この場合に対応するために、判断部１６１９、確認部１６２０、および継続部１６２１を設けている。商品読取装置１０１のＣＰＵ１６１は、プログラムを実行することにより、判断部１６１９、確認部１６２０、および継続部１６２１として機能する。

判断部１６１９は、選出部（類似度判定部１６１４）による候補選出があった後であって、選択受付部（入力受付部１６１７）が候補の選択を受け付ける前であって、経過時間に関わる所定条件の満了前に、撮像画像に物品が含まれなくなった場合に動作し、撮像実施意図の有無を判断する。言い換えると、判断部１６１９は、候補選出のもととなった物品が意図せず撮像された可能性について判断する。

上記判断の手法としては、例えば、判断部１６１９は、候補選出までの経過時間が所定の閾値を上回っていたら、上述の可能性が低い（撮像実施意図があった）と判断し、経過時間が閾値を下回っていたら、可能性が高い（撮像実施意図がなかった）と判断する。
つまり、この手法例では、撮像継続時間がある程度以上長かった場合には、意図的な撮像であったとして取り扱い、撮像継続時間が短かった場合は、意図しない撮像が行われたとする。本実施形態ではこの手法例を用いる。

上記閾値として、本実施形態では、アプリケーション内で数えるカウント数の値「１０」を用いる。このカウント数は、候補選出のもととなった一続きの撮像画像から物品を切り出した数である。当該一続きの撮像画像とは、撮像部１６４が出力する連続した画像データ群であって、同じ物品が写っていると認識された画像データ群である。
なお、上述のカウント数を、本実施形態では、３０で１秒相当とする。したがって、カウント数１０は、概ね１／３秒程度に相当する。

確認部１６２０は、判断部１６１９により上述の可能性が低いと判断された場合は、撮像から認識までの間に行う処理のいずれかを一時停止するとともに候補選択または停止した処理の再開指示を受け付ける。つまり、本実施形態では、カウント数が１０以上であって撮像継続時間がある程度以上長いと判断できる場合に、意図的な撮像であったとして取り扱い、第１ガイダンス画面Ａ２ａを表示する。

ここで、一時停止および再開指示受付の対象にできる処理は、例えば、撮像部１６４による撮像、画像取込部１６１１による画像取込、商品検出部１６１２による商品検出、特徴量抽出部１６１３による特徴量抽出、類似度判定部１６１４による類似度算出や認識処理等である。本実施形態では、確認部１６２０が一時停止および再開指示受付するのが認識処理である場合を例に説明する。

一方、継続部１６２１は、判断部１６１９により上述の可能性が高いと判断された場合に、撮像を継続する。つまり、本実施形態では、カウント数が１０に満たず撮像継続時間が短いと判断できる場合に、意図しない撮像が行われたとして取り扱い、撮像を継続して、意図的な撮像による画像切り出しが行われるのを待つ。

以下、チェックアウトシステム１の動作について説明する。図８は、商品読取装置１０１が実行する処理の手順を示すフローチャートである。

ＰＯＳ端末装置１１による商品登録の開始等に応じて本処理が開始されると、商品読取装置１０１のＣＰＵ１６１は、ＲＡＭ１６３に設けた切り出しカウント変数に０を代入（リセット）する（ステップＳ１）。続いて、ＣＰＵ１６１は、画像取込部１６１１として、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始し、さらに、画像取込部１６１１として、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ２）。

次いで、ＣＰＵ１６１は、商品検出部１６１２として、ステップＳ２で取り込まれた撮像画像から、商品Ｇの全部又は一部の検出（切り出し）を行う（ステップＳ３）。商品Ｇの画像が切り出せた場合（ステップＳ４：Ｙｅｓ）、ＣＰＵ１６１は、ステップＳ２１へ移り、切り出しカウント変数に１を足す（インクリメント、increment）。続いて、ＣＰＵ１６１は、オブジェクト認識を行う（ステップＳ２２）。

すなわち、ＣＰＵ１６１は、まず、特徴量抽出部１６１３として、ステップＳ２で取り込まれた撮像画像から、ステップＳ３で検出された商品Ｇの特徴量を抽出する。次いで、ＣＰＵ１６１は、類似度判定部１６１４として、特徴量抽出部１６１３により抽出された特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する。

次に、ＣＰＵ１６１は、類似度判定部１６１４として、算出された類似度に基づいて商品Ｇの自動確定が可能か否かを判定する（ステップＳ２３）。自動確定できる場合（ステップＳ２３：Ｙｅｓ）、類似度判定部１６１４としてのＣＰＵ１６１は、商品Ｇを自動確定（オブジェクト確定）（ステップＳ２４）して、処理を終了する。

なお、当該処理の後、情報出力部１６１８としてのＣＰＵ１６１が、確定商品を示す商品ＩＤ等の情報を、ＰＯＳ端末装置１１に出力する。ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合、ＣＰＵ１６１は、確定商品を示す情報とともに、販売個数をも、ＰＯＳ端末装置１１に出力する。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

ステップＳ２３において、自動確定可能には至らないまでも商品Ｇと等価である可能性がある登録商品があった場合（ステップＳ２３：Ｎｏ）、類似度判定部１６１４としてのＣＰＵ１６１は、その登録商品の商品ＩＤを商品候補として認識し、ステップＳ３１へ移る。

次に、ＣＰＵ１６１は、商品候補表示部１６１５として、ステップＳ２３で認識された商品候補のレコードをＰＬＵファイルＦ１から読み出し、商品候補領域Ａ１２の表示領域Ａ１２ａに表示する（ステップＳ３１）。続いて、入力受付部１６１７としてのＣＰＵ１６１が、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ３２）。

ステップＳ３２において、選択操作が行われると（ステップＳ３２：Ｙｅｓ）、ＣＰＵ１６１は、選択された商品候補を、商品Ｇに対応する確定商品に設定（オブジェクト確定）（ステップＳ２４）して、処理を終了する。

ステップＳ３２において、候補選択が行われない場合（ステップＳ３２：Ｎｏ）、ＣＰＵ１６１は、切り出しカウント変数の値が３０以上であるかを確認する（ステップＳ４１）。ここで値が３０未満であれば（ステップＳ４１：Ｎｏ）、ＣＰＵ１６１は、処理をステップＳ２へと戻す。つまり、撮像画像の取り込み等を継続する。

ステップＳ４１において、切り出しカウント変数の値が３０以上であれば（ステップＳ４１：Ｙｅｓ）、ＣＰＵ１６１は、ガイダンス表示部１６１６として、第１ガイダンス画面Ａ２ａを表示し（ステップＳ４２）、いずれかの操作が行われるのを待機する（ステップＳ４３：Ｎｏ、ステップＳ４４：Ｎｏ）。候補のいずれかが選択された場合（ステップＳ４３：Ｙｅｓ）、ＣＰＵ１６１は、処理をステップＳ２４に進める。また、再認識が選択された場合（ステップＳ４４：Ｙｅｓ）、ＣＰＵ１６１は、処理を終了する。すなわち、撮像をしなおす。

さて、ステップＳ４において、画像が切り出せなかった場合（ステップＳ４のＮｏ）について、以下に説明する。この場合、ＣＰＵ１６１は、ステップＳ５の判断を行う。当該ステップＳ５の説明にあたって、まず、ステップＳ５において判定がＮｏとなる場合を、切り出しカウント変数が０の場合とそれ以外（切り出しカウント変数が１〜９）の場合とに分けて説明する。

上で場合分けしたうちの前者（切り出しカウント変数＝０）は、物品の撮像から認識が行われていない状態である。この場合、ＣＰＵ１６１は、物品の撮像から認識を待機するべく、処理をステップＳ１に戻す。

一方、後者（１≦切り出しカウント変数≦９）は、物品がごく短時間（１／３秒前後かそれより短い時間）だけ撮像され認識されたが、認識後まもなく画像を切り出せない状態になった、つまり物品がフレームアウトした（撮像部１６４の撮像範囲から外れた）と考えられる場合である。本実施形態では、この場合、まず判断部１６１９としてのＣＰＵ１６１が、「意図しない撮像が行われた」と判断し、次に継続部１６２１としてのＣＰＵ１６１が、物品の撮像から認識を継続するべく、処理をステップＳ１に戻す。

次に、ステップＳ５において判定がＹｅｓとなる場合、つまり、切り出しカウント変数が１０以上の場合について説明する。この場合、まず判断部１６１９としてのＣＰＵ１６１が「意図的な撮像であった」と判断し、次に確認部１６２０としてのＣＰＵ１６１が、認識処理を一時停止するとともに、第１ガイダンス画面Ａ２ａを表示させて、候補選択または認識処理再開指示を受け付ける（ステップＳ６）。

この後、ＣＰＵ１６１は、いずれかの操作が行われるのを待機し（ステップＳ７：Ｎｏ、ステップＳ８：Ｎｏ）、候補のいずれかが選択された場合（ステップＳ７：Ｙｅｓ）、ＣＰＵ１６１は、処理をステップＳ２４に進める。また、再認識が選択された場合（ステップＳ８：Ｙｅｓ）、ＣＰＵ１６１は、処理を終了する。すなわち、撮像をしなおす。

このように、ＣＰＵ１６１は、物品が意図せず撮像された可能性について判断し、可能性が高い（意図せず撮像された）と判断できる場合には、撮像から認識を継続し、可能性が低い（意図的な撮像であった）と判断できる場合には、認識処理を一時停止するとともに候補選択または認識処理再開指示を受け付ける。

以上のように、本実施形態によれば、意図しない撮像により候補提示に至った場合の手間を減らすことができる。

（変形例）
上記実施形態では、判断部１６１９は、選出部による候補選出までの経過時間の長さによって、候補選出のもととなった物品が意図せず撮像された可能性について判断する。これに対し、本実施形態の判断部は、撮像画像に含まれる物品に焦点が合っている場合に、前記可能性が低いと判断し、撮像画像に含まれる物品に焦点が合っていない場合に、前記可能性が高いと判断する。

こういったオブジェクト認識に用いられる撮像部は、読取窓から所定の距離までの空間に存在する物品の撮像に適する被写体距離や被写界深度を有するよう構成されている。よって、撮像画像に含まれる物品に焦点が合わなかったということは、撮像に適当な位置に物品がかざされなかったことを示す。つまり、意図しない撮像であったことを意味する。

このように、判断部が判断に用いるパラメータを変更しても、同様の効果をあげることができる。

なお、上述の実施形態および変形例では、情報処理装置の一例を商品読取装置１０１として、ＰＯＳ端末装置１１と商品読取装置１０１とを備えるチェックアウトシステム１について説明したが、実施にあたっては、情報処理装置が、ＰＯＳ端末装置１１であってもよいし、あるいは買物客が自身で会計を済ませるための装置であるセルフチェックアウト装置であってもよい。

なお、本実施形態の情報処理装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。
本実施形態の情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態の情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の情報処理装置で実行されるプログラムはモジュール構成となっていて、ＣＰＵが記憶媒体から各モジュールのプログラムを読み出して実行することにより、各モジュールの機能が実現される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Ｇ…商品、
ＳＣ…ストアコンピュータ、
１…チェックアウトシステム、
１１…ＰＯＳ端末装置、
２１…ドロワ、
２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、
２３…表示デバイス、２３ａ…表示面、
２４…顧客用表示デバイス、２４ａ…表示面、
２５…タッチパネル、
２６…通信インターフェース、
５１…チェックアウト台、
１０１…商品読取装置、
１０２…ハウジング、
１０３…読取窓、
１０４…表示・操作部、
１０５…タッチパネル、
１０６…表示デバイス、
１０７…キーボード、
１０８…カード読取溝、
１０９…顧客用表示デバイス、
１１０…商品読取部、
１５１…カウンタ台、
１５２…荷受け面、
１５３（１５３ａ、１５３ｂ）…買物カゴ、
６０…マイクロコンピュータ、
６１…ＣＰＵ、６１１…売上登録部、
６２…ＲＯＭ、
６３…ＲＡＭ、
６４…ＨＤＤ、Ｆ１…ＰＬＵファイル、
６５…接続インターフェース、
６６…プリンタ、
１６０…マイクロコンピュータ、
１６１…ＣＰＵ、
１６２…ＲＯＭ、
１６３…ＲＡＭ、
１６４…撮像部、
１６５…音声出力部、
１７５…接続インターフェース、
１７６…接続インターフェース、
１６１１…画像取込部、１６１２…商品検出部、１６１３…特徴量抽出部、
１６１４…類似度判定部、１６１５…商品候補表示部、１６１６…ガイダンス表示部、
１６１７…入力受付部、１６１８…情報出力部、
１６１９…判断部、１６２０…確認部、１６２１…継続部、
Ａ１ …商品候補画面、
Ａ１１…撮像画像領域、
Ａ１２…商品候補領域、Ａ１２ａ…表示領域、
Ａ２ａ…第１ガイダンス画面、
Ａ２ｂ…第２ガイダンス画面、
Ｂ１ …手動登録ボタン、
Ｂ２、Ｂ３…再認識ボタン、
Ｂ４ …閉じるボタン、
Ｍ１〜Ｍ４…メッセージ、
Ｇ１〜Ｇ４…商品候補の商品画像や商品名等の情報。

特開２０１５−１３０１１６号公報

Claims (6)

1. 撮像部が撮像した画像を取り込む取込部と、
   前記取込部が取り込んだ画像の中から商品を検出する検出部と、
   前記検出部が検出した前記商品の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識部と、
   前記商品候補を選択可能に表示する商品候補表示部と、
   前記認識部による認識処理があった後に前記検出部が商品を検出できなくなった場合に、撮像実施意図の有無を判断する判断部と、
   前記判断部により撮像実施意図があったと判断された場合、認識処理を一時停止するとともに当該認識処理再開指示または候補の選択を受け付ける確認部と、
   前記判断部により撮像実施意図がなかったと判断された場合、認識処理を継続する継続部と、
   を備える情報処理装置。
2. 前記判断部は、前記検出部による商品検出からの経過時間が所定の閾値を上回っていたら撮像実施意図があったと判断し、前記経過時間が前記閾値を下回っていたら、撮像実施意図がなかったと判断する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記判断部は、撮像画像に含まれる物品に焦点が合っている場合に、撮像実施意図があったと判断し、撮像画像に含まれる物品に焦点が合っていない場合に、撮像実施意図がなかったと判断する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記検出部による商品検出からの経過時間に関わる所定条件の満了に伴って、認識処理を一時停止するとともに当該認識処理再開指示または候補の選択を受け付けるガイダンス表示部
   をさらに備えることを特徴とする請求項２に記載の情報処理装置。
5. 前記判断部は、前記経過時間の所定の閾値として、前記ガイダンス表示部で用いる経過時間に関わる所定条件よりも短い時間を用いる
   ことを特徴とする請求項４に記載の情報処理装置。
6. コンピュータを、
   撮像手段が撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ画像の中から商品を検出する検出手段と、
   前記検出手段が検出した前記商品の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、
   前記商品候補を選択可能に表示する商品候補表示手段と、
   前記認識手段による認識処理があった後に前記検出手段が商品を検出できなくなった場合に、撮像実施意図の有無を判断する判断手段と、
   前記判断手段により撮像実施意図があったと判断された場合、認識処理を一時停止するとともに当該認識処理再開指示または候補の選択を受け付ける確認手段と、
   前記判断手段により撮像実施意図がなかったと判断された場合、認識処理を継続する継続手段と、
   して機能させるためのプログラム。

Images