JP7039084B1 - セルフレジ監視システム及びセルフレジ監視方法 - Google Patents

Abstract

【課題】セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」等において、不正操作の誤検知を減らし、監視手段としての信頼性を向上させること。
【解決手段】監視撮影部１０と、監視撮影部が撮影した画像を解析して、前記セルフレジ使用者が、精算作業中に商品を未精算商品載置位置から他の位置に移動させる特定動作を検出する、動作検出部３１と、不審動作判定部３２と、管理用情報処理端末に注意喚起情報を出力する注意喚起部３４と、を備え、不審動作判定部３２は、動作検出部３１によって検出された特定動作の検出結果と、商品情報読み取り部１１０による商品情報の読み取り結果とを、対比して、セルフレジ使用者の操作の不審度を判定する、セルフレジ監視システム１とする。
【選択図】図１

Description

本発明は、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」及び「セルフレジ監視方法」に関する。

近年、各種の小売り店舗を中心に、購入する商品の商品情報を購入者が自らバーコードリーダー等の商品情報読み取り部に読み取らせて精算作業を行うセルフレジの普及が進んでいる。

セルフレジにおいては、購入者は、商品に付与されているバーコード等の商品情報をバーコードリーダー等に読み取らせることによって精算作業が行われる。セルフレジの管理者は、この際、購入者が、故意、或いは、過失により、正しく商品情報を読み取らせずに商品を持ち出してしまう不正操作を防止する必要がある。

セルフレジにおいて、上述の不正操作を防止するための手段として、特許文献１には、「購入者が商品情報をバーコードリーダーに読み取らせる動作」を検知し、当該「動作」が検知されているにもかかわらず、実際に商品情報が読み取られていない場合に、再度の読み取りを促すメッセージを操作補助用のモニター等に表示することによって不正操作を防止することを企図したセルフレジが開示されている。

特許文献１に開示されているセルフレジにおいて、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知は、監視対象物が監視カメラの目標領域を横切って通過したかどうかを判断することができる映像処理ソフトウェアによって実現されている。しかしながら、例えば、操作者の腕が商品を保持せずにバーコードリーダーの上を通過したとき等は「購入者が商品情報をバーコードリーダーに読み取らせる動作」の誤検知が不可避的に発生することは明らかであり、同文献にもそのことは言及されている（同文献段落［００３７］参照）。

又、特許文献２には、セルフレジにおいて、「購入者が商品情報をバーコードリーダーに読み取らせる動作」を検知し、当該動作が検知されているにもかかわらず、実際に商品情報が読み取られていない場合の当該動作を記録した画像データを膨大な監視画像の中から効率的に抽出して不正操作の確認を容易に行うことができるようにしたセルフレジが開示されている。

特許文献２に開示されているセルフレジにおいて、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知は、光電センサー等で購入者の腕の動き等を検知することによって実行されている。このような検知手段も、やはり「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知精度は不十分であり、これにより一定以上の誤検知が発生しており、監視手段としての信頼性は十分ではなかった。

特開平１０－２０８１４９号公報 特開２０１０－３９５４５号公報

上述の通り、従来公知のセルフレジにおける不正操作の監視手段は何れも誤検知が多く、監視手段として、十分な信頼性を備えるものではなかった。

本発明は、上記状況に鑑み、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」等において、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知精度を高めて、不正操作の誤検知を減らし、監視手段としての信頼性を向上させることを目的とする。

本発明は、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」等において、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検出を行う場合に、セルフレジ使用者の動作のみならず、当該動作に伴う商品の動きも含む情報として検出される、「特定動作」を、ディープラーニング型の画像解析手段等によって検出する処理を行うことによって、上記課題を解決できることに想到し、本発明を完成するに至った。

（１） 商品情報を購入者が自ら商品情報読み取り部に読み取らせて精算作業を行うセルフレジ用の監視システムであって、セルフレジ使用者を撮影する、監視撮影部と、前記監視撮影部が撮影した画像を解析して、前記セルフレジ使用者が、未精算の商品を保持して、未精算商品載置位置から他の位置に移動させる特定動作を検出する、動作検出部と、前記動作検出部によって検出された前記セルフレジ使用者による前記特定動作の検出結果と、前記商品情報読み取り部による前記商品情報の読み取り結果とを、対比して、前記セルフレジ使用者の操作の不審度を判定する、不審動作判定部と、前記不審動作判定部による不審度の判定結果に応じた注意喚起情報を出力する注意喚起部と、を備える、セルフレジ監視システム。

（１）のセルフレジ監視システムによれば、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」において、セルフレジ使用者が、未精算の商品を保持して、未精算商品載置位置から他の位置に移動させる動作として定義される「特定動作」を検出して、商品情報の読み取り結果と対比することにより、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知精度を高めて、不正操作の誤検知を減らし、監視手段としての信頼性を向上させることができる。

（２） 前記動作検出部は、ニューラルネットワークを有する各種の機械学習型の画像解析装置によって、前記監視画像中の前記セルフレジ使用者の手の動きと前記商品との動きを解析することによって、前記特定動作を検出する、（１）に記載のセルフレジ監視システム。

（２）のセルフレジ監視システムによれば、（１）のセルフレジ監視システムにおいて、人の動作のみならず、当該動作に伴う商品の動きも含む情報として検出される上述の「特定動作」を極めて高い精度で検出することができる。これにより、不正操作の誤検知を更に減らして、監視手段としての信頼性をより確実により高い水準に向上させることができる。

（３） 前記セルフレジ使用者のＩＤ情報を取得するＩＤ情報取得部と、個々の前記セルフレジ使用者のＩＤ情報と当該セルフレジ使用者の過去の前記不審度の判定結果との組合せを、個々の前記セルフレジ使用者の行動履歴として記憶する判定履歴記憶部と、を更に備え、前記不審動作判定部は、前記判定履歴記憶部に記憶されている前記セルフレジ使用者の前記行動履歴も参照して、前記セルフレジ使用者の操作の不審度を判定する、（１）又は（２）に記載のセルフレジ監視システム。

（３）のセルフレジ監視システムは、（１）又は（２）のセルフレジ監視システムにおけるセルフレジ使用者の操作の不審度の判定において、更に、セルフレジ使用者のＩＤ情報を取得管理して過去の行動履歴も参照できるようにした。これにより、過去に不正操作を行った使用者に対してより厳しい監視基準よる監視を行い、同一購入者による不正操作の再発を高い精度で防止することができる。

（４） 前記ＩＤ情報取得部が前記セルフレジ使用者の顔認証情報をＩＤ情報として取得する顔認証情報取得部である、（３）に記載のセルフレジ監視システム。

（４）のセルフレジ監視システムは、（３）のセルフレジ監視システムにおいて取得するＩＤ情報として顔認証情報を取得できるようにしたことにより、会員登録作業等の手続きを経ずに不特定多数のセルフレジ使用者のＩＤ情報を取得して、過去の行動履歴を参照できるようにすることができる。これにより、不特定多数のセルフレジ使用者に係る別途のＩＤ取得及び管理作業を要せずに、（３）のセルフレジ監視システムの奏する上記効果を享受することができる。

（５） 前記動作検出部は、前記監視画像から、前記セルフレジ使用者の前記特定動作以外の不審な動作を不正予備動作として検出し、前記不審動作判定部は、前記不正予備動作の検出結果も参照して、前記セルフレジ使用者の操作の不審度を判定する、（１）から（４）の何れかに記載のセルフレジ監視システム。

（５）のセルフレジ監視システムは、（１）から（４）の何れかのセルフレジ監視システムにおけるセルフレジ使用者の操作の不審度の判定において、更に、精算作業に係る「特定動作」以外の不正操作の予備的な動作とみなしうる「不正予備動作」を検出して、この「不正予備動作」も参照できるようにした。これにより、不正操作を行う蓋然性が高い使用者に対してより厳しい監視基準よる監視を行うことができるので、不正操作の発生をより高い精度で防止することができる。

（６） 前記不正予備動作として、前記セルフレジ使用者の視線方向の変動を検出する、（５）に記載のセルフレジ監視システム。

（６）のセルフレジ監視システムは、（５）のセルフレジ監視システムにおいて、「不正予備動作」としてセルフレジ使用者の視線方向の変動を検出することを必須とした。これにより、監視者の目視による監視では見逃し易い視線変動に係る「不正予備動作」も確実に検出して、（５）のセルフレジ監視システムの信頼性をより高い水準に向上させることができる。

（７） 前記セルフレジ使用者に操作補助情報を表示する操作補助情報表示部を備えるセルフレジにおいて、前記注意喚起部は、前記不審度が閾値を超えた時に、操作補助情報表示部に注意喚起情報を出力する、（１）から（６）の何れかに記載のセルフレジ監視システム。

（７）のセルフレジ監視システムによれば、セルフレジ使用者に速やかに且つ確実に必要な注意喚起情報を効果的に伝えることができる。

（８） （１）から（７）の何れかに記載のセルフレジ監視システムが備えられている、セルフレジ。

（８）のセルフレジによれば、（１）から（７）の何れかのセルフレジ監視システムが奏する上述の各効果を享受することによって、セルフレジを配置している店舗において、不正操作による商品損失を減少させ、又、監視要員による監視作業の負担を軽減することができる。

（９） 商品情報を購入者が自ら商品情報読み取り部に読み取らせる商品情報読み取りステップによって精算作業を行うセルフレジ用の監視方法であって、監視撮影部が、セルフレジ使用者を撮影する、監視撮影ステップと、動作検出部が、前記監視撮影部が撮影した監視画像から、前記セルフレジ使用者が前記精算作業中に未精算の商品を保持して、未精算商品載置位置から他の位置に移動させる特定動作を検出する、特定動作検出ステップと、不審動作判定部が、前記特定動作の検出結果と、前記商品情報の読み取り結果とを、対比して、前記セルフレジ使用者の操作の不審度を判定する、不審動作判定ステップと、注意喚起部が、前記不審度が閾値を超えた時に、注意喚起情報を出力する、注意喚起ステップと、を備える、セルフレジ監視方法。

（９）のセルフレジ監視方法によれば、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視方法」において、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知精度を高めて、不正操作の誤検知を減らし、監視作業の信頼性を向上させることができる。

（１０） 前記特定動作検出ステップにおいては、ニューラルネットワークを有する各種の機械学習型の画像解析装置によって、前記監視画像中の前記セルフレジ使用者の手の動きと前記商品との動きを解析することによって、前記特定動作を検出する、（９）に記載のセルフレジ監視方法。

（１０）のセルフレジ監視方法によれば、（９）のセルフレジ監視方法における不正操作の誤検知を更に減らして、監視作業の信頼性を更に高い水準に向上させることができる。

（１１） 前記商品情報読み取りステップの開始前に、ＩＤ情報取得部が、前記セルフレジ使用者のＩＤ情報を取得する、ＩＤ情報取得ステップを行い、前記不審動作判定ステップの実行後に、判定履歴記憶部が、個々の前記セルフレジ使用者のＩＤ情報と当該セルフレジ使用者の前記不審度との組合せを個々の前記セルフレジ使用者の行動履歴として記憶する、判定履歴記憶ステップが、行われ、前記不審動作判定ステップにおいては、判定対象とする前記セルフレジ使用者の前記行動履歴も参照して、前記セルフレジ使用者の操作の不審度が判定される、（９）又は（１０）に記載のセルフレジ監視方法。

（１１）のセルフレジ監視方法によれば、（９）又は（１０）のセルフレジ監視方法におけるセルフレジ使用者の操作の不審度の判定において、セルフレジ使用者のＩＤ情報を取得管理して過去の行動履歴も参照できるようにした。これにより、過去に不正操作を行った使用者による再度の不正操作をより高い精度で検出することができる。

（１２） 前記ＩＤ情報取得ステップにおいては、前記セルフレジ使用者の顔認証情報を前記ＩＤ情報として取得する顔認証情報取得処理が行われる、（１１）に記載のセルフレジ監視方法。

（１２）のセルフレジ監視方法によれば、（１１）のセルフレジ監視方法において取得するＩＤ情報として顔認証情報を取得できるようにしたことにより、会員登録作業等の手続きを経ずに不特定多数のセルフレジ使用者のＩＤ情報を取得して、過去の行動履歴を参照できるようにすることができる。これにより、不特定多数のセルフレジ使用者に係る別途のＩＤ取得及び管理作業を要せずに、（１１）のセルフレジ監視方法の奏する上記効果を享受することができる。

（１３） 前記特定動作検出ステップにおいては、前記監視画像から、前記セルフレジ使用者の前記特定動作以外の不審な動作を不正予備動作として検出し、前記不審動作判定ステップにおいては、前記不正予備動作の検出結果も参照して、前記セルフレジ使用者の操作の不審度が判定される、（９）から（１２）の何れかに記載のセルフレジ監視方法。

（１３）のセルフレジ監視方法は、（９）から（１２）の何れかのセルフレジ監視方法におけるセルフレジ使用者の操作の不審度の判定において、更に、精算作業に係る「特定動作」以外の不正操作の予備的な動作とみなしうる「不正予備動作」を検出して、この「不正予備動作」も参照できるようにした。これにより、不正操作を行う蓋然性が高い使用者に対してより厳しい監視基準よる監視を行うことができるので、不正操作の発生をより高い精度で防止することができる。

（１４） 前記不正予備動作として、前記セルフレジ使用者の視線方向の変動を検出する、（１３）に記載のセルフレジ監視方法。

（１４）のセルフレジ監視システムは、（１３）のセルフレジ監視方法において、「不正予備動作」としてセルフレジ使用者の視線方向の変動を検出することを必須とした。これにより、監視者の目視による監視では見逃し易い視線変動に係る「不正予備動作」も確実に検出して、（１３）のセルフレジ監視方法の信頼性をより高い水準に向上させることができる。

（１５） （９）から（１４）の何れかに記載のセルフレジ監視方法において、前記特定動作検出ステップ及び前記不審動作判定ステップを、前記動作検出部及び、前記不審動作判定部を含んで構成される演算処理部に実行させる、不正操作監視用のプログラム。

（１５）の不正操作監視用のプログラムによれば、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視方法」において、「購入者が商品情報をバーコードリーダーに読み取らせる動作」の検知精度を高めて、不正操作の誤検知を減らし、監視作業の信頼性を向上させることができる。

本発明によれば、セルフレジにおける不正操作を防止するための監視を行う「セルフレジ監視システム」等において、不正操作の誤検知を減らし、監視手段としての信頼性を向上させることができる。

本発明のセルフレジ監視システムの構成を示すブロック図である。 本発明のセルフレジ監視システムが備えられているセルフレジの構成の一例を示す模式図である。 本発明のセルフレジ監視方法の動作の流れを示すフローチャートである。 実店舗における本発明の実施形態の一例を示す模式図である。

以下、本発明を実施するための最良の形態について適宜図面を参照しながら説明する。

＜セルフレジ＞
図２は、本発明のセルフレジ監視システム又はセルフレジ監視方法を用いて、監視作業を行うことができるセルフレジの一例であるセルフレジ１００の構成を模式的に示す図である。本発明の実施対象となるセルフレジとは、この、セルフレジ１００のように、商品Ｐの商品情報を、購入者であるセルフレジ使用者Ｂが、自らバーコードリーダー１１１等の商品情報読み取り部１１０に読み取らせて精算作業を行う装置である。このセルフレジ１００は、商品読み取り部１１０の他、セルフレジ使用者Ｂにセルフレジの操作に係る補助情報を画像や音声によって伝える操作補助情報表示部１２０を備えるものであることが好ましい。又、未精算の商品の載置場所である未精算商品載置位置１３１と精算済の商品を載置する精算済商品載置位置１３２とが、商品情報読み取り部１１０を間に挟んで、その左右に使用者に対して規定の位置として指定されている構成とされていることが望ましい。

＜セルフレジ監視システム＞
図１は、本発明のセルフレジ監視システムの一例であるセルフレジ監視システム１の構成を示すブロック図である。セルフレジ監視システム１は、一例として、図２に示す構成からなるセルフレジ１００において、セルフレジ使用者Ｂの不正操作を防止するための監視を実行するシステムである。以下の説明では、具体的な構成を例示して説明を行うが、これらは、適宜変更することができる。

［全体構成］
セルフレジ監視システム１は、少なくとも、監視撮影部１０と、演算処理部３０と、を含んで構成される。又、セルフレジ監視システム１は、ＩＤ情報取得部２０を更に備える構成とすることが好ましい。ＩＤ情報取得部２０は、具体的には、顔認証情報取得部２１とすることがより好ましい。

演算処理部３０は、少なくとも、動作検出部３１、不審動作判定部３２、及び、注意喚起部３４を含んで構成される。又、演算処理部３０は、判定履歴記憶部３３を更に備える構成とすることが好ましい。又、必要に応じて監視撮影部１０の機能発揮を補助する座標設定部を備える構成とすることもできる。

［監視撮影部］
監視撮影部１０は、セルフレジ使用者（セルフレジを使用して商品の精算作業を行う商品購入者）の動作を撮影して不正操作を検出するための監視画像を得る装置である。監視撮影部１０は、具体的には、例えば、図２に示すように、セルフレジ使用者Ｂの全身、或いは、少なくとも上半身を含む範囲と、これに加えてセルフレジ使用者Ｂの両手が届く範囲を含む範囲を撮影対象領域として連続的に撮影することができる位置に設置される監視カメラ１１によって構成する。

監視撮影部１０は、監視カメラ１１によって撮影された監視画像を、演算処理部３０で演算処理することができるようにデジタル形式の画像データとして出力する機能を有するものであることが好ましい。例えば、既存の各種のデジタルカメラを特に制限なく用いることができる。

又、監視カメラ１１として撮影対象領域とする空間内の３次元位置情報を直接的に取得できる３Ｄカメラを用いてもよいが、撮影対象領域とする３次元空間を２次元の画像として撮影する一般的な単眼のカメラでもこれを構成することができる。セルフレジ監視システム１において、監視撮影部１０が、２次元情報のみを有する監視画像を撮影可能な単眼カメラである場合、セルフレジ監視システム１は、監視画像中の位置を撮影対象領域である３次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部（ブロック図中の図示は省略）を、更に備える構成とすることがより好ましい。尚、監視撮影部１０が撮影対象領域とする空間内の３次元位置情報を直接的に取得できる３Ｄカメラである場合には、上記態様の座標設定部は必須ではない。座標設定部は監視撮影部１０に内蔵されていてもよいし、演算処理部３０内に組み込まれていてもよい。２次元の画像情報から３次元座標を生成可能な座標設定部を設けることにより、距離測定デバイスや３Ｄカメラ等を導入することなく廉価で取得可能な単眼カメラによってのみ取得された２次元情報のみを有する画像からであっても、自動的な処理のみにより高い精度で人の動作の検出を実行することができる。

［ＩＤ情報取得部］
セルフレジ監視システム１は、監視撮影部１０及び演算処理部３０に加えて、ＩＤ情報取得部２０を備える構成とすることがより好ましい。ＩＤ情報取得部２０は、個々のセルフレジ使用者ＢのＩＤ情報、即ち、個々のセルフレジ使用者Ｂを他の使用者から識別して個別に管理することが可能となる個人データを、何らかの形式で取得することができる手段であればよい。例えば、セルフレジ利用者に予め、氏名・住所等の何らかのＩＤ情報の登録を求めて、当該ＩＤ情報を記録した会員カード等の読み取りを、セルフレジの使用者に求めることとし、当該カードのＩＤ情報を読み取るカードリーダー等の機器をＩＤ情報取得部２０として設置することによっても、ＩＤ情報取得部２０を備えるセルフレジ監視システム１を構成することができる。

但し、セルフレジ監視システム１に設置されるＩＤ情報取得部２０は、顔認証情報取得部２１とすることがより好ましい。セルフレジ使用者の顔認証情報をＩＤ情報として取得可能な顔認証情報取得部２１としては、従来の公知の各種の顔認証情報取得装置を用いることができる。又、具体的な顔認証情報取得機器としては、近年、認識精度が飛躍的に向上しているディープラーニング技術を応用した各種の顔認証デバイスを用いることが好ましい。本発明のセルフレジ監視システム１を稼働させる場合、例えば図２に示すように、顔認証情報取得部２１の撮影デバイスを、精算作業を行うセルフレジ使用者Ｂの正面に設置される精算操作用のタッチパネル等の中に組みこむことが好ましい。これにより、セルフレジ使用者の固有の生体識別情報として精算作業の開示時に確実に取得することができる。

顔認証情報取得部２１によって取得された各セルフレジ使用者のＩＤ情報である顔認証情報は、演算処理部３０内の記憶デバイスに記憶され必要に応じて、他の構成部分から参照される。又、この顔認証情報は、当該セルフレジ使用者に係る監視に有用な他の付帯情報（過去の操作の不審度の判定履歴等）と紐づけられた組合せ情報として上記の記憶デバイスの一つである判定履歴記憶部３３に登録されることが好ましい。

［演算処理部］
演算処理部３０は、監視撮影部１０から出力され、送信された画像データに対して、セルフレジ使用者の操作の不審度を判定するために必要な各種の演算処理を行う。演算処理部３０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部３０は、本発明の実施に係る動作に特化した専用装置として構成することもできる。又、演算処理部３０は、以上の機能を備える情報処理装置をサーバーとしてクラウド上に構成して、これを多数のクライアントで共有する構成とすることもできる。

上記の何れの構成においても、演算処理部３０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部３０は、本発明に係るコンピュータプログラムである「不正操作監視用のプログラム」を実行することにより、以下に説明する各種動作、及び、セルフレジ監視方法を具体的に実行することができる。

演算処理部３０は、監視撮影部１０から画像データを受信することができるように監視撮影部１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部３０は、監視撮影部１０の近傍に配置せずに、監視撮影部１０から離れた、監視作業の管理者の作業エリア内や、或いは、必要に応じて、他の遠隔地に配置することもできる。

（動作検出部）
動作検出部３１は、監視撮影部１０が撮影した監視画像を解析して、セルフレジ使用者Ｂの「特定動作」検出する。本発明におけるセルフレジ使用者の「特定動作」とは、「セルフレジ使用者が、商品を未精算商品載置位置から他の位置に移動させる動作」のことを言う。即ち「特定動作」の検出結果には、「手」の位置及び動きに係る情報のみならず、その「手」によって動いた「商品」位置及び動きに係る情報が含まれる。

例えば、図２に示すセルフレジ１００において、セルフレジ使用者Ｂが、未精算の商品Ｐを何れかの手で保持して、精算開始時の載置場所である未精算商品載置位置１３１から、商品情報読み取り部１１０（バーコードリーダー１１１）上の空間、或いは、商品情報読み取り部１１０（バーコードリーダー１１１）上の空間以外の未精算商品載置位置１３１から離隔した他の位置に移動させる動作が動作検出部３１による検出処理の検出対象となる「特定動作」である。

上述の「特定動作」を検出するために、動作検出部３１は、一例として、ニューラルネットワークを有する各種の機械学習型の画像解析装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いて構成することができる。尚、ディープランニングを用いた画像認識技術の具体例については、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０－４／ｏｒ６０＿４＿１９８．ｐｄｆ）

又、動作検出部３１において、監視画像からセルフレジ使用者の動作の詳細を機械的に認識するために、一例として、「ＯｐｅｎＰｏｓｅ」と称される公知の画像解析技術を用いることができる。本願発明者が特許第６５３４４９９号公報において開示しているように、「ＯｐｅｎＰｏｓｅ」を用いることにより、監視画像から「セルフレジ使用者」の骨格情報を抽出し、骨格を構成する各特徴点の位置や速度を解析することによって、「セルフレジ使用者」の動作を認識することができる。

又、「ＯｐｅｎＰｏｓｅ」等の画像解析技術を用いることにより、監視画像から、セルフレジ使用者Ｂの手の動きと商品Ｐの動きとをそれぞれ独立した情報として監視画像から抽出することもできる。このような機能を利用して、これらのセルフレジ使用者Ｂの手の動きと商品Ｐのそれぞれの動きや両者の動きの差分等を解析することによって、セルフレジ使用者Ｂが、未精算の商品Ｐを保持した状態の手の動きと、商品Ｐを保持していない状態の手の動きを区別して機械的に検出することができる。「セルフレジ使用者Ｂが商品Ｐを保持していない手を、動かす動作」について、商品を移動させる動作とは区別して「特定動作」からは排除することで、不正操作のご検知を大幅に減らすことができる。

動作検出部３１は、更には、監視画像から、セルフレジ使用者Ｂの上記「特定動作」以外の不審な動作も「不正予備動作」として検出できるものとすることがより好ましい。ここで、本明細書における上記の「不正予備動作」とは、セルフレジ使用者Ｂが精算時に不正行為を行う場合に当該不正行為に先行して行われることが多い動作として、セルフレジ監視システム１を用いる監視主体によって予め設定される「特異的な動作」のことを言う。そのような「特異的な動作」の判別は、一例として、本願発明者が特許第６５３４４９９号公報において開示しているように、監視画像内の人を、複数の領域（例えば、上部領域：頭部、中間領域：胴体部、下部領域：脚部）に区画して、それらの各領域毎に人の各部の位置変動に係る特徴量を抽出することによって行うことができる。

セルフレジ使用者Ｂによる典型的な「不正予備動作」の一例として、「精算作業に先行して周囲を複数回見回す動作」を挙げることができる。このような視線変動を伴う動作は、周知の様々な画像解析手段によって検出することが可能であるが、一例として、本願発明者が特許第６５６２４３７号において開示しているように、セルフレジ使用者の視線方向をその両耳と鼻の位置から検知する検知手段によっても高い精度で検出することができる。

（不審動作判定部）
不審動作判定部３２は、動作検出部３１によって検出されたセルフレジ使用者Ｂによる上述の「特定動作」の検出結果と、セルフレジ１００の商品情報読み取り部１１０（バーコードリーダー１１１）による商品情報の読み取り結果とを、対比して、セルフレジ使用者Ｂの操作の不審度を判定する演算処理を行う。この演算処理は、例えば、セルフレジ使用者Ｂによる上述の「特定動作」と、「商品情報の読み取り結果」の組合せを入力値とし、当該組合せ毎に対応する固有の不審度として規定されている不審度を出力する演算である。

不審度の出力は、一例として、以下のように行われる。例えば、特定動作として、「セルフレジ使用者Ｂが未精算の商品Ｐを手でつかんで、未精算商品載置位置１３１から、当該商品を商品情報読み取り部１１０（バーコードリーダー１１１）上の空間に移動させる動作」が検出されていて、且つ、当該動作に対応する「商品情報の読み取り結果」が検出されていない場合（「読み取り結果なし」が検出されている場合）には、「商品情報の読み取りエラー」という事態が推認されるので、不審動作判定部３２は、「商品情報の読み取りエラー」という事態に対応するための固有の不審度（例えば不審度「中」）を出力する。

又、不審度の出力の他の一例として、特定動作として、「セルフレジ使用者Ｂが未精算の商品Ｐを手でつかんで、未精算商品載置位置１３１から、当該商品を商品情報読み取り部１１０（バーコードリーダー１１１）上の空間以外の場所に移動させる動作」が検出されていて、且つ、当該動作に対応する「商品情報の読み取り結果」が検出されていない場合には、「商品情報の読み取りを回避する不正操作（万引き）の疑い」という事態が推認されるので、不審動作判定部３２は、「商品情報の読み取りを回避する不正操作（万引き）の疑い」という事態に対応するためのより高い固有の不審度（例えば不審度「高」）を出力するようにする。

一方で、特定動作として、「セルフレジ使用者Ｂが未精算の商品Ｐを手でつかんで、未精算商品載置位置１３１から、精算済商品載置位置１３２以外の場所に移動させる動作」が検出されていて、且つ、当該動作に対応する「商品情報の読み取り結果」が検出されている場合には、「商品情報の読み取りは行われているので不正操作（万引き）の疑い」は低く、例えば、単に精算済の商品をレジ袋等には収納せずに同伴者等に手渡したといった事態が推認されるので、不審動作判定部３２は、「最も低い不審度」（例えば不審度「低」）を出力するようにする。

又、不審動作判定部３２によるセルフレジ使用者Ｂの操作の不審度の判定においては、個々のセルフレジ使用者のＩＤ情報（好ましくは顔認証情報）と当該セルフレジ使用者の過去の操作の不審度の判定結果との組合せとして、判定履歴記憶部３３に記憶されているセルフレジ使用者Ｂの行動履歴も参照して、不審度の判定結果を調整するようにしてもよい。行動履歴を参照した結果、要注意顧客であると判定されたセルフレジ使用者に対しては、注意喚起情報を発信する基準となる閾値を下げる調整を行ってもよいが、或いは、当該セルフレジ使用者の現在の動作の不審度の判定結果にかかわらず、別途「要注意顧客である」というアラート情報を、会計補助者Ａ等の監視作業者等に向けて発信するようにしてもよい。

更に、セルフレジ監視システム１の動作検出部３１は、監視画像から、セルフレジ使用者の上記「特定動作」以外の不審な動作を「不正予備動作」として検出し、この「不正予備動作」の検出結果も参照して、不審度の判定結果を調整するようにしてもよい。ここで、本明細書における「不正予備動作」とは、セルフレジ使用者Ｂが不正行為を行う場合に当該不正行為に先行して行われることが多い動作であって、セルフレジ監視システム１を用いる監視主体によって予め設定される「特異的な動作」のことを言う。そのような「特異的な動作」の判別は、一例として、本願発明者が特許第６５３４４９９号公報において開示しているように、監視画像内の人を、複数の領域（例えば、上部領域：頭部、中間領域：胴体部、下部領域：脚部）に区画して、それらの各領域毎に人の各部の位置変動に係る特徴量を抽出することによって行うことができる。

セルフレジ使用者Ｂによる典型的な「不正予備動作」の一例として、「精算作業に先行して周囲を複数回見回す動作」を挙げることができる。このような視線変動を伴う動作は、一例として、本願発明者が特許第６５６２４３７号において開示しているように、セルフレジ使用者の視線方向をその両耳と鼻の位置から検知する検知手段によることができる。

（判定履歴記憶部）
判定履歴記憶部３３は、上述した通り、個々のセルフレジ使用者ＢのＩＤ情報と当該セルフレジ使用者の過去の不審度の判定結果との組合せを、個々のセルフレジ使用者Ｂの行動履歴として記憶する。判定履歴記憶部３３は、このような情報を登録可能な各種の記憶装置等により構成するデータベースである。

（注意喚起部）
注意喚起部３４は、不審動作判定部３２によるセルフレジ使用者Ｂの不審度の判定結果に応じた注意喚起情報を出力する。注意喚起情報は必要に応じて、セルフレジ使用者Ｂ、や会計補助者Ａ等の監視作業者に対してそれぞれ不正操作抑止に有効な内容の情報として伝達される。

尚、注意喚起情報を受信する装置としては、セルフレジ使用者Ｂ、又は、会計補助者Ａ等の監視作業者等が、注意喚起部３４の発信する情報を使用者が認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。そのような装置、機器であれば特に限定されず、使用者が所持するか、又は、貸与されている様々な情報受信端末を用いることができる。

不正操作を防止するために、セルフレジ監視システム１から発信される注意喚起情報は、具体的には、例えば、セルフレジ１００を構成する操作補助情報表示部１２０や、セルフレジ１００の会計補助者Ａやその他の監視者が所持する管理用情報処理端末に向けて発信される。

＜セルフレジ監視方法＞
本発明の「セルフレジ監視方法」は、上述した本発明の「セルフレジ監視システム」の動作によって好適に実行することができる。この「セルフレジ監視方法」は、図３に示すように、「セルフレジ監視システム」の監視撮影部１０において実行可能な監視撮影ステップＳ１０、ＩＤ情報取得部において実行可能なＩＤ情報取得ステップＳ２０、セルフレジ１００を構成する商品情報読み取り部１１０において実行可能な商品情報読み取りステップＳ３０、「セルフレジ監視システム」の動作検出部３１において実行可能な特定動作検出ステップＳ４０、不審動作判定部３２において実行可能な不審動作判定ステップＳ５０、注意喚起部３４において実行可能な注意喚起ステップＳ６０、及び、判定履歴記憶部３３において実行可能な判定履歴記憶ステップＳ７０が順次行われることによって、全体プロセスとして実行される。但し、上記各ステップのうち、ＩＤ情報取得ステップＳ２０及び判定履歴記憶ステップＳ７０は必須の構成要件ではなく、本発明の「セルフレジ監視方法」は、これらのステップを割愛した最小限の構成として実施することもできる。以下においては、本発明の「セルフレジ監視方法」について、上記Ｓ１０～Ｓ７０の全ステップが行われる場合における実施態様について、その詳細を説明する。

（監視撮影ステップ）
監視撮影ステップＳ１０では、監視撮影部１０によって、セルフレジ使用者Ｂ（セルフレジを使用して商品の精算作業を行う商品購入者）の動作が撮影される（図４（１））。監視撮影ステップＳ１０において撮影された監視画像は、デジタル形式の画像データとして出力され演算処理部３０に入力されて所定の演算処理に処される。

（ＩＤ情報取得ステップ）
ＩＤ情報取得ステップＳ２０では、ＩＤ情報取得部２０によって、セルフレジ使用者ＢのＩＤ情報が取得される。このＩＤ情報取得ステップＳ２０は、商品情報読み取りステップＳ３０の開始前に行われる。上述した通り、このＩＤ情報は、好ましくは、顔認証情報である。ＩＤ情報取得ステップＳ２０において取得されたＩＤ情報（好ましくは顔認証情報）も、デジタルデータとして演算処理部３０に入力されて所定の演算処理に処される。

尚、「セルフレジ監視方法」においては、ＩＤ情報取得ステップＳ２０において、セルフレジ使用者ＢのＩＤ情報が特定された際に、当該セルフレジ使用者Ｂが過去に不審度の高い行動を行っている場合には、当該セルフレジ使用者Ｂが要注意顧客である旨の予備的なアラート情報を、以降の処理に先行して会計補助者Ａ´の所持する情報処理端末に出力するようにしてもよい（図４（２））。セルフレジ使用者Ｂが要注意顧客であるか否かは、ＩＤ情報取得ステップＳ２０において取得されたＩＤ情報に基づき演算処理部３０内においてデータベース（判定履歴記憶部３３）に記憶されている過去の行動履歴を参照することによって機械的に判断することができる。

（商品情報読み取りステップ）
商品情報読み取りステップＳ３０では、商品Ｐの商品情報を、購入者であるセルフレジ使用者Ｂが、自ら、セルフレジ１００の商品情報読み取り部１１０（バーコードリーダー１１１）に読み取らせて、精算作業が行われる。この際、実際にセルフレジ１００の商品情報読み取り部１１０に正常に読み取られた商品情報が、「セルフレジ監視方法」を実行するためのシステム（演算処理部３０）にもセルフレジ使用者Ｂの動作との組合せによって不審動作を判定するための情報として入力される。

（特定動作検出ステップ）
特定動作検出ステップＳ４０では、監視撮影ステップＳ１０で得た監視画像から、セルフレジ使用者Ｂの手と、商品と、を抽出して、当該手の動きと当該商品との動きを解析することによって、上述した通りの精算作業に係る「特定動作」が検出される（図４（３）、（４））。

又、特定動作検出ステップＳ４０においては、監視画像から、セルフレジ使用者Ｂの「特定動作」以外の不審な動作（一例として頻繁は視線方向の変動等）を不正予備動作として検出して、不審動作の判定にこの検出結果を寄与させてもよい。

（不審動作判定ステップ）
不審動作判定ステップＳ５０では、特定動作検出ステップＳ４０において検出されたセルフレジ使用者Ｂの「特定動作」の検出結果と、商品情報の読み取り結果とを、対比して、セルフレジ使用者Ｂの操作の不審度が判定される（図４（５））。この不審度の判定においては、上述した通り、「不正予備動作」の検出結果も参照し、これを加味して不審度の判定基準を調整してもよい。判定の結果、セルフレジ使用者Ｂの不審度が所定の閾値を超えている場合（不審動作？ＹＥＳ）には、注意喚起ステップＳ６０が行われる。セルフレジ使用者Ｂの不審度が所定の閾値を超えていない場合（不審動作？ＮＯ）には、監視撮影ステップＳ１０に戻り監視作業を継続する。

（注意喚起ステップ）
注意喚起ステップＳ６０では、不審動作判定ステップＳ５０における判定の結果、セルフレジ使用者Ｂの不審度が所定の閾値を超えている場合（不審動作？ＹＥＳ）に、不審動作判定部３２によるセルフレジ使用者Ｂの不審度に応じた適切な注意喚起情報が出力される。不正操作を防止するために、発信される注意喚起情報は、具体的には、セルフレジ１００の会計補助者Ａ‘‘が所持する管理用情報処理端末に向けてアラート通知として発信される（図４（５））。

又、注意喚起ステップＳ６０においては、セルフレジ１００の操作補助情報表示部１２０（図２参照）に注意喚起情報を出力してもよい。このように、注意喚起情報をセルフレジ使用者Ｂや会計補助者Ａ等の監視作業者等に対してそれぞれ不正操作抑止に有効な内容の情報として伝達することができる。例えば、セルフレジ使用者の不正操作を事後的に検出するのみならず、ＩＤ情報や「不正予備動作」からセルフレジ使用者による不正操作発生の可能性を予測して、会計補助者Ａに予備的な注意喚起情報として通知するようにして、この通知を受けた会計補助者Ａが、当該セルフレジ使用者を観察して、必要に応じて、不正操作を実行する前の段階で、「何かお困りですか？」等といった声掛けをすることによって、不正操作を未然に防止する運用も有効である。又、この場合に、操作補助情報表示部１２０から、セルフレジ使用者Ｂに向けて「使い方がお分かりでない場合は、従業員が対応いたします」等といったアナウンスを行うことも、上記同様に不正操作を未然に抑制する有効な対処となる。」

（判定履歴記憶ステップ）
判定履歴記憶ステップＳ７０では、個々のセルフレジ使用者のＩＤ情報と当該セルフレジ使用者の過去の精算作業に係る動作の不審度との組合せが、個々のセルフレジ使用者の行動履歴として判定履歴記憶部３３（データベース）に記憶される（図４（６））。ＩＤ情報が顔認証情報である場合には、個人の名前等を登録せずに行動履歴を管理して不正操作の防止に活用することができる。

判定履歴記憶ステップＳ７０の実行後に、演算処理部３０が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合には、監視動作を終了し、それ以外の場合には、監視撮影ステップＳ１０へ戻り、監視を継続する。

１ セルフレジ監視システム
１０ 監視撮影部
１１ 監視カメラ
２０ ＩＤ情報取得部
２１ 顔認証情報取得部
３０ 演算処理部
３１ 動作検出部
３２ 不審動作判定部
３３ 判定履歴記憶部
３４ 注意喚起部
１００ セルフレジ
１１０ 商品情報読み取り部
１１１ バーコードリーダー
１２０ 操作補助情報表示部
１３１ 未精算商品載置位置
１３２ 精算済商品載置位置
Ｂ セルフレジ使用者
Ａ 会計補助者（監視者）
Ｐ 商品
Ｓ１０ 監視撮影ステップ
Ｓ２０ ＩＤ情報取得ステップ
Ｓ３０ 商品情報読み取りステップ
Ｓ４０ 特定動作検出ステップ
Ｓ５０ 不審動作判定ステップ
Ｓ６０ 注意喚起ステップ
Ｓ７０ 判定履歴記憶ステップ

Claims (13)

1. 商品情報を購入者が自ら商品情報読み取り部に読み取らせて精算作業を行うセルフレジ用の監視システムであって、
   セルフレジ使用者を撮影する、監視撮影部と、
   前記監視撮影部が撮影した監視画像を解析して、前記セルフレジ使用者が、未精算の商品を保持して、未精算商品載置位置から他の位置に移動させる特定動作を検出する、動作検出部と、
   前記セルフレジ使用者の操作の不審度を判定する、不審動作判定部と、
   前記不審動作判定部による不審度の判定結果に応じた注意喚起情報を出力する注意喚起部と、
   前記セルフレジ使用者のＩＤ情報を取得するＩＤ情報取得部と、
   個々の前記セルフレジ使用者のＩＤ情報と当該セルフレジ使用者の過去の操作の不審度の判定結果との組合せを、個々の前記セルフレジ使用者の行動履歴として記憶する判定履歴記憶部と、
   を備え、
   前記不審動作判定部は、前記動作検出部によって検出された前記セルフレジ使用者による前記特定動作の検出結果と、前記商品情報読み取り部による前記商品情報の読み取り結果とを、対比して、更に、前記判定履歴記憶部に記憶されている前記セルフレジ使用者の前記行動履歴も参照して、前記セルフレジ使用者の操作の不審度を判定する、
   セルフレジ監視システム。
2. 前記ＩＤ情報取得部が前記セルフレジ使用者の顔認証情報をＩＤ情報として取得する顔認証情報取得部である、
   請求項１に記載のセルフレジ監視システム。
3. 前記動作検出部は、ニューラルネットワークを有する各種の機械学習型の画像解析装置によって、前記監視画像中の前記セルフレジ使用者の手の動きと前記商品との動きを解析することによって、前記特定動作を検出する、
   請求項１又は２に記載のセルフレジ監視システム。
4. 前記動作検出部は、前記監視画像から、前記セルフレジ使用者の前記特定動作以外の不審な動作を不正予備動作として検出し、
   前記不審動作判定部は、前記不正予備動作の検出結果も参照して、前記セルフレジ使用者の操作の不審度を判定する、
   請求項１から３の何れかに記載のセルフレジ監視システム。
5. 前記不正予備動作として、前記セルフレジ使用者の視線方向の変動を検出する、
   請求項４に記載のセルフレジ監視システム。
6. 前記セルフレジ使用者に操作補助情報を表示する操作補助情報表示部を備えるセルフレジにおいて、
   前記注意喚起部は、操作の前記不審度が閾値を超えた時に、操作補助情報表示部に注意喚起情報を出力する、
   請求項１から５の何れかに記載のセルフレジ監視システム。
7. 請求項１から６の何れかに記載のセルフレジ監視システムが備えられている、セルフレジ。
8. 商品情報を購入者が自ら商品情報読み取り部に読み取らせる商品情報読み取りステップによって精算作業を行うセルフレジ用の監視方法であって、
   監視撮影部が、セルフレジ使用者を撮影する、監視撮影ステップと、
   ＩＤ情報取得部が、前記商品情報読み取りステップの開始前に、前記セルフレジ使用者のＩＤ情報を取得する、ＩＤ情報取得ステップと、
   動作検出部が、前記監視撮影部が撮影した監視画像から、前記セルフレジ使用者が前記精算作業中に未精算の商品を保持して、未精算商品載置位置から他の位置に移動させる特定動作を検出する、特定動作検出ステップと、
   不審動作判定部が、前記セルフレジ使用者の操作の不審度を判定する、不審動作判定ステップと、
   判定履歴記憶部が、前記不審動作判定ステップの実行後に、個々の前記セルフレジ使用者のＩＤ情報と当該セルフレジ使用者の前記不審度との組合せを個々の前記セルフレジ使用者の行動履歴として記憶する、判定履歴記憶ステップと、
   注意喚起部が、前記不審度が閾値を超えた時に、注意喚起情報を出力する、注意喚起ステップと、を備え、
   前記不審動作判定ステップにおいては、前記特定動作の検出結果と、前記商品情報の読み取り結果とを、対比して、更に、判定対象とする前記セルフレジ使用者の前記行動履歴も参照して、前記セルフレジ使用者の操作の不審度が判定される、
   セルフレジ監視方法。
9. 前記ＩＤ情報取得ステップにおいては、前記セルフレジ使用者の顔認証情報を前記ＩＤ情報として取得する顔認証情報取得処理が行われる、
   請求項８に記載のセルフレジ監視方法。
10. 前記特定動作検出ステップにおいては、ニューラルネットワークを有する各種の機械学習型の画像解析装置によって、前記監視画像中の前記セルフレジ使用者の手の動きと前記商品との動きを解析することによって、前記特定動作を検出する、
    請求項８又は９に記載のセルフレジ監視方法。
11. 前記特定動作検出ステップにおいては、前記監視画像から、前記セルフレジ使用者の前記特定動作以外の不審な動作を不正予備動作として検出し、
    前記不審動作判定ステップにおいては、前記不正予備動作の検出結果も参照して、前記セルフレジ使用者の操作の不審度が判定される、
    請求項８から１０の何れかに記載のセルフレジ監視方法。
12. 前記不正予備動作として、前記セルフレジ使用者の視線方向の変動を検出する、
    請求項１１に記載のセルフレジ監視方法。
13. 請求項８から１２の何れかに記載のセルフレジ監視方法において、
    前記特定動作検出ステップ及び前記不審動作判定ステップを、
    前記動作検出部及び、前記不審動作判定部を含んで構成される演算処理部に実行させる、不正操作監視用のプログラム。

Images