JP2023130743A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】商品棚が写された撮像画像の撮像時において、当該撮像画像における商品検出処理の検出対象範囲を設定可能とする。
【解決手段】表示処理部２４は、カメラ１８によって商品棚を撮像して得られるライブビュー画像４２をディスプレイ１６に表示させる。検出対象範囲設定部２６は、ライブビュー画像４２の表示中におけるユーザの操作に応じて、カメラ１８で撮像して得られる撮像画像の全部又は一部である検出対象範囲５０を設定する。商品検出処理部３０は、カメラ１８で撮像して得られた撮像画像のうち、検出対象範囲設定部２６が設定した検出対象範囲５０に対して、商品を検出する商品検出処理を実行する。
【選択図】図３

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来、商品が配置された商品棚をカメラで撮像して撮像画像を取得し、当該撮像画像を解析することで、当該商品棚に配置された商品を検出する商品検出処理が行われている。

例えば、特許文献１には、商品棚を撮影して得られた撮影画像から商品を検出する棚割情報生成装置であって、ユーザが撮影画像の商品棚の段の位置を指定し、撮影画像から検出された商品の位置と、ユーザによって指定された商品棚の段の位置との関係に基づいて、検出された商品が配置されている段を特定する棚割情報生成装置が開示されている。特許文献２又は３には、商品棚を撮影して得られた撮影画像から商品を検出する棚割情報生成装置であって、カメラで撮像して得られるライブビュー画像（ファインダ画像）上に、商品棚の位置を表すガイドマークを表示させ、当該ガイドマークに合わせて商品棚を撮影可能な棚割情報生成装置が開示されている。

特許第６６２３５６５号公報 特許第６９３３２７３号公報 特許第６６７９８４７号公報

ところで、商品棚を撮像して得られた撮像画像から商品を検出する商品検出処理を行う際に、当該撮像画像の一部分のみを商品検出処理の対象としたい場合がある。その理由として、これに限られるものではないが、例えば、複数の商品棚に配置された商品を商品棚毎に検出したい場合、注目商品棚以外の他の商品棚の一部（又は全部）が撮像画像に写り込んでしまうと、他の商品棚に配置された商品も注目商品棚に配置された商品として検出されてしまう場合があるからである。また、撮影画像に写っている、注目商品棚以外にある物体（商品とは限らない）が、商品検出処理の精度を低下させる要因になる場合も考えられる。

したがって、撮像画像において、商品検出処理の対象範囲である検出対象範囲を設定するのがよい。ここで、商品棚を撮影した後に、撮影により得られた画像データに対して、人の手によって検出対象範囲を設定することも考えられる。しかしながら、そのようにすると、当該画像データを何らかの装置にて表示させた上で検出対象範囲を特定しなければならず手間となる。また、撮影者と検出対象範囲の設定者が異なる場合などにあっては、画像データの内容によっては、正しい検出対象範囲が事後的に分からなくなるといった問題も発生し得る。

本発明の目的は、商品棚が写された撮像画像の撮像時において、当該撮像画像における商品検出処理の検出対象範囲を設定可能とすることにある。

請求項１に係る発明は、プロセッサを備え、前記プロセッサは、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、前記検出対象範囲に対して前記商品検出処理を実行する、ことを特徴とする情報処理装置である。
請求項２に係る発明は、プロセッサを備え、前記プロセッサは、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信する、ことを特徴とする情報処理装置である。
請求項３に係る発明は、前記プロセッサは、前記ライブビュー画像が表示された前記表示部に対する前記ユーザの操作に応じて、前記検出対象範囲を設定する、ことを特徴とする請求項１又は２に記載の情報処理装置である。
請求項４に係る発明は、前記プロセッサは、前記表示部に対する前記ユーザのスライド操作に応じて、前記検出対象範囲の大きさを変更する、ことを特徴とする請求項３に記載の情報処理装置である。
請求項５に係る発明は、前記プロセッサは、前記ユーザから前記検出対象範囲の輪郭の指定を受け付ける、ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置である。
請求項６に係る発明は、前記プロセッサは、設定した前記検出対象範囲を示す態様で前記ライブビュー画像を前記表示部に表示させる、ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置である。
請求項７に係る発明は、前記プロセッサは、前記ライブビュー画像の前記検出対象範囲以外の部分は表示しない、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に係る発明は、前記プロセッサは、前記検出対象範囲に対して物体を検出する物体検出処理を実行し、前記物体検出処理の結果を示す情報を前記ライブビュー画像と共に前記表示部に表示させる、ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置である。
請求項９に係る発明は、前記プロセッサは、前記検出対象範囲に基づいて前記撮像画像をトリミングし、トリミングされた前記撮像画像を前記商品検出処理装置に送信する、ことを特徴とする請求項２に記載の情報処理装置である。
請求項１０に係る発明は、コンピュータに、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、前記検出対象範囲に対して前記商品検出処理を実行させる、ことを特徴とする情報処理プログラムである。
請求項１１に係る発明は、コンピュータに、カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信させる、ことを特徴とする情報処理プログラムである。

請求項１、２、１０、又は１１に係る発明によれば、商品棚が写された撮像画像の撮像時において、当該撮像画像における商品検出処理の検出対象範囲を設定することができる。
請求項３に係る発明によれば、ユーザは、ライブビュー画像が表示された表示部に対する操作によって検出対象範囲を設定することができる。
請求項４に係る発明によれば、ユーザは、ライブビュー画像が表示された表示部に対するスライド操作によって検出対象範囲を設定することができる。
請求項５に係る発明によれば、検出対象範囲を明示的に設定することができる。
請求項６に係る発明によれば、ユーザは、ライブビュー画像において設定した検出対象範囲を確認することができる。
請求項７に係る発明によれば、ユーザは、ライブビュー画像において検出対象範囲以外の部分が表示された場合に比して、検出対象範囲をより明確に把握することができる。
請求項８に係る発明によれば、ユーザは、物体検出処理の結果を参考にして検出対象範囲を設定することができる。
請求項９に係る発明によれば、撮像画像のうち、商品検出処理に必要な部分のみを商品検出装置に送信することができる。

第１実施形態に係る情報処理装置の構成概略図である。 撮影画面の例を示す図である。 スライド操作により検出対象範囲が設定される例を示す第１の図である。 スライド操作により検出対象範囲が設定される例を示す第２の図である。 検出対象範囲の他の表示例を示す図である。 スライド操作により検出対象範囲が設定される例を示す第３の図である。 スライド操作により検出対象範囲が設定される例を示す第４の図である。 検出対象範囲の他の例を示す図である。 棚割情報の例を示す図である。 物体検出処理の結果の表示例を示す図である。 第２実施形態に係る情報処理システムの構成概略図である。 第２実施形態に係る情報処理装置の構成概略図である。

＜第１実施形態＞
図１は、第１実施形態に係る情報処理装置１０の構成概略図である。情報処理装置１０は、カメラ機能を備え、ユーザが携帯して利用可能な装置である。詳しくは後述するように、情報処理装置１０は、商品棚を撮像し、それにより得られた撮像画像データ（本明細書では、画像データを単に「画像」と記載する場合がある）を解析することで、当該撮像画像に映っている商品（当該商品棚に置かれている商品）を検出する装置である。したがって、情報処理装置１０のユーザは、商品を製造しているメーカの従業員、当該商品が置かれている店の従業員、あるいは、店の売り場作りを支援するサービスを提供する企業の従業員などである。情報処理装置１０は、例えば、タブレット端末やスマートフォンなどであるが、これらに限られるものではない。

通信インターフェース１２は、例えばＮＩＣ（Network Interface Card）を含んで構成される。通信インターフェース１２は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、あるいは移動体通信ネットワークなどの通信回線を介して他の装置と通信する機能を発揮する。

入力インターフェース１４は、例えば各種ボタンやタッチパネルを含んで構成される。入力インターフェース１４は、情報処理装置１０のユーザからの指示を情報処理装置１０に入力するために用いられる。

表示部としてのディスプレイ１６は、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネルを含んで構成される。ディスプレイ１６には、後述のプロセッサ２２（特に表示処理部２４）の制御に従って、種々の画面が表示される。

カメラ１８は、デジタルカメラであり、レンズなどの光学系や、光学系からの光を電気信号に変換して画像を形成するＣＣＤ（Charge Coupled Device）などのイメージセンサを含んで構成される。カメラ１８は静止画像を取得するスチルカメラであってもよいし、動画像を取得するビデオカメラであってもよい。カメラ１８はズーム機能（光学ズーム又はデジタルズームの少なくとも一方）を有しているとよい。

メモリ２０は、ｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成される。メモリ２０には、情報処理装置１０の各部を動作させるための情報処理プログラムが記憶される。なお、情報処理プログラムは、ＵＳＢ（Universal Serial Bus）メモリ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。情報処理装置１０は、そのような記憶媒体から情報処理プログラムを読み取って実行することができる。

プロセッサ２２は、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサ２２としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図２に示すように、プロセッサ２２は、メモリ２０に記憶された情報処理プログラムに従って、表示処理部２４、検出対象範囲設定部２６、対象画像特定部２８、及び商品検出処理部３０としての機能を発揮する。

表示処理部２４は、ディスプレイ１６に種々の画面を表示させる。特に、表示処理部２４は、ユーザによってカメラ機能が起動されると、撮影画像を取得するための撮影画面をディスプレイ１６に表示させる。

図２は、ディスプレイ１６に表示された撮影画面４０の例を示す図である。本明細書における図面においては、ディスプレイ１６に表示された画面の左右方向をＸ軸とし、画面の上下方向をＹ軸としている。撮影画面４０には、カメラ１８が撮像して得られたライブビュー画像４２が含まれる。ライブビュー画像４２とは、カメラ１８のイメージセンサが生成した画像であってリアルタイムにディスプレイ１６に表示される画像である。上述のように、情報処理装置１０は、商品が置かれた商品棚を撮影するものであるから、ライブビュー画像４２には、商品に対応する商品像Ｍ及び商品棚に対応する商品棚像Ｓが含まれる。なお、撮影画面４０には、撮影ボタン４４が含まれる。ユーザが撮影ボタン４４を操作することで、静止画像の撮影（又は動画像の撮影開始）をすることができる。

本明細書において、「撮影」とは、ユーザの指示などに応じて、カメラ１８のイメージセンサにより生成された画像を、撮影画像（つまり静止画ファイル又は動作ファイル）としてメモリ２０記憶させることを意味するものとする。また、「撮像」とは、カメラ１８のイメージセンサにより生成された画像がメモリ２０に記憶されるか否かを問わず、当該イメージセンサによって画像を生成することを意味するものとする。すなわち、「撮像」は「撮影」の上位概念であり「撮像画像」には「撮影画像」が含まれる。例えば、ライブビュー画像４２は、「撮像画像」に含まれるが「撮影画像」には含まれない。

情報処理装置１０において、カメラ１８により撮像された撮像画像を解析することで、当該撮像画像に含まれる商品を検出する商品検出処理が実行されるところ、情報処理装置１０においては、ライブビュー画像４２の表示中、すなわち撮像画像の撮影時において、撮像画像において商品検出処理の対象となる検出対象範囲を設定可能となっている。

検出対象範囲設定部２６は、ライブビュー画像４２の表示中におけるユーザの操作に応じて、カメラ１８で撮像して得られる撮像画像における、商品検出処理の対象である検出対象範囲を設定する。検出対象範囲は、撮像画像の全部であってもよいし、撮像画像の一部であってもよい。本実施形態では、検出対象範囲設定部２６は、ライブビュー画像４２が表示されたディスプレイ１６（タッチパネル）に対するユーザの操作に応じて、ライブビュー画像４２上において検出対象範囲を設定する。特に、検出対象範囲設定部２６は、指やスタイラスをディスプレイ１６に接触させながら移動させるスライド操作に応じて、ライブビュー画像４２上において検出対象範囲を設定する。

例えば、表示処理部２４は、撮影画面４０において、ライブビュー画像４２と共に、スライドバー４６、及び、ユーザのスライド操作によってスライドバー４６上を移動可能なスライダ４８を表示させる。図２の例では、スライドバー４６は画面の上下方向（Ｙ軸方向）に延伸しており、スライダ４８は画面の上下方向に移動可能となっているが、スライドバー４６の延伸方向（スライダ４８の移動方向）はこれには限られない。初期状態（撮影画面４０の表示開始時）において、スライダ４８はスライドバー４６の中央（上下方向中央）に位置しており、初期状態においては、ライブビュー画像４２の全部（撮像画像の全部）が検出対象範囲となっている。ライブビュー画像４２は矩形であるから、初期状態において検出対象範囲は矩形であると言える。

ユーザによってスライダ４８がスライドバー４６に沿って移動させられたことに応じて、検出対象範囲設定部２６は、検出対象範囲の形状を変更する。例えば、図３に示すように、スライダ４８を初期位置からスライドバー４６の一端側（図３の例では下端側（Ｙ軸正方向側））に移動させるようにユーザがスライド操作を行うと、検出対象範囲設定部２６は、検出対象範囲５０の高さ（Ｙ軸方向における長さ）が小さくなるように、検出対象範囲５０の形状を変更する。ユーザがスライダ４８の位置をスライドバー４６の中央に対してより下端側に位置させるほど、検出対象範囲設定部２６は、検出対象範囲５０の高さをより小さくするとよい。換言すれば、スライダ４８がスライドバー４６の中央から徐々に下側に移動するにつれ、検出対象範囲設定部２６は、検出対象範囲５０の高さを徐々に小さくしていくとよい。

一方、図４に示すように、スライダ４８を初期位置からスライドバー４６の他端側（図３の例では上端側（Ｙ軸負方向側））に移動させるようにユーザがスライド操作を行うと、検出対象範囲設定部２６は、検出対象範囲５０の幅（Ｘ軸方向における長さ）が小さくなるように、検出対象範囲５０の形状を変更する。ユーザがスライダ４８の位置をスライドバー４６の中央に対してより上端側に位置させるほど、検出対象範囲設定部２６は、検出対象範囲５０の幅をより小さくするとよい。換言すれば、スライダ４８がスライドバー４６の中央から徐々に上側に移動するにつれ、検出対象範囲設定部２６は、検出対象範囲５０の幅を徐々に小さくするとよい。

表示処理部２４は、検出対象範囲設定部２６が設定した検出対象範囲５０を示す態様でライブビュー画像４２を表示させるとよい。これにより、ユーザは、設定された検出対象範囲５０を把握することができる。例えば、表示処理部２４は、図３又は図４に示すように、検出対象範囲５０の輪郭を示す枠５２をライブビュー画像４２に重畳させて表示させるとよい。好適には、表示処理部２４は、検出対象範囲５０の設定中（例えばユーザがスライダ４８を操作していている間）においても検出対象範囲５０を示すとよい。この場合、ユーザのスライド操作に応じて、枠５２の形状が徐々に変化することになる。

また、表示処理部２４は、図５に示すように、ライブビュー画像４２のうち、検出対象範囲５０以外の部分は表示しないようにしてもよい。これによれば、検出対象範囲５０以外の部分が表示された場合に比して、ユーザは、より明確に検出対象範囲５０を把握することができる。

検出対象範囲５０を設定するためのスライド操作は、上述のスライダ４８を移動させる操作に限られない。例えば、検出対象範囲５０を設定するためのスライド操作としては、２つの指をディスプレイ１６に接触させ、当該２つの指のディスプレイ１６との接触位置を近付ける又は遠ざけるピンチ操作であってよい。なお、２つの指のディスプレイ１６との接触位置を近付ける操作をピンチイン操作と呼び、２つの指のディスプレイ１６との接触位置を遠ざける操作をピンチアウト操作と呼ぶ。

具体的には、図６に示すように、ディスプレイ１６に接触させた２つの指を画面の上下方向に移動させて近づけるピンチイン操作をユーザが行った場合、検出対象範囲設定部２６は、検出対象範囲５０の高さが小さくなるように、検出対象範囲５０の形状を変更する。ユーザが当該２つの指をより近付けるほど、検出対象範囲設定部２６は、検出対象範囲５０の高さをより小さくするとよい。換言すれば、ユーザが当該２つの指を近付けるにつれ、検出対象範囲設定部２６は、検出対象範囲５０の高さを徐々に小さくするとよい。

反対に、ディスプレイ１６に接触させた２つの指を画面の上下方向に移動させて遠ざけるピンチアウト操作をユーザが行った場合、検出対象範囲設定部２６は、検出対象範囲５０の高さが大きくなるように、検出対象範囲５０の形状を変更する。ユーザが当該２つの指をより遠ざけるほど、検出対象範囲設定部２６は、検出対象範囲５０の高さをより大きくするとよい。換言すれば、ユーザが当該２つの指を遠ざけるにつれ、検出対象範囲設定部２６は、検出対象範囲５０の高さを徐々に大きくするとよい。

一方、図７に示すように、ディスプレイ１６に接触させた２つの指を画面の左右方向に移動させて近づけるピンチイン操作をユーザが行った場合、検出対象範囲設定部２６は、検出対象範囲５０の幅が小さくなるように、検出対象範囲５０の形状を変更する。ユーザが当該２つの指をより近付けるほど、検出対象範囲設定部２６は、検出対象範囲５０の幅をより小さくするとよい。換言すれば、ユーザが当該２つの指を近付けるにつれ、検出対象範囲設定部２６は、検出対象範囲５０の幅を徐々に小さくするとよい。

反対に、ディスプレイ１６に接触させた２つの指を画面の左右方向に移動させて遠ざけるピンチアウト操作をユーザが行った場合、検出対象範囲設定部２６は、検出対象範囲５０の幅が大きくなるように、検出対象範囲５０の形状を変更する。ユーザが当該２つの指をより遠ざけるほど、検出対象範囲設定部２６は、検出対象範囲５０の幅をより大きくするとよい。換言すれば、ユーザが当該２つの指を遠ざけるにつれ、検出対象範囲設定部２６は、検出対象範囲５０の幅を徐々に大きくするとよい。

検出対象範囲５０が撮像画像の一部に設定された場合、検出対象範囲設定部２６は、ユーザ操作に応じて、検出対象範囲５０の位置を変更可能であるとよい。例えば、ユーザが検出対象範囲５０内をタッチした上でスライド操作をした場合、検出対象範囲設定部２６は、検出対象範囲５０の大きさ及び形状を維持しつつ、ユーザが指示した位置に検出対象範囲５０の位置を移動させるとよい。

なお、検出対象範囲５０を設定するためのユーザ操作は、ライブビュー画像４２が表示されたディスプレイ１６（タッチパネル）に対するユーザの操作に限られない。例えば、検出対象範囲設定部２６は、ライブビュー画像４２の表示中において、情報処理装置１０が備えるボタンやスイッチなどをユーザが操作したことに応じて、検出対象範囲５０を設定（例えば検出対象範囲５０の形状を変更）するようにしてもよい。

本実施形態では、ユーザは、検出対象範囲５０の輪郭（換言すれば外形）を直接的に指定している。すなわち、検出対象範囲５０は、ユーザから検出対象範囲５０の輪郭の指定を受け付け、当該指定が示す輪郭を有する検出対象範囲５０を設定する。ユーザが検出対象範囲５０の輪郭を直接的に指定しない態様を採用することも考えられる。例えば、ユーザがライブビュー画像４２内のある点を指定し、当該点を中心とする所定範囲を検出対象範囲５０とすることも考えられる。あるいは、ユーザがライブビュー画像４２内において線分（例えば棚板に沿った線分）を指定し、当該線分に応じた所定範囲を検出対象範囲５０とすることも考えられる。もちろん、このような実施形態も採用し得るが、このような場合、検出対象範囲５０の際をユーザが直接的に指定しておらず、検出対象範囲５０の輪郭の細かい設定が困難となる場合も生じ得る。したがって、本実施形態では、検出対象範囲５０の輪郭をユーザが指定することを可能にしている。

図３、図４、図６、及び図７で示した例のように、検出対象範囲設定部２６が、検出対象範囲５０を矩形に維持しつつ、ユーザ指示に応じてその形状を変更している場合、検出対象範囲設定部２６は、検出対象範囲５０のアスペクト比を変更している、ということもできる。なお、検出対象範囲５０の高さをＨとし、幅をＷとした場合、アスペクト比Ｒは以下の式で算出される。
Ｒ＝Ｈ／Ｗ

特に、本実施形態では、検出対象範囲設定部２６は、検出対象範囲５０の高さ及び幅を個別的に自由に設定可能となっている。すなわち、検出対象範囲設定部２６は、検出対象範囲５０のアスペクト比を自由に（１６：９や４：３といった特定のアスペクト比に限られず）設定できると言える。換言すれば、本実施形態では、ユーザは、検出対象範囲５０のアスペクト比を自由に設定できる。

検出対象範囲５０は、必ずしも矩形である必要はない。例えば、撮影対象の商品棚の形状や商品の配置の状態などに応じて、検出対象範囲設定部２６は、矩形以外の形状の検出対象範囲５０を設定可能であってもよい。例えば、図８に示すように、検出対象範囲５０は凸型であってもよい。その他、検出対象範囲５０としては、例えば、円形、凹型、ハート型、あるいは星型など、種々の形状であってよい。

具体的には、検出対象範囲５０として利用できる種々の形状を予め記憶させておき、表示処理部２４が検出対象範囲５０の選択画面をディスプレイ１６に表示させる。ユーザが当該選択画面において所望の形状を選択すると、検出対象範囲設定部２６は、当該形状の検出対象範囲５０を、ライブビュー画像４２において、所定の大きさ及び所定の位置に設定する。その後、ユーザ操作（例えば検出対象範囲５０に対するスライド操作）に応じて、検出対象範囲設定部２６は、設定された検出対象範囲５０の形状を維持しつつ、その大きさや位置を変更する。

上述のように、カメラ１８はズーム機能を有している。ユーザは、ズーム機能を利用することによって、カメラ１８と商品棚の相対位置関係を維持しつつ、撮像画像（例えばライブビュー画像４２）の撮像範囲や、撮像画像における商品棚像Ｓや商品像Ｍの大きさを変更することができる。ユーザは、ズーム機能と、上述の検出対象範囲５０の設定機能を組み合わせることで、検出対象範囲５０をより好適な範囲に設定することができる。

また、撮像画像の撮影支援として、表示処理部２４は、ライブビュー画像４２において、Ｘ軸方向及びＹ軸方向に延伸する格子上の線からなるグリッドを表示させるとよい。

図１に戻り、対象画像特定部２８は、カメラ１８によって撮像された撮像画像の中から、商品検出処理の対象となる撮像画像である対象画像を特定する。例えば、対象画像特定部２８は、ユーザが撮影ボタン４４を操作することで撮影された静止画の撮影画像を対象画像として特定する。ユーザが複数の静止画の撮影画像を撮影した場合は、対象画像特定部２８は、当該複数の撮影画像のうちユーザによって指定された撮影画像を対象画像とするようにしてもよい。また、対象画像特定部２８は、ユーザが撮影ボタン４４を操作することで撮影された動画像の内の所定フレームを対象画像として特定してもよい。所定フレームはユーザが選択してもよいし、対象画像特定部２８が自動的に選択してもよい。

また、対象画像特定部２８は、撮影画像ではない撮像画像を対象画像とすることができる。例えば、ライブビュー画像４２の内の所定フレームを対象画像として特定することができる。本実施形態では、ライブビュー画像４２上において検出対象範囲５０を設定するので、例えば、対象画像特定部２８は、ユーザによる検出対象範囲５０の設定が完了したか否かを判定した上で、設定完了後のライブビュー画像４２を対象画像とすることができる。検出対象範囲５０の設定が完了したか否かの判定は、例えば、検出対象範囲５０の設定完了の通知をユーザが入力したことに基づいて判定してもよいし、あるいは、検出対象範囲５０が所定時間変更されなかったことに基づいて判定してもよい。撮像画像を対象画像とすることで、ユーザは、撮影ボタン４４を操作するなどの撮影操作を行うことなく、また、画像ファイルを取得することなく、カメラ１８を商品棚に向けるだけで商品検出処理を実行させることが可能となる。

対象画像特定部２８が対象画像を特定すると、当該対象画像と、当該対象画像における検出対象範囲５０を示す情報が関連付けられてメモリ２０に記憶される。例えば、検出対象範囲５０が矩形である場合、検出対象範囲５０を示す情報は、検出対象範囲５０の四隅の座標（対象画像上の座標）であってよい。また、検出対象範囲５０が矩形以外の形状である場合、検出対象範囲５０を示す情報は、検出対象範囲５０の外接矩形の四隅の座標及び当該検出対象範囲５０の形状を示す形状情報であってよい。また、対象画像特定部２８は、検出対象範囲５０に基づいて対象画像をトリミングした（換言すれば対象画像から検出対象範囲５０を抽出した）トリミング画像を保持するようにしてもよい。この場合、トリミング画像全体が検出対象範囲５０となるから、トリミング画像自体が検出対象範囲５０を示す情報となる。

商品検出処理部３０は、対象画像特定部２８が特定した対象画像のうちの、検出対象範囲設定部２６が設定した検出対象範囲５０に対して、商品を検出する商品検出処理を実行する。本実施形態における商品検出処理は、検出対象範囲５０から物体を検出する物体検出処理、及び、検出された物体が何の商品であるかを特定する商品特定処理を含む。また、商品検出処理には、特定された商品の配置位置を検出する位置検出処理を含んでいてもよい。

まず、商品検出処理部３０は、検出対象範囲５０に対して物体検出処理を実行する。物体検出処理としては、既知の技術を利用することができる。例えば、検出対象範囲５０に対してエッジ抽出処理を実行することで物体像の輪郭を抽出し、抽出された物体像の輪郭に基づいて物体像を検出することができる。なお、物体検出処理の段階では、検出された物体（商品）の商品カテゴリや商品名はまだ特定されていない状態である。

次いで、商品検出処理部３０は、物体検出処理で検出された物体が何の商品であるかを特定する商品特定処理を実行する。本実施形態では、商品検出処理部３０は、商品像を含む画像を入力することで当該商品が何であるかを特定するように十分に学習された学習器を用いて、当該商品を特定する。具体的には、商品検出処理部３０は、物体検出処理により得られた物体像の外接矩形（バウンディングボックス）内の範囲を対象画像から切り出して商品画像を得て、当該商品画像を学習器に入力し、当該学習器の出力に基づいて当該商品を特定する。

ここで、学習器の出力結果の精度を向上させるべく、ユーザは、商品画像が示す商品の商品カテゴリ（例えば「飲み物」や「お菓子」など）を併せて学習器に入力するとよい。一般的に、商品棚において、同じ商品カテゴリの商品がまとめて置かれる場合が多いため、検出対象範囲５０に同じ商品カテゴリの商品が含まれるようにすることで、ユーザは、１つの対象画像から検出された複数の商品の商品カテゴリを一括して指定することも可能である。

なお、物体検出処理によって、商品ではない物体が検出される場合もあり得る。その場合、商品検出処理部３０は、当該物体像を含む画像を入力した学習器の出力に基づいて、当該画像には商品像が含まれていないと判定することができる。

また、商品検出処理部３０は、検出対象範囲５０における各商品像（商品が特定された物体像）の検出位置に基づいて、商品の配置位置を検出する位置検出処理を実行する。例えば、商品検出処理部３０は、検出対象範囲５０において、複数の商品像が上下方向に３つ並ぶように検出されたのであれば、当該検出対象範囲５０において３段の棚があると把握することができる。また、検出対象範囲５０における、左右方向における商品像の検出位置に基づいて、検出対象範囲５０内において、当該商品が商品棚の左から（又は右から）何番目に配置されているかを把握することができる。

商品検出処理部３０は、上述のような商品検出処理を実行することで、検出対象範囲５０から検出された商品とその位置を示す棚割情報を生成する。図９は、棚割情報の例を示す図である。図９に示す棚割情報においては、当該検出対象範囲５０から検出された商品を一意に識別する識別ＩＤ、特定された商品名、及び当該商品の配置位置（商品棚の何段目か、及び、商品棚の左右方向における位置）などが互いに関連付けられて記憶される。棚割情報には、撮像対象の商品棚の設置店舗、当該商品棚が当該店舗内のどの商品棚であるのか、あるいは、対象画像の撮影日時などの属性情報が付加されていてもよい。

当該棚割情報はユーザに提供される。

商品検出処理部３０は、対象画像特定部２８により対象画像が特定されるに先立って、ライブビュー画像４２のうちの検出対象範囲５０に対して、商品検出処理のうちの物体検出処理を実行し、表示処理部２４が、当該物体検出処理の結果をライブビュー画像４２と共にディスプレイ１６に表示させるようにしてもよい。例えば、表示処理部２４は、図１０に示すように、物体検出処理により検出された物体の外接矩形であるバウンディングボックス５４をライブビュー画像４２に重畳させて表示させることができる。これにより、ユーザは、目的とする商品が正しく物体として検出されることを確認しながら、検出対象範囲５０を設定することができる。

なお、プロセッサ２２の処理性能が十分に高い場合には、商品検出処理部３０は、ライブビュー画像４２に対して、リアルタイムに商品特定処理を含む商品検出処理を実行し、ライブビュー画像４２と共に、リアルタイムに商品特定処理の結果を表示するようにしてもよい。例えば、ライブビュー画像４２に重畳させて、検出された商品の近傍に特定された商品名を表示させるようにしてもよい。

第１実施形態に係る情報処理装置１０の概要は以上の通りである。情報処理装置１０によれば、ユーザは、商品棚を被写体とする撮像画像の撮像時において、当該撮像画像における検出対象範囲５０を設定することができる。これにより、撮像画像の撮像後において検出対象範囲５０を設定する手間がかからないし、撮像画像の撮像後において検出対象範囲５０を設定する際に正しい検出対象範囲５０が分からなくなってしまうことも防止される。

＜第２実施形態＞
図１１は、第２実施形態に係る情報処理システム６０の構成概略図である。情報処理システム６０は、情報処理装置６２及び商品検出処理装置６４を含んで構成される。情報処理装置６２と商品検出処理装置６４は、ＬＡＮやＷＡＮなどの通信回線６６を介して互いに通信可能に接続されている。

商品検出処理装置６４は、情報処理装置６２から送信された対象画像を解析することで、商品を検出する商品検出処理を実行する装置である。商品検出処理装置６４は、情報処理装置６２と通信するための通信インターフェース、データを記憶するためのメモリ、商品検出処理を実行するプロセッサなどを含んで構成される。商品検出処理装置６４は、代表的にはサーバであるが、商品検出処理を実行可能な限りにおいてどのような装置であってもよい。第１実施形態では、情報処理装置１０が商品検出処理を実行していたが、第２実施形態では、情報処理装置１０ではなく商品検出処理装置６４が商品検出処理を実行する。

図１２は、第２実施形態に係る情報処理装置６２の構成概略図である。情報処理装置６２は、ユーザが携帯して利用可能なカメラ機能を備える装置であって、商品棚を撮像して撮像画像を取得する装置である。第１実施形態に係る情報処理装置１０同様、情報処理装置６２は、例えば、タブレット端末やスマートフォンなどであるが、これらに限られるものではない。

情報処理装置６２の通信インターフェース７０、入力インターフェース７２、ディスプレイ７４、カメラ７６、及びメモリ７８は、第１実施形態における情報処理装置１０の通信インターフェース１２、入力インターフェース１４、ディスプレイ１６、カメラ１８、及びメモリ２０と同様であるため、重複する説明は省略する。

また、情報処理装置６２のプロセッサ８０が発揮する表示処理部８２、検出対象範囲設定部８４、及び対象画像特定部８６の各機能の処理は、第１実施形態における情報処理装置１０のプロセッサ２２が発揮する表示処理部２４、検出対象範囲設定部２６、及び対象画像特定部２８の各機能の処理と同様であるため、こちらも重複する説明は省略する。プロセッサ２２は、商品検出処理部３０としての機能を発揮していたが、プロセッサ８０では商品検出処理部３０に代えて、送信処理部８８としての機能を発揮する。

送信処理部８８は、対象画像特定部８６が特定した対象画像と、検出対象範囲設定部８４が設定した、当該対象画像における検出対象範囲５０を示す情報とを関連付けて商品検出処理装置６４に送信する。上述のように、検出対象範囲５０を示す情報とは、例えば、検出対象範囲５０の四隅の座標（対象画像上の座標）などである。対象画像特定部２８が検出対象範囲５０に基づいて対象画像をトリミングした場合、送信処理部６８は、トリミングされた対象画像（トリミング画像）を商品検出処理装置６４に送信する。上述のように、トリミング画像自体が検出対象範囲５０を示す情報となる。

商品検出処理装置６４は、情報処理装置６２から受信した対象画像の検出対象範囲５０に対して商品検出処理を実行する。商品検出処理装置６４が実行する商品検出処理は、第１実施形態におけるプロセッサ２２の商品検出処理部３０が実行する商品検出処理と同様であるため、重複する説明は省略する。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０，６２ 情報処理装置、１２，７０ 通信インターフェース、１４，７２ 入力インターフェース、１６，７４ ディスプレイ、１８，７６ カメラ、２０，７８ メモリ、２２，８０ プロセッサ、２４，８２ 表示処理部、２６，８４ 検出対象範囲設定部、２８，８６ 対象画像特定部、３０ 商品検出処理部、４０ 撮影画面、４２ ライブビュー画像、４４ 撮影ボタン、４６ スライドバー、４８ スライダ、５０ 検出対象範囲、５２ 枠、５４ バウンディングボックス、６０ 情報処理システム、６４ 商品検出処理装置、８８ 送信処理部。

Claims (11)

1. プロセッサを備え、
   前記プロセッサは、
   カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
   前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、
   前記検出対象範囲に対して前記商品検出処理を実行する、
   ことを特徴とする情報処理装置。
2. プロセッサを備え、
   前記プロセッサは、
   カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
   前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定し、
   前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信する、
   ことを特徴とする情報処理装置。
3. 前記プロセッサは、
   前記ライブビュー画像が表示された前記表示部に対する前記ユーザの操作に応じて、前記検出対象範囲を設定する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、
   前記表示部に対する前記ユーザのスライド操作に応じて、前記検出対象範囲の大きさを変更する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記プロセッサは、
   前記ユーザから前記検出対象範囲の輪郭の指定を受け付ける、
   ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記プロセッサは、
   設定した前記検出対象範囲を示す態様で前記ライブビュー画像を前記表示部に表示させる、
   ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記プロセッサは、
   前記ライブビュー画像の前記検出対象範囲以外の部分は表示しない、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記プロセッサは、
   前記検出対象範囲に対して物体を検出する物体検出処理を実行し、
   前記物体検出処理の結果を示す情報を前記ライブビュー画像と共に前記表示部に表示させる、
   ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記プロセッサは、
   前記検出対象範囲に基づいて前記撮像画像をトリミングし、
   トリミングされた前記撮像画像を前記商品検出処理装置に送信する、
   ことを特徴とする請求項２に記載の情報処理装置。
10. コンピュータに、
    カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
    前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、
    前記検出対象範囲に対して前記商品検出処理を実行させる、
    ことを特徴とする情報処理プログラム。
11. コンピュータに、
    カメラによって商品棚を撮像して得られるライブビュー画像を表示部に表示させ、
    前記ライブビュー画像の表示中におけるユーザの操作に応じて、前記カメラで撮像して得られる撮像画像における、商品を検出する商品検出処理の対象範囲である検出対象範囲を設定させ、
    前記検出対象範囲に対して前記商品検出処理を実行する商品検出処理装置に対して、前記撮像画像及び前記検出対象範囲を示す情報を送信させる、
    ことを特徴とする情報処理プログラム。
    
    

Images