JP2018055248A - 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置 - Google Patents

Abstract

【課題】電子棚札、撮像装置、通信装置、情報処理装置、電子機器、コンピュータ、プログラム、記憶媒体、システム等に適用することができる、より高精度な情報を収集することができるようにする情報処理システムを提供する。
【解決手段】棚装置１０１−１〜Ｍにおいて、顧客または商品に関する情報を収集する情報収集装置１２２を商品種毎に備える。または、商品に関する情報を供給する情報処理装置と、その情報処理装置より供給される商品に関する情報を表示する情報表示端末とを備える。
【選択図】図５

Description

本技術は、情報収集システム、電子棚札、電子POP、文字情報表示装置に関し、特に、より高精度な情報を収集することができるようにした情報収集システム、電子棚札、電子POP、文字情報表示装置に関する。

従来、商品を販売する店舗等において、商品やその商品を購入する顧客に関する情報を収集することが考えられた。

例えば、自動販売機にカメラを設置し、商品を購入する顧客の情報を収集することが考えられた（例えば、特許文献１参照）。また、商品の陳列棚にカメラを設け、陳列棚周辺の顧客の情報を収集することが考えられた（例えば、特許文献２参照）。

特開２００９−０４２９５６号公報 特開２０１３−１４４００１号公報

しかしながら、これらの特許文献に記載の方法では、設置されるカメラの台数が、販売される商品種の数より少なかった。そのため、顧客がどの商品を見ているかまでを高精度に推定することが困難であった。

本技術は、このような状況に鑑みて提案されたものであり、より高精度な情報を収集することを目的とする。

本技術の一側面の情報収集システムは、顧客または商品に関する情報を収集する情報収集装置を商品種毎に備える情報収集システムである。

商品の置き場所に設置した前記情報収集装置の数が、前記情報を収集する商品種の数と同数以上であるようにすることができる。

商品の置き場所に設置した前記情報収集装置の数が、前記情報収集装置から、前記情報を集積するデータ集積装置へ転送される、商品毎の前記情報における、商品種の数と同数以上であるようにすることができる。

商品の置き場所に設置した前記情報収集装置の数が、前記情報を出力する商品種の数と同数以上であるようにすることができる。

前記情報収集装置は、撮像機能および通信機能を備えるネットワークカメラであるようにすることができる。

前記情報収集装置は、撮像機能および通信機能を有する電子棚札であるようにすることができる。

前記情報収集装置は、撮像機能および通信機能を有する電子POP（Point of purchase advertising）であるようにすることができる。

前記情報収集装置は、撮像機能および通信機能を有する文字情報表示装置であるようにすることができる。

前記情報収集装置は、他の装置から供給される情報を取得し、表示することができる。

前記他の装置は、前記情報収集装置から供給された商品の識別情報に対応する前記商品に関する情報を前記情報収集装置に供給し、前記情報収集装置は、供給された前記商品に関する情報を表示することができる。

本技術の他の側面の電子棚札は、顧客または商品に関する情報を収集する情報収集部を備える電子棚札である。

前記情報収集部は、イメージセンサであるようにすることができる。

本技術の他の側面の電子POP（Point of purchase advertising）は、顧客または商品に関する情報を収集する情報収集部を備える電子POPである。

前記情報収集部は、イメージセンサであるようにすることができる。

（イメージセンサ）
本技術の他の側面の文字情報表示装置は、顧客または商品に関する情報を収集する情報収集部を備える文字情報表示装置である。

前記情報収集部は、イメージセンサであるようにすることができる。

本技術の一側面においては、商品種ごとに設置される情報収集装置により顧客または商品に関する情報が収集される。

本技術の他の側面においては、顧客または商品に関する情報が収集される。

本技術によれば、情報を処理することが出来る。また本技術によれば、より高精度な情報を収集することができる。

従来の自動販売機の例を説明する図である。 従来の陳列棚の例を説明する図である。 従来の視線推定の例を説明する図である。 従来の視線推定の例を説明する図である。 情報収集システムの主な構成例を示す図である。 情報収集システムの他の構成例を示す図である。 情報収集装置の例を示す図である。 情報収集システムの各装置の主な構成例を示すブロック図である。 情報収集装置の主な構成例を示すブロック図である。 収集する情報の例を説明する図である。 情報収集システムの構成例と情報収集の様子の例を説明する図である。 情報収集システムの構成例と情報収集の様子の例を説明する図である。 情報収集システムの構成例と情報収集の様子の例を説明する図である。 情報収集システムの構成例と情報収集の様子の例を説明する図である。 電力供給構造の例を示す図である。 電力供給構造の例を示す図である。 電力供給構造の例を示す図である。 電力供給構造の例を示す図である。 顧客が見た商品種の特定の様子の例を説明する図である。 顧客が見た商品種の特定の様子の例を説明する図である。 同一人物特定の様子の例を説明する図である。 同一人物特定の様子の例を説明する図である。 同一人物特定の様子の例を説明する図である。 顧客が見た商品種の特定の様子の例を説明する図である。 顧客が見た商品種の特定の様子の例を説明する図である。 情報表示システムの主な構成例を示す図である。 情報表示端末の主な構成例を示す図である。 電子棚札システムの主な構成例を示す図である。 電子棚札配置の様子の例を説明する図である。 電子棚札の主な構成例を示すブロック図である。 画像認識部の主な構成例を示すブロック図である。 サーバの主な構成例を示すブロック図である。 情報取得処理の流れの例を説明するフローチャートである。 画像認識処理の流れの例を説明するフローチャートである。 画像認識処理の流れの例を説明するフローチャートである。 画像データ選定処理の流れの例を説明するフローチャートである。 画像データ選定処理の流れの例を説明するフローチャートである。 画像データ選定処理の流れの例を説明するフローチャートである。 データ提供処理の流れの例を説明するフローチャートである。 表示制御処理の流れの例を説明するフローチャートである。 データ提供処理の流れの例を説明するフローチャートである。 表示用データ取得処理の流れの例を説明するフローチャートである。 情報取得処理の流れの例を説明するフローチャートである。 表示制御処理の流れの例を説明するフローチャートである。 データ取得処理の流れの例を説明するフローチャートである。 顔位置特定の様子の例を説明する図である。 客情報認識処理の流れの例を説明するフローチャートである。 動体検知機能の様子の例を説明する図である。 電子棚札の主な構成例を示すブロック図である。 客情報認識処理の流れの例を説明するフローチャートである。 客情報認識処理の流れの例を説明するフローチャートである。 画像認識部の主な構成例を示すブロック図である。 画像認識処理の流れの例を説明するフローチャートである。 認識データ選定処理の流れの例を説明するフローチャートである。 電子棚札の主な構成例を示す外観図である。 客を撮像する様子の例を説明する図である。 カメラの可動範囲の顔認識の例を説明する図である。 電子棚札の主な構成例を示すブロック図である。 電源制御の例を説明する図である。 電源制御処理の流れの例を説明するフローチャートである。 情報取得処理の流れの例を説明するフローチャートである。 情報取得処理の流れの例を説明する、図４８に続くフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（情報収集システム・情報表示システム）
２．第２の実施の形態（電子棚札システム）
３．第３の実施の形態（電子棚札における選定）
４．第４の実施の形態（応用例１：顔の大きさ特定）
５．第５の実施の形態（応用例２：動体検知）
６．第６の実施の形態（応用例３：表示制御）
７．第７の実施の形態（応用例４：可動撮像部）
８．第８の実施の形態（応用例５：電源制御部）
９．第９の実施の形態（応用例６：顔の向きの検出処理の制御）
１０．第１０の実施の形態（その他）

＜１．第１の実施の形態＞
＜顧客や商品の情報の収集＞
従来、商品を販売する店舗等において、商品やその商品を購入する顧客に関する情報を収集することが考えられた。例えば、特許文献１には、カメラ２を設置し、そのカメラ２によって商品を購入する顧客を撮像し、その撮像画像を顧客に関する情報として収集する自動販売機１が開示された（図１）。

また、特許文献２には、商品を陳列する陳列棚１０の各棚にカメラ１１を設け、そのカメラ１１によって陳列棚１０周辺の顧客を撮像し、その撮像画像を顧客に関する情報として収集する自動販売機１が開示された（図２）。

しかしながら、これらの方法の場合、カメラの数が商品種の数よりも少ない。そのため撮像画像から顧客がどの商品を見ているかを高精度に推定することが困難であった。この理由を、図３を用いて説明する。その前に、本願明細書で用いる言葉の定義を述べる。通常、商品の陳列棚（言い換えれば商品棚）には、商品の種類として複数種の商品が配置され、かつ、商品の個体として、商品の種類毎にそれぞれ複数個の商品（個体）が配置される。本願明細書では、個体が異なるだけで内容は同じである商品をひとまとめにして呼ぶ場合には、これを「商品種」と呼ぶ。また、１つの商品種において個体が異なるそれぞれの商品を呼ぶ場合には、これを「商品個体」と呼ぶ。ただし簡単のために、「商品種」を単に「商品」と呼ぶ場合もあり、また、「商品個体」を単に「商品」と呼ぶ場合もある。図３Ａは、カメラの数が商品種の数よりも少ない従来技術の一例として、商品を陳列する陳列棚２０に、７種類の商品（言い換えれば７個の商品種、２１−１乃至２１−７）と、商品種の数（７個）よりも少ない２個のカメラ（２２−１と２２−２）が配置され、かつ、陳列棚２０の前面に２人の顧客（２３−１と２３−２）が立って商品を見ている状態を、棚の上方から見下ろした図である。カメラ２２−１は、自身の前に位置する顧客２３−１を撮像する。また、カメラ２２−２は、自身の前に位置する顧客２３−２を撮像する。このとき、顧客２３−１は正面（カメラ２２−１の方）を向いているため、顧客２３−１が商品２１−２の方を見ていることはカメラ２２−１が得た撮像画像から比較的容易に推定することができる。

しかしながら、顧客２３−２は横方向を見ているので、カメラ２２−２が得た撮像画像には、図３Ｂに示される撮像画像２４のように、顧客２３−２の横顔が写ることになる。図３Ａにおいて、顧客２３−２は、カメラ２２−１では撮像されず、カメラ２２−２によってのみ撮像される。このため、カメラ２２−２によって横顔が撮像された顧客２３−２が、図３Ａに記載の商品２１−３乃至２１−５のいずれの商品を見ているのかを識別するには、顧客２３−２の顔の向きのわずかな違いあるいは顧客２３−２の眼球内の瞳の位置のわずかな違いを基にして、顧客２３−２の視線が延在する先の商品を推定する必要がある。このため、顧客が見ている商品を高い精度で識別するには、技術的な困難が伴う。かつ、顧客２３−２の視線が延在する先にどの商品があるのかを推定しても、その推定結果が正しいか否かを検証する手段が無かった。このような事情によりに、カメラの数が商品種の数よりも少ない従来技術の場合、顧客がどの商品を見ているのかを高い精度で推定して、かつ推定結果が正しいかどうかを検証することが難しかった。

また、カメラが複数設置されると、同一人物が複数のカメラに写り込む可能性もあり、その場合、同一の顧客に関する情報を重複して収集してしまうおそれがあった。この理由を、図４を用いて説明する。図４Ａは、７種類の商品（２１−１乃至２１−７）と３個のカメラ（２２−１乃至２２−３）が配置された陳列棚２０の前に、３人の顧客（２３−１乃至２３−３）が立って商品を見ている状態を、棚の上方から見下ろした図である。図４Ｂに示されるように、カメラ２２−１により得られる撮像画像２４−１には顧客２３−１と顧客２３−２が写っている。また、図４Ｃに示されるように、カメラ２２−２により得られる撮像画像２４−２には顧客２３−１と顧客２３−２と顧客２３−３が写っている。さらに、図４Ｄに示されるように、カメラ２２−３により得られる撮像画像２４−３には顧客２３−２と顧客２３−３が写っている。

これらの撮像画像からそのまま顧客情報を収集すると、実際には顧客は３名しか存在しないのに７名分の顧客情報が得られてしまう。つまり、例えば、「３名が商品２１−２を見ている」、「２名が商品２１−３を見ている」、「２名が商品２１−４」を見ている」等といった誤った情報を収集してしまうおそれがあった。したがって、高精度な情報を収集することが困難であった。

そこで、顧客または商品に関する情報を収集する情報収集装置を商品種毎に、かつそれぞれの商品種の近傍に、備えるようにする。このようにすることにより、情報収集装置と商品種とが容易に対応付け（言い換えれば、紐付け）でき、情報収集装置の方を見ている顧客がその情報収集装置に対応する商品種を見ていると容易に特定することができる。また、顧客が向いている方向を容易に高精度に特定することができることから、重複した顧客情報の収集も容易に抑制することができる。したがって、より高精度な情報を収集することができる。

＜情報収集システムの構成＞
図５は、本技術を適用した情報処理システムの一実施の形態である情報収集システムの主な構成例を示す図である。図５に示される情報収集システム１００は、商品や顧客に関する情報を収集するシステムである。

図５に示されるように、情報収集システム１００は、棚装置１０１−１乃至棚装置１０１−Ｍ、中継装置１０２、および情報管理サーバ１０３を有する。棚装置１０１−１乃至棚装置１０１−Ｍは互いに同様の構成を有する。以下において、棚装置１０１−１乃至棚装置１０１−Ｍを互いに区別して説明する必要が無い場合、棚装置１０１と称する。

棚装置１０１は、横方向に連なって配置された複数の商品陳列棚１２１を有する。各商品陳列棚１２１には、商品１３１が例えば商品種毎に分けて陳列されている。また、商品陳列棚１２１の、その商品１３１の近傍には、商品や顧客などに関する情報を収集する情報収集装置１２２が、商品種毎に設置されている。さらに、棚装置１０１は、ローカルサーバ１２３を有している。

情報収集装置１２２は、情報を収集する機能を有しており、この機能を利用して、商品や顧客等に関する情報を収集する。情報収集装置１２２は、商品陳列棚１２１の商品種毎に、かつ、それぞれの商品種の近傍に設置されている。言い換えれば、情報収集装置１２２は、商品陳列棚１２１の、互いに異なる商品種（商品１３１）の近傍に設置されている。これにより情報収集装置１２２は、例えばこの位置関係によって商品種（商品１３１）に対応付けられている（言い換えれば、紐付けられている）。つまり、情報収集装置１２２は、自身の近傍に位置する商品種（商品１３１）に対応付けられている。さらに、その近傍の商品種（商品１３１）に関する情報が、情報収集装置１２２に登録されているようにしてもよい。情報収集装置１２２は、自身に対応付けられた商品種に対する顧客（例えばその商品種に興味を示した顧客）に関する情報を収集する。つまり、各情報収集装置１２２は、互いに異なる商品種に対応付けられ、互いに異なる商品種の顧客に関する情報を収集する。

また、情報収集装置１２２は、通信機能を有しており、その通信機能により、ローカルサーバ１２３と有線通信若しくは無線通信またはその両方を行うことができる。例えば、情報収集装置１２２は、自身が収集した情報をローカルサーバ１２３に供給することができる。また、例えば、情報収集装置１２２は、ローカルサーバ１２３から情報を取得することもできる。

なお、情報収集装置１２２が情報処理機能を有するようにしてもよい。例えば、情報収集装置１２２が、自身が収集した情報を処理し、その処理後の情報をローカルサーバ１２３に供給するようにしてもよい。また、例えば、情報収集装置１２２が、ローカルサーバ１２３から取得した情報を処理するようにしてもよい。

ローカルサーバ１２３は、通信機能を有する。ローカルサーバ１２３は、その通信機能により、当該棚装置１０１の各情報収集装置１２２と有線通信若しくは無線通信またはその両方を行うことができる。また、ローカルサーバ１２３は、その通信機能により、中継装置１０２と有線通信若しくは無線通信またはその両方を行うことができる。例えば、ローカルサーバ１２３は、当該棚装置１０１の各情報収集装置１２２が収集した情報を取得し、それを中継装置１０２に供給することができる。また、例えば、ローカルサーバ１２３は、中継装置１０２から情報を取得し、その情報を当該棚装置１０１の各情報収集装置１２２に供給することもできる。

なお、ローカルサーバ１２３が情報処理機能を有するようにしてもよい。例えば、ローカルサーバ１２３が、当該棚装置１０１の各情報収集装置１２２が収集した情報を処理し、その処理後の情報を中継装置１０２に供給するようにしてもよい。また、例えば、ローカルサーバ１２３が、中継装置１０２から取得した情報を処理し、その処理後の情報を当該棚装置１０１の各情報収集装置１２２に供給するようにしてもよい。

中継装置１０２は、通信機能を有する。中継装置１０２は、その通信機能により、各棚装置１０１（のローカルサーバ１２３）と有線通信若しくは無線通信またはその両方を行うことができる。また、中継装置１０２は、その通信機能により、情報管理サーバ１０３と有線通信若しくは無線通信またはその両方を行うことができる。例えば、中継装置１０２は、各棚装置１０１（のローカルサーバ１２３）から情報収集装置１２２が収集した情報を取得し、それを情報管理サーバ１０３に供給することができる。また、例えば、中継装置１０２は、情報管理サーバ１０３から情報を取得し、その情報を各棚装置１０１（のローカルサーバ１２３）に供給することもできる。

なお、中継装置１０２が情報処理機能を有するようにしてもよい。例えば、中継装置１０２が、各棚装置１０１（のローカルサーバ１２３）から取得した、情報収集装置１２２が収集した情報を処理し、その処理後の情報を情報管理サーバ１０３に供給するようにしてもよい。また、例えば、中継装置１０２が、情報管理サーバ１０３から取得した情報を処理し、その処理後の情報を各棚装置１０１（のローカルサーバ１２３）に供給するようにしてもよい。

情報管理サーバ１０３は、通信機能を有する。情報管理サーバ１０３は、その通信機能により、中継装置１０２と有線通信若しくは無線通信またはその両方を行うことができる。例えば、情報管理サーバ１０３は、中継装置１０２から情報収集装置１２２が収集した情報を取得することができる。また、例えば、情報管理サーバ１０３は、任意の情報を中継装置１０２に供給することもできる。

また、情報管理サーバ１０３は、情報処理機能や情報記憶機能を有する。例えば、情報管理サーバ１０３は、中継装置１０２から取得した情報を処理したり、記憶したりすることができる。さらに、情報管理サーバ１０３には、外部接続電子機器として、パーソナルコンピュータ（PC）１１１、外部記憶装置１１２、表示装置１１３、およびプリンタ１１４が接続されており、これらの外部接続電子機器を利用して処理を行うこともできる。例えば、情報管理サーバ１０３は、パーソナルコンピュータ１１１に情報を処理させたり、外部記憶装置１１２に情報を記憶させたり、表示装置１１３に画像を表示させたり、プリンタ１１４に情報を印刷させたりすることができる。

なお、情報収集システム１００の構成は任意であり、図５の例に限定されない。例えば、図６のように、情報を収集したい商品種に対してのみ（つまり、商品陳列棚１２１に陳列されている商品群の一部の商品種に対してのみ）、情報収集装置１２２が設けられるようにしてもよい。情報を収集したい商品種が複数存在する場合は、この場合も、情報収集装置１２２が、その商品種毎に設置される。

なお、情報収集システム１００は、情報を収集したい商品種の数よりも多くの情報収集装置１２２を備えながら、情報収集システム１００から出力する情報は、情報を収集したい商品種についての情報のみに絞り込んで、情報収集システム１００の外部へ情報を出力するようにしてもよい。

例えば、（１）情報収集システム１００は、情報を収集したい商品種の数よりも多くの商品種について情報収集装置１２２を商品種毎に配置し、情報を収集したい商品種の数よりも多くの商品種について撮像した画像データもしくは画像解析後の解析結果データを、情報収集装置１２２からローカルサーバ１２３と中継装置１０２を経由して情報管理サーバ１０３へ送信し、情報管理サーバ１０３において、情報収集システム１００の外部へ出力する情報を出力したい商品種についての情報のみに絞り込む処理を行い、絞り込んだ情報を情報収集システム１００の外部へ出力するようにしてもよい。

あるいはまた、（２）情報収集システム１００は、情報を収集したい商品種の数よりも多くの商品種について情報収集装置１２２を商品種毎に配置し、情報を収集したい商品種の数よりも多くの商品種について撮像した画像データもしくは画像解析後の解析結果データを、情報収集装置１２２からローカルサーバ１２３を経由して中継装置１０２へ送信し、中継装置１０２において、情報収集システム１００の外部へ出力する情報を出力したい商品種についての情報のみに絞り込む処理を行い、絞り込んだ情報を情報管理サーバ１０３を経由して情報収集システム１００の外部へ出力するようにしてもよい。

あるいはまた、（３）情報収集システム１００は、情報を収集したい商品種の数よりも多くの商品種について情報収集装置１２２を商品種毎に配置し、情報を収集したい商品種の数よりも多くの商品種について撮像した画像データもしくは画像解析後の解析結果データを、情報収集装置１２２からローカルサーバ１２３へ送信し、ローカルサーバ１２３において、情報収集システム１００の外部へ出力する情報を出力したい商品種についての情報のみに絞り込む処理を行い、絞り込んだ情報を中継装置１０２と情報管理サーバ１０３を経由して情報収集システム１００の外部へ出力するようにしてもよい。

あるいはまた、（４）情報収集システム１００は、情報を収集したい商品種の数よりも多くの商品種について情報収集装置１２２を商品種毎に配置し、それぞれの情報収集装置１２２において、情報収集装置１２２からローカルサーバ１２３へ送信する情報を情報収集システム１００の外部へ出力したい商品種のについての情報のみに絞り込む処理を行い、絞り込んだ情報をローカルサーバ１２３と中継装置１０２と情報管理サーバ１０３を経由して情報収集システム１００の外部へ出力するようにしてもよい。

つまり、顧客や商品についての情報を収集する情報収集装置１２２の数は、顧客についての情報を収集する商品種の数と同数以上としてもよいし、情報管理サーバ１０３へ転送される商品毎の情報における商品種の数と同数以上としてもよいし、顧客についての情報を出力する商品種の数と同数以上としてもよい。

このようにすることにより、取り扱う情報の量を抑制することができるので、この情報収集に関する各種処理の負荷の増大を抑制することができる。さらに、コストの増大を抑制することもできる。

＜情報収集装置＞
図５や図６に示される情報収集装置１２２はどのような装置であってもよく、収集する情報は商品や顧客に関する情報であればどのような情報であってもよい。例えば、情報収集装置１２２が、商品や顧客を撮像し、得られた撮像画像またはその撮像画像に基づいて得られる情報を商品や顧客に関する情報として収集するようにしてもよい。また、何らかのセンサを用いて商品や顧客に対してセンシングを行い、得られたセンサ出力またはそのセンサ出力に基づいて得られる情報を商品や顧客に関する情報として収集するようにしてもよい。また、情報収集装置１２２が、複数種類の情報（例えば、撮像画像とセンサ出力）を、商品や顧客に関する情報として収集するようにしてもよい。

例えば、情報収集装置１２２が、図７Ａに示されるようなネットワークカメラ１４０として構成されるようにしてもよい。このネットワークカメラ１４０は、イメージセンサ１４１と測距センサ１４２を有する。イメージセンサ１４１は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサであり、被写体を撮像してその撮像画像（のデータ）を生成する。なお、イメージセンサ１４１がレンズや絞り等の光学機構を有するようにしてもよい。測距センサ１４２は、被写体までの距離を計測するセンサである。この測距センサ１４２の仕様は任意であり、どのような手法で距離を計測するようにしてもよい。例えば測距センサ１４２が赤外線を利用して距離を計測するようにしてもよい。また、このネットワークカメラ１４０は、通信機能を有する（図示せず）。

例えば、ネットワークカメラ１４０は、イメージセンサ１４１により顧客を撮像し、測距センサ１４２によりその顧客までの距離を計測し、通信機能により、それらの情報（撮像画像や距離計測結果等）を顧客に関する情報としてローカルサーバ１２３に供給することができる。また、例えば、ネットワークカメラ１４０は、イメージセンサ１４１により、対応付けられる商品の外形、バーコード、商品名を記載した文字等を撮像し、通信機能により、その撮像画像を商品に関する情報としてローカルサーバ１２３に供給することができる。

また、例えば、情報収集装置１２２が、情報を出力する機能を有するようにしてもよい。例えば、情報収集装置１２２が、文字や画像等を表示する機能を有するようにしてもよい。また、情報収集装置１２２が、音声や振動等を出力する機能を有するようにしてもよい。もちろん、情報収集装置１２２が、複数種類の情報（例えば、画像と音声等）を出力することができるようにしてもよい。なお、この出力する情報は任意である。例えば、商品や顧客に関する情報であってもよいし、それらとは関係の無い情報であってもよい。

例えば、情報収集装置１２２が、図７Ｂに示されるような電子棚札１５０として構成されるようにしてもよい。この電子棚札１５０は、商品の価格等、商品に関する情報を表示するデバイスである。図７Ｂに示されるように電子棚札１５０は、イメージセンサ１５１、測距センサ１５２、およびモニタ１５３を有する。イメージセンサ１５１は、イメージセンサ１４１と基本的に同様のセンサであり、被写体を撮像し、撮像画像を得る。測距センサ１５２は、測距センサ１４２と基本的に同様のセンサであり、例えば赤外線等を用いて距離の測定を行う。モニタ１５３は、文字情報等を表示する表示デバイスである。また、この電子棚札１５０は、通信機能を有する（図示せず）。

例えば、電子棚札１５０は、イメージセンサ１５１により顧客を撮像し、測距センサ１５２によりその顧客までの距離を計測し、通信機能により、それらの情報（撮像画像や距離計測結果等）を顧客に関する情報としてローカルサーバ１２３等に供給することができる。また、例えば、電子棚札１５０は、イメージセンサ１５１により、対応付けられる商品の外形、バーコード、商品名を記載した文字等を撮像し、通信機能により、その撮像画像を商品に関する情報としてローカルサーバ１２３等に供給することができる。

また、例えば、電子棚札１５０は、通信機能により、ローカルサーバ１２３等から商品に関する情報を取得し、その商品に関する情報を文字情報等としてモニタ１５３に表示させることができる。この商品に関する情報の内容は任意である。例えば、商品名、価格、内容量等の情報がこの商品に関する情報に含まれるようにしてもよい。

また、例えば、情報収集装置１２２が、図７Ｃに示されるような電子POP（Point of purchase advertising）１６０として構成されるようにしてもよい。この電子POP１６０は、商品の広告等、商品に関する情報を表示するデバイスである。図７Ｃに示されるように電子POP１６０は、イメージセンサ１６１、測距センサ１６２、モニタ１６３、並びに、スピーカ１６４−１およびスピーカ１６４−２を有する。イメージセンサ１６１は、イメージセンサ１４１と基本的に同様のセンサであり、被写体を撮像し、撮像画像を得る。測距センサ１６２は、測距センサ１４２と基本的に同様のセンサであり、例えば赤外線等を用いて距離の測定を行う。モニタ１６３は、動画または静止画等、任意の画像情報を表示する表示デバイスである。またモニタ１６３は、画面の一部の領域に、動画または静止画等、任意の画像情報を表示し、これと異なる画面上の領域に文字情報を表示してもよい。あるいは、モニタ１６３は、文字情報のみを表示してもよい。なお、モニタ１６３が表示する画像情報が、文字情報を含んでもよいことは、いうまでもない。スピーカ１６４−１およびスピーカ１６４−２は、音声を出力する音声出力デバイスである。なお以下においてスピーカ１６４−１およびスピーカ１６４−２を互いに区別して説明する必要が無い場合、スピーカ１６４と称する。また、この電子POP１６０は、通信機能を有する（図示せず）。

例えば、電子POP１６０は、イメージセンサ１６１により顧客を撮像し、測距センサ１６２によりその顧客までの距離を計測し、通信機能により、それらの情報（撮像画像や距離計測結果等）を顧客に関する情報としてローカルサーバ１２３等に供給することができる。また、例えば、電子POP１６０は、イメージセンサ１６１により、対応付けられる商品の外形、バーコード、商品名を記載した文字等を撮像し、通信機能により、その撮像画像を商品に関する情報としてローカルサーバ１２３等に供給することができる。

また、例えば、電子POP１６０は、通信機能により、ローカルサーバ１２３等から商品に関する情報を取得し、その商品に関する情報を動画像や静止画像あるいは文字等としてモニタ１６３に表示させることができる。この商品に関する情報の内容は任意である。例えば、商品名、価格、内容量等の情報がこの商品に関する情報に含まれるようにしてもよい。また、例えば、商品の広告映像等であってもよい。また、電子POP１６０は、ローカルサーバ１２３から取得した商品に関する情報を音声としてスピーカ１６４から出力させることができる。

なお、図示は省略するが、例えば、情報収集装置１２２が電光掲示板のような文字情報表示装置として構成されるようにしてもよい。この電光掲示板は、任意の文字情報を表示するデバイスであり、例えば、商品の広告メッセージや売り場の案内等の文字情報を表示することができる。この場合も、情報収集装置１２２は、上述の電子棚札１５０や電子POP１６０の場合と同様に、イメージセンサや測距センサ等の情報収集機能をさらに有し、商品や顧客に関する情報を収集する。また、通信機能も有しており（図示せず）、収集した情報をローカルサーバ１２３等に供給したり、ローカルサーバ１２３等から任意の情報を取得したりすることができる。なおこの場合も、電子POP１６０の場合と同様に、情報収集装置１２２が例えばスピーカ等の画像以外の情報の出力機能も有するようにしてもよい。

＜各装置の構成＞
情報収集システム１００のローカルサーバ１２３および情報管理サーバ１０３の主な構成例を図８に示す。図８の例の場合、ローカルサーバ１２３は、通信部１７１および画像解析部１７２を有する。通信部１７１は、上述したローカルサーバ１２３の通信機能を実現するための処理を行う。すなわち、通信部１７１は、当該棚装置１０１の各情報収集装置１２２（情報収集装置１２２−１乃至情報収集装置１２２−Ｎ）や中継装置１０２と、有線通信若しくは無線通信またはその両方を行う。また、画像解析部１７２は、通信部１７１が情報収集装置１２２から取得した情報に含まれる撮像画像を解析し、その画像解析結果を通信部１７１に供給する。例えば画像解析部１７２は、撮像画像を解析して、顧客がどの商品を見ていたかを特定したり、顧客の属性（性別や年齢等）を推定したりする。通信部１７１は、情報収集装置１２２から取得した情報と、画像解析部１７２による画像解析結果とを中継装置１０２に供給する。

また、図８の例の場合、情報管理サーバ１０３は、通信部１８１、情報制御部１８２、および内部記憶装置１８３を有する。通信部１８１は、上述した情報管理サーバ１０３の通信機能を実現するための処理を行う。情報制御部１８２は、他の処理部や外部接続装置等を制御したり、情報を処理したりする。例えば、情報制御部１８２は、通信部１８１により受信または送信する情報の、内部記憶装置１８３や外部記憶装置１１２への読み書き、表示装置１１３やプリンタ１１４への出力、パーソナルコンピュータ１１１との授受等といった処理を行う。

情報収集装置１２２の主な構成例を図９に示す。図９Ａは、情報収集装置１２２をネットワークカメラ１４０として構成する場合の構成例を示すブロック図である。図９Ａに示されるように、ネットワークカメラ１４０は、撮像部２０１、測距部２０２、および通信部２０３を有する。撮像部２０１は、イメージセンサ１４１を有し、被写体の撮像に関する処理を行う。測距部２０２は、測距センサ１４２を有し、被写体までの距離計測に関する処理を行う。通信部２０３は、上述したネットワークカメラ１４０の通信機能を実現するための処理を行う。例えば、通信部２０３は、撮像部２０１において得られた撮像画像や測距部２０２において得られた距離計測結果等のデータを顧客や商品に関する情報としてローカルサーバ１２３に供給する。なお、ネットワークカメラ１４０が電力を蓄える蓄電部２０４を有し、その蓄電部２０４の電力を用いて各処理部が駆動するようにしてもよい。もちろん、この蓄電部２０４を省略して、外部電源から供給される電力を用いて各処理部が駆動するようにしてもよい。

図９Ｂは、情報収集装置１２２を電子棚札１５０として構成する場合の構成例を示すブロック図である。図９Ｂに示されるように、電子棚札１５０は、撮像部２１１、測距部２１２、表示部２１３、および通信部２１４を有する。撮像部２１１は、イメージセンサ１５１を有し、被写体の撮像に関する処理を行う。測距部２１２は、測距センサ１５２を有し、被写体までの距離計測に関する処理を行う。表示部２１３は、モニタ１５３を有し、商品に関する文字情報の表示に関する処理を行う。通信部２１４は、上述した電子棚札１５０の通信機能を実現するための処理を行う。例えば、通信部２１４は、撮像部２１１において得られた撮像画像や測距部２１２において得られた距離計測結果等のデータを顧客や商品に関する情報としてローカルサーバ１２３に供給する。また、通信部２１４は、例えば商品に関する文字情報をローカルサーバ１２３から取得し、それを表示部２１３に供給する。なお、電子棚札１５０が電力を蓄える蓄電部２１５を有し、その蓄電部２１５の電力を用いて各処理部が駆動するようにしてもよい。もちろん、この蓄電部２１５を省略して、外部電源から供給される電力を用いて各処理部が駆動するようにしてもよい。

図９Ｃは、情報収集装置１２２を電子POP１６０として構成する場合の構成例を示すブロック図である。図９Ｃに示されるように、電子POP１６０は、撮像部２２１、測距部２２２、表示部２２３、音声出力部２２４、および通信部２２５を有する。撮像部２２１は、イメージセンサ１６１を有し、被写体の撮像に関する処理を行う。測距部２２２は、測距センサ１６２を有し、被写体までの距離計測に関する処理を行う。表示部２２３は、モニタ１６３を有し、商品に関する文字情報の表示に関する処理を行う。音声出力部２２４は、スピーカ１６４を有し、音声出力に関する処理を行う。通信部２２５は、上述した電子POP１６０の通信機能を実現するための処理を行う。例えば、通信部２２５は、撮像部２２１において得られた撮像画像や測距部２２２において得られた距離計測結果等のデータを顧客や商品に関する情報としてローカルサーバ１２３に供給する。また、通信部２２５は、例えば商品の広告等、商品に関する画像や音声のデータをローカルサーバ１２３から取得し、その画像データを表示部２２３に供給し、その音声データを音声出力部２２４に供給する。なお、電子POP１６０が電力を蓄える蓄電部２２６を有し、その蓄電部２２６の電力を用いて各処理部が駆動するようにしてもよい。もちろん、この蓄電部２２６を省略して、外部電源から供給される電力を用いて各処理部が駆動するようにしてもよい。

＜収集する情報＞
情報収集システム１００において収集される情報は任意である。例えば図１０に示されるような情報が収集されるようにしてもよい。図１０の例の場合、各商品について、顧客が商品を見た時刻、商品を見ていた時間、顧客と商品（情報収集装置１２２や商品陳列棚１２１でもよい）との距離、性別や年代等の顧客の属性、顧客が商品を手に取ったか否か、顧客が手に取った商品を商品陳列棚１２１に戻したか否か等の情報が収集される。

もちろん、この例に限らず、どのような情報が収集されるようにしてもよい。ただし、例えばマーケティング情報として分析や販売促進活動等に利用できる情報を収集するのが好ましい。情報収集システム１００が、より有用な情報を収集することにより、情報収集の有用性を向上させることができるだけでなく、本技術を適用することにより得られる効果をより大きなものとすることができる。

＜伝送する情報＞
情報収集システム１００は、情報収集装置１２２により収集された情報（例えば撮像画像等）を解析することにより、図１０に例示したような情報を生成する。この解析処理は、情報収集システム１００の任意の装置において行われるようにすることができる。

例えば、情報収集システム１００が図８に示した構成の場合（図１１Ａに再掲）、この解析処理は、図１１Ｂに示される表のように、ローカルサーバ１２３（形態１）、中継装置１０２（形態２）、または情報管理サーバ１０３（形態３）において行われるようにしてもよい。図１１Ｂに示される表のように、形態１の場合、情報収集装置１２２とローカルサーバ１２３との間では撮像画像のデータが伝送され、ローカルサーバ１２３と中継装置１０２との間、並びに、中継装置１０２と情報管理サーバ１０３との間では画像解析結果のデータが伝送される。また、形態２の場合、情報収集装置１２２とローカルサーバ１２３との間、並びに、ローカルサーバ１２３と中継装置１０２との間では撮像画像のデータが伝送され、中継装置１０２と情報管理サーバ１０３との間では画像解析結果のデータが伝送される。さらに、形態３の場合、情報収集装置１２２とローカルサーバ１２３との間、ローカルサーバ１２３と中継装置１０２との間、並びに、中継装置１０２と情報管理サーバ１０３との間のいずれにおいても撮像画像のデータが伝送される。

なお、上述の画像解析が情報収集装置１２２において行われるようにしてもよい。その場合、情報収集装置１２２とローカルサーバ１２３との間、ローカルサーバ１２３と中継装置１０２との間、並びに、中継装置１０２と情報管理サーバ１０３との間のいずれにおいても画像解析結果のデータが伝送される。

また、画像データを伝送するフレームレート（伝送フレームレート）は、任意である。例えば、30fps（frame per second）程度であってもよいし、数fps（１または２fps）程度であってもよい。また、装置間で画像を適切に伝送することができるように、イメージセンサの数や画素数に応じて、この伝送フレームレートが適宜設定されるようにしてもよい。

なお、情報収集システム１００の構成は任意であり、図８の例に限定されない。例えば、図１２Ａに示されるように、各棚装置１０１のローカルサーバ１２３を省略し、情報収集装置１２２と中継装置１０２とが、有線通信若しくは無線通信、またはその両方を行うようにしてもよい。

この場合、上述の解析処理は、図１２Ｂに示される表のように、中継装置１０２（形態１）または情報管理サーバ１０３（形態２）において行われるようにしてもよい。図１２Ｂに示される表のように、この形態１の場合、情報収集装置１２２と中継装置１０２との間では撮像画像のデータが伝送され、中継装置１０２と情報管理サーバ１０３との間では画像解析結果のデータが伝送される。また、形態２の場合、情報収集装置１２２と中継装置１０２との間、並びに、中継装置１０２と情報管理サーバ１０３との間のいずれにおいても撮像画像のデータが伝送される。

なお、この場合も、上述の画像解析が情報収集装置１２２において行われるようにしてもよい。その場合、情報収集装置１２２と中継装置１０２との間、並びに、中継装置１０２と情報管理サーバ１０３との間のいずれにおいても画像解析結果のデータが伝送される。

また、この場合も、画像データの伝送フレームレートは、任意である。イメージセンサの数や画素数に応じて、この伝送フレームレートが適宜設定されるようにしてもよい。

また、例えば、図１３Ａに示されるように、中継装置１０２を省略し、各棚装置１０１のローカルサーバ１２３と情報管理サーバ１０３とが、有線通信若しくは無線通信、またはその両方を行うようにしてもよい。

この場合、上述の解析処理は、図１３Ｂに示される表のように、ローカルサーバ１２３（形態１）または情報管理サーバ１０３（形態２）において行われるようにしてもよい。図１３Ｂに示される表のように、この形態１の場合、情報収集装置１２２とローカルサーバ１２３との間では撮像画像のデータが伝送され、ローカルサーバ１２３と情報管理サーバ１０３との間では画像解析結果のデータが伝送される。また、形態２の場合、情報収集装置１２２とローカルサーバ１２３との間、並びに、ローカルサーバ１２３と情報管理サーバ１０３との間のいずれにおいても撮像画像のデータが伝送される。

なお、この場合も、上述の画像解析が情報収集装置１２２において行われるようにしてもよい。その場合、情報収集装置１２２とローカルサーバ１２３との間、並びに、ローカルサーバ１２３と情報管理サーバ１０３との間のいずれにおいても画像解析結果のデータが伝送される。

また、この場合も、画像データの伝送フレームレートは、任意である。イメージセンサの数や画素数に応じて、この伝送フレームレートが適宜設定されるようにしてもよい。

また、例えば、図１４Ａに示されるように、ローカルサーバ１２３および中継装置１０２を省略し、各棚装置１０１の情報収集装置１２２と情報管理サーバ１０３とが、有線通信若しくは無線通信、またはその両方を行うようにしてもよい。

この場合、上述の解析処理は、図１４Ｂに示される表のように、情報管理サーバ１０３（形態１）において行われるようにしてもよい。図１４Ｂに示される表のように、この形態１の場合、情報収集装置１２２情報管理サーバ１０３との間では撮像画像のデータが伝送される。

なお、この場合も、上述の画像解析が情報収集装置１２２において行われるようにしてもよい。その場合、情報収集装置１２２と情報管理サーバ１０３との間では画像解析結果のデータが伝送される。

また、この場合も、画像データの伝送フレームレートは、任意である。イメージセンサの数や画素数に応じて、この伝送フレームレートが適宜設定されるようにしてもよい。

＜電源供給＞
次に、情報収集装置１２２への電源供給について説明する。情報収集装置１２２への電源供給は、外部電源から行うようにしてもよい。その場合、例えば、図１５に示されるような構成としてもよい。図１５の例の場合、外部AC電源にはプラグ２５１が接続されている。また、商品陳列棚１２１の各棚の前面に沿ってライティングダクト（Lighting Busways, JIS C8366）２５２が水平方向に配置されている。また、そのライティングダクト２５２と各情報収集装置１２２との間には、AC電源をDC電源に変換するAC/DC変換器２５３が設けられている。そして、外部AC電源がプラグ２５１とそのライティングダクト２５２を介して供給され、AC/DC変換器２５３によってDC電源に変換され、そのDC電源が各情報収集装置１２２に供給される。

また、図１６に示されるような構成としてもよい。図１６の例の場合、外部AC電源にはプラグ２６１が接続されている。また、プラグ２６１は、AC/DC変換器２６２を介して無線給電ケーブル２６３に接続される。この無線給電ケーブル２６３は、商品陳列棚１２１の各棚に沿って、各棚の前面の各所に配置されている無線給電用のコネクタのベース部２６４に接続されるように設置されている。また、無線給電コネクタのリモート部（図示せず）が各情報収集装置１２２に設置されている。そして、外部AC電源がプラグ２６１を介してAC/DC変換器２６２に供給されてDC電源に変換される。このDC電源は、無線給電ケーブル２６３を介して無線給電用のコネクタのベース部２６４に供給される。そしてそのDC電源は、無線給電用のコネクタのベース部２６４から無線給電により無線給電コネクタのリモート部に供給され、さらに情報収集装置１２２に供給される。

また、図１７に示されるような構成としてもよい。図１７の例の場合、外部AC電源にはプラグ２７１が接続されている。また、プラグ２７１は、AC/DC変換器２７２を介してDC電源ケーブル２７３に接続される。このDC電源ケーブル２７３は、商品陳列棚１２１の各棚に沿って、各情報収集装置１２２に接続されるように設置されている。そして、外部AC電源がプラグ２７１を介してAC/DC変換器２７２に供給されてDC電源に変換される。このDC電源は、DC電源ケーブル２７３を介して各情報収集装置１２２に供給される。

また、図１８に示されるような構成としてもよい。図１８の例の場合、外部AC電源にはプラグ２８１が接続されている。また、プラグ２８１は、AC/DC変換器２８２を介してローカルサーバ１２３に接続される。また、このローカルサーバ１２３に接続されるパワーオーバイーサネットケーブル（Power over Ethernet cable）２８３が商品陳列棚１２１の各棚に沿って、各情報収集装置１２２に接続されるように設置されている。そして、外部AC電源がプラグ２８１を介してAC/DC変換器２８２に供給されてDC電源に変換されてローカルサーバ１２３に供給される。また、このDC電源は、ローカルサーバ１２３からパワーオーバイーサネットケーブル２８３を介して各情報収集装置１２２に供給される。

以上のような構成とすることにより、外部電源からの電力を情報収集装置１２２に供給することができる。これにより、情報収集装置１２２に対してより大きな電力を供給することができる。そのため、例えば、電子棚札１５０や電子POP１６０の場合のように、情報収集装置１２２がモニタを有する場合、そのモニタに広告情報等をより明るく表示させることができる。また、例えば電子POPの場合のように情報収集装置１２２がスピーカを有する場合、そのスピーカに広告音をより大きな音で出力させることができる。したがって、広告としての効果をより大きく得ることができる。

なお、情報収集装置１２２が上述したように蓄電池を備えるようにし、その蓄電池から給電されるようにしてもよい。蓄電池を設けることにより、例えば配置場所の移動等において情報収集装置１２２を電源供給源から切り離した場合であっても、データを保持する（消えないようにする）ことができる。また、電源供給源から離した状態で、情報収集装置１２２を駆動させ、例えば商品に関する情報等を収集（例えば撮像等）させることもできる。

＜顧客が見ている商品の特定方法１＞
上述したように、情報収集システム１００（の任意の装置）は、情報収集装置１２２が撮像して得られた撮像画像を解析して、顧客がどの商品を見ていたかを特定する。その際情報収集システム１００は、顧客の顔の向きを評価もしくは分析して特定することにより、顧客がどの商品を見ていたかを特定する。この顔の向きの特定方法の具体例を以下に説明する。

図１９Ａは、商品を陳列する陳列棚１２１に配置した商品種の数と同数の情報収集装置を、商品陳列棚１２１に配置した商品種毎に配置した実施の形態を表す図である。この実施の形態の１つの例として、図１９Ａは、商品陳列棚１２１に、５種類の商品（言い換えれば５個の商品種、１３１−１乃至１３１−５）が配置され、かつ、商品種の数（５個）と同数の情報収集装置（１２２−１乃至１２２−５）が商品種毎に配置され、かつ、商品陳列棚１２１の前面に１人の顧客（３０１）が立って商品を見ている状態を、棚の上方から見下ろした図である。

この場合の情報収集装置１２２−１乃至情報収集装置１２２−５のそれぞれにおいて得られる撮像画像の例を図１９Ｂに示す。図１９Ｂにおいて、顔画像３０２−１乃至顔画像３０２−５は、情報収集装置１２２−１乃至情報収集装置１２２−５のそれぞれにおいて得られる撮像画像から切り出された顧客３０１の顔（頭部）部分の画像である。この場合、商品陳列棚１２１周辺には顧客３０１しか存在しないので、これらの顔画像は全て顧客３０１の顔画像である。

情報収集システム１００は、これらの各顔画像における顔の向きを比較する。この比較方法は任意である。例えば、図１９Ｃに示されるように、顔画像３０２−１乃至顔画像３０２−５のそれぞれについて、顔もしくは頭部領域の中心と顔の中心の位置関係を表す指標（例えば図１９ＣのA1/W）を算出し、各画像間で比較するようにしてもよい。また、例えば、図１９Ｄに示されるように、顔画像３０２−１乃至顔画像３０２−５のそれぞれについて、顔もしくは頭部の両端と顔の中心の位置関係を表す指標（図１９Ｄにおける|B1-B2|、あるいはB1/B2）を算出し、各画像間で比較するようにしてもよい。さらに、例えば、図１９Ｅに示されるように、顔画像３０２−１乃至顔画像３０２−５のそれぞれについて、顔の中心と２つ目のそれぞれの中心との位置関係を表す指標（図１９Ｅにおける|C1-C2|、あるいはC1/C2）を算出し、各画像間で比較するようにしてもよい。

そして情報収集システム１００は、その比較の結果に基づいて『最も正面を向いている』と判定される顔の画像を特定する。この特定の方法は任意である。例えば、図１９Ｃの場合、A1/Wの値が最も０に近い画像を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよい。また、例えば、図１９Ｄの場合、|B1-B2|の値が最も０に近い画像を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよいし、あるいは、B1/B2の値が最も１に近い画像（|B1/B2-1|の値が最も０に近い画像）を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよい。さらに、例えば、図１９Ｅの場合、|C1-C2|の値が最も０に近い画像を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよいし、あるいは、C1/C2の値が最も１に近い画像（|C1/C2-1|の値が最も０に近い画像）を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよい。

そして情報収集システム１００は、『最も正面を向いている』と特定した画像を撮像した情報収集装置１２２に対応する商品１３１を、『顧客が見ている商品』として特定する。

例えば、図１９Ｂの場合、顔画像３０２−３が『最も正面を向いている顔の画像』と特定される。この顔画像３０２−３は、情報収集装置１２２−３により撮像された撮像画像から切り出された画像であるので、顧客３０１がその情報収集装置１２２−３に対応する商品１３１−３を見ていると特定される。

複数個の情報収集装置１２２が撮像した複数枚の画像を比較することにより、最も正面を向いている顧客の顔の画像を特定し、これにより顧客が見た商品を特定することについて、より詳しく説明する。

まず、第１の場合として、顧客が商品陳列棚１２１の両端以外の商品種１３１を見ている（正視している、直視している）場合について説明する。陳列棚１２１に配置した複数個の商品種１３１毎にその近傍に情報収集装置１２２を配置する。それぞれの情報収集装置１２２は、それぞれの近傍の商品種１３１に対応付けられている（紐付けられている）。陳列棚１２１に配置したある商品種を見ている顧客の顔を、これら複数個の情報収集装置を用いて撮像する。

そして、上記A1/Wまたは|B1-B2|あるいは|C1-C2|または|B1/B2-1|あるいは|C1/C2-1|を指標として、商品陳列棚１２１における各情報収集装置１２２の配置順に、これらの情報収集装置１２２が撮像した画像を比較する（より具体的には、各画像の指標の値の大きさを比較する）。第１の場合には、陳列棚の一方の端に配置された商品種１３１に対応付けられた情報収集装置１２２によって撮像された画像においては、上記指標は、ある正の値を持っている。これに続き、商品陳列棚１２１における各情報収集装置１２２の配置順に、これらの情報収集装置１２２が撮像した画像における上記指標の値の大きさを比較すると、上記顧客が見た商品種に近付くに従って上記指標の値の大きさが単調に減少し、上記顧客が見た商品種において上記指標の値の大きさが最小値（極小値、顧客が商品を見る姿勢によって多少のばらつきはあるが、概ね０に近い値）となり、その後、上記顧客が見た商品種から遠ざかるに従って上記指標の値の大きさが単調に増加する。

このため、上記A1/Wまたは|B1-B2|あるいは|C1-C2|または|B1/B2-1|あるいは|C1/C2-1|を指標として、商品陳列棚１２１における各情報収集装置１２２の配置順に、これらの情報収集装置１２２が撮像した画像を比較すると、上記指標の値の大きさが最小値（極小値、顧客が商品を見る姿勢によって多少のばらつきはあるが、概ね０に近い値）となった画像を撮像した情報収集装置１２２に対応付けられた（紐付けられた）商品種１３１が、顧客が見た（正視した、直視した）商品である、と特定することができる。同時に、陳列棚に配置された全ての商品種の中で、上記特定された商品種１３１に対応付けられた（紐付けられた）情報収集装置１２２で撮像された画像において、上記顧客の顔の向きに関する上記指標が最も小さくなっていることを、顧客の顔を撮像した画像において確認しているので、上記顧客が見た（正視した、直視した）商品の特定が正しいことを確認および検証していることになる。

次に、第２の場合として、顧客が商品陳列棚１２１の両端のどちらかの商品種１３１を見ている（正視している、直視している）場合について説明する。この場合、第１の場合と同様にして、商品陳列棚１２１における各情報収集装置１２２の配置順に、これらの情報収集装置１２２が撮像した画像における上記指標（A1/Wまたは|B1-B2|あるいは|C1-C2|または|B1/B2-1|あるいは|C1/C2-1|）の値の大きさを比較する。

その結果、（１）陳列棚の一方の端（第１の端）に配置された商品種１３１に対応付けられた情報収集装置１２２によって撮像された画像において、上記指標の値の大きさが最小値（極小値、顧客が商品を見る姿勢によって多少のばらつきはあるが、概ね０に近い値）となり、その後、上記第１の端から情報収集装置１２２までの距離が大きくなるに従って、上記指標の値の大きさが単調に増加する、あるいは、（２）陳列棚の一方の端（第１の端）に配置された商品種１３１に対応付けられた情報収集装置１２２によって撮像された画像において、上記指標の値の大きさがある正の値となり、その後、上記第１の端から情報収集装置１２２までの距離が大きくなるに従って、上記指標の値の大きさが単調に減少し、陳列棚のもう一方の端（第２の端）に配置された商品種１３１に対応付けられた情報収集装置１２２によって撮像された画像において、上記指標の値の大きさが最小値（極小値、顧客が商品を見る姿勢によって多少のばらつきはあるが、概ね０に近い値）となる。

このため、上記A1/Wまたは|B1-B2|あるいは|C1-C2|または|B1/B2-1|あるいは|C1/C2-1|を指標として、商品陳列棚１２１における各情報収集装置１２２の配置順に、これらの情報収集装置１２２が撮像した画像を比較すると、上記指標の値の大きさが最小値（極小値、顧客が商品を見る姿勢によって多少のばらつきはあるが、概ね０に近い値）となった画像を撮像した情報収集装置１２２に対応付けられた（紐付けられた）商品種１３１が、顧客が見た（正視した、直視した）商品である、と特定することができる。同時に、陳列棚に配置された全ての商品種の中で、上記特定された商品種１３１に対応付けられた（紐付けられた）情報収集装置１２２で撮像された画像において、上記顧客の顔の向きに関する上記指標が最も小さくなっていることを、顧客の顔を撮像した画像において確認しているので、上記顧客が見た（正視した、直視した）商品の特定が正しいことを確認および検証していることになる。

さらに情報収集システム１００は、その顧客３０１がその商品を見ている時間を計測する。また、情報収集システム１００は、その商品を見ている顧客３０１の年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３０１とその顧客３０１が見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

同一人物が複数の撮像画像に写り込む場合であっても、１人の顧客が見ている方向（商品）は１つのみである。したがって顔画像が最も正面を向いていると判定される撮像画像は１つである。したがって、このようにして顧客が見ている商品の特定（顧客の顔の向きの特定）を行うことにより、各撮像画像から同一人物の顔画像を特定する必要がなく、より容易かつ高精度に、顧客が見ている商品を特定することができる。また、顔の向きを利用することにより、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、より高精度な情報をより容易に収集することができる。さらに、顧客が正面を向いていること（先に述べた顔の向きについての指標が最も小さくなっていること）を、顧客の顔を撮像した画像において確認しているので、顧客が見た商品の上記特定が正しいことを確認および検証していることになる。

なお、顧客の視線の方向を推定することにより、顧客が見ている商品を推定するようにしてももちろんよい。この場合であっても、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報を収集することができる。

＜顧客が見ている商品の特定方法２＞
なお、顔の向きを撮像画像間で比較する代わりに、各撮像画像において、顔の向きを特定して『顔がこちらを向いているか否か（顔の向きが正面を向いているか否か）』を判定するようにしてもよい。

この判定方法は任意である。例えば、情報収集システム１００が、顔または頭部領域の中心と顔の中心の位置関係を表す指標（図１９ＣにおけるA1/W）を算出し、その値に基づいて判定するようにしてもよい。また、例えば、情報収集システム１００が、顔または頭部の両端と顔の中心の位置関係を表す指標（図１９ＤにおけるB1/B2）を算出し、その値に基づいて判定するようにしてもよい。さらに、例えば、情報収集システム１００が、顔の中心と２つ目のそれぞれの中心との位置関係を表す指標（図１９ＥにおけるC1/C2）を算出し、その値に基づいて判定するようにしてもよい。

それぞれの判定方法の判定条件は任意である。例えば、図１９Ｃの場合A1/Wの値が０に近いと『正面を向いている顔の画像』であると判断することができることから、A1/Wの値が『0±α』の範囲内の場合に『正面を向いている』と判定されるようにしてもよい。また、図１９Ｄの場合B1/B2の値が１に近いと『正面を向いている顔の画像』であると判断することができることから、B1/B2の値が『1±β』の範囲内の場合に『正面を向いている』と判定されるようにしてもよい。さらに、図１９Ｅの場合C1/C2の値が１に近いと『正面を向いている顔の画像』であると判断することができることから、『1±γ』の範囲内の場合に『正面を向いている』と判定されるようにしてもよい。なお、このα、β、γは、情報収集装置（または商品）の設置の間隔や顔の検出解析精度に依存するので、それらのパラメータに応じて調整することができるようにしてもよい。

例えば、図１９Ｂの場合、顔画像３０２−３のみが『正面を向いている顔の画像』と判断される。この顔画像３０２−３は、情報収集装置１２２−３により撮像された撮像画像から切り出された画像であるので、顧客３０１がその情報収集装置１２２−３に対応する商品１３１−３を見ていると特定される。

さらに情報収集システム１００は、その顧客３０１がその商品を見ている時間を計測する。また、情報収集システム１００は、その商品を見ている顧客３０１の年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３０１とその顧客３０１が見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

同一人物が複数の撮像画像に写り込む場合であっても、１人の顧客が見ている方向（商品）は１つのみである。したがって顔画像が正面を向いていると判定される撮像画像は１つである。したがって、このようにして顧客が見ている商品の特定（顧客の顔の向きの特定）を行うことにより、各撮像画像から同一人物の顔画像を特定する必要がなく、より容易かつ高精度に、顧客が見ている商品を特定することができる。また、顔の向きを利用することにより、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、より高精度な情報をより容易に収集することができる。

なお、顧客の視線の方向を推定することにより、顧客が見ている商品を推定するようにしてももちろんよい。この場合であっても、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報を収集することができる。

＜顧客が複数の場合の特定方法１＞
次に顧客が複数人の場合について説明する。図２０Ａに示される例の場合、商品陳列棚１２１の周辺には、３人の顧客３１１（顧客３１１Ａ、顧客３１１Ｂ、および顧客３１１Ｃ）が立っている。

この場合、各情報収集装置１２２が撮像して得られた撮像画像には、各顧客の顔画像が図２０Ｂの例のように含まれる。例えば、情報収集装置１２２−１において得られる撮像画像には、顧客３１１Ａの顔画像３１２−１と、顧客３１１Ｂの顔画像３１３−１とが含まれる。また、情報収集装置１２２−２において得られる撮像画像には、顧客３１１Ａの顔画像３１２−２と、顧客３１１Ｂの顔画像３１３−２とが含まれる。さらに、情報収集装置１２２−３において得られる撮像画像には、顧客３１１Ａの顔画像３１２−３と、顧客３１１Ｂの顔画像３１３−３と、顧客３１１Ｃの顔画像３１４−１とが含まれる。また、情報収集装置１２２−４において得られる撮像画像には、顧客３１１Ａの顔画像３１２−４と、顧客３１１Ｂの顔画像３１３−４と、顧客３１１Ｃの顔画像３１４−２とが含まれる。さらに、情報収集装置１２２−５において得られる撮像画像には、顧客３１１Ａの顔画像３１２−５と、顧客３１１Ｂの顔画像３１３−５と、顧客３１１Ｃの顔画像３１４−３とが含まれる。

つまり、これらの撮像画像には同一人物の顔画像が複数含まれる。そこで、情報収集システム１００は、各情報収集装置１２２によって撮像された顔画像から、重複して撮像された『同一人物』を特定し、その『同一人物』を集めたグループを作成する（図２０Ｂの点線枠）。

そして、情報収集システム１００は、その『同一人物』としてグルーピングされた各顔画像の間で顔の向きを比較する。この顔の向きの比較方法は任意である。例えば、図１９を参照して説明したような方法により比較するようにしてもよい。図２０の例の場合、顧客３１１Ａは、顔画像３１２−３が『最も正面を向いている』ので、情報収集装置１２２−３（つまり商品１３１−３）を見ていると特定される。また、顧客３１１Ｂは、顔画像３１３−２が『最も正面を向いている』ので、情報収集装置１２２−２（つまり商品１３１−２）を見ていると特定される。さらに、顧客３１１Ｃは、顔画像３１４−３が『最も正面を向いている』ので、情報収集装置１２２−５（つまり商品１３１−５）を見ていると特定される。

図１９の場合と同様に、情報収集システム１００は、その顧客３１１Ａ乃至顧客３１１Ｃのそれぞれが商品を見ている時間を計測する。また、情報収集システム１００は、商品を見ている顧客３１１Ａ乃至顧客３１１Ｃの年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３１１Ａ乃至顧客３１１Ｃとそれぞれが見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

このようにして顧客が見ている商品の特定（顧客の顔の向きの特定）を行うことにより、商品陳列棚１２１の周辺に顧客が複数人存在する場合であっても、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、より高精度な情報をより容易に収集することができる。

なお、顧客の視線の方向を推定することにより、顧客が見ている商品を推定するようにしてももちろんよい。この場合であっても、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報を収集することができる。

＜同一人物の特定１＞
次に、上述の方法における顧客の画像から同一人物を特定する方法の例について説明する。同一人物の特定の方法は任意であるが、例えば、情報収集装置１２２が有する測距センサを利用して同一人物の特定を行うようにしてもよい。

例えば、図２１Ａに示されるように、商品陳列棚１２１に商品１３１−１乃至商品１３１−５が陳列され、それに対応して情報収集装置１２２−１乃至情報収集装置１２２−５が設置されているとする。そして、その商品陳列棚１２１の前方周辺に顧客Ａ乃至顧客Ｇが立っているとする。ここで、説明の為に、商品陳列棚１２１の前方の空間に対してＸ座標およびＹ座標を図２１Ａのように設定する。そして、顧客Ａの鼻の座標を（x1,y1）とし、顧客Ｂの鼻の座標を（x2,y2）とし、顧客Ｃの鼻の座標を（x3,y3）とし、顧客Ｄの鼻の座標を（x4,y4）とし、顧客Ｅの鼻の座標を（x5,y5）とし、顧客Ｆの鼻の座標を（x6,y6）とし、顧客Ｇの鼻の座標を（x7,y7）とする。

各情報収集装置１２２は、それぞれの撮像画像において検出される顔（もしくは頭）について、図２１Ｂに示されるように、各情報収集装置１２２に装備されている測距センサで角度と距離を計測する。具体的には、被写体（顔、例えば鼻の位置）までの角度と距離を計測する。情報収集システム１００は、その計測結果に基づいて上記X、Y座標を求める。同一人物の座標は同一となるので、その座標によって同一人物を特定することができる。

例えば、図２１Ｃのように、座標（x5,y5）が求められた顔画像は、全て顧客Ｅの顔画像であると特定することができる。また、座標（x6,y6）が求められた顔画像は、全て顧客Ｆの顔画像であると特定することができる。さらに、座標（x7,y7）が求められた顔画像は、全て顧客Ｇの顔画像であると特定することができる。情報収集システム１００は、検出された全ての顔に関して、『同じ顔』のグループを作成し、顔向きの比較時に用いる。

このようにすることにより、情報収集システム１００は、容易かつ高精度に同一人物を特定することができる。

＜同一人物の特定２＞
また、一定の時間監視することによって（複数フレームの撮像画像から）、同一人物を特定するようにしてもよい。

例えば、図２２Ａに示されるように、商品陳列棚１２１に商品１３１−１乃至商品１３１−５が陳列され、それに対応して情報収集装置１２２−１乃至情報収集装置１２２−５が設置されているとする。そして、その商品陳列棚１２１の前方周辺に顧客３３１Ａおよび顧客３３１Ｂが立っているとする。

あるタイミングにおいて、各情報収集装置１２２により得られる撮像画像は、図２２Ｂのようになる。つまり、情報収集装置１２２−１において得られた撮像画像３３２−１においては、顧客３３１Ａおよび顧客３３１Ｂの顔画像は検出されない。また、情報収集装置１２２−２において得られた撮像画像３３２−２においては、顧客３３１Ａの顔画像３３３−１および顧客３３１Ｂの顔画像３３４−１が検出される。さらに、情報収集装置１２２−３において得られた撮像画像３３２−３においては、顧客３３１Ａの顔画像３３３−２および顧客３３１Ｂの顔画像３３４−２が検出される。また、情報収集装置１２２−４において得られた撮像画像３３２−４においては、顧客３３１Ａの顔画像３３３−３および顧客３３１Ｂの顔画像３３４−３が検出される。また、情報収集装置１２２−５において得られた撮像画像３３２−５においては、顧客３３１Ａの顔画像３３３−４が検出される。

ここから、『同一人物』を特定するために、各撮像画像の時間方向の顧客の動きに着目する。『同一人物』であれば、同じ時刻での動きの有無や動きの向きは、異なるカメラ間の画像でも同じ傾向となる。情報収集システム１００は、この傾向を利用して同一人物の特定を行う。

例えば図２３の場合、各撮像画像において、実線枠で囲まれる顧客Ａの３つの顔は、時刻Ti-1で一緒に動き出し、時刻Tiで一緒に止まり、その後、時刻Ti1+1まで３つとも静止している。つまり、この３つの顔画像が１組となって実線矢印のように移動している。情報収集システム１００は、このように、一連の動作、特に動き出し、移動動作の停止、動く向きが同じ人物を、『同一人物』と特定する。

また、各撮像画像において、点線枠で囲まれる顧客Ｂの３つの顔は、時刻Tiまで止まっており、Tiで一緒に動き出し、時刻Ti+1には図示したところまで一緒に動いてきた。つまり、この３つの顔画像が１組となって点線矢印のように移動している。情報収集システム１００は、このように、一連の動作、特に動き出し、移動動作の停止、動く向きが同じ人物を、『同一人物』と特定する。

複数の人物同士で、仮に、動きのタイミングが同じになったとしても、それら複数人の異なる人物が歩く場所は、それぞれ異なる。そのため、これら複数人が各カメラにフレームインするタイミングは、それぞれ異なる。そのため、各カメラに撮像されたどの顔が同一人物かを、見極めることができる。

情報収集システム１００は、検出された全ての顔に関して、『同じ顔』のグループを作成し、顔向きの比較時に用いる。

このようにすることにより、情報収集システム１００は、容易かつ高精度に同一人物を特定することができる。

なお、情報収集システム１００は、例えば顔認識によってどの顔が『同一人物』であるかを特定する等、その他の任意の方法で同一人物の特定を行うようにしてももちろんよい。

＜顧客が複数の場合の特定方法２＞
なお、複数人の顧客が撮像画像に含まれる場合であっても、＜顧客が見ている商品の特定方法２＞において説明したように、各撮像画像において、顔の向きを特定して『顔がこちらを向いているか否か（顔の向きが正面を向いているか否か）』を判定するようにしてもよい。この場合、各撮像画像において、各顔画像について、顔の向きを特定して『顔がこちらを向いているか否か（顔の向きが正面を向いているか否か）』を判定するようにすればよい。

例えば、図２４Ａに示されるように、商品陳列棚１２１に商品１３１−１乃至商品１３１−５が陳列され、それに対応して情報収集装置１２２−１乃至情報収集装置１２２−５が設置されているとする。そして、その商品陳列棚１２１の前方周辺に顧客３６１Ａ、顧客３６１Ｂ、および顧客３６１Ｃが立っているとする。

あるタイミングにおいて、各情報収集装置１２２により得られる撮像画像は、図２４Ｂのようになる。つまり、情報収集装置１２２−１において得られた撮像画像３６２−１においては、顧客３６１Ａの顔画像３６３−１および顧客３６１Ｂの顔画像３６４−１が検出される。また、情報収集装置１２２−２において得られた撮像画像３６２−２においては、顧客３６１Ａの顔画像３６３−２、顧客３６１Ｂの顔画像３６４−２、顧客３６１Ｃの顔画像３６５−１が検出される。さらに、情報収集装置１２２−３において得られた撮像画像３６２−３においては、顧客３６１Ａの顔画像３６３−３、顧客３６１Ｂの顔画像３６４−３、顧客３６１Ｃの顔画像３６５−２が検出される。また、情報収集装置１２２−４において得られた撮像画像３６２−４においては、顧客３６１Ａの顔画像３６３−４、顧客３６１Ｂの顔画像３６４−４、顧客３６１Ｃの顔画像３６５−３が検出される。さらに、情報収集装置１２２−５において得られた撮像画像３６２−５においては、顧客３６１Ａの顔画像３６３−５、顧客３６１Ｂの顔画像３６４−５、顧客３６１Ｃの顔画像３６５−４が検出される。

情報収集システム１００は、各撮像画像３６２において、検出された全ての顔の向きを特定し、『顔がこちらを見ているか否か』（具体的には、『顔の向きが正面を向いているか否か』）を判定する。この判定方法は任意である。例えば、＜顧客が見ている商品の特定方法２＞において説明した方法と同様の方法により判定するようにしてもよい。

例えば図２４Ｂの場合、情報収集システム１００は、撮像画像３６２−１について、『正面を向いている顔』は『無し』と判定する。また、情報収集システム１００は、撮像画像３６２−２について、『正面を向いている顔』は『有り』（顔画像３６３−２）と判定し、『顧客３６１Ａが商品１３１−２を見ている』と判定する。さらに、情報収集システム１００は、撮像画像３６２−３について、『正面を向いている顔』は『有り』（顔画像３６４−３）と判定し、『顧客３６１Ｂが商品１３１−３を見ている』と判定する。また、情報収集システム１００は、撮像画像３６２−４について、『正面を向いている顔』は『無し』と判定する。さらに、情報収集システム１００は、撮像画像３６２−５について、『正面を向いている顔』は『有り』（顔画像３６５−４）と判定し、『顧客３６１Ｃが商品１３１−５を見ている』と判定する。

さらに情報収集システム１００は、その顧客３６１がその商品を見ている時間を計測する。また、情報収集システム１００は、その商品を見ている顧客３６１の年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３６１とその顧客３６１が見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

このようにして顧客が見ている商品の特定（顧客の顔の向きの特定）を行うことにより、商品陳列棚１２１の周辺に顧客が複数人存在する場合であっても、より容易かつ高精度に、各顧客が見ている商品を特定することができる。また、顔の向きを利用することにより、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報をより容易に収集することができる。

＜垂直方向の特定方法１＞
以上においては、顧客の顔の水平方向の向きの特定について説明したが、この特定は、垂直方向についても行われるようにしてもよい。

例えば、図２５Ａに示されるように、商品陳列棚１２１の各棚に情報収集装置１２２−１乃至情報収集装置１２２−５が設置されているとする。つまり、情報収集装置１２２−１乃至情報収集装置１２２−５が垂直方向に並んでいるとする。そして、その商品陳列棚１２１の前方周辺に顧客３７１がいるとする。

また、情報収集装置１２２−１乃至情報収集装置１２２−５のそれぞれにおいて得られた撮像画像から、図２５Ｂに示される各顔画像が検出されるとする。つまり、情報収集装置１２２−１において得られた撮像画像において顔画像３７２−１が検出され、情報収集装置１２２−２において得られた撮像画像において顔画像３７２−２が検出され、情報収集装置１２２−３において得られた撮像画像において顔画像３７２−３が検出され、情報収集装置１２２−４において得られた撮像画像において顔画像３７２−４が検出され、情報収集装置１２２−５において得られた撮像画像において顔画像３７２−５が検出されるとする。

情報収集システム１００は、これらの各顔画像の顔の向きを比較する。この比較方法は任意である。例えば、情報収集システム１００が、顔画像３７２−１乃至顔画像３７２−５のそれぞれにおいて、目と上唇の間の長さと顔の幅の比率（図２５Ｃに示される顔画像３７２におけるN/W）を算出し、この指標（N/W）を画像間で比較するようにしてもよい。

そして情報収集システム１００は、その比較の結果に基づいて『最も正面を向いている』と判定される顔の画像を特定する。この特定の方法は任意である。例えば、図２５Ｃの場合、N/Wの値が最も大きい画像を『最も正面を向いている顔の画像』として特定（言い換えれば、評価もしくは分析の結論を付与）するようにしてもよい。この方法によると、図２５Ｂの例の場合、情報収集装置１２２−４において得られた撮像画像における顔画像３７２−４が『最も正面を向いている顔の画像』として特定される。

そして情報収集システム１００は、『最も正面を向いている』と特定した画像を撮像した情報収集装置１２２に対応する商品１３１を、『顧客が見ている商品』として特定する。

さらに情報収集システム１００は、その顧客３７１がその商品を見ている時間を計測する。また、情報収集システム１００は、その商品を見ている顧客３７１の年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３７１とその顧客３７１が見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

垂直方向の場合も、１人の顧客が見ている方向（商品）は１つのみである。したがってこの場合も、上述のように特定を行うことにより、各撮像画像から同一人物の顔画像を特定する必要がなく、より容易かつ高精度に、顧客が見ている商品を特定することができる。また、顔の向きを比較するだけで、顧客が見ている商品を特定することができる。つまり、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、より高精度な情報をより容易に収集することができる。

なお、顧客の視線の方向を推定することにより、顧客が見ている商品を推定するようにしてももちろんよい。この場合であっても、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報を収集することができる。

＜垂直方向の特定方法２＞
顧客の顔の垂直方向の向きの特定方法は、上述の例に限定されない。例えば、顔画像間で指標の比較を行わずに、各画像において指標を評価して顔の向きを特定するようにしてもよい。

例えば、図２５Ａの場合に、＜垂直方向の特定方法１＞において説明したのと同様に、各撮像画像から図２５Ｂに示されるような顔画像３７２−１乃至顔画像３７２−５が検出されたとする。情報収集システム１００は、これらの顔の向きを特定し、『顔がこちらを見ているか否か』を判定する。より具体的には、情報収集システム１００は、『顔の向きが正面を向いているか否か』を判定する。この場合、他の撮像画像の顔画像との比較は行わない。

なお、この顔の向きの特定方法は、任意である。例えば、図２５Ｃに示されるように、情報収集システム１００が、顔画像３７２について、目と上唇の間の長さと顔の幅の比率を指標（図２５ＣにおけるN/W）を算出し、その値に基づいて判定するようにしてもよい。

例えば、このNおよびWの統計上の平均値をそれぞれN0、W0とする。顔の向きの指標であるN/WがN0/W0に近いと『正面を向いている顔の画像』であると判断することができることから、『N0/W0±α』の範囲内の場合に『正面を向いている』と判定されるようにしてもよい。なおこのαは、任意の値としてよいが、例えばN0/W0値の10％としてもよい。また、商品や情報収集装置１２２の設置の間隔や顔の検出解析精度に依存するので、このαの値を調整することができるようにしてもよい。

さらに情報収集システム１００は、その顧客３７１がその商品を見ている時間を計測する。また、情報収集システム１００は、その商品を見ている顧客３７１の年齢や性別などの属性を、任意の分析手法を用いて取得する。さらに、情報収集システム１００は、顧客３７１とその顧客３７１が見ている商品（その商品に対応する情報収集装置１２２または商品陳列棚１２１でもよい）との距離を求める。情報収集システム１００は、これらの解析結果を顧客に関する情報として収集する。

この場合も、１人の顧客が見ている方向（商品）は１つのみである。したがってこの場合も、上述のように特定を行うことにより、各撮像画像から同一人物の顔画像を特定する必要がなく、より容易かつ高精度に、顧客が見ている商品を特定することができる。また、顔の向きを利用することにより、顧客の視線の先を推定する場合よりも簡単なアルゴリズムで、かつ、高い精度で、顧客が見ている商品を特定することができる。つまり、情報収集システム１００は、より高精度な情報をより容易に収集することができる。

なお、顧客の視線の方向を推定することにより、顧客が見ている商品を推定するようにしてももちろんよい。この場合であっても、情報収集システム１００は、情報収集装置１２２を商品種毎に備えるため、顧客について従来技術よりも多くの方向からの画像を撮像することができる。このため、より高精度な情報を収集することができる。

＜情報表示について＞
例えば、電子棚札や電子POP等のように情報出力（表示）機能を備えている場合、情報収集装置１２２は、情報を出力（表示等）することができる。この情報は、例えば情報収集装置１２２に内蔵されている記憶部に予め記憶されているようにしてもよいし、ユーザ等により情報収集装置１２２に入力されるようにしてもよい。

また、通信機能を介して他の装置より供給されるようにしてもよい。例えば、図２６に示されるように、情報管理サーバ１０３からその情報が供給される（情報収集装置１２２が情報管理サーバ１０３から供給された情報を出力する）ようにしてもよい。なお、情報収集装置１２２と情報管理サーバ１０３との間の通信はローカルサーバ１２３や中経装置１０２等を経由してもしなくてもよいので、図２６においてはこれらの図示や説明を省略している。上述したように、情報収集装置１２２は、通信機能を利用して、収集した情報（商品や顧客に関する情報等）を情報管理サーバ１０３に供給する（矢印４０１）。そして、この通信機能（もちろん他の通信機能でも良い）を利用して、情報管理サーバ１０３から情報収集装置１２２に情報が供給される（矢印４０２）。情報収集装置１２２は、この情報管理サーバ１０３から供給された情報を、例えば画像や音声等として出力する。

その際、情報管理サーバ１０３が、情報収集装置１２２から供給された情報に関係する情報を、その情報収集装置１２２に供給するようにしてもよい。例えば、情報収集装置１２２が、商品を撮像し、その撮像画像に基づいて商品を特定し、その商品の識別情報を情報管理サーバ１０３に供給すると、情報管理サーバ１０３が、その識別情報に対応する商品に関する情報（例えば商品名、価格等）（すなわち、撮像された商品に関する情報）を、その情報収集装置１２２に供給する。情報収集装置１２２は、その商品名や価格などを画像（文字情報も含む）や音声等として出力する。このように情報収集装置１２２に商品を撮像させるだけで、容易に、その商品名や価格等の情報を、情報収集装置１２２に出力（表示等）させることができる。

また、例えば、情報収集装置１２２が、顧客を撮像し、その撮像画像に基づいて顧客の属性を特定し、その顧客の属性情報を情報管理サーバ１０３に供給すると、情報管理サーバ１０３が、その属性情報に対応する商品に関する情報（例えば、その属性の顧客にお勧めの商品名や価格等）（すなわち、撮像された顧客に提示すべき情報）を、その情報収集装置１２２に供給する。情報収集装置１２２は、その商品名や価格などを画像（文字情報も含む）や音声等として出力する。このようにすることにより、情報収集装置１２２が、容易に、周辺に位置する顧客にとって適切な情報を出力（表示等）することができるようになる。

なお、図２６の例において、情報管理サーバ１０３が、情報収集装置１２２から供給された情報と無関係の情報（独立した情報）を、その情報収集装置１２２に供給するようにしてもよい。この場合、情報の送信タイミングも互いに独立していてもよい。つまり、情報管理サーバ１０３が、情報収集装置１２２からの情報の供給タイミングと独立したタイミングにおいて、その情報とは独立した情報を、情報収集装置１２２に供給するようにしてもよい。

例えば、情報管理サーバ１０３が、売り場の案内や、セール品やタイムセールの予定の案内等のような、情報収集装置１２２から供給される情報とは無関係な情報を、情報収集装置１２２からの情報供給タイミングとは無関係なタイミングにおいて（例えば情報収集装置１２２から情報が供給されていなくても）、情報収集装置１２２に対して供給し、情報収集装置１２２が、その情報を画像（文字情報も含む）や音声等として出力する。このようにすることにより、より容易に任意の情報を情報収集装置１２２に出力させることができる。もちろん、情報管理サーバ１０３は、このような情報を供給する情報収集装置１２２を任意に選択することができる。つまり、容易に、任意の場所（情報収集装置１２２）に任意の情報を出力させることができる。

なお、情報収集装置１２２が出力する情報は、情報管理サーバ１０３以外の装置から供給されるようにしてもよい。例えば、図２７に示されるように、情報管理サーバ１０３とは別の情報提供サーバ４１１から供給されるようにしてもよい。

つまり、この場合、情報収集装置１２２は、通信機能を利用して、収集した情報（商品や顧客に関する情報等）を情報管理サーバ１０３に供給する（矢印４２１）。また、この通信機能（もちろん他の通信機能でも良い）を利用して、情報提供サーバ４１１から情報収集装置１２２に情報が供給される（矢印４２２）。情報収集装置１２２は、この情報提供サーバ４１１から供給された情報を、例えば画像や音声等として出力する。

図２６の例の場合と同様に、情報収集装置１２２から情報管理サーバ１０３に供給される情報と、情報提供サーバ４１１から情報収集装置１２２に提供される情報とが、互いに関係していてもよいし、互いに独立していてもよい。また、これらの情報の伝送タイミングも、互いに関係していてもよいし、互いに独立していてもよい。

さらに、情報提供サーバ４１１が複数台設けられるようにしてもよい。つまり、情報収集装置１２２が、複数の装置から供給される情報を出力することができるようにしてもよい。

また、情報収集装置１２２に出力させる情報を供給する図２６の情報管理サーバ１０３や図２７の情報提供サーバ４１１は、任意の情報収集装置１２２に対して、任意の情報を任意のタイミングに供給することができるようにしてもよい。例えば、複数の情報収集装置１２２に対して同じ情報を供給することもできるようにしてもよいし、ある情報収集装置１２２に対して、その情報収集装置１２２から供給された情報に関係する情報を供給し、他の情報収集装置１２２に対して、その情報収集装置１２２から供給された情報とは無関係の情報を供給することができるようにしてもよい。また、一部の情報収集装置１２２に対して情報を供給しないようにすることができるようにしてもよい。また、例えば、ある情報収集装置１２２から供給された情報に関係する情報を、他の情報収集装置１２２に供給することができるようにしてもよい。

なお、図２６や図２７の例において、情報収集装置１２２が、情報を情報管理サーバ１０３に供給する機能を備えていなくてもよい。情報収集装置１２２が収集した情報は、任意の方法でその情報収集装置１２２から取り出すことができるようにしてもよい。例えば、収集された情報がUSBメモリ等のリムーバブルメディアに記憶され、そのリムーバブルメディアを介して、情報収集装置１２２の外部（例えば情報管理サーバ１０３等の他の装置）に出力されるようにしてもよい。

＜２．第２の実施の形態＞
＜電子棚札システム＞
次に、以上に説明した情報処理システムのより具体的な例について説明する。図２８は、本技術を適用した情報処理システムの一実施の形態である電子棚札システムの主な構成例を示す図である。図２８に示される電子棚札システム１１００は、電子棚札１１０１に商品の情報を表示させるシステムである。

図２８に示されるように、電子棚札システム１１００は、Ｎ（Ｎは任意の自然数）個の電子棚札１１０１（電子棚札１１０１−１乃至電子棚札１１０１−Ｎ）を有する。電子棚札１１０１−１乃至電子棚札１１０１−Ｎを互いに区別しない場合、電子棚札１１０１と称する。電子棚札１１０１−１において示されるように、電子棚札１１０１の筐体には、カメラ１１１１、モニタ１１１２、およびモード識別用LED（Light Emitting Diode）１１１３が設けられている。

カメラ１１１１は、例えばCCD（Charge Coupled Device）イメージセンサ、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等、任意の撮像素子を有し、カメラ１１１１前方の被写体を撮像する。なお、カメラ１１１１が、その撮像素子の他に、例えばレンズや絞り等、任意の光学系を有するようにしてもよい。

モニタ１１１２は、例えばLCD（Liquid Crystal Display）、OELD（Organic Electro Luminescence Display）等、任意の表示デバイスを有し、例えば、商品名、カテゴリ、価格、識別情報（例えば識別番号やバーコード等）等、商品に関する任意の情報を表示する。

モード識別用LED１１１３は、電子棚札１１０１の動作モードを示す表示デバイスである。モード識別用LED１１１３は、例えば、発光色または発光の有無等によって電子棚札１１０１の動作モードを示す。なお、電子棚札１１０１の動作モードを示す表示デバイスは、LEDに限らず、任意の表示デバイスにより構成されるようにしてもよい。また、例えば、このような表示デバイスを省略し、電子棚札１１０１の動作モードを示す画像（例えば、絵柄、文字、記号等）をモニタ１１１２に表示させるようにしてもよい。

なお、電子棚札１１０１の筐体の構成は任意であり、図２８に示される例に限定されない。例えば、カメラ１１１１、モニタ１１１２、モード識別用LED１１１３は、それぞれ、電子棚札１１０１の筐体の、図２８の例と異なる位置に配置されるようにしてもよい。また、カメラ１１１１、モニタ１１１２、モード識別用LED１１１３は、それぞれ、複数設けられるようにしてもよい。それぞれの数は任意であり、互いに同数でなくてもよい。さらに、電子棚札１１０１は、測距センサを備えてもよい。

また、電子棚札１１０１は、通信機能を有し、ネットワーク１１０２を介して、例えばサーバ１１０３等、他の装置と通信を行うことができる。

ネットワーク１１０２は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク１１０２が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク１１０２に含まれるようにしてもよい。

サーバ１１０３は、電子棚札１１０１に対して、商品に関する情報等を提供する。サーバ１１０３は、通信機能を有し、ネットワーク１１０２を介して電子棚札１１０１等の他の装置と通信を行うことができる。サーバ１１０３の構成については後述するが、サーバ１１０３の構成は任意であり、１台の装置により構成されるようにしてもよいし、複数台の装置により構成されるようにしてもよいし、１台または複数台のサーバ上で動作する仮想サーバとして構成されるようにしてもよい。さらに、サーバ１１０３を、その構成を特定せずに、所謂クラウドサーバとしてもよい。

＜電子棚札の設置例＞
図２９は、電子棚札１１０１の設置の様子の例を示す図である。図２９に示されるように、電子棚札１１０１は、商品種毎に、それぞれの商品種の近傍に設置される。図２９の例の場合、電子棚札１１０１−１乃至電子棚札１１０１−２０が、商品棚（言い換えれば商品の陳列棚）１１２０の手前側（客側）に設置されている。商品棚１１２０の各段の棚１１２１−１乃至棚１１２１−４には、商品１１２２が配置される。なお、以下において、棚１１２１−１乃至棚１１２１−４を互いに区別して説明する必要が無い場合、棚１１２１と称する。また、図２９においては、１群の商品１１２２のみが示されているが、棚１１２１には、任意の位置に任意の数の商品１１２２を配置することができる。

図２９においては商品１１２２の図示を省略しているが、実際には、各電子棚札１１０１は、それぞれが情報を表示している商品の近傍に配置される。例えば、図２９において図示している商品１１２２の情報（例えば商品名や価格等）は、その近傍に配置された電子棚札１１０１−１に表示される。客は、それらの位置関係と電子棚札に表示される商品名等から、商品１１２２と電子棚札１１０１との対応関係を把握することができる。

＜電子棚札の構成＞
図３０は、電子棚札１１０１の主な構成例を示すブロック図である。図３０に示されるように、電子棚札１１０１は、例えば、撮像部１１３１、画像認識部１１３２、処理制御部１１３３、通信部１１３４、表示制御部１１３５、記憶部１１３６、および表示部１１３７等の処理部を有する。

撮像部１１３１は、カメラ１１１１等を含み、被写体を撮像し、撮像画像（画像データ）を得る処理部である。撮像部１１３１は、得られた撮像画像の画像データを画像認識部１１３２に供給する。画像認識部１１３２は、撮像部１１３１から供給される画像データ（撮像画像）を解析し、撮像画像に含まれる、商品に関する所望の情報を認識する処理部である。画像認識部１１３２は、その認識結果を処理制御部１１３３に通知する。

処理制御部１１３３は、画像認識部１１３２による認識結果に基づいて、動作モードの選択に関する処理を行う処理部である。処理制御部１１３３は、その選択した動作モードに応じたデータを通信部１１３４や表示制御部１１３５に供給する。通信部１１３４は、他の装置と通信を行う処理部である。例えば、通信部１１３４は、処理制御部１１３３から供給されるデータを、ネットワーク１１０２を介してサーバ１１０３に供給する。また、例えば、通信部１１３４は、ネットワーク１１０２を介してサーバ１１０３からデータを取得し、それを表示制御部１１３５に供給する。

表示制御部１１３５は、表示部１１３７の表示制御に関する処理を行う処理部である。例えば、表示制御部１１３５は、処理制御部１１３３や通信部１１３４等から供給されるデータを用いて表示用画像を生成し、その表示用画像を表示部１１３７に供給し、表示させる。なお、表示制御部１１３５は、処理制御部１１３３や通信部１１３４等から供給されるデータを記憶部１１３６に記憶させ、任意のタイミングにおいてそのデータを読み出すことができる。つまり、表示制御部１１３５は、データの供給タイミングに関わらず、任意のタイミングにおいて、表示用画像を生成し、表示部１１３７に表示させることができる。

記憶部１１３６は、任意の記憶媒体を有し、表示制御部１１３５から供給される情報を記憶することができる処理部である。記憶部１１３６は、表示制御部１１３５からの要求に応じて、記憶している情報を表示制御部１１３５に供給する。表示部１１３７は、例えば、モニタ１１１２やモード識別用LED１１１３を有し、表示制御部１１３５から供給される表示用画像等の表示に関する処理を行う処理部である。

図３１は、図３０の画像認識部１１３２の主な構成例を示すブロック図である。図３１に示されるように、画像認識部１１３２は、例えば、特定コード認識部１１４１、客認識部１１４２、および商品認識部１１４３を有する。

特定コード認識部１１４１は、撮像画像に含まれる、動作モード設定用の特定コードの認識に関する処理を行う。客認識部１１４２は、撮像画像に含まれる、客の顔等の認識に関する処理を行う。商品認識部１１４３は、撮像画像に含まれる、商品に関する情報の認識に関する処理を行う。

＜情報設定モード＞
電子棚札１１０１は、表示する商品の情報を更新する場合、情報設定モードで動作する。情報設定モードの場合、電子棚札１１０１は、カメラ１１１１により商品に関する情報を撮像し、その撮像画像に含まれる商品に関する情報を認識することにより、モニタ１１１２に表示する情報の更新を行う。

例えば、撮像部１１３１がカメラ１１１１を用いて商品に関する情報を撮像する。この商品に関する情報は、その商品を特定することができる情報であれば、どのような情報であってもよい。例えば、商品の外観や包装等であってもよいし、その包装や、商品カタログ等のような商品以外に記載された、その商品を識別する情報（識別情報）であってもよい。この識別情報は、どのような情報であってもよく、例えば、商品名、バーコード、QRコード（登録商標）、製造番号、識別番号等であってもよいし、それら以外であってもよいし、複数種類の情報を組み合わせてもよい。

画像認識部１１３２の商品認識部１１４３は、その撮像画像に含まれる商品に関する情報を認識する。処理制御部１１３３は、その商品に関する情報を、画像認識部１１３２が認識した認識データとして通信部１１３４に供給する。通信部１１３４は、その認識データをサーバ１１０３に供給する。サーバ１１０３は、その認識データに応じた、商品に関する表示用データを電子棚札１１０１に供給する。

電子棚札１１０１の通信部１１３４は、その表示用データを取得し、表示制御部１１３５は、その表示用データを用いて表示用画像を生成する。この表示用画像の内容は任意であるが、例えば、撮像部１１３１により撮像された商品（または撮像された「商品に関する情報」に対応する商品）の商品名、価格、バーコード（識別情報）の内、少なくともいずれか１つが含まれるようにしてもよい。また、例えば、商品の産地や生産者等の情報が含まれるようにしてもよい。また、値引き価格等の情報が含まれるようにしてもよい。もちろん、これらの例以外の情報が表示用画像に含まれていてもよい。例えば、撮像した商品（または撮像された「商品に関する情報」に対応する商品）と異なる商品についての情報が表示されるようにしてもよい。例えば、販売者側から客に対してお勧めの商品に関する情報が含まれるようにしてもよい。また、複数種類の情報が表示用画像に含まれていてもよい。

表示部１１３７は、その表示用画像をモニタ１１１２に表示させる。つまり、表示部１１３７は、画像認識部１１３２により認識された商品に関する情報に対応する「商品に関する画像」を表示する。

したがって、例えば、商品を販売する店舗の店員は、電子棚札１１０１を「情報設定モード」にして、カメラ１１１１に商品等（例えば商品、商品の包装、商品カタログ等）を撮像させることにより、その電子棚札１１０１のモニタ１１１２に表示される内容を、その商品についての情報に更新することができる。つまり、情報の更新の際に、ハンディターミナル等の専用の装置が不要になるので、コストの増大を抑制することができる。また、ハンディターミナル等の専用の装置の操作が不要になることで、より容易に電子棚札１１０１が表示する情報を更新することができる。つまり、利便性を向上させることができる。

なお、電子棚札１１０１が単体で動作し、サーバ１１０３を利用せずに表示する情報を更新することができるようにしてもよい。例えば、電子棚札１１０１が、予め商品に関する表示用データを複数記憶し、撮像された商品に関する情報に基づいて、使用する表示用データを選択するようにしてもよい。ただし、上述したようにサーバ１１０３を利用することにより、電子棚札１１０１の記憶容量による制限を抑制することができ、より多くの商品、より多くの種類の情報に対応させる（より多様な情報を表示させる）ことができる。また、より最新の情報を表示させることができる。さらに、システム全体でみた場合、複数の電子棚札１１０１の情報をサーバ１１０３にてまとめて管理することができるので、管理がより容易になるとともに、コストの増大を抑制することができる。

＜情報取得モード＞
情報を更新しない場合、電子棚札１１０１は、商品に関する情報を含む表示用画像を表示する。その際、電子棚札１１０１は、情報取得モードで動作し、客に関する情報を収集することができる。また、その収集した情報に基づいて、表示する画像を更新することもできる。

例えば、撮像部１１３１がカメラ１１１１を用いて客の顔や手等を撮像する。画像認識部１１３２の客認識部１１４２は、その撮像画像に含まれる客の画像から、客に関する情報を認識する。この客に関する情報は、どのような情報であってもよく、例えば、年齢（または年齢帯）、性別、名前や連絡先等の登録情報、表情、位置、向き、動き、視線、体温、呼吸の様子、手相、指紋等であってもよいし、それら以外であってもよいし、複数種類の情報を組み合わせてもよい。

処理制御部１１３３は、その客に関する情報を、画像認識部１１３２が認識した認識データとして通信部１１３４に供給する。通信部１１３４は、その認識データをサーバ１１０３に供給する。サーバ１１０３は、その認識データを取得し、管理する。このようにすることにより、サーバ１１０３は、各電子棚札１１０１から客に関する情報を容易に収集することができ、客についてタイプや行動を分析したり、その分析結果や集計結果を販売戦略の計画等に利用したりすることができる。さらに、その分析結果や集計結果を電子棚札１１０１による情報表示の制御にも利用することができる。つまり、利便性を向上させることができる。

なお、電子棚札１１０１は商品に近い位置に設置されるため、上述のように情報取得モードで動作することにより、例えば、どの商品とどの商品とを比較したか、視線を向けただけか商品を手にしたか、商品をいくつかごに入れたか、商品を棚に戻したか等、商品近傍の客についての情報を収集することができる。したがって、より有用な情報を得ることができる。

また、例えば、サーバ１１０３が収集した客に関する情報に基づいて、電子棚札１１０１に表示させる表示用データを選定し、その表示用データを電子棚札１１０１に供給するようにしてもよい。この表示用データの内容は任意である。例えば、この表示用データに商品に関する情報が含まれるようにしてもよい。例えば、サーバ１１０３が、収集した客に関する情報に基づいて、客に対して提示することにより宣伝効果が期待される商品に関する情報を、表示用データとして選定するようにしてもよい。また、例えば、サーバ１１０３が、収集した客に関する情報に基づいて、より大きな効果が得られるような表示の仕方（例えば表示用画像のレイアウト等）を特定し、その表示方法を示す表示用データを選定するようにしてもよい。

電子棚札１１０１の通信部１１３４は、その表示用データを取得し、表示制御部１１３５は、その表示用データから表示用画像（商品に関する画像）を生成し、表示部１１３７は、その表示用画像をモニタ１１１２に表示させる。つまり、表示部１１３７は、収集した客に関する情報に対応する商品に関する画像をモニタ１１１２に表示させることができる。したがって、電子棚札１１０１は、より大きな効果（例えば販促効果）を期待することができる表示を行うことができる。

＜モードの切り替え＞
電子棚札１１０１は、以上のような情報設定モードと情報取得モードとを切り換えることができる。この切り替えの方法は任意である。例えば、電子棚札１１０１の筐体に動作モードを切り替えるスイッチを設け、ユーザ等が手動でそのスイッチを動かして動作モードを切り替えるようにしてもよい。また、例えば、電子棚札１１０１が特定コードを撮像することによって、この動作モードの切り替えを行うことができるようにしてもよい。

例えば、撮像部１１３１がカメラ１１１１を用いて、動作モードを切り替えるための専用の画像（特定コード）を撮像する。この特定コードはどのような画像であってもよい。文字、数字、記号等であってもよいし、バーコードやQRコード等であってもよい。管理者等の予め登録された人物の顔や手（静脈や指紋）等であってもよい。また、それら以外であってもよいし、複数種類の情報を組み合わせてもよい。

画像認識部１１３２の特定コード認識部１１４１は、その撮像画像に含まれる特定コードを認識する。処理制御部１１３３は、その特定コードの認識結果に応じて、動作モードを切り替える。すなわち、処理制御部１１３３は、特定コードの認識結果に応じて、認識データとする情報を選択する。換言するに処理制御部１１３３は、商品に関する情報をサーバ１１０３に供給するか、客に関する情報をサーバ１１０３に供給するかを制御する。

表示部１１３７は、そのモードの切り替えに合わせて、モード識別用LED１１１３の表示を更新する。例えば、表示部１１３７は、モード識別用LED１１１３の表示色を切り替えたり、点灯させたり、消灯させたり、点滅させたりする。なお、表示部１１３７は、モード識別用LED１１１３を用いて、動作モードを切り替えた旨を通知するようにしてもよい。

このように、電子棚札１１０１は、専用の装置を用いずに動作モードを容易に切り替えることができる。つまり、電子棚札１１０１は、より容易に、上述の２つのモードで動作することができる。したがって、利便性を向上させることができる。

＜サーバの構成＞
図３２は、サーバ１１０３の主な構成例を示すブロック図である。図３２に示されるように、サーバ１１０３は、バス１１５４を介して相互に接続されているCPU（Central Processing Unit）１１５１、ROM（Read Only Memory）１１５２、およびRAM（Random Access Memory）１１５３を有する。

バス１１５４にはまた、入出力インタフェース１１６０も接続されている。入出力インタフェース１１６０には、入力部１１６１、出力部１１６２、記憶部１１６３、通信部１１６４、およびドライブ１１６５が接続されている。

入力部１１６１は、例えば、キーボード、マウス、タッチパネル、イメージセンサ、マイクロホン、スイッチ、入力端子等の任意の入力デバイスを有する。出力部１１６２は、例えば、ディスプレイ、スピーカ、出力端子等の任意の出力デバイスを有する。記憶部１１６３は、例えば、ハードディスク、RAMディスク、SSD（Solid State Drive）やUSBメモリ等のような不揮発性のメモリ等、任意の記憶媒体を有する。通信部１１６４は、例えば、イーサネット（登録商標）、Bluetooth、USB、HDMI（登録商標）、IrDA等の、有線若しくは無線、または両方の、任意の通信規格の通信インタフェースを有する。ドライブ１１６５は、自身に装着された、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体を有するリムーバブルメディア１１７１を駆動する。

以上のように構成されるサーバ１１０３では、CPU１１５１が、例えば、記憶部１１６３に記憶されているプログラムを、入出力インタフェース１１６０およびバス１１５４を介して、RAM１１５３にロードして実行することにより、後述する機能を実現することができる。RAM１１５３にはまた、CPU１１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１１５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１７１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア１１７１をドライブ１１６５に装着することにより、入出力インタフェース１１６０を介して、記憶部１１６３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１１６４で受信し、記憶部１１６３にインストールすることができる。その他、このプログラムは、ROM１１５２や記憶部１１６３に、あらかじめインストールしておくこともできる。

＜情報取得処理の流れ＞
次に、以上のような電子棚札システム１１００において実行される処理について説明する。電子棚札１１０１は、情報取得処理を実行することにより、上述した情報設定モードでの処理、情報取得モードでの処理、または、動作モードの切り替え等を行う。

図３３のフローチャートを参照して、この情報取得処理の流れの例を説明する。情報取得処理が開始されると、電子棚札１１０１の撮像部１１３１は、ステップＳ１１０１において、カメラ１１１１による撮像を開始する。また、ステップＳ１１０２において、電子棚札１１０１の各処理部は、初期設定を行う。

ステップＳ１１０３において、撮像部１１３１は、カメラ１１１１を用いて被写体を撮像し、撮像画像を得る。ステップＳ１１０４において、画像認識部１１３２は、画像認識処理を行い、撮像画像に含まれる情報を認識する。この画像認識処理の詳細については後述する。ステップＳ１１０５において、処理制御部１１３３は、その画像認識処理結果に基づいて認識データ選定処理を行い、認識データとするデータの選定を行う。この認識データ選定処理の詳細については後述する。ステップＳ１１０６において、表示制御部１１３５は、表示部１１３７を制御し、現在の動作モードを示す表示を行わせる。表示部１１３７は、モード識別用LED１１１３を用いて、その表示を行う。ステップＳ１１０７において、通信部１１３４は、ステップＳ１１０５の処理により選定された認識データをサーバ１１０３に送信する。

ステップＳ１１０８において、電子棚札１１０１は、情報取得処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１１０３に戻し、それ以降の処理を繰り返す。また、ステップＳ１１０８において情報取得処理を終了すると判定された場合、情報取得処理が終了する。

＜画像認識処理の流れ＞
次に、図３３のステップＳ１１０４において実行される画像認識処理の流れの例を、図３４および図３５のフローチャートを参照して説明する。

画像認識処理が開始されると、画像認識部１１３２の商品認識部１１４３は、撮像画像を解析し、その撮像画像に含まれる商品に関する情報を認識する。例えば、商品認識部１１４３は、撮像画像に含まれる、商品の筐体や包装の意匠、商品名、識別情報等を認識する。商品認識部１１４３は、その商品に関する情報の認識結果を保存する。

また、画像認識部１１３２の客認識部１１４２は、撮像画像を解析し、その撮像画像に含まれる客に関する情報を認識する。例えば、客認識部１１４２は、撮像画像に含まれる、客の顔や手、動き、視線等を認識する。客認識部１１４２は、その客に関する情報の認識結果を保存する。

また、画像認識部１１３２の特定コード認識部１１４１は、撮像画像を解析し、その撮像画像に含まれる特定コードを認識する。例えば、特定コード認識部１１４１は、撮像画像に含まれる、バーコード、QRコード、識別番号、管理者の顔等を認識する。

これらの各処理は、図３４のステップＳ１１１１乃至ステップＳ１１１３のように並列に実行するようにしてもよいし、図３５のステップＳ１１２１乃至ステップＳ１１２３のように直列に実行するようにしてもよい。これらの処理が終了すると画像認識処理が終了し、処理は図３３に戻る。

＜認識データ選定処理の流れ＞
次に、図３３のステップＳ１１０５において実行される認識データ選定処理の流れの例を、図３６乃至図３８のフローチャートを参照して説明する。

例えば、管理者が所定の特定コード（例えば、バーコード、識別番号、管理者の顔等、任意の情報）をカメラ１１１１の前に位置させ、撮像させると、特定コード認識部１１４１は、図３３のステップＳ１１０４においてその特定コードを認識する。この動作モードの指定に用いられる特定コードは、例えば、モード固有の情報であってもよい。つまり、特定コードとして、情報設定モードを示す第１の特定コードと、情報取得モードを示す第２の特定コードとが存在し、撮像された特定コードのそのいずれであるかによって動作モードが制御されるようにしてもよい。例えば、第１の特定コードが撮像された場合、情報設定モードが選択され、第２の特定コードが撮像された場合、情報取得モードが選択されるようにしてもよい。この第１の特定コードおよび第２の特定コードは、互いに識別可能なものであればどのような情報であってもよい。

この場合の認識データ選定処理の流れの例を、図３６のフローチャートを参照して説明する。認識データ選定処理が開始されると、処理制御部１１３３は、ステップＳ１１３１において、図３３のステップＳ１１０４の処理により第１の特定コードが認識されたか否かを判定する。第１の特定コードが認識されたと判定した場合、処理はステップＳ１１３２に進む。

ステップＳ１１３２において、処理制御部１１３３は、動作モードを情報設定モードに設定し、商品認識部１１４３から、商品に関する情報の認識結果の保存データを認識データとして読み出す。読み出された商品に関する情報の認識結果は、図３３のステップＳ１１０７において、認識データとしてサーバ１１０３に送信される。また、この場合、図３３のステップＳ１１０６においては、モード識別用LED１１１３の表示が、情報設定モードを示す表示に設定される。ステップＳ１１３２の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

ステップＳ１１３１において、第１の特定コードが認識されていないと判定された場合、処理はステップＳ１１３３に進む。ステップＳ１１３３において、処理制御部１１３３は、図３３のステップＳ１１０４の処理により第２の特定コードが認識されたか否かを判定する。第２の特定コードが認識されたと判定した場合、処理はステップＳ１１３４に進む。

ステップＳ１１３４において、処理制御部１１３３は、動作モードを情報取得モードに設定し、客認識部１１４２から、客に関する情報の認識結果の保存データを認識データとして読み出す。読み出された客に関する情報の認識結果は、図３３のステップＳ１１０７において、認識データとしてサーバ１１０３に送信される。また、この場合、図３３のステップＳ１１０６においては、モード識別用LED１１１３の表示が、情報取得モードを示す表示に設定される。ステップＳ１１３４の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

ステップＳ１１３３において、第２の特定コードが認識されていないと判定された場合、処理はステップＳ１１３５に進む。ステップＳ１１３５において、処理制御部１１３３は、動作モードを、前回保存データを読み出した際と同じモードのままとし、そのモードに対応する情報の保存データを認識データとして読み出す。例えば、前回が情報設定モードで合った場合、処理制御部１１３３は、ステップＳ１１３２の場合と同様に、商品認識部１１４３から、商品に関する情報の認識結果の保存データを認識データとして読み出す。また、例えば、前回が情報取得モードであった場合、処理制御部１１３３は、ステップＳ１１３４の場合と同様に、客認識部１１４２から、客に関する情報の認識結果の保存データを認識データとして読み出す。読み出された認識データは、図３３のステップＳ１１０７においてサーバ１１０３に送信される。また、この場合、図３３のステップＳ１１０６においては、モード識別用LED１１１３の表示が、前回のままとされる。ステップＳ１１３５の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

また、動作モードの指定に用いられる特定コードを単数とし、その特定コードが認識された場合に動作モードが切り替えられるようにしてもよい。この場合の認識データ選定処理の流れの例を、図３７のフローチャートを参照して説明する。認識データ選定処理が開始されると、処理制御部１１３３は、ステップＳ１１４１において、図３３のステップＳ１１０４の処理により特定コードが認識されたか否かを判定する。特定コードが認識されていないと判定した場合、処理はステップＳ１１４２に進む。

ステップＳ１１４２において、処理制御部１１３３は、動作モードを前回読み出した際と同一のモードとし、前回読み出した方の保存データを認識データとして読み出す。例えば、前回、動作モードが情報設定モードであり、商品に関する情報の認識結果の保存データが認識データとして読み出されたとすると、処理制御部１１３３は、今回も動作モードを情報設定モードとし、商品に関する情報の認識結果の保存データを認識データとして読み出す。逆に、前回、動作モードが情報取得モードであり、客に関する情報の認識結果の保存データが認識データとして読み出されたとすると、処理制御部１１３３は、今回も動作モードを情報取得モードとし、客に関する情報の認識結果の保存データを認識データとして読み出す。ステップＳ１１４２の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

また、ステップＳ１１４１において、特定コードが認識されたと判定した場合、処理はステップＳ１１４３に進む。ステップＳ１１４３において、処理制御部１１３３は、動作モードを切り替え、前回読み出していない方の保存データを認識データとして読み出す。例えば、前回、動作モードが情報設定モードであり、商品に関する情報の認識結果の保存データが認識データとして読み出されたとすると、今回、処理制御部１１３３は、動作モードを情報取得モードに切り替え、客に関する情報の認識結果の保存データを認識データとして読み出す。逆に、前回、動作モードが情報取得モードであり、客に関する情報の認識結果の保存データが認識データとして読み出されたとすると、今回、処理制御部１１３３は、動作モードを情報設定モードに切り替え、商品に関する情報の認識結果の保存データを認識データとして読み出す。ステップＳ１１４３の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

また、情報設定モードおよび情報取得モードのいずれか一方を初期状態とし、特定コードが認識された場合、一定期間、動作モードを他方のモードとするようにしてもよい。この場合の認識データ選定処理の流れの例を、図３８のフローチャートを参照して説明する。なお、ここでは、情報取得モードを初期状態として説明する。認識データ選定処理が開始されると、処理制御部１１３３は、ステップＳ１１５１において、図３３のステップＳ１１０４の処理により特定コードが認識されたか否かを判定する。特定コードが認識されたと判定した場合、処理はステップＳ１１５２に進む。

ステップＳ１１５２において、処理制御部１１３３は、動作モードを情報設定モードに切り替え、商品に関する情報の認識結果の保存データを認識データとして読み出す。ステップＳ１１５２の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

また、ステップＳ１１５１において、特定コードが認識されていないと判定された場合、処理はステップＳ１１５３に進む。ステップＳ１１５３において、処理制御部１１３３は、前回特定コードが認識されてから所定の時間以上経過したか否かを判定する。所定の時間以上経過していないと判定された場合、処理はステップＳ１１５２に戻る。

また、ステップＳ１１５３において、前回特定コードが認識されてから所定の時間以上経過したと判定された場合、処理はステップＳ１１５４に進む。ステップＳ１１５４において、処理制御部１１３３は、動作モードを情報取得モードにし、客に関する情報の認識結果の保存データを認識データとして読み出す。ステップＳ１１５４の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

＜データ提供処理の流れ＞
以上のように電子棚札１１０１から認識データが供給されるサーバ１１０３においては、データ提供処理を行うことにより、その認識データに対応する表示用データを電子棚札１１０１に提供する。このデータ提供処理の流れの例を、図３９のフローチャートを参照して説明する。

データ提供処理が開始されると、サーバ１１０３のCPU１１５１は、ステップＳ１１６１において、通信部１１６４を制御して、電子棚札１１０１から供給される認識データを取得する。ステップＳ１１６２において、CPU１１５１は、ステップＳ１１６１の処理により取得された認識データを、記憶部１１６３に保存する。ステップＳ１１６３において、CPU１１５１は、記憶部１１６３に記憶されている表示用データ群の中から、その認識データに応じた表示用データ（電子棚札１１０１に表示させる情報を含むデータ）を、選定する。ステップＳ１１６４において、CPU１１５１は、通信部１１６４を制御して、その選定した表示用データを電子棚札１１０１に供給する。

ステップＳ１１６４の処理が終了すると、データ提供処理が終了する。

＜表示制御処理の流れ＞
以上のようにサーバ１１０３から表示用データが供給されると、電子棚札１１０１は、表示制御処理を実行し、その表示用データをモニタ１１１２に表示させる。この表示制御処理の流れの例を、図４０のフローチャートを参照して説明する。

表示制御処理が開始されると、通信部１１３４は、ステップＳ１１７１において、サーバ１１０３から供給される表示用データを取得する。ステップＳ１１７２において、表示制御部１１３５は、その表示用データを用いて表示用画像を生成する。ステップＳ１１７３において、表示部１１３７は、その表示用画像をモニタ１１１２に表示させる。

ステップＳ１１７３の処理が終了すると、表示制御処理が終了する。

なお、ステップＳ１１７１において取得した表示用データは、一旦記憶部１１３６に記憶させ、表示するタイミングにおいて、表示制御部１１３５がその表示用データを読み出し、表示用画像を生成するようにしてもよい。このようにすることにより、表示用画像の表示タイミングを、表示用データの取得タイミングから独立させることができる。

以上のように各処理を行うことにより、電子棚札１１０１は、上述した情報設定モードや情報取得モードで動作することができ、また、これらの動作モードを切り替えることができ、利便性を向上させることができる。

＜３．第３の実施の形態＞
＜電子棚札における選定＞
第２の実施の形態においては、電子棚札１１０１が表示する情報（表示用データ）を、サーバ１１０３が選択するように説明したが、電子棚札１１０１が選択するようにしてもよい。例えば、サーバ１１０３が事前に複数の表示用データを電子棚札１１０１に供給し、電子棚札１１０１が、その中から、撮像画像より認識した商品に関する情報に対応するものを選定し、表示するようにしてもよい。

＜データ提供処理の流れ＞
このような場合、サーバ１１０３は、データ提供処理を実行することにより、表示用データを電子棚札１１０１に供給する。このデータ提供処理の流れの例を、図４１のフローチャートを参照して説明する。

データ提供処理が開始されると、サーバ１１０３のCPU１１５１は、ステップＳ１２０１において、記憶部１１６３に記憶されている表示用データの中から複数選定する。この選定の基準は任意である。ステップＳ１２０２において、CPU１１５１は、通信部１１６４を制御し、ステップＳ１２０１において選定した複数の表示用データを、電子棚札１１０１に供給する。

ステップＳ１２０２の処理が終了すると、データ提供処理が終了する。

＜表示用データ取得処理の流れ＞
この処理に対して、電子棚札１１０１は、表示用データ取得処理を実行することにより、サーバ１１０３から供給される表示用データを取得する。この表示用データ取得処理の流れの例を、図４２のフローチャートを参照して説明する。

表示用データ取得処理が開始されると、電子棚札１１０１の通信部１１３４は、ステップＳ１２１１において、サーバ１１０３から供給される複数の表示用データを取得する。ステップＳ１２１２において、記憶部１１３６は、ステップＳ１２１１において取得された複数の表示用データを記憶する。

ステップＳ１２１２の処理が終了すると、表示用データ取得処理が終了する。

＜情報取得処理の流れ＞
表示用データ取得処理を行った電子棚札１１０１は、情報取得処理を実行することにより、上述した情報設定モードでの処理、情報取得モードでの処理、または、動作モードの切り替え等を行う。

図４３のフローチャートを参照して、この場合の情報取得処理の流れの例を説明する。情報取得処理が開始されると、電子棚札１１０１の撮像部１１３１は、ステップＳ１２２１において、カメラ１１１１による撮像を開始する。また、ステップＳ１２２２において、電子棚札１１０１の各処理部は、初期設定を行う。

ステップＳ１２２３において、撮像部１１３１は、カメラ１１１１を用いて被写体を撮像し、撮像画像を得る。ステップＳ１２２４において、画像認識部１１３２は、画像認識処理を行い、撮像画像に含まれる情報を認識する。この画像認識処理の詳細は任意である。例えば、第２の実施の形態の場合と同様の処理が実行されるようにしてもよい。

ステップＳ１２２５において、処理制御部１１３３は、その画像認識処理結果に基づいて認識データ選定処理を行い、認識データとするデータの選定を行う。この認識データ選定処理の詳細は任意である。例えば、第２の実施の形態の場合と同様の処理が実行されるようにしてもよい。

ステップＳ１２２６において、表示制御部１１３５は、表示部１１３７を制御し、現在の動作モードを示す表示を行わせる。表示部１１３７は、モード識別用LED１１１３を用いて、その表示を行う。ステップＳ１２２７において、電子棚札１１０１は、表示制御処理を行い、ステップＳ１２２５の処理により選定された認識データに対応する情報をモニタ１１１２に表示させる。この表示制御処理の詳細については後述する。

ステップＳ１２２８において、通信部１１３４は、ステップＳ１２２５の処理により選定された認識データをサーバ１１０３に送信する。

ステップＳ１２２９において、電子棚札１１０１は、情報取得処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１２２３に戻し、それ以降の処理を繰り返す。また、ステップＳ１２２９において情報取得処理を終了すると判定された場合、情報取得処理が終了する。

＜表示制御処理の流れ＞
次に、図４３のステップＳ１２２７において実行される表示制御処理の流れの例を、図４４のフローチャートを参照して説明する。表示制御処理が開始されると、表示制御部１１３５は、ステップＳ１２３１において、記憶部１１３６に記憶されている複数の表示用データの中から、図４３のステップＳ１２２５の処理により選定された認識データに対応する表示用データを選定し、その表示用データを記憶部１１３６から読み出す。

ステップＳ１２３２において、表示制御部１１３５は、読み出した表示用データを用いて表示用画像を生成し、それを表示部１１３７に供給する。ステップＳ１２３３において、表示部１１３７は、ステップＳ１２３２の処理により生成された表示用画像をモニタ１１１２に表示させる。

ステップＳ１２３３の処理が終了すると、表示制御処理が終了し、処理は図４３に戻る。

＜データ取得処理の流れ＞
以上のような情報取得処理に対して、サーバ１１０３は、データ取得処理を実行することにより、電子棚札１１０１から供給される認識データを収集する。このデータ取得処理の流れの例を、図４５のフローチャートを参照して説明する。

データ取得処理が開始されると、サーバ１１０３のCPU１１５１は、ステップＳ１２４１において、通信部１１６４を制御して、電子棚札１１０１から供給される認識データを取得する。ステップＳ１２４２において、CPU１１５１は、その取得した認識データを記憶部１１６３に保存する。認識データが記憶部１１６３に記憶されると、データ取得処理が終了する。

以上のように各処理を実行することにより、電子棚札１１０１は、容易に、撮像画像において認識された商品や客に関する情報に対応する表示用データを選定し、その表示用画像を表示させることができる。このようにすることにより、例えば、サーバ１１０３との通信が一時的に不通となるような場合であっても、電子棚札１１０１は、認識した情報に対応する表示用画像をモニタ１１１２に表示させることができる。つまり、利便性を向上させることができる。

＜４．第４の実施の形態＞
＜顔の大きさ等の特定＞
以上において、客に関する情報を収集するように説明したが、この客に関する情報はどのような情報であってもよい。例えば、客の顔の位置（客がどのくらい商品に近づいたか）、客の顔が検出された時刻（客がいつ来たか）、客の顔が検出されている時間（客がどのくらいの時間居たか）の内、少なくともいずれか１つを含むようにしてもよい。つまり、客に関する情報に、客が商品に対してどのくらい興味を示したかを示すような、客の行為を示す情報が含まれるようにしてもよい。

例えば、客の顔の位置は、検出された顔の大きさで判断する（すなわち、客が商品にどれくらい近づいたかを判断する）ようにしてもよい。例えば、図４６Ａに示されるように、電子棚札１１０１が、撮像画像１３０１の画角（すなわちカメラ１１１１の撮像範囲）に対して枠１３１１および枠１３１２を設定し、この２つの枠と顔画像とを比較して顔の大きさを判定するようにしてもよい。なお、図４６Ａに示されるように、枠１３１１は枠１３１２より小さく設定される。また、枠１３１１および枠１３１２は、図４６Ａに示されるように、撮像画像１３０１の画角の中央付近に設定されるようにしてもよいし、可動としてもよい。例えば、枠１３１１および枠１３１２が、撮像画像１３０１内における顔画像の位置に応じた位置に設定されるようにしてもよい。また、枠１３１１および枠１３１２の大きさや形状が、状況に応じて変化するようにしてもよい。

例えば、図４６Ｂに示されるように、顔画像１３２１が枠１３１１よりも小さい場合、電子棚札１１０１は、その客が商品（電子棚札１１０１）から遠くに位置すると判定し、その客の商品に対する興味は小さいと推定する。また、例えば、図４６Ｃに示されるように、顔画像１３２１が枠１３１１よりも大きく、かつ、枠１３１２よりも小さい場合、電子棚札１１０１は、その客が、図４６Ｂの場合よりも商品（電子棚札１１０１）の近くに位置すると判定し、その客の商品に対する興味は、図４６Ｂの場合よりも大きいと推定する。さらに、例えば、図４６Ｄに示されるように、顔画像１３２１が枠１３１２よりも大きい場合、電子棚札１１０１は、その客が、図４６Ｃの場合よりも商品（電子棚札１１０１）の近くに位置すると判定し、その客の商品に対する興味は、図４６Ｃの場合よりも大きいと推定する。

＜客情報認識処理の流れ＞
この場合、客認識部１１４２は、図３３のステップＳ１１０４（図３４のステップＳ１１１２または図３５のステップＳ１１２２）において、客情報認識処理を行うことにより、これらのパラメータを認識する。

図４７のフローチャートを参照して、この客情報認識処理の流れの例を説明する。客情報認識処理が開始されると、客認識部１１４２は、ステップＳ１３０１において、撮像画像から顔を検出する。ステップＳ１３０２において、客認識部１１４２は、ステップＳ１３０１において顔を検出した時刻である顔検出時刻を認識する。つまり、客認識部１１４２は、いつ客が商品に興味を示したかを認識する。ステップＳ１３０３において、客認識部１１４２は、ステップＳ１３０１において検出した顔の大きさを、例えば図４６を参照して説明したような方法で判定し、認識する。つまり、客認識部１１４２は、客がどのくらい興味を示したかを認識する。ステップＳ１３０４において、客認識部１１４２は、ステップＳ１３０１において顔を検出している時間を測定し、認識する。つまり、客認識部１１４２は、客がどのくらいの時間興味を示したかを認識する。そして、客認識部１１４２は、これらの客に関する情報の認識結果を保存する。

ステップＳ１３０４の処理が終了すると、客情報認識処理が終了し、処理は図３３に戻る。

以上のように客情報認識処理を行うことにより、電子棚札１１０１は、客に関する情報として、より多様な情報を得ることができる。

＜５．第５の実施の形態＞
＜動体検知＞
また、電子棚札１１０１が、客に関する情報として、客の動き（行動）を認識するようにしてもよい。さらに、その場合に、客の動きを検知するためのカメラを、カメラ１１１１とは別に設けるようにしてもよい。例えば、図４８Ａに示されるように、カメラ１１１１とは別の、カメラ１３４１を電子棚札１１０１の筐体に設けるようにしてもよい。この場合、電子棚札１１０１が、例えば図４８Ｂに示されるように、カメラ１１１１を用いて客の顔１３５１を撮像し、カメラ１３４１を用いて棚１１２１に設置された商品１１２２−１や商品１１２２−２に触れようとする客の手１３５２の動きを検知するようにしてもよい。

なお、図４８の例の場合、カメラ１３４１が電子棚札１１０１の筐体の上面（上側に向かう面）に設けられているが、このカメラ１３４１の位置や撮影方向は任意である。また、カメラ１３４１は、動体を検知することができる撮像画像を得ることができればよいので、解像度に対する性能要求はカメラ１１１１よりも低い。つまり、カメラ１３４１は、カメラ１１１１よりも低解像度の撮像素子を用いるようにしてもよい。また、より高速の動体を検知することができるように、カメラ１３４１のフレームレートを、カメラ１１１１よりも高くするようにしてもよい。

＜電子棚札の構成＞
この場合の電子棚札１１０１の主な構成例を図４９のブロック図に示す。図４９に示されるように、この場合、電子棚札１１０１は、図３０に示される構成に加え、撮像部１３６１および動体検知部１３６２をさらに有し、処理制御部１１３３の代わりに処理制御部１３６３を有する。

撮像部１３６１は、カメラ１３４１等を含み、被写体を撮像し、撮像画像（画像データ）を得る処理部である。撮像部１３６１は、得られた撮像画像の画像データを動体検知部１３６２に供給する。動体検知部１３６２は、撮像部１３６１から供給される画像データ（撮像画像）を解析し、撮像画像に含まれる動体（例えば客の手等）を検知する処理部である。この動体の検知方法は任意である。例えば、現在のフレームと前のフレームとで画像を比較することにより動体検知を行うようにしてもよい。また、例えば、背景画（初期状態の画像）を設定し、その背景画と現在のフレームの画像とを比較することにより動体検知を行うようにしてもよい。動体検知部１３６２は、その検知結果を処理制御部１３６３に通知する。

処理制御部１３６３は、画像認識部１１３２による認識結果と動体検知部１３６２による検知結果とに基づいて、動作モードの選択に関する処理を行う処理部である。処理制御部１３６３は、その選択した動作モードに応じたデータを通信部１１３４や表示制御部１１３５に供給する。例えば、処理制御部１３６３は、「情報取得モード」を選択した場合、画像認識部１１３２による認識結果とともに、動体検知部１３６２による動体検知結果を認識データとして選定し、通信部１１３４に供給する。つまり、通信部１１３４は、情報取得モードの場合、画像認識部１１３２による認識結果と、動体検知部１３６２による動体検知結果（例えば、客が商品を手に取ったか否か等）とを含む認識データを、ネットワーク１１０２を介してサーバ１１０３に供給する。

＜客情報認識処理の流れ＞
この場合、撮像部１３６１は、図３３の情報取得処理のステップＳ１１０１（図４３の情報取得処理の場合、ステップＳ１２２１）において、撮像部１１３１とともに撮像を開始し、ステップＳ１１０３（図４３の情報取得処理の場合、ステップＳ１２２３）において、撮像部１１３１とともに撮像画像を取得する。

客認識部１１４２および動体検知部１３６２は、図３３のステップＳ１１０４（図３４のステップＳ１１１２または図３５のステップＳ１１２２）において、客情報認識処理を行うことにより、客に関する情報を認識する。

図５０のフローチャートを参照して、この客情報認識処理の流れの例を説明する。客情報認識処理が開始されると、ステップＳ１３２１乃至ステップＳ１３２４の各処理は、図４７のステップＳ１３０１乃至ステップＳ１３０４の各処理と同様に実行される。ステップＳ１３２５において、動体検知部１３６２は、撮像部１３６１により得られた撮像画像から動体を検知する。つまり、動体検知部１３６２は、客が商品を手に取ったか否かを認識する。そして、客認識部１１４２は、これらの客に関する情報の認識結果を保存する。

ステップＳ１３２５の処理が終了すると、客情報認識処理が終了し、処理は図３３に戻る。以上のように客情報認識処理を行うことにより、電子棚札１１０１は、客に関する情報として、より多様な情報を得ることができる。

＜６．第６の実施の形態＞
＜表示制御＞
第５の実施の形態においては、客に関する情報として、客の動き（行動）に関する情報が収集される場合について説明したが、この客の動き（行動）に関する情報に基づいて、電子棚札１１０１に表示される情報（画像）が制御されるようにしてもよい。例えば、サーバ１１０３が、認識データとして供給される客の動き（行動）に関する情報に基づいて、電子棚札１１０１に供給する表示用データを選定するようにしてもよい。その場合、サーバ１１０３は、第２の実施の形態において説明した場合と同様にデータ提供処理を実行し、認識データ（客の動き（行動）に関する情報）に応じた表示用データを選定し、電子棚札１１０１に供給するようにすればよい。また、例えば、電子棚札１１０１が、認識された客の動き（行動）に関する情報に基づいて、表示用データを選定するようにしてもよい。その場合、電子棚札１１０１は、第３の実施の形態において説明した場合と同様に表示制御処理を実行し、客の動き（行動）に関する情報に応じた表示用データを選定し、表示するようにすればよい。

このようにすることにより、例えば、客が電子棚札１１０１に対して所定の距離内に近づくと、電子棚札１１０１がモニタ１１１２の表示内容を変更するようにすることができる。例えば、その客を対象とするサービスを紹介するサービス情報等をモニタ１１１２に表示させる等、電子棚札１１０１が、状況に応じてより多様かつより効果的な表示を行うようにすることができる。

＜客の属性＞
また、例えば、客の年齢（または年齢帯）や性別等、客の属性に応じて電子棚札１１０１に表示される情報（画像）が制御されるようにしてもよい。その場合、客認識部１１４２は、撮像画像に含まれる客の属性を判定し、その判定結果を客に関する情報として認識する。それ以外の処理は、第２の実施の形態や第３の実施の形態において説明した場合と同様に実行されるようにしてもよい。

＜客情報認識処理の流れ＞
この場合、客認識部１１４２が、図３３のステップＳ１１０４（図３４のステップＳ１１１２または図３５のステップＳ１１２２）において実行する客情報認識処理の流れの例を、図５１のフローチャートを参照して説明する。

客情報認識処理が開始されると、ステップＳ１３４１乃至ステップＳ１３４４の各処理は、図４７のステップＳ１３０１乃至ステップＳ１３０４の各処理と同様に実行される。ステップＳ１３４５において、客認識部１１４２は、ステップＳ１３４１において検出された顔から、客の性別や年齢等、客の属性を判定する。そして、客認識部１１４２は、これらの客に関する情報の認識結果や判定結果を保存する。

ステップＳ１３４５の処理が終了すると、客情報認識処理が終了し、処理は図３３に戻る。以上のように客情報認識処理を行うことにより、電子棚札１１０１は、客に関する情報として、より多様な情報を得ることができる。したがって、電子棚札１１０１は、より多様な情報に応じて表示内容を制御することができる。つまり、電子棚札１１０１は、より多様な情報を表示することができる。

＜客の識別情報＞
また、例えば、客の識別情報に応じて電子棚札１１０１に表示される情報（画像）が制御されるようにしてもよい。例えば、電子棚札１１０１に近づいた客が電子棚札１１０１のカメラ１１１１の前方にIDカード等を翳し、そのカードに登録（表示）されている顧客固有IDコードを撮像させると、電子棚札１１０１が、その顧客固有IDコードに応じた情報（すなわち、そのIDカードの所有者である客に応じた情報）を表示するようにしてもよい。例えば、その客がお得意様（常連客）の場合、モニタ１１１２には、商品の定価ではなく、所定の割引を行った価格が表示されるようにしてもよい。それ以外の処理は、第２の実施の形態や第３の実施の形態において説明した場合と同様に実行されるようにしてもよい。

このような識別情報を用いることにより、客の、より詳細な識別を、より正確かつより容易に行うことができるようになる。したがって、それぞれの客に対してより適切な情報を提示することができるようになる。つまり、より細かい表示制御を行うことができる。

＜画像認識部の構成＞
この場合の画像認識部１１３２の主な構成例を図５２に示す。この場合画像認識部１１３２は、図３１に示される構成に加えて、顧客固有IDコード認識部１４７１を有する。顧客固有IDコード認識部１４７１は、撮像画像に含まれる顧客固有IDコードの認識に関する処理を行う。

＜画像認識処理の流れ＞
この場合の図３３のステップＳ１１０４において実行される画像認識処理の流れの例を、図５３のフローチャートを参照して説明する。この場合、画像認識処理が開始されると、商品認識部１１４３は、ステップＳ１３６１において、商品に関する情報を認識する。ステップＳ１３６２において、客認識部１１４２は、客に関する情報を認識する。ステップＳ１３６３において、顧客固有IDコード認識部１４７１は、撮像画像に含まれる顧客固有IDコードを認識する。ステップＳ１３６４において、特定コード認識部１１４１は、特定コードを認識する。ステップＳ１３６４の処理が終了すると、画像認識処理が終了し、処理は図３３に戻る。

なお、この場合も、画像認識処理の各ステップの処理は、図３４の例のように互いに並列に実行することもできる。

＜認識データ選定処理の流れ＞
次に、この場合の図３３のステップＳ１１０５において実行される認識データ選定処理の流れの例を、図５４のフローチャートを参照して説明する。この場合、認識データ選定処理が開始されると、ステップＳ１３７１乃至ステップＳ１３７３の各処理は、図３６のステップＳ１１３１乃至ステップＳ１１３３の各処理と同様に実行される。

第２の特定コードが認識されると、ステップＳ１３７４において、処理制御部１１３３は、動作モードを情報取得モードに設定し、客認識部１１４２から、客に関する情報の認識結果の保存データと、顧客固有IDコードの認識結果の保存データとを認識データとして読み出す。読み出された客に関する情報の認識結果は、図３３のステップＳ１１０７において、認識データとしてサーバ１１０３に送信される。また、この場合、図３３のステップＳ１１０６においては、モード識別用LED１１１３の表示が、情報取得モードを示す表示に設定される。ステップＳ１３７４の処理が終了すると認識データ選定処理が終了し、処理は図３３に戻る。

なお、ステップＳ１３７５の処理は、図３６のステップＳ１１３５の処理と同様に実行される。

以上のように認識データ選定処理を行うことにより、電子棚札１１０１は、認識データとして、顧客固有IDコードの認識結果をサーバ１１０３に供給することができる。なお、サーバ１１０３は、第２の実施の形態の場合と同様に処理を行い、この認識データに対応する表示用データを選定し、電子棚札１１０１に供給することができる。したがって、電子棚札１１０１は、それぞれの客に対してより適切な情報を提示することができるようになる。

なお、図５５においては、図３６の場合と同様の手法で認識データ選定処理を行うように説明したが、認識データ設定処理の流れは、この例に限定されない。例えば、図３７や図３８のフローチャートの場合と同様の流れで認識データ設定処理が行われるようにしてもよい。

＜７．第７の実施の形態＞
＜カメラの可動化＞
電子棚札１１０１に設けられるカメラ１１１１の撮影方向（画角）は、固定であってもよいし、可変であってもよい。例えば、カメラ１１１１が電子棚札１１０１の筐体に対して可動に設けられ、その撮影方向（画角）を変更することができるようにしてもよい。

このカメラ１１１１は、例えば、図５５Ａに示されるように、電子棚札１１０１の筐体の正面（客側の面）に、電子棚札１１０１の正面を撮像するように設置されている。このカメラ１１１１の向きを可動とし、例えば、カメラ１１１１を、図５５Ｂのように筐体正面（水平方向）に向けたり、図５５Ｃのようにやや上側に向けたり、図５５Ｄのようにやや下側に向けたりすることができるようにしてもよい。

図２９を参照して説明したように、電子棚札１１０１は、商品棚１１２０に設置される。この商品棚１１２０には、一般的に、商品を配置する棚１１２１が複数設けられる。つまり、棚１１２１は、高い場所や低い場所にも設けられる。電子棚札１１０１は、このような棚１１２１に設置されるので、例えば図５６Ａに示されるように、客１６０１の目線の高さ付近以外の高い場所や低い場所にも設置される。したがって、電子棚札１１０１においてカメラ１１１１の向きを固定とすると、高い位置に設置された電子棚札１１０１−１や低い位置に設置された電子棚札１１０１−１１、電子棚札１１０１−１６等のカメラ１１１１は、図５６Ｂに示されるように、客１６０１の顔を正面から撮像することができなくなるおそれがある。また、場合によっては、客１６０１が電子棚札１１０１に近づいても、撮影範囲内に客１６０１の顔が位置しない可能性もある。そのため、客１６０１の顔の認識精度が低減するおそれがあった。そこで、カメラ１１１１の向きを可動とすることにより、電子棚札１１０１の設置場所に依らず、電子棚札１１０１に近づき、電子棚札１１０１の方を見た客１６０１の顔を正面から撮像することができるようにすることができる。

例えば、図５６の例の場合、各電子棚札１１０１を設置する際に、その設置する高さに応じて、カメラ１１１１が一般的な高さの客１６０１の顔の位置の方を向くように、カメラ１１１１の向きが調整されるようにしてもよい。

なお、カメラ１１１１の方向制御は、手動で行うようにしてもよいし、電子棚札１１０１にカメラ１１１１の向きを制御する制御機構を設けるようにしてもよい。例えば、カメラ１１１１の向きを可動範囲全体に動かしながら客１６０１を撮像してその顔の認識を行い、客１６０１の顔が認識できる範囲を求め、その範囲内の所定の向きにカメラ１１１１の向きを合わせるようにしてもよい。

例えば、図５７Ａに示されるように、制御機構がカメラ１１１１をまず最も上向きにする。次に、制御機構は、図５７Ｂや図５７Ｃのように、そこからカメラ１１１１の向きを下方向に動かしていき、図５７Ｄのように、カメラ角度可動範囲（ａ＋ｃ）に対する顔認識に成功した範囲ｄを求める。そして制御機構は、その範囲ｄの中央の向き（d/2）を、客の顔を最も認識し易い角度（認識最適角度）とし、その向きにカメラ１１１１を向ける。

このようにすることにより、より容易に、カメラ１１１１の向きをより適切な向きに設定することができ、客（顔）の認識の精度を向上させることができる。

なお、このカメラ１１１１の可動方向は任意である。例えば、上下方向のみ可動としてもよいし、左右や斜め方向にも可動としてもよい。

＜８．第８の実施の形態＞
＜電源制御＞
例えば、商品（電子棚札１１０１）の近傍に誰も居ない状態、すなわち、電子棚札１１０１が客や商品等を認識してない状態においては、電子棚札１１０１は、情報を収集することも、表示する情報を設定（更新）することもできない。従ってこのような場合、一部の機能を停止し、その一部の処理部への電源供給を停止するようにしてもよい。このようにすることにより、消費電力の増大を抑制することができる。例えば、電子棚札１１０１の電源を電池とする場合、このように電源制御を行うことにより、その駆動時間を増大させることができる。

＜電子棚札の構成＞
この場合の電子棚札１１０１の主な構成例を図５８に示す。図５８に示されるようにこの場合、電子棚札１１０１は、図３０の構成に加えて、動体検知部１６３１、電源制御部１６３２、電源部１６３３、および電源部１６３４を有する。

動体検知部１６３１は、撮像部１１３１において得られた撮像画像から動体を検知する。この動体検知の方法は任意であり、例えば、図４９の動体検知部１３６２と同様の方法であってもよい。動体検知部１６３１は、検知結果を電源制御部１６３２に供給する。

電源制御部１６３２は、動体検知部１６３１による動体検知の結果に基づいて、電源部１６３３および電源部１６３４を制御する。電源部１６３３は、一点鎖線１６４１により囲まれた各処理部（例えば撮像部１１３１、動体検知部１６３１、電源制御部１６３２、および表示部１１３７）に、駆動に必要な電力を供給する。電源部１６３４は、点線１６４２により囲まれた各処理部（例えば画像認識部１１３２、処理制御部１１３３、通信部１１３４、表示制御部１１３５、記憶部１１３６）に、駆動に必要な電力を供給する。

例えば、電源制御部１６３２は、動体検知部１６３１により（例えば所定期間）動体が検知されていない場合、電源部１６３４による電源供給を停止させる。つまり、画像認識部１１３２乃至記憶部１１３６への電源供給が停止され、これらの処理部による処理が停止される。また、例えば、電源制御部１６３２は、動体検知部１６３１により動体が検知された場合、電源部１６３４による電源供給を開始させる。つまり、画像認識部１１３２乃至記憶部１１３６への電源供給が開始され、これらの処理部による処理が開始される。

つまり、動体が検知されない状態においては、撮像部１１３１、動体検知部１６３１、電源制御部１６３２、および表示部１１３７にのみ電力が供給され、被写体の撮像、動体の検知、画像の表示、および電源制御のみが行われる。このようにすることにより、不要な処理の実行を抑制し、消費電力の増大を抑制することができる。

なお、動体が検知されない状態において、電力供給を停止する処理部は、任意であり、図５８の例に限定されない。例えば、画像認識部１１３２への電力供給のみが停止されるようにしてもよい。また、表示部１１３７への電力供給が停止され、画像表示が停止されるようにしてもよい。

また、動体が検知されない場合における各処理部への電力供給停止は、電力供給を完全に停止するものであってもよいし、少量の電力供給を継続するものであってもよい（供給量の削減であってもよい）。例えば、処理部においてデータの保持に必要な電力供給を継続するようにしてもよい。また、例えば、表示部１１３７への電力供給を停止する場合に、モニタ１１１２の表示を全て消去するようにしてもよいし、モニタ１１１２の表示の明度を低減させるのみとしてもよい。

＜電力制御の連動＞
また、このような電源制御が他の電子棚札１１０１と連動するようにしてもよい。つまり、ある電子棚札１１０１における動体検知結果に基づいて、その他の電子棚札１１０１の電力供給が制御されるようにしてもよい。なお、この連動の方法は任意である。

例えば、図５９Ａ乃至図５９Ｄの上側に示されるように、客１６５１が商品棚１１２０の前方を図中左から右に向かって移動すると、図５９Ａ乃至図５９Ｄの下側に示されるように、動体である客１６５１の近傍の列の電子棚札１１０１（図中実線で囲まれた電子棚札１１０１）が、その動きを検知する。すると、その電子棚札１１０１だけでなく、その１列右（動体（客１６５１）の移動方向に１列先）の電子棚札１１０１も（図中点線で囲まれた電子棚札１１０１）、電源部１６３４がオンにされる。そして、客１６５１が通り過ぎた列の電子棚札１１０１の電源部１６３４はオフにされる。

図５９Ｄのように、客１６５１が商品棚１１２０の右端に達すると、その右端の列の電子棚札１１０１（図中実線で囲まれた電子棚札１１０１）においてその動きが検知され、その電子棚札１１０１（図中点線で囲まれた電子棚札１１０１）の電源部１６３４がオンにされる。

図５９Ｅのように、客１６５１が移動方向を図中右向きから左向きに変えると、動体である客１６５１の近傍の列の電子棚札１１０１（図中実線で囲まれた電子棚札１１０１）が、その動きを検知し、その電子棚札１１０１だけでなく、その１列左（動体（客１６５１）の移動方向に１列先）の電子棚札１１０１も（図中点線で囲まれた電子棚札１１０１）、電源部１６３４がオンにされる。そして、客１６５１が通り過ぎた列の電子棚札１１０１の電源部１６３４はオフにされる。

このように電源を制御することにより、消費電力の増大を抑制することができる。

＜電源制御処理の流れ＞
電子棚札１１０１は、電源制御処理を実行することにより、このような電源制御を実現する。電源制御処理の流れの例を、図６０のフローチャートを参照して説明する。

電源制御処理が開始されると、電源制御部１６３２は、ステップＳ１４０１において、電源を駆動モードにし、電源部１６３３および電源部１６３４をオンにする。つまり、電源部１６３３および電源部１６３４が、全ての処理部に対して電源を供給するようにする。

ステップＳ１４０２において、撮像部１１３１は、撮像を開始する。ステップＳ１４０３において、通信部１１３４は、サーバ１１０３から表示用データを取得する。ステップＳ１４０４において、表示制御部１１３５は、その表示用データを用いて表示用画像を生成する。ステップＳ１４０５において、表示部１１３７は、その表示用画像をモニタ１１１２に表示させる。

ステップＳ１４０６において、電源制御部１６３２は、電源を節電モードにし、電源部１６３３をオンのままとし、電源部１６３４をオフにする。つまり、電源部１６３４による電力供給（画像認識部１１３２乃至記憶部１１３６への電力供給）を停止させる。

ステップＳ１４０７において、撮像部１１３１は、撮像画像を取得する。ステップＳ１４０８において、動体検知部１６３１は、得られた撮像画像を用いて動体検知を行う。ステップＳ１４０９において、電源制御部１６３２は、ステップＳ１４０８の処理により動体が検知されたか否かを判定する。動体が検知されたと判定された場合処理はステップＳ１４１０に進む。

ステップＳ１４１０において、電源制御部１６３２は、電源を駆動モードにし、電源部１６３３および電源部１６３４をオンにする。つまり、電源部１６３３および電源部１６３４が、全ての処理部に対して電源を供給するようにする。

ステップＳ１４１１において、電子棚札１１０１の各処理部は情報取得処理を実行する。この情報取得処理は、第２の実施の形態において説明した場合（図３３）と同様であるのでその説明を省略する。ステップＳ１４１２において、電子棚札１１０１の各処理部は表示制御処理を実行する。この表示制御処理は、第２の実施の形態において説明した場合（図４０）と同様であるのでその説明を省略する。

表示制御処理が終了すると処理はステップＳ１４１４に進む。また、ステップＳ１４０９において、（所定の期間）動体が検知されていないと判定された場合、処理はステップＳ１４１３に進む。ステップＳ１４１３において、電源制御部１６３２は、電源を節電モードにし、電源部１６３３をオンのままとし、電源部１６３４をオフにする。つまり、電源部１６３４による電力供給（画像認識部１１３２乃至記憶部１１３６への電力供給）を停止させる。電源が節電モードにされると、処理はステップＳ１４１４に進む。

ステップＳ１４１４において、電子棚札１１０１は、電源制御処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１４０７に戻り、それ以降の処理が実行される。また、ステップＳ１４１４において電源制御理を終了すると判定された場合、電源制御処理が終了する。

以上のように電源制御処理を実行することにより、電子棚札１１０１は、消費電力の増大を抑制することができる。

＜９．第９の実施の形態＞
＜顔の向きの検出処理の制御＞
なお、撮像画像に複数の客が含まれる場合、それぞれの客について、顔の向きを検出しなければならない。つまり、撮像画像に含まれる客の人数が増大するほど顔の向きの検出の負荷が増大することになる。そのため、電子棚札１１０１が、負荷を低減させるように、撮像画像に含まれる客の人数に応じて、顔の向きの検出処理を制御するようにしてもよい。

例えば、人数が多い場合は、顔の向き検出用のクロック周波数を上げたり、顔の向き検出の頻度を低減させたりするようにしてもよい。

＜情報取得処理の流れ＞
この場合の情報取得処理の流れの例を、図６１および図６２のフローチャートを参照して説明する。

情報取得処理が開始されると、撮像部１１３１は、ステップＳ１５０１において、撮像を開始する。ステップＳ１５０２において、電子棚札１１０１の各処理部は、初期設定を行う。ステップＳ１５０３において、撮像部１１３１は、カメラ１１１１を用いて被写体を撮像し、撮像画像を得る。

ステップＳ１５０４において、客認識部１１４２は、顔検出処理を行う。ステップＳ１５０５において、客認識部１１４２は、その検出人数が予め定められた所定の閾値未満であるか否かを判定する。閾値未満であると判定された場合、処理はステップＳ１５０６に進む。

ステップＳ１５０６において、客認識部１１４２は、検出された各顔の向きの検出を時分割で行う。また、客認識部１１４２は、同様に、検出された各顔の向き（客がどの商品の方を向いているか、すなわち、客がどの商品を見ているか）の特定を時分割で行う。

ステップＳ１５０７において、客認識部１１４２は、得られた顔の向きに関する情報等を用いて所望の顧客情報を収集する。ステップＳ１５０８において、処理制御部１１３３は、得られた収集情報を送信情報とする。

ステップＳ１５０９において、通信部１１３４は、その送信情報をサーバ１１０３に送信する。

ステップＳ１５１０において、電子棚札１１０１は、情報取得処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１５０３に戻り、それ以降の処理が実行される。また、ステップＳ１５１０において、情報取得処理を終了すると判定された場合、情報取得処理が終了する。

なお、ステップＳ１５０５において、検出人数が閾値以上であると判定された場合、処理は図６２のステップＳ１５２１に進む。

ステップＳ１５２１において、客認識部１１４２は、顔の向きの検出のクロック周波数を上げるか否かを判定する。クロック周波数を上げると判定された場合、処理はステップＳ１５２２に進む。

ステップＳ１５２２において、客認識部１１４２は、顔の向き検出用のシステムクロック周波数を上げて、より高速に顔の向きの検出を行うことができるようにする。つまり、より多くの客の顔の向きを検出することができるようになる。

ステップＳ１５２３において、客認識部１１４２は、周波数を上げたシステムクロックを用いて、各顔の向きの検出を時分割で行う。また、客認識部１１４２は、同様に、各顔の向きの特定を時分割で行う。

ステップＳ１５２４において、客認識部１１４２は、得られた顔の向きに関する情報等を用いて所望の顧客情報を収集する。ステップＳ１５２５において、処理制御部１１３３は、得られた収集情報を送信情報とする。ステップＳ１５２５の処理が終了すると、処理は図６１のステップＳ１５０９に戻る。

また、図６２のステップＳ１５２１において、顔の向きの検出のクロック周波数を上げないと判定された場合、処理はステップＳ１５２６に進む。ステップＳ１５２６において、客認識部１１４２は、顔の向きの検出の検出頻度を下げる。例えば、（１）１／３０秒毎に顧客の画像を撮像し、そこで撮像された全ての顔についてその向きを１／３０秒以内に特定して、特定した全ての顔の向きを１／３０秒毎に出力する動作から、（２）２秒毎に顧客の画像を撮像し、そこで撮像された全ての顔についてその向きを２秒以内に特定して、特定した全ての顔の向きを２秒毎に出力する動作へと、動作を変更する。これにより、顧客の画像を撮影した後、顔の向きを特定する処理に充当できる時間が、長くなるので、より多くの客の顔の向きを検出することができるようになる。

ステップＳ１５２７において、客認識部１１４２は、各顔の向きの検出を時分割で行う。また、客認識部１１４２は、同様に、各顔の向きの特定を時分割で行う。

ステップＳ１５２８において、客認識部１１４２は、得られた顔の向きに関する情報等を用いて所望の顧客情報を収集する。ステップＳ１５２９において、処理制御部１１３３は、得られた収集情報と、検出頻度を下げた旨の通知情報とを送信情報とする。ステップＳ１５２９の処理が終了すると、処理は図６１のステップＳ１５０９に戻る。

以上のように情報取得処理を行うことにより、検出された客の人数に応じて顔の向きの検出を制御することができ、顔の向きの検出の破綻を抑制することができる。

なお、電子棚札１１０１が、客認識部１１４２を複数有するようにし、複数の顔の向きの検出およびその顔の向きの特定を並行して実行することができるようにしてもよい。その場合であっても、検出された客の人数が増大すれば、顔の向きの検出が破綻する可能性はある。そこで、この場合も、図６１および図６２に示されるように情報取得処理を行うことにより、顔の向きの検出の破綻を抑制することができる。

＜１０．第１０の実施の形態＞
＜商品＞
以上においては、電子棚札１１０１が、商品に関する情報を表示するように説明したが、この「商品」は、どのようなものであってもよい。例えば、この「商品」は、有形なものであってもよいし、電子情報のような無形のものであってもよいし、サービスであってもよい。また、この「商品」の提供形態は、任意であり、販売であってもよいし、譲渡であってもよいし、貸与であってもよいし、展示であってもよいし、複製であってもよい。また、それらの行為の対価は有償であってもよいし無償であってもよい。有償の場合は課金処理が行われるようにしてもよい。また、対価は現金だけでなく、クレジットカード等を利用することができるようにしてもよい。また、専用または汎用のポイントを利用することができるようにしてもよい。さらに、本電子棚札システムを利用することにより、ポイントが付与されるようにしてもよい。

＜その他のシステム＞
本技術は、上述した電子棚札システムに限らず、撮像画像に基づいて情報の表示を制御するシステムであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野の任意の用途に用いられるシステムに適用することができる。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合、そのソフトウエアを実行することができるコンピュータとしての構成を有するようにすればよい。このコンピュータには、例えば、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、任意の機能を実行することが可能な汎用のコンピュータ等が含まれる。

図６３は、コンピュータの主なの構成例を示すブロック図である。図６３に示されるように、コンピュータ１９００は、バス１９０４を介して相互に接続されているCPU（Central Processing Unit）１９０１、ROM（Read Only Memory）１９０２、およびRAM（Random Access Memory）１９０３を有する。

バス１９０４にはまた、入出力インタフェース１９１０も接続されている。入出力インタフェース１９１０には、入力部１９１１、出力部１９１２、記憶部１９１３、通信部１９１４、およびドライブ１９１５が接続されている。

入力部１９１１は、例えば、キーボード、マウス、タッチパネル、イメージセンサ、マイクロホン、スイッチ、入力端子等の任意の入力デバイスを有する。出力部１９１２は、例えば、ディスプレイ、スピーカ、出力端子等の任意の出力デバイスを有する。記憶部１９１３は、例えば、ハードディスク、RAMディスク、SSD（Solid State Drive）やUSB（Universal Serial Bus）メモリ等のような不揮発性のメモリ等、任意の記憶媒体を有する。通信部１９１４は、例えば、イーサネット、Bluetooth、USB、HDMI（High-Definition Multimedia Interface）、IrDA等の、有線若しくは無線、または両方の、任意の通信規格の通信インタフェースを有する。ドライブ１９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体を有するリムーバブルメディア１９２１を駆動する。

以上のように構成されるコンピュータ１９００では、CPU１９０１が、例えば、記憶部１９１３に記憶されているプログラムを、入出力インタフェース１９１０およびバス１９０４を介して、RAM１９０３にロードして実行することにより、各実施の形態において上述したハードウエアの構成の一部または全部と同等の機能を実現することができる。つまり、上述した一連の処理の少なくとも一部が行われる。RAM１９０３にはまた、CPU１９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１９０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア１９２１をドライブ１９１５に装着することにより、入出力インタフェース１９１０を介して、記憶部１９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１９１４で受信し、記憶部１９１３にインストールすることができる。その他、このプログラムは、ROM１９０２や記憶部１９１３に、あらかじめインストールしておくこともできる。

なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 顧客または商品に関する情報を収集する情報収集装置を商品種毎に備える
情報収集システム。
（２） 商品の置き場所に設置した前記情報収集装置の数が、前記情報を収集する商品種の数と同数以上である
（１）に記載の情報収集システム。
（３） 商品の置き場所に設置した前記情報収集装置の数が、前記情報収集装置から、前記情報を集積するデータ集積装置へ転送される、商品毎の前記情報における、商品種の数と同数以上である
（１）または（２）に記載の情報収集システム。
（４） 商品の置き場所に設置した前記情報収集装置の数が、前記情報を出力する商品種の数と同数以上である
（１）乃至（３）のいずれかに記載の情報収集システム。
（５） 前記情報収集装置は、撮像機能および通信機能を備えるネットワークカメラである
（１）乃至（４）のいずれかに記載の情報収集システム。
（６） 前記情報収集装置は、撮像機能および通信機能を有する電子棚札である
（１）乃至（５）のいずれかに記載の情報収集システム。
（７） 前記情報収集装置は、撮像機能および通信機能を有する電子POP（Point of purchase advertising）である
（１）乃至（６）のいずれかに記載の情報収集システム。
（８） 前記情報収集装置は、撮像機能および通信機能を有する文字情報表示装置である
（１）乃至（７）のいずれかに記載の情報収集システム。
（９） 前記情報収集装置は、他の装置から供給される情報を取得し、表示する
（１）乃至（８）のいずれかに記載の情報収集システム。
（１０） 前記他の装置は、前記情報収集装置から供給された商品の識別情報に対応する前記商品に関する情報を前記情報収集装置に供給し、
前記情報収集装置は、供給された前記商品に関する情報を表示する
（９）に記載の情報収集システム。
（１１） 顧客または商品に関する情報を収集する情報収集部を備える
電子棚札。
（１２） 前記情報収集部は、イメージセンサである
（１１）に記載の電子棚札。
（１３） 顧客または商品に関する情報を収集する情報収集部を備える
電子POP（Point of purchase advertising）。
（１４） 前記情報収集部は、イメージセンサである
（１３）に記載の電子POP。
（１５） 顧客または商品に関する情報を収集する情報収集部を備える
文字情報表示装置。
（１６） 前記情報収集部は、イメージセンサである
（１５）に記載の文字情報表示装置。
（２１） 被写体を撮像する撮像部と、
前記撮像部により得られた撮像画像に含まれる商品に関する情報を認識する認識部と、
前記認識部により認識された前記商品に関する情報に対応する、前記商品に関する画像を表示する表示部と
を備える情報処理装置。
（２２） 前記商品に関する情報は、前記商品の識別情報である
（２１）に記載の情報処理装置。
（２３） 前記商品に関する画像は、前記商品の商品名、価格、識別情報の内、少なくともいずれか１つを含む
（２１）または（２２）に記載の情報処理装置。
（２４） 他の情報処理装置と通信を行い、前記認識部により認識された前記商品に関する情報を前記他の情報処理装置に供給し、前記商品に関する情報に対応する表示用のデータを取得する通信部と、
前記通信部により取得された前記表示用のデータを用いて、前記表示部に表示させる前記商品に関する画像を生成する表示制御部と
をさらに備え、
前記表示部は、前記表示制御部により生成された前記商品に関する画像を表示するように構成される
（２１）乃至（２３）のいずれかに記載の情報処理装置。
（２５） 前記撮像部は、被写体として客を撮像し、
前記認識部は、前記撮像部により得られた撮像画像に基づいて前記客に関する情報を認識し、
前記通信部は、前記認識部により認識された前記客に関する情報を前記他の情報処理装置に供給する
（２１）乃至（２４）のいずれかに記載の情報処理装置。
（２６） 前記客に関する情報は、前記客の顔の位置、前記客の顔が検出された時刻、前記客の顔が検出された時間の内、少なくともいずれか１つを含む
（２１）乃至（２５）のいずれかに記載の情報処理装置。
（２７） 前記客に関する情報は、さらに、前記客の属性を含む
（２１）乃至（２６）のいずれかに記載の情報処理装置。
（２８） 前記客に関する情報は、さらに、前記客の識別情報を含む
（２１）乃至（２７）のいずれかに記載の情報処理装置。
（２９） 前記客の動きを撮像する動き撮像部と、
前記動き撮像部により得られた撮像画像に基づいて、前記客の動きを検知する動き検知部と
をさらに備え、
前記通信部は、さらに、前記動き検知部により検知された前記客の動きを前記客に関する情報として前記他の情報処理装置に供給するように構成される
（２１）乃至（２８）のいずれかに記載の情報処理装置。
（３０） 前記認識部は、前記撮像画像に含まれる前記客の位置を特定し、所定の範囲内に位置する前記客についてのみ、前記客に関する情報を認識する
（２１）乃至（２９）のいずれかに記載の情報処理装置。
（３１） 前記通信部は、前記他の情報処理装置に供給した前記客に関する情報に対応する表示用データを取得し、
前記表示制御部は、前記通信部により取得された前記表示用のデータを用いて、前記表示部に表示させる前記商品に関する画像を生成する
（２１）乃至（３０）のいずれかに記載の情報処理装置。
（３２） 前記通信部が、前記商品に関する情報を供給するか、前記客に関する情報を供給するかを制御する制御部をさらに備える
（２１）乃至（３１）のいずれかに記載の情報処理装置。
（３３） 前記撮像部により得られた撮像画像に含まれる特定コードを認識する特定コード認識部をさらに備え、
前記制御部は、前記特定コード認識部による前記特定コードの認識結果に応じて、前記通信部が前記商品に関する情報を供給するか前記客に関する情報を供給するかを制御するように構成される
（２１）乃至（３２）のいずれかに記載の情報処理装置。
（３４） 前記制御部は、前記特定コード認識部により第１の特定コードが特定された場合、前記通信部に前記商品に関する情報を供給させ、前記特定コード認識部により前記第１のコードと異なる第２の特定コードが特定された場合、前記通信部に前記客に関する情報を供給させる
（２１）乃至（３３）のいずれかに記載の情報処理装置。
（３５） 前記制御部は、前記特定コード認識部により特定コードが認識された場合、前記通信部に、供給する情報を切り替えさせる
（２１）乃至（３４）のいずれかに記載の情報処理装置。
（３６） 前記制御部は、前記特定コード認識部により特定コードが認識されていない場合、前記通信部に前記商品に関する情報と前記客に関する情報との内いずれか一方を供給させ、前記特定コード認識部により特定コードが認識された場合、前記通信部が供給する情報を他方に切り替え、前記特定コード認識部により前記特定コードが認識されてから所定の時間が経過した場合、前記通信部が供給する情報を最初の一方に戻す
（２１）乃至（３５）のいずれかに記載の情報処理装置。
（３７） 前記撮像部により得られた撮像画像に基づいて、動体を検知する動体検知部と、
前記動体検知部により所定期間以上動体が検知されていない場合、少なくとも前記認識部の電源をオフにし、前記動体検知部により動体が検知された場合、全ての処理部の電源をオンにする電源制御部と
をさらに備える（２１）乃至（３６）のいずれかに記載の情報処理装置。
（３８） 前記撮像部により得られた撮像画像に含まれる客の顔を検出し、検出した顔の向きを特定する客認識部をさらに備え、
前記通信部は、前記客認識部により特定された顔の向きを示す情報を他の情報処理装置に供給し、前記顔の向きに対応する位置に配置された電子棚札に前記客用の画像を表示させるように構成される
（２１）乃至（３７）のいずれかに記載の情報処理装置。
（３９） 被写体を撮像し、
得られた撮像画像に含まれる商品に関する情報を認識し、
認識された前記商品に関する情報に対応する、前記商品に関する画像を表示する
情報処理方法。
（４０） 商品に関する画像を表示する電子棚札であって、
被写体を撮像する撮像部と、
前記撮像部により得られた撮像画像に含まれる情報を認識する認識部と、
前記認識部により認識された情報に対応する、前記商品に関する画像を表示する表示部と
を備える電子棚札。

１００ 情報収集システム， １０１ 棚装置， １０２ 中継装置， １０３ 情報管理サーバ， １２１ 商品陳列棚， １２２ 情報収集装置， １２３ ローカルサーバ， １３１ 商品， １４０ ネットワークカメラ， １４１ イメージセンサ， １４２ 測距センサ， １５０ 電子棚札， １５１ イメージセンサ， １５２ 測距センサ， １５３ モニタ， １６０ 電子POP， １６１ イメージセンサ， １６２ 測距センサ， １６３ モニタ， １６４ スピーカ， ４１１ 情報提供サーバ， １１００ 電子棚札システム， １１０１ 電子棚札， １１０２ ネットワーク， １１０３ サーバ， １１１１ カメラ， １１１２ モニタ， １１１３ モード識別用LED， １１３１ 撮像部， １１３２ 画像認識部， １１３３ 処理制御部， １１３４ 通信部， １１３５ 表示制御部， １１３６ 記憶部， １１３７ 表示部， １１４１ 特定コード認識部， １１４２ 客認識部， １１４３ 商品認識部， １３４１ カメラ， １３６１ 撮像部， １３６２ 動体検知部， １３６３ 処理制御部， １４７１ 顧客固有IDコード認識部， １６３１ 動体検知部， １６３２ 電源制御部， １６３３ 電源部， １６３４ 電源部

Claims (16)

1. 顧客または商品に関する情報を収集する情報収集装置を商品種毎に備える
   情報収集システム。
2. 商品の置き場所に設置した前記情報収集装置の数が、前記情報を収集する商品種の数と同数以上である
   請求項１に記載の情報収集システム。
3. 商品の置き場所に設置した前記情報収集装置の数が、前記情報収集装置から、前記情報を集積するデータ集積装置へ転送される、商品毎の前記情報における、商品種の数と同数以上である
   請求項１に記載の情報収集システム。
4. 商品の置き場所に設置した前記情報収集装置の数が、前記情報を出力する商品種の数と同数以上である
   請求項１に記載の情報収集システム。
5. 前記情報収集装置は、撮像機能および通信機能を備えるネットワークカメラである
   請求項１に記載の情報収集システム。
6. 前記情報収集装置は、撮像機能および通信機能を有する電子棚札である
   請求項１に記載の情報収集システム。
7. 前記情報収集装置は、撮像機能および通信機能を有する電子POP（Point of purchase advertising）である
   請求項１に記載の情報収集システム。
8. 前記情報収集装置は、撮像機能および通信機能を有する文字情報表示装置である
   請求項１に記載の情報収集システム。
9. 前記情報収集装置は、他の装置から供給される情報を取得し、表示する
   請求項１に記載の情報収集システム。
10. 前記他の装置は、前記情報収集装置から供給された商品の識別情報に対応する前記商品に関する情報を前記情報収集装置に供給し、
    前記情報収集装置は、供給された前記商品に関する情報を表示する
    請求項９に記載の情報収集システム。
11. 顧客または商品に関する情報を収集する情報収集部を備える
    電子棚札。
12. 前記情報収集部は、イメージセンサである
    請求項１１に記載の電子棚札。
13. 顧客または商品に関する情報を収集する情報収集部を備える
    電子POP（Point of purchase advertising）。
14. 前記情報収集部は、イメージセンサである
    請求項１３に記載の電子POP。
15. 顧客または商品に関する情報を収集する情報収集部を備える
    文字情報表示装置。
16. 前記情報収集部は、イメージセンサである
    請求項１５に記載の文字情報表示装置。

Images