JP2006268630A - 情報表示装置及びこれを用いた注目度判定方法 - Google Patents

Abstract

【課題】画像表示装置において、表示される画像が動画像の場合に、画像を見ている時間や人数だけでなく、注目しているタイミングを考慮した画像情報表示装置を提供すること。
【解決手段】動画像の表示期間中に注視人数を毎フレームごとにカウントし、かつ動画像の表示フレームごとに重みを付与しフレーム毎の重要度を設定することで、表示する動画像に注目する人物の人数だけでなく注目しているタイミングも考慮した動画像の注目度を定量的に表現することが可能となる。
【選択図】図１

Description

本発明は、画像情報を表示する画像情報表示装置に関するものであり、特に視線検知機能を有する装置に関するものである。

従来の情報表示装置としては、画像表示装置を見る人物の視線先を検出し、視線先に画像情報を表示し、かつその表示した画像情報を注視している人物を数えるものがあった（例えば、特許文献１参照）。図５は、前記特許文献1 に記載された従来の情報表示装置の構成図および概要を示すものである。

図５において、カメラ１０で撮影した画像から視線検出部１２によって人物の視線を検出し、判断部２０は視線先に提示情報記憶部にある画像情報を表示部１８に表示し、人物の視線が表示した画像に注視されている間、その画像を同様に注視している人物の人数をカウントし、収集情報記憶部１６に記録していた。
特許第３５７９２１８号公報（第９頁、図１）

しかしながら、前記従来の構成では、画像情報に注目している人物を計測するが、注視している時間が画像を表示している期間のうちどの期間なのかということは考慮されていない。そのため、動画情報といった時間的に表示情報の内容が変化する画像の場合、映像を見ている人数だけでなく注目しているタイミングを考慮した注目度合いを定量的に測ることはできないという課題を有していた。

本発明は、前記従来の課題を解決するもので、画像表示装置において、表示される画像が動画像の場合に、画像を見ている時間や人数だけでなく、注目しているタイミングを考慮した画像情報表示装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の情報表示装置は、動画像情報を表示する情報表示手段と、画像を撮影する画像撮影手段と、前記画像撮影手段によって撮影された画像に人物が写っていた場合、画像から人物の顔の位置を検出する顔検出手段と、前記顔検出手段で検出された顔における人物の視線を検出する視線検出手段と、前記視線検出手段で検出された視線が前記情報手段を注視しているかを判断し、注視している人数を計測するカウント手段と、前記情報表示部に表示するための動画像情報を格納する動画像格納手段と、前記動画像格納手段に格納された動画像のフレームごとの重要性を数値化したフレーム重みを格納する動画像重み格納手段と、前記カウント手段で計測された人数と、前記動画像重み格納手段に格納されたフレーム重みから、動画のフレームがどれだけ注目されたかを表すフレーム注目スコアを算出し、前記フレーム注目スコアから動画像全体における動画像注目スコアを算出する制御部と、前記フレーム注目スコアおよび動画像注目スコアのいずれかまたは両方を格納するスコア格納手段を備えた。

本構成により、表示される画像が動画像の場合に、画像を見ている時間や人数だけでなく、注目しているタイミングを考慮した画像情報表示装置を提供することができる。

本発明によれば、画像表示装置で表示される画像が動画像である場合において、動画の各フレーム毎に画像を注視している人数および動画フレームの重要性から各フレームにおける表示画像の注目度合いを定量的に表現することができる。動画像全体の注目度合いを、各フレームごとの注目度合いを用いて算出することで、表示される画像を見ている時間や人数だけでなく、注目しているタイミングを考慮した画像情報表示装置を提供することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１の情報提供装置の構成図である。本構成では、画像情報表示部１０１、撮影部１０２、顔検出部１０３、視線検出部１０４、カウント部１０５、動画像データベース１０６、動画像重みデータベース１０７、制御部１０８、スコア保存部１０９とを有している。

図１において、画像表示部１０１は、データベースに予め格納された画像情報を受け取ってその画像情報を表示するもので、本発明では上記撮影部１０２において撮影された画像情報を表示するものではない。撮影部１０２は、前記画像情報表示部１０１を注視する人物を撮影するために設置されたものであり、理想的には画像情報表示部を人物が注視できる領域全てを撮影できるよう設置することが望ましい。顔検出部１０３は、前記撮影部１０２で撮影した撮影画像から人物の顔領域を検出する。視線検出部１０４は、前記顔検出部１０３において前記撮影画像中に人物が検出された場合、該当人物の視線方向を検出する。カウント部１０５は、前記撮影画像中において、前記画像情報表示部１０１に視線を向けている人物の人数をカウントする。

動画像データベース１０６は、前記画像情報表示部１０１に表示する動画像を格納するためのデータベースである。動画像重みデータベース１０７は、前記動画像データベース１０６に格納された動画像の、各フレームごとに設定された重要度を数値化したフレーム重みを格納している。動画像ごとにフレーム重みの総和が異なると評価基準が一致しない問題が発生することから、正規化のため動画像全体におけるフレーム重みの総和は一定値となるようにしておく。制御部１０８は、前記動画像データベース１０６から動画像を前記画像情報表示部１０１に送付して表示させる。制御部１０８はさらに、動画像が表示されている間、前記カウント部１０５が計算した撮影画像中における注視人数と、前記動画像重みDBにおける該当フレームにおけるフレーム重みから、該当フレームにおける人物の注目度を定量的に表現するフレーム注目スコアを算出する。スコア保存部１０９は、前記制御部が計算したフレーム注目スコアおよび、動画像全体におけるフレーム重みの総和から表される動画像注目スコアを格納する。

上記構成における情報表示装置の動作について、図２等を用いて説明する。まず、情報表示装置の動作が開始されると（Ｓ２０１）、制御部１０８は画像表示部１０１に動画像の表示を開始する（Ｓ２０２）。次に制御部１０８は動画像データベースより動画像データを取得し、Ｎフレームの動画像を繰り返し表示するためにまずフレームi（ｉ＝１，２，３，．．．．，Ｎ）の映像を画像表示部１０１に送り、動画像の表示を開始する（Ｓ２０３）。ここで、iはフレームの番号とする。また、動画像全体のフレーム数をＮとしておく。表示開始時は動画の最初なため、i＝１である。次に、フレームiに対する注視人数のカウントを行う（Ｓ２０４）。これは、フレームiを表示している際に撮影した画像において、画像表示部を注視している人数のカウントを行う処理である。これは視線検出部１０４およびカウント部１０５によって行われる。カウント処理の詳細は図３を使って後述する。

注視人数のカウントが終了したら、次はiフレーム目のフレーム注視スコアを算出する（Ｓ２０５）。ここでは、フレーム重みに注視人数をかけた値をフレーム注視スコアと定義する。

次に動画像表示の終了判定を行う（Ｓ２０６）。動画像全てのフレームについて計測が終了している、すなわちi=Ｎであれば、動画像全体の注視スコアを算出する処理に移る（Ｓ２０７）。終了していなければ、次のフレームについてＳ２０３から繰り返す。

次動画像全体の注視度を表す動画像注視スコアの算出は、各フレームごとのフレーム注視スコアを動画像全体、つまり全てのフレームについて総和をとることで得られる。動画像注視スコアが得られたら（Ｓ２０７）、動画像注視スコアをスコア保存部に格納し（Ｓ２０８）、処理は終了する（Ｓ２０９）。ここでは動画像注視スコアを格納したが、動画像注視スコアだけでなく、フレーム毎の各情報、例えば各フレームのフレーム注視スコアや、カウント人数を格納しておいてもよい。カウント人数を時系列で保存することで、映像に対する視聴者の注目度がわかり、マーケティング調査としても重要な情報を得ることが出来る。

次に、Ｓ２０４で行われるカウント処理の流れについて図３を用いて説明する。まず撮影部１０２は撮影を開始する（Ｓ３０１）。前述したように、撮影部１０２は画像情報表示部１０１を注視する人物を撮影するために設置されているため、画像情報表示部１０１を注視している可能性のある人物が撮影されることとなる（Ｓ３０２）。撮影部１０２は固定式でも可動式でもかまわないが、人物の視線が情報表示部１０１を向いているかという判定を行うため、可動式の場合は撮影部１０２と画像情報表示部１０１の位置、撮影部１０２の撮影角度などは常に情報を更新しつつ持っておく必要がある。

撮影された画像は顔検出部１０３に送られ、画像内における人物の有無の判定および、人物がいた場合その顔の位置の検出が行われ（Ｓ３０３）、次いでこの顔検出が成功したか否かがチェックされる（Ｓ３０４）。顔検出は例えば、画像にGaborフィルタ等の周波数フィルタをかけ周波数成分を抽出し、顔画像と同様の周波数パターンを持つ領域をテンプレートマッチにより探索する方法が挙げられる。また、単純に濃淡パターンやエッジ成分、肌色など色情報を検出の際に考慮しても良い。

画像内に顔が検出されなかった場合は、カウント処理を終了する（Ｓ３０８）１人でも検出された場合は、検出された全人物について視線検出を行う（Ｓ３０５）。つまり、検出された人物の空間上の目の位置と、検出された視線方向より3次元的な人物の視線方向の空間を検出し、その空間内に存在する物質を検出する。ここでは、前記画像情報表示部１０１に注視しているかを検出したいため、視線方向の空間内に前記画像情報表示部１０１が存在するかどうかをカウント部１０５で調べる（Ｓ３０６）。もし人物が画像情報表示部１０１を注視していたら、注視人数としてカウントする（S３０７）。注視していなければ、再びＳ３０３に戻り画像内のほかの人物の検出に戻る。ここで、カウント部１０５で行うカウントの基準について、例えば画像情報表示部１０１を一瞬みただけでは注視しているという確証は乏しく、むしろちらりと一瞥したか、もしくは検出ミス等によるものである可能性が高い。そのため、過去数フレームに遡って連続して視線を画像情報表示部１０１に注いでいる人物を注視人物としてカウントするとより確実性が高まる。また、同一人物が撮影画像内を移動して注視する場合や、再び画像情報表示部１０１の前に来て注視を始めた場合など、同一人物が複数回注視する可能性もあるが、この場合は時間的・空間的に別の場所にいるものとして別人としてカウントしてもよいし、顔認証やトラッキングによって同一人物と同定可能であり、なおかつそうして厳密にカウントする必要があるならば同一人物としてカウントしてもよい。

図４に注視人数カウントの例を挙げる。画像開始から終了まで人物A〜Fまでの６名がいた場合の例である。横軸が時間で、縦軸に人物AからFまで６名の注視情報が矢印で表示してある。矢印の太線部分は注視している時間を、点線部分は存在しているが、こちらを見ていないなど、注視していない部分を表す。前述の通り、ある一定時間以上画像情報表示部１０１を注視した人物を注視人物としてカウントし、人物Fの注視時間は一定時間の基準を満たしていないとした場合、このときの動画像における注視人数カウントはＡ、Ｂ、Ｃ、Ｄの４名となる。

次に、動画像注視スコアの計算例を図５を用いて挙げる。図５において、３つのグラフは横軸が時間（動画像のフレーム）であり、縦軸はそれぞれ各フレームにおけるフレーム重み値、各フレームにおける画像情報表示装置１０１の注視人数、各フレームにおけるフレーム注視スコアである。つまり、３つのグラフは上から順に画像表示装置１０１の注視人数、フレーム重み、フレーム注視スコアの時間変化を表していることとなる。ここでは、フレーム注視スコアを、フレーム重みとフレームにおける注視人数の積としているため、フレーム注視スコアの値は図５の一番下のグラフのようになり、動画像全体における注目度合いを表す動画像注視スコアは図５の一番下のグラフの斜線部分の面積となる。

以上により、画像情報表示装置に動画像を表示する際、人数だけでなく注目しているタイミングも考慮した動画像の注目度を定量的に表現することが可能となる。また、表示画像が静止画の場合についても、表示される画像が同一であることから、フレーム重みを均一にすることで対応可能となる。

本発明にかかる情報表示装置は、動画像を表示する画像情報表示装置において、動画像の表示期間中の注視人数を逐次カウントし、かつ動画像の表示フレームごとに重みを付与しフレーム毎の重要度を設定することで、表示する動画像に注目する人物の人数だけでなく注目しているタイミングも考慮した動画像の注目度を定量的に表現することが可能となり、市場調査の手法等として有用である。

本発明の実施の形態１における情報表示装置の構成を示すブロック図 本発明の実施の形態１における情報表示装置の処理フロー図 本発明の実施の形態１における情報表示装置の人物カウント処理フロー図 本発明の実施の形態１における動画像注視スコア算出例を説明する図 従来の情報表示装置の一例を示すブロック図

符号の説明

１０１ 画像表示部
１０２ 撮影部
１０３ 顔検出
１０４ 視線検出部
１０５ カウント部
１０６ 動画像データベース
１０７ 動画像重みデータベース
１０８ 制御部
１０９ スコア保存部

Claims (5)

1. 動画像情報を表示する情報表示手段と、画像を撮影する画像撮影手段と、画像から人物の顔の位置を検出する顔検出手段と、前記顔検出手段で検出された顔における人物の視線を検出する視線検出手段と、前記視線検出手段で検出された視線が前記情報表示手段を注視しているかを判断し、注視している人数を計測するカウント手段と、前記情報表示手段に表示するための動画像情報を格納する動画像格納手段と、前記動画像格納手段に格納された動画像のフレームごとの重要性を数値化したフレーム重みを格納する動画像重み格納手段と、前記カウント手段で計測された人数と、前記動画像重み格納手段に格納されたフレーム重みから、動画のフレームがどれだけ注目されたかを表すフレーム注目スコアを算出し、前記フレーム注目スコアから動画像全体における動画像注目スコアを算出する制御部と、各フレームにおいて前記カウント手段でカウントされた人数、前記フレーム注目スコアおよび動画像注目スコアのうち一つ以上を格納するスコア格納手段を備えることを特徴とした情報表示装置。
2. 前記動画像重み格納手段に格納されたフレーム重みにおいて、１つの動画におけるフレーム重みの総和が動画像に依存せず一定値であることを特徴とする請求項１記載の情報表示装置。
3. 前記カウント手段は、前記視線検出手段で検出された視線が前記情報表示 手段のいずれかの位置に一定時間以上停留した場合に注視人数にカウントすることを特徴とする請求項１記載の情報表示装置。
4. 前記制御部は、前記フレーム注目スコアを算出するに際して、すべてのフレームについてフレーム注目スコアを算出することにより、注視タイミングを割り出し可能とすることを特徴とする請求項１記載の情報表示装置。
5. 情報表示手段に動画像情報を表示し、
   前記動画像情報を注視する被検査個体を撮影するステップと、
   撮影画像から人物の顔の位置を検出するステップと、
   検出された顔における人物の視線を検出するステップと、
   前記検出された視線が前記情報表示手段を注視しているかを判断し、注視している人数をカウント計測するステップと、
   前記カウント手段で計測された人数と、各フレームに与えられたフレーム重みから、動画のフレームがどれだけ注目されたかを表すフレーム注目スコアを算出するステップと、
   前記フレーム注目スコアから動画像全体における動画像注目スコアを算出するステップと、
   を有する注目度判定方法。
   
   
   

Images