JP4990552B2 - 注目位置特定システム、注目位置特定方法、及び注目位置特定プログラム - Google Patents

Description

本発明は、注目位置特定システム、注目位置特定方法、及び注目位置特定プログラムに係り、特に人の注目位置を高精度に特定するための注目位置特定システム、注目位置特定方法、及び注目位置特定プログラムに関する。

従来より、住宅の周辺や、コンビニエンスストア、百貨店等の販売店、病院、銀行、工場、オフィスビル等の監視区域において、窃盗（万引き）や強盗、放火等の犯罪を未然に防止するため、人物の行動や視線方向から、その人物の注目対象を特定する手法がある（例えば、特許文献１参照。）。

特許文献１に示されている手法は、複数の視線検出装置を死角がないように配置し、人物がどの向きに向いても視線検出を可能にし、監視対象となる空間における被監視者の位置に対応する視線検出装置を選択し、選択された視線検出装置の視線方向情報から観測者の注目対象を検出するものである。
特開２００１−８１９７号公報

しかしながら、上述した従来手法における人物の位置情報は、複数ある視線検出装置のうち、どの装置を用いて被監視者の視線検出を行うかの判断にしか使用していない。したがって、例えば同一の視線検出装置により視線を検出される人物が複数いる場合、それぞれの人物の顔の角度（視線）は同じであっても人物の位置によっては視線の位置は同じではないこともあるため誤差が生じるという問題がある。また、構成として、視線検出装置と人物検出装置とが個別に必要となるため、装置のコストや設置場所等の問題があった。

本発明は、上述した課題に鑑みなされたものであり、人の注目位置を高精度に特定するための注目位置特定システム、注目位置特定方法、及び注目位置特定プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、予め設定された監視区域内にいる人物の注目位置を特定するための注目位置特定システムにおいて、前記監視区域を撮影して画像情報を取得する１又は複数の撮像手段と、前記撮像手段により得られた画像情報に基づいて、前記撮像手段の位置を基準にした前記人物の位置座標を前記人物の位置情報として検出すると共に、予め設定される前記撮像手段の基準方向から前記人物がいる方向までの角度を前記人物の角度情報として検出する人物位置検出手段と、前記画像情報から前記人物の視線情報を取得する視線情報取得手段と、前記人物位置検出手段により得られた人物の位置情報及び角度情報と、前記視線情報取得手段により得られた視線情報とに基づいて、前記人物の注目位置を特定する注目位置特定手段と、予め前記撮像手段の撮影領域に含まれる１又は複数の注目対象物を設定し、前記注目対象物の位置情報を蓄積するための蓄積手段を有し、前記注目位置特定手段は、前記蓄積手段に蓄積された前記注目対象物の位置情報と、前記人物の位置情報とに基づいて、前記撮像手段の基準方向に対する前記人物から前記注目対象物への角度情報を取得し、取得した前記人物から前記注目対象物への角度情報と、前記視線情報取得手段により得られた視線情報とに基づいて、前記人物の注目位置を特定し、更に、前記注目対象物が所定の大きさを有する場合には、前記注目対象物に対して複数の特徴点を抽出し、前記撮像手段の基準方向に対する前記人物から各特徴点における角度情報を取得し、取得した複数の角度のうち、最大角度及び最小角度を選定し、選定された前記最大角度及び前記最小角度と、前記視線情報とに基づいて、前記人物の注目位置を特定することを特徴とする。

また、請求項２に記載された発明は、前記注目位置特定手段により得られる前記人物の注目位置に基づいて、前記人物が不審者であるか否かを判定する不審者判定手段を有することを特徴とする。

また、請求項３に記載された発明は、前記不審者判定手段は、前記人物の視線方向に前記注目対象物が存在する回数を累積し、累積回数が所定回数以上の場合、前記人物を不審者であると判定することを特徴とする。

また、請求項４に記載された発明は、前記不審者判定手段は、前記人物の視線方向に前記注目対象物が存在する時間を累積し、累積時間が所定時間以上の場合、前記人物を不審者であると判定することを特徴とする。

また、請求項５に記載された発明は、予め設定された監視区域内にいる人物の注目位置を特定するための注目位置特定方法において、１又は複数の撮像手段により前記監視区域を撮影する撮影ステップと、前記撮像ステップにより得られた画像情報に基づいて、前記撮像手段の位置を基準にした前記人物の画像中の位置座標を前記人物の位置情報として検出すると共に、予め設定される前記撮像手段の基準方向から前記人物がいる方向までの角度を前記人物の角度情報として検出する人物位置検出ステップと、前記撮像ステップにより得られた画像情報に基づいて、前記人物の位置情報と、予め設定される前記撮像手段の基準方向に対する前記人物の角度情報を検出する人物位置検出ステップと、前記画像情報から前記人物の視線情報を取得する視線情報取得ステップと、前記人物位置検出ステップにより得られた人物の位置情報及び角度情報と、前記視線情報取得ステップにより得られた視線情報とに基づいて、前記人物の注目位置を特定する注目位置特定ステップとを有し、前記注目位置特定ステップは、予め設定された前記撮像手段の撮影領域に含まれる１又は複数の注目対象物の位置情報と、前記人物の位置情報とに基づいて、前記撮像手段の基準方向に対する前記人物から前記注目対象物への角度情報を取得し、取得した前記人物から前記注目対象物への角度情報と、前記視線情報取得ステップにより得られた視線情報とに基づいて、前記人物の注目位置を特定し、更に、前記注目対象物が所定の大きさを有する場合には、前記注目対象物に対して複数の特徴点を抽出し、前記撮像手段の基準方向に対する前記人物から各特徴点における角度を取得し、取得した複数の角度のうち、最大角度及び最小角度を選定し、選定された前記最大角度及び前記最小角度と、前記視線情報とに基づいて、前記人物の注目位置を特定することを特徴とする。

また、請求項６に記載された発明は、前記注目位置特定ステップにより得られる前記人物の注目位置に基づいて、前記人物が不審者であるか否かを判定する不審者判定ステップを有することを特徴とする。

また、請求項７に記載された発明は、前記不審者判定ステップは、前記人物の視線方向に前記注目対象物が存在する回数を累積し、累積回数が所定回数以上の場合、前記人物を不審者であると判定することを特徴とする。

また、請求項８に記載された発明は、前記不審者判定ステップは、前記人物の視線方向に前記注目対象物が存在する時間を累積し、累積時間が所定時間以上の場合、前記人物を不審者であると判定することを特徴とする。

また、請求項９に記載された発明は、コンピュータを、請求項１乃至４の何れか１項に記載された注目位置特定システムが有する各手段として機能させるための注目位置特定プログラムである。

請求項１記載の発明によれば、人の注目位置を高精度に特定することができる。また、人物の位置、撮像手段の位置、撮像手段により撮影された人物の角度情報から、実空間で人物がどの方向を向いているかを高精度に取得することができる。また、実空間での人物の視線情報と注目対象物の位置情報から、その人物が注目対象物を見ているか否かを高精度に判断することができる。更に、ある程度の大きさを有する注目対象物であっても、適切な視線方向の範囲を設定することで、その人物が注目対象物を見ているか否かを高精度に判断することができる。

また、請求項２記載の発明によれば、注目位置の特定情報に基づいて、その人物が不審者であるか否かを高精度に判定することができる。これにより、監視者等の監視の負担を軽減することができる。

また、請求項３記載の発明によれば、人物が注目対象物を見た回数情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

また、請求項４記載の発明によれば、人物が注目対象物を見た時間情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

また、請求項５記載の発明によれば、人の注目位置を高精度に特定することができる。また、人物の位置、撮像手段の位置、撮像手段により撮影された人物の角度情報から、実空間で人物がどの方向を向いているかを高精度に取得することができる。また、実空間での人物の視線情報と注目対象物の位置情報から、その人物が注目対象物を見ているか否かを高精度に判断することができる。更に、ある程度の大きさを有する注目対象物であっても、適切な視線方向の範囲を設定することで、その人物が注目対象物を見ているか否かを高精度に判断することができる。

また、請求項６記載の発明によれば、注目位置の特定情報に基づいて、その人物が不審者であるか否かを高精度に判定することができる。これにより、監視者等の監視の負担を軽減することができる。

また、請求項７記載の発明によれば、人物が注目対象物を見た回数情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

また、請求項８記載の発明によれば、人物が注目対象物を見た時間情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

また、請求項９記載の発明によれば、人の注目位置を高精度に特定することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に注目位置特定処理を実現することができる。

以下に、本発明における注目位置特定システム、注目位置特定方法、及び注目位置特定プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、注目位置特定結果を用いて、カメラに撮影された人物が不審者であるか否かを判定する機能を有する注目位置特定手法について説明する。

＜システム構成＞
図１は、本発明における注目位置特定システムの概略構成の一例を示す図である。図１に示す注目位置特定システム１０は、撮像手段としての１又は複数のカメラ１１−１〜１１−ｎと、注目位置特定装置１２とを有するよう構成されている。

カメラ１１は、例えば住宅の周辺等の監視区域に１又は複数設置され、常時又は所定の時間毎に撮像し、得られた画像情報を注目位置特定装置１２に出力する。なお、カメラ１１は、出力する画像情報にどのカメラで撮影したかを識別するための識別情報を付加してもよい。また、カメラ１１は、出力する画像情報に撮影した日時等の撮影時間情報やカメラ周辺の音声情報等を付加してもよい。

ここで、カメラ１１としては、特に制限されるものではなく、例えば立体写真撮影用のカメラであり距離計測機能を備えたステレオカメラ等を用いることができる。また、カメラ１１には、撮影範囲にいる人物との距離を計測する距離センサを設けてもよい。なお、距離センサを用いた技術は、例えば特開２００４−１７８２２９号公報に示されている。

更に、カメラ１１は、物体の移動を検知する機能を有していてもよく、例えば撮影範囲に移動する物体を検知したことを契機として撮影を開始してもよい。

また、注目位置特定装置１２は、各カメラ１１−１〜１１−ｎから得られる画像情報に基づいて、カメラ１１に撮影された人の位置を検出する。また、注目位置特定装置１２は、予め監視区域にある各カメラ１１−１〜１１−ｎの設置位置やその位置からの視覚の妨げとなる遮蔽物の位置を記憶している。更に、注目位置特定装置１２は、各カメラ１１−１〜１１−ｎで撮影された画像情報から人の位置と顔の角度（視線）に基づいて人物が注目している位置を特定する。上述した注目位置特定システム１０により、被監視者が監視者を確認（観察）する行為を不審な行動として被監視者の中から不審者を高精度に検出することができる。

＜注目位置特定装置１２：機能構成＞
次に、上述した注目位置特定装置１２の機能構成について図を用いて説明する。図２は、監視装置の機能構成の一例を示す図である。図２に示す注目位置特定装置１２は、入力手段２１と、出力手段２２と、人物位置検出手段２３と、視線情報取得手段２４と、注目位置特定手段２５と、不審者判定手段２６と、通知手段２７と、蓄積手段２８と、送受信手段２９と、制御手段３０とを有するよう構成されている。

入力手段２１は、使用者等からの画像に撮影されている人物の位置の検出指示や、注目位置特定指示等の各種処理の入力を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス、音声により指示を入力するためのマイク等からなる。

また、出力手段２２は、入力手段２１により入力された指示内容や、カメラ１１からの画像情報、撮影された画像から得られる人物位置検出結果、注目位置の特定結果等をディスプレイ等により出力する。なお、出力手段２２は、ディスプレイの他にもスピーカ等の音声出力手段を有し、カメラ１１に設けられたマイク等の音声入力手段から得られる音声データを出力することもできる。更に、出力手段２２は、プリンタ等の機能を有していてもよく、その場合には画像情報の内容等、取得可能なデータを紙等の印刷媒体に印刷して、使用者等に提供することもできる。

また、人物位置検出手段２３は、カメラ１１により撮影された画像からその人物の位置を検出する。具体的には、各カメラ１１−１〜１１−ｎは、それぞれ予め設定された場所や領域を撮影するために固定又は一定の領域の移動しかできないように設置されている。したがって、各カメラ１１−１〜１１−ｎにて撮影可能な位置がどの位置であるかを蓄積手段２８により蓄積しておき、その位置と照合することにより、人物の位置を特定することができる。

つまり、人物位置検出手段２３は、その画像中での位置が実空間上のどの位置であるかを対応させるための対応テーブルや、ステレオカメラによる距離計測機能等を用いて、画像中の人の位置を実際の空間上の位置に変換する。なお、位置の特定は、その撮影されたカメラ１１の位置を原点として計算し、人物の位置の２次元の座標（ｘ_１，ｙ_１）を検出し、更にカメラ１１の正面方向に対してどの角度に人物が位置するかの角度情報（θ_１）を検出する。

なお、本発明における人物の位置特定手法についてはこれに限定されることはなく、例えば撮影される画像において、人の顔や体の一部あるいは全部が占める大きさ（ピクセル数）を予め被写体までの距離毎に求めて蓄積しておき、実際に撮影された画像から得られる顔や体の大きさ（ピクセル数）と照合することにより、位置を特定することができる。また、上述したように、カメラ１１に予め距離センサを備えている場合には、その距離センサにより人物の位置情報を検出する。

視線情報取得手段２４は、カメラ１１−１〜１１−ｎにて撮影された画像情報から人物の顔の角度（視線情報）、つまり、人物がどこを向いているかに関する情報を取得する。具体的には、従来の画像認識処理により、まず撮影された画像情報から人の顔が存在するか否かを検出し、顔の検出後にその顔の特徴量を抽出して人物の頭の重心に３次元座標（Ｘ,Ｙ,Ｚ）を規定し、頭の回転角度や位置等の顔の角度（視線情報）を取得する。

なお、視線情報としては、顔の角度を基準にしているが、本発明においてはこの限りではなく、例えば画像情報から目（瞳孔）の位置を取得可能な場合、その瞳孔の位置を基準にして視線情報を取得してもよい。これにより、更に正確に人物の視線情報を取得することができる。

また、注目位置特定手段２５は、予め蓄積された注目対象物の位置と、人物位置検出手段２３により検出された人物の位置情報及び角度情報に基づいて、人物の注目位置を特定する。なお、注目位置特定手段２５における人物の注目位置特定手法についての詳細は後述する。

また、不審者判定手段２６は、注目位置特定手段２５により特定された人物の注目位置情報に基づいて、その人物が不審者であるか否かを判定する。具体的には、不審者判定手段２６は、撮影された人物の視線方向に注目対象物が存在する回数を累積し、累積回数が所定回数以上の場合、その人物を不審者であると判断する。これにより、撮影された人物が注目対象物を見た回数情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

また、不審者判定手段２６は、撮影された人物の視線方向に注目対象物が存在する時間を累積し、その累積時間が所定時間以上の場合、その人物を不審者であると判定する。これにより、撮影された人物が注目対象物を見た時間情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。

なお、上述した累積回数及び累積時間を計測する場合、１台のカメラを用いた累積でもよく、また予め設定された複数のカメラを合計した累積でもよい。つまり、不審者判定手段２６は、同一の注目対象物が撮影範囲に含まれているカメラが複数存在する場合には、その複数のカメラにおける合計累積回数又は合計累積時間により、不審者判定を行うことができる。

また、不審者判定手段２６は、不審者と判定した人物の顔画像情報を蓄積手段２８等に蓄積しておき、蓄積された顔画像情報から人物の顔の特徴データを生成し、その人物の顔の特徴データを記録しておく。これにより、不審者判定手段２６は、顔の特徴データを用いて不審者と判定された人物が、以前判定された不審者と同一人物であるかを照合して過去にも不審行動をしているかを判断し、その判断結果に基づいて不審者の判定結果の度合（要注意、注意等）を変化させることもできる。

また、通知手段２７は、不審者判定手段２６により、被監視者が不審者であると判断された場合、監視者や警備会社等へ通知する。この場合、通知手段２７は、例えば監視区域内に監視者がいる場合に、監視者が見える所にランプ等を設け、不審者だと判定した場合にそのランプを点灯させることで、監視者に迅速に通知することができる。

また、通知手段２７は、不審者がいることを示す情報を、ある特定の監視者や不審者がいた付近の住人等に通知することができる。この場合、通知する人の連絡先情報（メールアドレス、携帯番号等）を蓄積手段２８に蓄積しておき、通知手段２７はその連絡先情報に基づいて、所定の人物に通知することができる。これにより、不審者の存在を迅速に通知することができる。また、監視者等の監視の負担を軽減することができる。

なお、通知手段２７において通知する情報としては、不審者がいることを示す情報や、不審者の位置情報、不審者の画像情報、不審者と判定した理由等の詳細情報等も含まれる。

蓄積手段２８は、カメラ１１により得られる画像情報（画像データ、撮影時間情報等を含む）や、不審者判定手段２６による不審者判断結果、被監視者が不審者であると判断された場合にその旨の通知を行う監視者等の連絡先情報等の監視者情報、不審者と判断された監視者の画像情報等の各種情報を蓄積する。

また、蓄積手段２８は、人物が不審者か否かを判定する際に用いられる累積回数や累積時間等のパラメータを蓄積する。

更に、蓄積手段２８は、人物の位置を特定するための各カメラ１１−１〜１１−ｎに対応する位置情報や各カメラの撮影領域に含まれる少なくとも１つの注目対象物の位置情報、予め設定される遮蔽物等の位置情報等を蓄積する。なお、位置情報としては、例えば２次元座標や３次元座標、緯度・経度情報等を用いることができる。また、蓄積手段２８は、各カメラから撮影された画像情報や上述した人物位置検出手段２３で用いられる画像と実空間とを対応付けする対応テーブル等を蓄積する。

なお、蓄積手段２８に蓄積された各種データは、制御手段３０からの制御信号に基づいて、必要に応じて読み出すことができ、また、データ等の更新、追加等の書き込み、削除等を行うことができる。

また、送受信手段２９は、アンテナや通信回線等からなり、無線や有線通信により所定のカメラ１１とのデータ又は制御信号の送受信を行う。更に、送受信手段２９は、撮影された人物が不審者であると判定した場合に、警備会社や監視者等に連絡を行うことができる。これにより、監視者等は迅速且つ正確に不審者の情報を取得することができる。

また、制御手段３０は、注目位置特定装置１２の各構成部全体の制御を行う。具体的には、制御手段３０は、カメラ１１で撮影された画像により人物位置検出手段２３から監視区域にいる人物の位置を検出させたり、視線情報取得手段２４により撮影された被監視者の視線を取得させたり、注目位置特定手段２５により画像に含まれる人物の注目位置を特定させたり、不審者判定手段２６により被監視者が不審者であるか否かを判断させたり、撮影された人物が不審者であると判断された場合に、通知手段２７により予め設定された監視者等に送付させるといった処理を制御する。

＜注目位置特定手法＞
次に、本発明における注目位置の特定手法について図を用いて説明する。図３は、注目位置特定手法の概要を説明するための一例の図である。本発明では、注目位置を特定する場合、まず人物位置検出手段２３によりカメラ１１にて撮影される画像中に少なくとも１人（例えば、図３においては２人）の人物が含まれている場合に、その人物の位置（図３における４１−１，４１−２）を検出し、更に視線情報取得手段２４によりそれぞれの視線方向４２−１，４２−２を取得する。

また、注目位置特定手段２５では、人物位置検出手段２３と、視線情報取得手段２４により取得された位置、角度及び視線方向に対して予め蓄積された注目対象物の位置情報から注目対象物の位置４３を特定する。

次に、注目位置の特定について詳細に説明する。図４は、座標及び角度を用いた注目位置の特定手法を説明するための一例の図である。図４に示すように、人物位置検出手段２３により、例えばカメラ１１の位置を原点（０，０）として、人物の位置５１の座標（ｘ_１，ｙ_１）と、カメラ１１から人物までの距離Ｌ_１（ｍ）と、カメラ１１に対して設定される基準方向、例えば正面方向の直線５２を基準とした角度θ_１を検出する。また、視線情報取得手段２４により、カメラ１１の正面方向の直線５２を人物の位置５１と交わるように平行移動した直線５３を基準とした角度θ_２を取得する。

ここで、人物の位置の座標が（ｘ_１，ｙ_１）であり、ある注目対象物の位置の座標が（ｘ_２、ｙ_２）であるとすると、人物の位置５１と注目対象物の位置５４との角度θ_２は、「θ_２＝ｔａｎ^−１（（ｘ_２−ｘ_１）／（ｙ_２−ｙ_１））」により算出することができる。したがって、カメラ１１の映像から得られる人物の顔の角度がθ_１＋θ_２になれば、人物が注目対象物を見ていると判定することができる。なお、カメラ１１に対する基準方向は、カメラ１１の正面方向に限定されることはなく、他の方向を基準にしてもよい。

また、注目位置の特定において、上述したθ_１＋θ_２の方向に注目対象物が複数存在する場合には、そのうち１つを選択（例えば人物から一番近い距離にあるもの）してもよく、複数の注目対象物全てを見ていると判定してもよい。

更に、注目位置の特定において、人物の位置と、ある注目対象物の位置との間に壁等の遮蔽物が存在する場合には、その人物は注目対象物を見ることができない。遮蔽物の位置情報が予め蓄積手段２８に蓄積されている場合には、その位置情報と比較し、遮蔽物がある場合には、注目対象物を見ていないと判定することにより、高精度に注目位置の特定を行うことができる。

＜注目位置特定手法の他の例＞
ここで、注目位置を特定するにあたり、例えばその注目対象物の位置情報が玄関扉のドアノブや鍵穴等のある決まった位置である場合には、高精度に位置を特定することができる。しかしながら、例えば注目対象物が住宅における窓ガラス等の場合には、施錠部に限定されず、窓ガラスの両サイド等を見る場合があり、その場合には、ある程度の大きさを持っているため、注目対象物の位置を見ているか否かの判定において、ある程度の許容範囲（視線領域の範囲）を持たせる必要がある。

ここで、上述の内容について図を用いて説明する。図５は、視線領域の範囲を有する場合の人物の視線方向を説明するための一例の図である。図５は、一例として人物が監視領域である住宅の敷地内に入っている場合を示している。また、図５（ａ）は、人物が敷地内に入っていることを側面から示した図であり、図５（ｂ）は、人物が敷地内に入っていることを上面から示した図である。

図５に示すように、例えば人物６１が柵６２を乗り越え監視領域である住宅の敷地内に進入した場合、その人物６１は、カメラ１１により撮影される。このとき、住宅の壁６３に設けられた窓６４を人物６１が見ている場合、窓６４の施錠部６５であれば、座標等により注目位置を特定することができる。しかしながら、実際には、窓全体やフレーム部分等を見る場合もある。したがって、本発明では、図５（ｂ）に示すように、ある程度の視線領域の範囲を設定する。

ここで、図６は、ある一定の大きさを有する注目対象物を人物が見ているか否かを判定する判定手法の一例を示す図である。なお、図６は、上述した図４に対応させたカメラ、人物、注目対象物の位置関係からなる。本発明では、注目対象物がある一定の大きさを有する場合に注目対象物に対して複数の特徴点を抽出する。

ここで、特徴点は、例えば図５（ｂ）に示すように、その注目対象物を上面から見たときの各頂点とすることができる。したがって、図６に示すように各頂点のそれぞれの位置と、人物の位置とのそれぞれの角度を求め、それらの角度から視線領域の範囲を設定する。

つまり、注目対象物が一定の大きさを有する場合、例えば図６に示す４点の注目対象物の位置７１−１〜７１−４のそれぞれに対応して４点の座標（ｘ_２１，ｙ_２１）〜（ｘ_２４，ｙ_２４）と、人物の位置５１の座標（ｘ_１，ｙ_１）とを用いて、それぞれの角度を算出する。なお、各注目対象物に対する特徴点の位置情報は、蓄積手段２８に蓄積されている。

そして、図６に示す直線５３に対して最も小さい角度θ_２Ｍｉｎと、最も大きい角度θ_２Ｍａｘを抽出する。また、この角度範囲に人物の視線が入っているか否かにより注目対象物を見ているか否かを判断する。

また、この場合、カメラ１１の向きと、人物の向きと、注目対象物の位置関係により、最小、最大の角度となる点が異なる。具体的には、図６（ａ）に示す例では、人物の位置５１の座標（ｘ_１，ｙ_１）及び点７１−３の座標（ｘ_２３，ｙ_２３）を結ぶ直線が角度θ_２Ｍｉｎとなるのに対し、図６（ｂ）に示す例では、人物の位置５１の座標（ｘ_１，ｙ_１）及び点７１−２の座標（ｘ_２２，ｙ_２２）を結ぶ直線が角度θ_２Ｍｉｎとなる。更に、図６（ｂ）では、角度θ_２Ｍｉｎは負の角度となる。

つまり、図６（ａ）の場合、人物の位置５１の視線方向が直線５３を基準として“θ_２Ｍｉｎ〜θ_２Ｍａｘ”の範囲にあれば、注目対象物を見ていたと判定し、図６（ｂ）の場合には、直線５３を基準として“−θ_２Ｍｉｎ〜θ_２Ｍａｘ”の範囲にあれば、注目対象物を見ていたと判定する。

このように、ある一定の大きさ有する注目対象物の場合には、所定の視線領域の範囲を設定し、その範囲に基づいて判定処理を行うことにより、人の視線がどこを向いているかを高精度に特定することができる。なお、上述では注目対象物の特徴点を、注目対象物を上面から見たときの各頂点（４点）としているが、本発明においてはこれに限定されることはなく、注目対象物の形状等に応じて複数の位置が設定される。

また、上述した注目位置特定手段２５により、撮影された人物が見ている注目対象物の累積回数等を監視することにより、撮影された人物が不審者であるか否かの判定を高精度に把握することができる。また、注目対象物としてカメラ１１そのものを設定することができ、この場合には、カメラ１１を見た累積回数等により不審者であるか否かを判定することができる。

上述した機能構成により、人の注目位置を高精度に特定することができる。したがって、撮影された人物が不審者であるか否かの判定を高精度に行うことができる。これにより、撮影された画像から敷地内に入った侵入者が不審者であるか否かを検知するだけでなく、敷地外からの下見行為も対象として不審者であるか否かを判断することができる。なお、上述の実施の形態では、２次元座標を用いて位置の特定を行ったが、３次元座標を用いても上述と同様の処理を行うことができる。

＜実行プログラム＞
ここで、上述した注目位置特定装置は、上述した専用の装置構成等を用いて本発明における注目位置の特定及び不審者判定処理を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る注目位置特定処理を実現することができる。

＜ハードウェア構成＞
ここで、本発明における知識メタデータ生成が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本発明における注目位置特定処理が実現可能なハードウェア構成の一例を示す図である。

図７におけるコンピュータ本体には、入力装置８１と、出力装置８２と、ドライブ装置８３と、補助記憶装置８４と、メモリ装置８５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６と、ネットワーク接続装置８７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置８１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、使用者等からのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置８２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、ＣＰＵ８６が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体８８等により提供される。プログラムを記録した記録媒体８８は、ドライブ装置８３にセット可能であり、記録媒体８８に含まれる実行プログラムが、記録媒体８８からドライブ装置８３を介して補助記憶装置８４にインストールされる。

また、ドライブ装置８３は、本発明に係る実行プログラムを記録媒体８８に記録することができる。これにより、その記録媒体８８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に注目位置特定処理を実現することができる。

補助記憶装置８４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置８４は、上述した注目対象物の位置情報やカメラ１１により撮影された画像情報や人物の不審者か否かの判定結果等を蓄積する蓄積手段として用いることもできる。

ＣＰＵ８６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置８４から読み出されメモリ装置８５に格納されている実行プログラム等に基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、注目位置特定処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置８４から取得することができ、また格納することもできる。

ネットワーク接続装置８７は、電話回線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで注目位置特定処理を実現することができる。また、プログラムをインストールすることにより、容易に注目位置特定処理を実現することができる。

＜注目位置特定処理手順＞
次に、本発明における注目位置特定処理手順についてフローチャートを用いて説明する。図８は、注目位置特定処理手順の一例を示すフローチャートである。なお、図８では、一例として上述した注目位置特定手法により、カメラに撮影された人物が不審者であるか否かを判定するための処理手順を示している。

図８において、まず撮像手段としてのカメラを用いて監視区域を撮影し（Ｓ０１）、カメラから撮影された画像を取得する（Ｓ０２）。ここで、監視区域とは、住宅等であれば、住宅周辺や敷地内等を指し、コンビニエンスストアや銀行等であれば店内も含む。

なお、撮影された画像を既に取得している場合には、上述の処理は省略してもよい。次に、Ｓ０２にて取得した画像に少なくとも１人の人物がいるか否かを判断し（Ｓ０３）、画像に人物がいる場合（Ｓ０３において、ＹＥＳ）、画像に含まれている少なくとも１人の人物の位置を検出する（Ｓ０４）。なお、画像に人物がいるか否かの判断は、画像処理技術を用いて判断することができる。また、人物の位置を取得後、人物の視線情報を取得する（Ｓ０５）。

また、Ｓ０４にて取得した人物の位置情報と、Ｓ０５にて取得した視線情報とに基づいて、その人物が注目している位置を特定する（Ｓ０６）。また、注目位置を特定した後、その人物が不審者であるか否かを判断する（Ｓ０７）。

また、その人物が不審者であると判断された場合（Ｓ０７において、ＹＥＳ）、警備会社や監視者、監視対象の住宅の住人等にその旨を通知する（Ｓ０８）。なお、Ｓ０８において通知する情報としては、不審者がいることを示す情報の他にも不審者と判断された人物の位置、不審者の顔画像等も合わせて通知することもできる。

また、不審者情報を蓄積しておき、今回不審者と判断された人物が過去にも不審行動をしているかを顔の特徴データ等から判断し、その判断結果に基づいて不審者の判定結果の度合（要注意、注意等）を変化させて通知することもできる。

次に、Ｓ０３の処理において、画像に人物がいない場合（Ｓ０３において、ＮＯ）、Ｓ０７の処理において、撮影された人物が不審者と判断されなかった場合（Ｓ０７において、ＮＯ）、また、Ｓ０８の通知処理が終了後、監視区域の監視を終了するか否かを判断し（Ｓ０９）、監視を継続する場合（Ｓ０９において、ＮＯ）、Ｓ０１に戻り上述した処理を継続する。また、監視を終了する場合（Ｓ０９において、ＹＥＳ）、処理を終了する。

ここで、Ｓ０７における不審者の判定処理手順について、フローチャートを用いて説明する。

＜不審者判定処理＞
図９は、不審者判定処理手順の一例を示すフローチャートである。図９では、まず上述のＳ０６に示すように、撮影された人物（被監視者）の注目位置の特定を行った後、その人物の視線に注目対象物が存在する累積回数を計測する（Ｓ１１）。ここで、累積回数とは、その人物が一端注目対象物から視線を外し、その後、また注目対象物を見ているような状態となった場合には、それまでの回数から継続してカウントされる回数である。

次に、累積回数が所定回数を経過したか否かを判断し（Ｓ１２）、累積回数が所定回数を経過した場合（Ｓ１２において、ＹＥＳ）、その人物を不審者であると判断する（Ｓ１３）。また、累積回数が所定回数を経過していない場合（Ｓ１２において、ＮＯ）、その人物が監視区域外に移動したかを判断し（Ｓ１４）、その人物が監視区域外に移動した場合（Ｓ１４において、ＹＥＳ）、不審者判定処理を終了する。また、Ｓ１４においてその人物が例えば他のカメラ等に撮影されている状態で監視区域外に移動していない場合（Ｓ１４において、ＮＯ）、Ｓ１１に戻り累積回数の計測を行う。

このように、撮影された人物が注目対象物を見る回数情報に基づいて、より高精度にその人物が不審者であるか否かを判断することができる。

＜その他の判定手順＞
また、上述した不審者判定処理としては、例えば撮影された人物（被監視者）の視線情報を基準として、注目対象物を見ている累積時間を計測し、その累積時間が所定時間を経過した場合に、不審者であると判定することができる。これにより、撮影された人物が注目対象物を見ている時間情報に基づいて、より高精度にその人物が不審者であるか否かを判定することができる。また、本発明における不審者判定処理は、これに限定されるものではなく、例えば上述した累積回数及び累積時間を組み合わせてもよい。また、ある程度の大きさを有する注目対象物であっても、適切な視線方向の範囲を設定することで、その人物が注目対象物を見ているか否かを高精度に判断することができる。また、注目位置の特定情報に基づいて、撮影された人物が不審者であるか否かを高精度に判定することができる。これにより、監視者等の監視の負担を軽減することができる。更に、撮影された人物が注目対象物を見た回数情報に基づいて、より高精度に人物が不審者であるか否かを判定することができる。

なお、本発明における注目位置特定手法は、上述したように住宅周辺等の監視システム等に適用することで、より高精度に不審者を検出することができる。なお、上述では、監視区域の例として住宅を用いて説明したが、例えば、オフィス等の建物や病院、銀行等においても適用することができる。

また、本発明における注目位置特定手法は、注目対象物をある商品や広告、看板等にすることで、その商品等に対する注目度や関心度等をチェックする場合にも適用することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明における注目位置特定システムの概略構成の一例を示す図である。 注目位置特定装置の機能構成の一例を示す図である。 注目位置特定手法の概要を説明するための一例の図である。 座標及び角度を用いた注目位置の特定手法を説明するための一例の図である。 視線領域の範囲を有する場合の人物の視線方向を説明するための一例の図である。 ある一定の大きさを有する注目対象物を人物が見ているか否かを判定する判定手法の一例を示す図である。 本発明における注目位置特定処理が実現可能なハードウェア構成の一例を示す図である。 注目位置特定処理手順の一例を示すフローチャートである。 不審者判定処理手順の一例を示すフローチャートである。

符号の説明

１０ 注目位置特定システム
１１ カメラ
１２ 注目位置特定装置
２１ 入力手段
２２ 出力手段
２３ 人物位置検出手段
２４ 視線情報取得手段
２５ 注目位置特定手段
２６ 不審者判定手段
２７ 通知手段
２８ 蓄積手段
２９ 送受信手段
３０ 制御手段
４１，５１ 人物の位置
４２ 視線方向
４３，５４，７１ 注目対象物の位置
５２，５３ 直線
６１ 人物
６２ 柵
６３ 壁
６４ 窓
６５ 施錠部
８１ 入力装置
８２ 出力装置
８３ ドライブ装置
８４ 補助記憶装置
８５ メモリ装置
８６ Ｃ Ｐ Ｕ
８７ ネットワーク接続装置
８８ 記録媒体

Claims (9)

1. 予め設定された監視区域内にいる人物の注目位置を特定するための注目位置特定システムにおいて、
   前記監視区域を撮影して画像情報を取得する１又は複数の撮像手段と、
   前記撮像手段により得られた画像情報に基づいて、前記撮像手段の位置を基準にした前記人物の位置座標を前記人物の位置情報として検出すると共に、予め設定される前記撮像手段の基準方向から前記人物がいる方向までの角度を前記人物の角度情報として検出する人物位置検出手段と、
   前記画像情報から前記人物の視線情報を取得する視線情報取得手段と、
   前記人物位置検出手段により得られた人物の位置情報及び角度情報と、前記視線情報取得手段により得られた視線情報とに基づいて、前記人物の注目位置を特定する注目位置特定手段と、
   予め前記撮像手段の撮影領域に含まれる１又は複数の注目対象物を設定し、前記注目対象物の位置情報を蓄積するための蓄積手段を有し、
   前記注目位置特定手段は、
   前記蓄積手段に蓄積された前記注目対象物の位置情報と、前記人物の位置情報とに基づいて、前記撮像手段の基準方向に対する前記人物から前記注目対象物への角度情報を取得し、取得した前記人物から前記注目対象物への角度情報と、前記視線情報取得手段により得られた視線情報とに基づいて、前記人物の注目位置を特定し、
   更に、前記注目対象物が所定の大きさを有する場合には、前記注目対象物に対して複数の特徴点を抽出し、前記撮像手段の基準方向に対する前記人物から各特徴点における角度情報を取得し、取得した複数の角度のうち、最大角度及び最小角度を選定し、選定された前記最大角度及び前記最小角度と、前記視線情報とに基づいて、前記人物の注目位置を特定することを特徴とする注目位置特定システム。
2. 前記注目位置特定手段により得られる前記人物の注目位置に基づいて、前記人物が不審者であるか否かを判定する不審者判定手段を有することを特徴とする請求項１に記載の注目位置特定システム。
3. 前記不審者判定手段は、
   前記人物の視線方向に前記注目対象物が存在する回数を累積し、累積回数が所定回数以上の場合、前記人物を不審者であると判定することを特徴とする請求項２に記載の注目位置特定システム。
4. 前記不審者判定手段は、
   前記人物の視線方向に前記注目対象物が存在する時間を累積し、累積時間が所定時間以上の場合、前記人物を不審者であると判定することを特徴とする請求項２又は３に記載の注目位置特定システム。
5. 予め設定された監視区域内にいる人物の注目位置を特定するための注目位置特定方法において、
   １又は複数の撮像手段により前記監視区域を撮影する撮影ステップと、
   前記撮像ステップにより得られた画像情報に基づいて、前記撮像手段の位置を基準にした前記人物の画像中の位置座標を前記人物の位置情報として検出すると共に、予め設定される前記撮像手段の基準方向から前記人物がいる方向までの角度を前記人物の角度情報として検出する人物位置検出ステップと、
   前記撮像ステップにより得られた画像情報に基づいて、前記人物の位置情報と、予め設定される前記撮像手段の基準方向に対する前記人物の角度情報を検出する人物位置検出ステップと、
   前記画像情報から前記人物の視線情報を取得する視線情報取得ステップと、
   前記人物位置検出ステップにより得られた人物の位置情報及び角度情報と、前記視線情報取得ステップにより得られた視線情報とに基づいて、前記人物の注目位置を特定する注目位置特定ステップとを有し、
   前記注目位置特定ステップは、
   予め設定された前記撮像手段の撮影領域に含まれる１又は複数の注目対象物の位置情報と、前記人物の位置情報とに基づいて、前記撮像手段の基準方向に対する前記人物から前記注目対象物への角度情報を取得し、取得した前記人物から前記注目対象物への角度情報と、前記視線情報取得ステップにより得られた視線情報とに基づいて、前記人物の注目位置を特定し、
   更に、前記注目対象物が所定の大きさを有する場合には、前記注目対象物に対して複数の特徴点を抽出し、前記撮像手段の基準方向に対する前記人物から各特徴点における角度を取得し、取得した複数の角度のうち、最大角度及び最小角度を選定し、選定された前記最大角度及び前記最小角度と、前記視線情報とに基づいて、前記人物の注目位置を特定することを特徴とする注目位置特定方法。
6. 前記注目位置特定ステップにより得られる前記人物の注目位置に基づいて、前記人物が不審者であるか否かを判定する不審者判定ステップを有することを特徴とする請求項５に記載の注目位置特定方法。
7. 前記不審者判定ステップは、
   前記人物の視線方向に前記注目対象物が存在する回数を累積し、累積回数が所定回数以上の場合、前記人物を不審者であると判定することを特徴とする請求項６に記載の注目位置特定方法。
8. 前記不審者判定ステップは、
   前記人物の視線方向に前記注目対象物が存在する時間を累積し、累積時間が所定時間以上の場合、前記人物を不審者であると判定することを特徴とする請求項５又は６に記載の注目位置特定方法。
9. コンピュータを、請求項１乃至４の何れか１項に記載された注目位置特定システムが有する各手段として機能させるための注目位置特定プログラム。

Images