JP3957495B2

JP3957495B2 - 画像センサ

Info

Publication number: JP3957495B2
Application number: JP2001358084A
Authority: JP
Inventors: 幸一尾坐; 哲也高橋
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2001-11-22
Filing date: 2001-11-22
Publication date: 2007-08-15
Anticipated expiration: 2021-11-22
Also published as: JP2003162724A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影した画像を解析し、画像に現れる変化の要因を特定することにより、移動体を検出する画像センサに関する。
【０００２】
【従来の技術】
従来、監視カメラにて監視領域を撮影し、画像中で変化した領域（変化領域）が人間の特徴を示す領域であるか否かを分析し、監視領域内における侵入者の有無を判定する画像センサが提案されている。
このような画像センサにおいて、監視領域内に外部から光が差し込むと、光が映った部分が変化領域として検出されることがある。この変化領域を人間によるものと判定することを防止するため、光の入射により発生した変化領域を光領域として判定できるようにした画像センサが提案されている（特開２０００−３４１６７７）。
【０００３】
この画像センサにおいては、更に、外部にいる人の影が光領域内に映った場合、影の移動に伴い変化領域が移動をしたことを検出したときに、これを影による変化領域として検出することが行われる。これにより、影による変化領域を人によるものと誤判定をすることを防止している。
また、画像中の変化領域について、光、影、小動物などの外乱の特徴を示す領域であるかを分析し、監視領域内における侵入者の有無の判定から外乱による影響を排除する画像センサが提案されている（特開２００１−２４３４７５）。
【０００４】
これらの画像センサは、監視領域を撮影した画像であって、侵入者が写っていない画像、所定時間前の画像、あるいはこれら複数の画像を合成した画像などを基準画像とする。この基準画像と同じ監視領域を撮影した画像（現画像）とを比較し、画像中で変化があった領域（変化領域）に対して種々の分析を行い、侵入者の有無を検出している。
【０００５】
上記画像センサにおける変化領域の分析方法を説明すると次のとおりである。画像処理部で、変化領域について画像情報から人間らしさを多値で示す人属性情報と人間以外の要因らしさを多値で示す外乱属性情報とを算出する。なお、外乱としては、光、影、又は猫などの小動物に起因するものがある。判定部で、人属性情報と外乱属性情報との比率に基づき人間の存在の有無を判定する。判定部が人が存在すると判定した場合、出力部は、警報装置やベルなどにより人を検知した旨を通報する。このように人間と外乱との区別を行うことにより、人間の存在の検出を精度良く行うことができる。
【０００６】
上記の各画像センサにおいては、変化領域を整合化処理し、整合化された一塊の領域を同一原因による変化、すなわち同一移動体と判断している。同一移動体と認識された変化領域は分析の一単位とされ、変化領域全体のエッジの変化、テクスチャの変化、輝度ヒストグラムの変化などの特徴量が算出される。そして、これらの特徴量に基づいて、変化領域が人に起因する特徴を有するのか、外乱に起因する特徴を有するのかを判断していた。
例えば、変化領域におけるテクスチャの変化は、基準画像における変化領域に対する対応領域が異なると、変化領域におけるテクスチャの変化として現れる特徴量も異なる。したがって、基準画像における対応領域のテクスチャの変化により、分析のための判定ロジックを選択しなければならない。
【０００７】
図を用いて基準画像のテクスチャの変化により判定ロジックを選択する理由を説明する。
図１は、太陽光が窓から入射している領域とその外の領域とで影による変化を判定するロジックが異なることを説明するための図である。
Ａ−１は基準画像を示す。ここには、窓から太陽光が入射して床面１に映った領域（太陽光領域２）があることを示す。Ａ−２は現画像を示す。ここには、窓の外を人が通ったことにより、太陽光領域２内に人の影３が映っている状態を示す。Ａ−３は、基準画像Ａ−１と現画像Ａ−２を比較した結果の変化領域４を示す。
【０００８】
Ｂ−１は、太陽光領域がない監視領域を撮影した基準画像を示す。Ｂ−２は現画像で、監視領域内にいる人の影５が映っている状態を示す。Ｂ−３は、変化領域６を示す。
太陽光領域２内の影３は強い影であるためテクスチャが保存されにくく（テクスチャが透けて見えにくく）、また、変化領域４が太陽光領域２内から出ないという性質がある。他方、太陽光領域の外の影５は、淡い影であるためテクスチャが保存される（テクスチャが透けて見える）という性質がある。
【０００９】
したがって、太陽光領域２内とそれ以外の領域とでは、同じ影による変化を判定する場合であっても、判定ロジックを変える必要がある。従来の画像センサにおいては、変化領域４、６が太陽光領域２内にあるかそれ以外の領域にあるかを判断してから、判定ロジックの選択を行っていた。
なお、判定ロジックの選択は、テクスチャの変化だけでなく、エッジの変化、輝度レベルの変化によっても行われる。
【００１０】
【発明が解決しようとする課題】
しかしながら、変化領域全体についてエッジの変化、テクスチャの変化、輝度ヒストグラムの変化などの特徴量を算出して、これらの特徴量に基づいて、変化領域が人に起因する特徴を有するのか、あるいは外乱に起因する特徴を有するのかを判断するだけでは、以下に示すような新たな問題が発生することが判明した。
【００１１】
この点について図２を用いて説明する。
図２のＣ−１は基準画像で、太陽光が窓から差し込んで、太陽光領域２が床面１にできたことを示している。Ｃ−２は現画像で、窓の外を通る人の影９が太陽光領域２内に映っている。このような状況では、影９が接する太陽光領域２の縁１０に接して、太陽光領域２の外側に淡い影（はみ出し影）８が出現することがある。Ｃ−３は変化領域を示し、二つの影８、９は一塊の変化領域７として検出されている。
【００１２】
変化領域７が人に起因するものか影などの外乱に起因するものかが判定される場合、変化領域７における二つの影８と９が占める割合の差が大きければ、大きいほうの特徴量に基づいて強い影又は淡い影と判定することができる。つまり、判定ロジック使用時における小さい方の特徴量による全体の特徴量への影響は少ない。
しかし、二つの影８と９が占める割合の差が小さい場合は、相互の特徴量への影響が大きくなり、適切な判定結果が得られない場合が生じる。その結果、変化領域が影領域であるにもかかわらず、強い影領域でも淡い影領域でもないと判定されることがある。これにより、画像センサが誤報又は失報をすることがある。
【００１３】
このような現象は、基準画像の領域ごとに異なった特性の差（輝度の差、エッジの差、テクスチャの差など）があり、この特性の差が移動体検出の判定に使用する特徴量に影響を及ぼすことに起因するものである。したがって、同様な状態は太陽光領域に限らず発生する。例えば、監視領域にテクスチャの強い領域と弱い領域が並存する場合などにおいても生じる。
【００１４】
図３は、監視領域の背景のテクスチャが領域ごとに変化する例を示す。
Ｄ−１は基準画像で、背景となる壁面１１にはテクスチャが少なく、床面１にはテクスチャが多いことを示している。Ｄ−２は現画像で、人１２が映っており、上半身は壁面１１を背景とし、下半身は床面１を背景としている。Ｄ−３は変化領域１３を示し、その上半分には壁面１１のテクスチャによる人の画像が持つテクスチャへの影響があまり出ておらず、下半分は床面１のテクスチャによる人の画像が持つテクスチャへの影響が多く出ている。
【００１５】
人属性情報について判定をするときは、基準画像との正規化相関が低い（以下「Ｆ１」とする。）、エッジ消去度が高い（Ｆ２）、エッジ増加度が高い（Ｆ３）という判定ロジックが用いられる。これらの特徴は背景画像のテクスチャの度合いによって信頼性が変化する。
この判定ロジックを図３の例に適用する場合、変化領域１３の上半分においては、Ｆ１、Ｆ２を用いた判定は信頼性が低く、Ｆ３を用いた判定は信頼性が高くなる。逆に、下半分においては、Ｆ１、Ｆ２を用いた判定は信頼性が高く、Ｆ３を用いた判定は信頼性が低くなる。
【００１６】
したがって、図３に示した例においても、一つの判定ロジックを用いただけでは変化領域１３を人１２によるものと判定せずに、外乱によるものと判定することが発生し得る。
なお、図２及び３を用いて説明した例では、基準画像にテクスチャが異なる領域がある場合の誤判定について説明をしたが、基準画像にエッジ、輝度レベルが異なる領域がある場合も同様に誤判定が発生する。
【００１７】
本発明は、基準画像において特性の異なる領域がある場合でも、変化領域に対して適切な特徴量の算出を可能とし、確実に移動体を検出できる画像センサの実現を目的とするものである。
【００１８】
【課題を解決するための手段】
本願発明は上記目的を達成するためになされたものである。本発明の画像センサは、入力された画像から移動体を検出する画像センサであって、撮影された監視画像を取得する入力手段と、基準画像と前記監視画像とを比較し、画像中の変化領域を抽出する変化領域抽出手段と、前記変化領域を基準画像の領域特性が所定値以上の領域とその所定値未満の領域とに分割する分割手段と、前記変化領域の分割された領域ごとに移動体としての特徴量を算出する特徴量算出手段と、前記分割された領域ごとの特徴量から前記変化領域全体について移動体判定を行う統合判定手段とを具備する。
【００１９】
本発明の画像センサによれば、変化領域を基準画像の領域特性に基づいて分割し、分割領域ごとの特徴量について分析を行い、この分析結果から変化領域全体について移動体判定を行う。これにより、異なる特徴量を有する領域が整合化された一つの変化領域として検出された場合であっても、適切な判定結果を得ることができる。
【００２０】
【発明の実施の形態】
本発明の実施形態について図を用いて説明する。
図４は画像センサの構成を示す。
画像センサ２１は、監視領域を撮影する撮像部２２、取得した画像情報を画像処理して人属性情報と外乱属性情報を算出する画像処理部２３、人属性情報と外乱属性情報から人間の存在の有無を判定する判定部２４、判定結果を外部に対して出力する出力部２５から構成される。
【００２１】
撮像部２２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの素子から構成され、監視領域を撮影した撮像データをＡ／Ｄ変換したディジタル画像を画像処理部２３に出力する。
画像処理部２３は、撮像部２２から取得した画像情報を処理し、特徴量の抽出、各属性の算出などを行う。画像処理部２３のハード構成は、画像処理用のＩＣチップや画像用のメモリなど一般に使用されるものが用いられるが、本発明の本質でないので、詳細は省略する。
【００２２】
画像処理部２３は、人属性算出部２６と外乱属性算出部２７から構成される。さらに、外乱属性算出部２７は、光属性算出部２８、影属性算出部２９、小動物属性算出部３０から構成される。
判定部２４は、人属性情報と外乱属性情報との比率に基づいて、人間の存在の有無を判定する。判定のアルゴリズムについては後述する。
出力部２５は、判定部２４の判定結果に応じて、警報装置やベルなどにより、人を検知した旨を通報する。
【００２３】
以下、人属性算出部２６と外乱属性算出部２７の動作を説明する。なお、外乱属性算出部２７に関しては、影属性算出部２９についてのみ説明する。その外の光属性算出部２８、小動物属性算出部３０も同様な処理を行うものである。
また、各属性算出部２６、２８〜３０は、以下に説明する処理を実行するだけでなく外の算出方法、例えば特開２００１−２４３４７５に開示された算出方法を併用することも可能である。
【００２４】
図５のフローチャートを用いて影属性算出部２９における算出処理を説明する。本処理は、図２に示した影の分析に適しているので、図２を参照しながら説明をする。
ステップＳ１で、変化領域７を、太陽光領域２と重なる領域Ａ（影９）と重ならない領域Ｂ（影８）に分割する。
【００２５】
なお、太陽光領域２の決定方法は、基準画像上で絶対輝度又は相対輝度が所定値を超える画素による領域を太陽光領域２とすることにより行われる。ここで、絶対輝度とは、シャッタスピード、ＡＧＣゲイン値などの画像制御量から、画像上の輝度値を監視領域における実際の輝度に変換したものである。相対輝度とは、基準画像上の輝度値をそのまま採用したものである。絶対輝度を採用する方法によれば正確な結果が得られ、相対輝度を採用する方法によれば処理を簡単にすることができる。
【００２６】
ステップＳ２で、領域Ａと領域Ｂのそれぞれの面積が共に特徴量として使用するために必要な画素数として２０画素以上であるか否かが判定される。ここでＹＥＳ（領域Ａ、Ｂが共に２０画素以上）であれば、変化領域７が太陽光領域２とその他の領域にまたがっていると判定してステップＳ３へ進み、ＮＯ（領域Ａ、Ｂの一方又は両方が小さい。）であれば、変化領域７が太陽光領域２とその他の領域にまたがっていないと判定してステップＳ１１へ進む。
【００２７】
ステップＳ３で、領域Ａ（太陽光領域２と重なる領域）において、強い影の特徴を有する度合い（０〜１の値）を計算する。例えば、背景画像におけるテクスチャとの類似度により強い影か否かを判定する。領域Ａが強い影によるものであれば背景画像のテクスチャは検出されず、変化領域の輪郭線以外にエッジは検出されない。図２の例であれば、影９が強い影の特徴を有する度合いは高いものとなる。
【００２８】
ステップＳ４で、領域Ｂ（太陽光領域２と重ならない領域）において、淡い影の特徴を有する度合い（０〜１の値）を計算する。領域Ｂが淡い影によるものであれば背景画面におけるテクスチャが保存される。図２の例であれば、影８が淡い影の特徴を有する度合いは高いものとなる。
ステップＳ５で、領域Ａでは強い影の特徴をもち、領域Ｂでは淡い影の特徴をもつ度合いを混合影領域度として計算する。例えば、
混合影領域度＝（領域Ａの強い影の特徴を有する度合い）×（領域Ｂの淡い影の特徴を有する度合い）で計算する。
ステップＳ６で、計算した混合影領域度を影属性度として記憶する。その後、ステップＳ７へ進む。
【００２９】
ステップＳ２でＮＯ（はみ出し影なし）のとき、ステップＳ１１で、変化領域全体について強い影の特徴を有する度合い（強い影特徴度、０〜１の値）を計算する。ここでの計算方法はステップＳ３と同様である。
ステップＳ１２で、変化領域全体について淡い影の特徴を有する度合い（淡い影特徴度、０〜１の値）を計算する。ここでの計算方法はステップＳ４と同様である。
【００３０】
ステップＳ１３で、淡い影特徴度と強い影特徴度の値から影属性度の値を決定する。例えば、淡い影特徴度と強い影特徴度の内の最大値を影属性度の値として採用する。変化領域が強い影によるものであれば、ステップＳ１１で計算された度合いが高いものとなる。変化領域７が淡い影によるものであれば、ステップＳ１２で計算された度合いが高いものとなる。その後、ステップＳ７へ進む。
【００３１】
ステップＳ７で、ステップＳ６又はステップＳ１３で計算した影属性度を記憶する。
以上の処理と同様の処理が光属性算出部２８及び小動物属性算出部３０においても行われ、それぞれ光属性度、小動物属性度を記憶する。
【００３２】
図６のフローチャートを用いて人属性算出部２６における人属性算出処理を説明する。本処理は、図３に示した人の分析に適しているので、図３を参照しながら説明をする。
人の領域らしい特徴としては、図３の説明で述べたように、基準画像との正規化相関が低い（Ｆ１）、エッジ消去度が高い（Ｆ２）、エッジ増加度が高い（Ｆ３）がある。
【００３３】
ステップＳ２１で、変化領域１３を、テクスチャ領域（床面１）と重なる領域Ａと、そうでない領域（壁面１１）と重なる領域Ｂとに分割する。
ここで、テクスチャ領域の作成方法を説明する。基準画像（Ｄ−１）を小領域にブロック分割（例、３×４に分割）して、平均エッジ量が多い、又は、分散値が高いなどと判定された分割領域をテクスチャのある分割領域とする。
【００３４】
ステップＳ２２で、領域Ａについて、Ｆ１とＦ２の特徴量の重みを高くした人の領域らしさＨ_A を計算する。例えば、
Ｈ_A＝α₁×Ｆ₁の度合い＋α₂×Ｆ₂の度合い＋α₃×Ｆ₃の度合い
ただし、重み係数をαは、α₁＞α₂＞α₃で、α₁＋α₂＋α₃＝１の関係にある。
ステップＳ２３で、領域Ｂについて、Ｆ３の特徴量の重みを高くした人の領域らしさＨ_B を計算する。
Ｈ_B＝α₄×Ｆ₁の度合い＋α₅×Ｆ₂の度合い＋α₆×Ｆ₃の度合い
ただし、重み係数をαは、α₄＜α₅＜α₆で、α₄＋α₅＋α₆＝１の関係にある。
【００３５】
ステップＳ２４で、領域Ａと領域Ｂにおけるそれぞれの人の領域らしさから、変化領域１３全体の人の領域らしさを計算する。例えば、変化領域１３全体における領域Ａの比率Ｓ_A （０〜１の値）と領域Ｂの比率Ｓ_B （０〜１の値）を求め（Ｓ_A＋Ｓ_B＝１である。）、変化領域１３全体の人の領域らしさＨ_ALLを、
Ｈ_ALL＝Ｓ_A×Ｈ_A＋Ｓ_B×Ｈ_Bで計算する。
ステップＳ２５でＨ_ALLを記憶する。
【００３６】
判定部２４は、人属性算出部２６に記憶してある人属性情報と、光属性算出部２８、影属性算出部２９、小動物属性算出度３０に記憶してある光属性情報、影属性情報、出力動物属性情報との比率に基づき、変化領域１３が人によるものかその外の外乱によるものかを判定し、人の存在の有無を判定する。
判定部２４において人が存在すると判定すると、出力部２５は警報装置やベルなどにより人を検知した旨を通報する。
【００３７】
【発明の効果】
本発明によれば、変化領域が特性の異なる領域を有する場合に、分割領域ごとに特徴量の算出をするので、変化領域が人によるものか、外乱によるものかを正確に判定することができる。
【図面の簡単な説明】
【図１】異なる影の特性を説明する図である。
【図２】異なる影の特性を示す変化領域を説明する図である。
【図３】異なる背景を含む変化領域を説明する図である。
【図４】本発明の画像センサの回路構成を示す図である。
【図５】図４の画像センサにおける影属性算出処理を示すフローチャートである。
【図６】図４の画像センサにおける人属性算出処理を示すフローチャートである。
【符号の説明】
１…床面
２…太陽光領域
３…影
４…変化領域
５…影
６…変化領域
７…変化領域
８…影
９…影
１０…縁
１１…壁面
１２…人
１３…変化領域
２１…画像センサ
２２…撮像部
２３…画像処理部
２４…判定部
２５…出力部
２６…人属性算出部
２７…外乱属性算出部
２８…光属性算出部
２９…影属性算出部
３０…小動物属性算出部

Claims

入力された画像から移動体を検出する画像センサであって、
撮影された監視画像を取得する入力手段と、
基準画像と前記監視画像とを比較し、画像中の変化領域を抽出する変化領域抽出手段と、
前記変化領域を前記基準画像の領域特性が所定値以上の領域と該所定値未満の領域とに分割する分割手段と、
前記変化領域の分割された領域ごとに、移動体としての特徴量を算出する特徴量算出手段と、
前記分割された領域ごとの特徴量から前記変化領域全体について移動体判定を行う統合判定手段と、
を具備することを特徴とした画像センサ。
前記領域特性が輝度レベルである請求項１に記載の画像センサ。
前記領域特性が、前記基準画像を複数の小領域に分割したときの各小領域ごとの平均エッジ量又は分散値である請求項１に記載の画像センサ。
前記特徴量算出手段は、前記分割手段にて領域分割する根拠とした前記領域特性が前記所定値以上か前記所定値未満かに応じて、前記分割された領域ごとに算出する特徴量を選択する請求項１〜３のいずれか１項に記載された画像センサ。
前記特徴量は、影属性である請求項４に記載の画像センサ。
前記特徴量算出手段は、前記分割手段にて分割する根拠とした前記領域特性に応じて算出する特徴量に重み付けを行う請求項１〜３のいずれか１項に記載された画像センサ。
前記重み付けを行う特徴量は、人属性である請求項６に記載の画像センサ。
前記分割手段は、分割領域が所定画素以上であるときに分割を実行する請求項１〜７のいずれか１項に記載された画像センサ。