JPH1139495A - 画像監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来装置は、ニューラルネットワークの学習
効果を利用しているので、撮像装置を含めたシステムと
しては極めて高価で、設置スペースをかなり必要とす
る。 【解決手段】 画像メモリ７は、ＣＣＤカメラ１から入
力された画像信号を一旦記憶する。演算部８は画像メモ
リ７からフレーム単位で読み出した画像信号を多数のブ
ロックに分割して、各ブロック毎に画像信号の輝度デー
タ又は色データの平均値を算出し、現フレームの平均値
とそれよりも数フレーム前の平均値とを対応するブロッ
ク同士で差分値を求め、差分値とその差分値の平均値と
の差の絶対値を各ブロック毎に算出する。制御部１０
は、演算部８からの差の絶対値を設定値と比較し、その
比較結果により動きのあるブロックを求めて動き検出デ
ータを発生する。この動き検出データは、表示装置４で
表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像監視装置に係
り、特に画像信号から被写体の動きを検出し、動き検出
データを出力する画像監視装置に関する。

【０００２】

【従来の技術】図４は従来の画像監視装置の一例のブロ
ック図を示す。この従来の画像監視装置は特開平４−２
６０９７９号公報（発明の名称「移動物体の検出追跡シ
ステム」）にて開示されたもので、ビットマップ画像を
出力するセンサ１０１と、このビットマップ画像が入力
される動き検出サブシステム１０２及び動き追跡サブシ
ステム１０３とからなる。

【０００３】この従来装置は、センサ１０１により得ら
れた連続する画像フレームの各画素の輝度情報（ビット
マップ画像）から移動物体の輪郭に関する動き情報（オ
プチカルフロー）を簡略化ＭＯＣ（Molion Oriented Co
ntrast）フィルタ１０４により計算した後、オプチカル
フローによって固定される移動物体の境界に関する動き
情報を時空間的に平均化し、規格化する時空間規格化フ
ィルタ１０５により移動物体の中心に集まるように変換
し、特徴抽出フィルタ１０６により投影分布をとり一次
元速度情報に変換した後、３層構造の局所極大値検出ニ
ューラルネットワーク１０７に入力する。

【０００４】意図する特定の移動物体を追跡するため
に、物体に関する中心情報、輪郭情報から移動物体を包
含する箱（ウィンドウ）を定義し、この箱の中で移動物
体に関する形状情報を特徴抽出フィルタ１０８により抽
出し、１層構造の新奇性フィルタニューラルネットワー
ク１０９に入力することにより、移動物体の形状を認識
する。

【０００５】次に、図４の従来の画像監視装置の動作に
ついて、更に説明する。動き検出サブシステム１０２
は、センサ１０１から入力されたビットマップ画像に対
して簡略化ＭＯＣフィルタ１０４及び時空間規格化フィ
ルタ１０５により動き情報を抽出するための画像情報処
理を行った後、特徴抽出フィルタ１０６により一次元動
き情報特徴を抽出して、局所極大値検出ニューラルネッ
トワーク１０７で移動物体の中心情報を検出する。

【０００６】動き追跡サブシステム１０３は、センサ１
０１により得られる画像から動き検出サブシステム１０
２で得られる移動物体の中心情報を用いることにより、
移動物体を包含する箱領域を切り出し、箱領域内の画像
から特徴抽出フィルタ１０８により移動物体に関する形
状情報を抽出した後、新奇性フィルタニューラルネット
ワーク１０９により追跡すべき移動物体認識を行い、こ
の結果を用いて意図する移動物体を視野の中心に捉える
ようにセンサ駆動モジュール１１０を駆動する。

【０００７】次に、動き検出サブシステム１０２につい
て詳細に説明する。センサ１０１により得られた画像フ
レームが簡略化ＭＯＣフィルタ１０４に供給されると、
簡略化ＭＯＣフィルタ１０４は、供給された画像フレー
ムのうち連続する２つの画像フレームに対して、移動物
体の輪郭に関する動き情報（オプチカルフロー）を計算
する。簡略化ＭＯＣフィルタ１０４は、３つの処理段階
（空間フィルタによる方向別エッジ検出部、時間フィル
タによる輝度差検出部、空間フィルタと時間フィルタの
積和組合せ部）から構成されるオプチカルフロー算出フ
ィルタで、現在取り込んでいる画像と直前に取り込んだ
画像の輝度情報とを比較することにより、輪郭速度情
報、すなわちオプチカルフローを算出する。

【０００８】次に、簡略化ＭＯＣフィルタ１０４により
算出されたオプチカルフローに対して、時空間規格化フ
ィルタ１０５を移動方向毎に適用することにより、オプ
チカルフローは時空間的に平均化、規格化され、移動物
体に関する移動方向毎の速さ情報が規格化されて、特徴
抽出フィルタ１０６へ供給される。特注抽出フィルタ１
０６は、時空間規格化フィルタ１０５から供給された情
報の中から、規格化された移動方向毎の速さ情報を抽出
し出力する。

【０００９】特徴抽出フィルタ１０６は移動物体に関す
る速さ情報の移動方向、及び移動方向に垂直な方向への
一次元投影分布をとった後、方向（移動方向、投影分
布）毎の局所極大値検出ニューラルネットワーク１０７
へ供給される。ここで、局所極大値検出ニューラルネッ
トワーク１０７は、３層構造の競合型ニューラルネット
ワークである。この局所極大値検出ニューラルネットワ
ーク１０７は、追跡されるべき各移動物体の動き分布の
学習を行い、その情報を局所極大値検出ニューラルネッ
トワーク１０７に供給する。

【００１０】動き追跡サブシステム１０３は、センサ１
０１により得られた画像情報から、局所極大値検出ニュ
ーラルネットワーク１０７の出力移動物体の中心情報を
利用して切り出した画像内において、特徴抽出フィルタ
１０８を用いることにより、物体の形状に関する特徴を
抽出する。物体の形状を認識するように教育された新奇
性フィルタニューラルネットワーク１０９は、物体の形
状の新奇部分を連想出力することにより、他の移動物体
との衝突、あるいは他の移動物体、静止物による隠滅が
発生した場合にも、意図する追跡移動物体の形状を連想
出力することができる。このために追跡を確実に続行す
ることができる。

【００１１】エッジ検出、フーリエ変換、一般化ハフ変
換などの方法が、形状、輪郭記述のために用いられる。
そして、新奇性フィルタニューラルネットワーク１０９
の出力結果は、意図する移動物体を視野の中心に捉える
ようセンサ駆動モジュール１１０を駆動する。

【００１２】以上のようにして、上記の従来装置は、画
面上の移動物体の数によらず追跡に要する処理を一定時
間で実行する移動物体の検出追跡システム、及び移動物
体の画面上での他の移動物体との衝突、他の物体による
隠滅に影響を受けない検出追跡システムを実現しようと
するものであり、不審者の監視等の用途に用いられる。

【００１３】

【発明が解決しようとする課題】しかるに、上記の従来
の画像監視装置は、大容量のメモリや数個の大規模半導
体集積回路（ＬＳＩ）を用いており、また、例えばニュ
ーラルネットワークの学習効果を利用しているので、撮
像装置を含めたシステムとしては極めて高価であるとい
う問題がある。また、上記の従来の画像監視装置は、設
置スペースをかなり必要とする問題もある。

【００１４】本発明は以上の点に鑑みなされたもので、
撮像装置を含めたシステムとして安価な構成とし得る画
像監視装置を提供することを目的とする。

【００１５】また、本発明の他の目的は、省スペースな
構成の画像監視装置を提供することにある。

【００１６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、被写体を撮像して画像信号を出力する撮
像手段と、撮像手段から出力された画像信号を受け、画
像信号の各フレームを多数のブロックに分割して、各ブ
ロック毎に輝度データ又は色データの平均値を算出し、
現フレームの平均値とそれよりも数フレーム前の平均値
とを対応するブロック同士で差分値を求め、差分値と差
分値の平均値とに基づいて算出した値を設定値と比較す
ることで動きの有無を検出し、動きがあるときは動き検
出データを出力する処理装置と、撮像手段から出力され
た画像信号と処理装置からの動き検出データとを受け、
被写体の画像と共に動き検出データを表示する表示装置
とを有する構成としたものである。

【００１７】本発明では、撮像手段から入力された画像
信号の各フレームを多数のブロックに分割して、各ブロ
ック毎に輝度データ又は色データの平均値を算出し、現
フレームの平均値とそれよりも数フレーム前の平均値と
を対応するブロック同士で差分値を求め、その差分値に
基づいて動きの有無を検出するようにしたため、ニュー
ラルネットワークを用いることなく、画像の動きを検出
することができる。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。図１は本発明になる画像監視装
置の一実施の形態の概略外観構成図を示す。同図におい
て、撮像手段の一例としての電荷結合素子（ＣＣＤ）を
用いたＣＣＤカメラ１は、撮像領域５内の画像を撮像
し、電気信号に変換する。このＣＣＤカメラ１により撮
像して得られた画像信号は、伝送路２によって処理装置
３及び表示装置４に送られる。

【００１９】処理装置３は、ＣＣＤカメラ１で撮像され
た画像を連続的に取り込み、動き検出のための画像処理
や各種判断等を行う。表示装置４は、ＣＣＤカメラ１に
より撮像された画像を表示すると共に、処理装置３によ
り移動物体が検出された場合は、その出力に基づき画面
上に動き検出の表示を行う。

【００２０】図２は本発明になる画像監視装置の一実施
の形態のブロック図を示す。同図中、図１と同一構成部
分には同一符号を付してある。図２において、処理装置
３は、第１のインタフェース（以下、Ｉ／Ｆと記す）６
と、第１のＩ／Ｆ６を介して入力されたディジタル画像
信号を記憶する画像メモリ７と、ＣＣＤカメラ１より入
力されたディジタル画像信号を１フレーム毎に多ブロッ
クに分割して各ブロックの輝度データあるいは色データ
の平均値を算出する演算部８と、表示装置４に接続され
た第２のＩ／Ｆ９と、現フレームの輝度データの平均値
と数フレーム前の輝度データの平均値とから動きを検出
し、動き検出データを出力する制御部１０と、上記の各
部を接続するバス１１とから構成される。

【００２１】次に、上記の実施の形態の動作について説
明する。演算部８はＣＣＤカメラ１より第１のＩ／Ｆ６
を介して画像メモリ７に記憶したディジタル画像信号
を、画像メモリ７から読み出して、１フレーム毎に多ブ
ロックに分割し、各ブロックの輝度データ又は色データ
の平均値を算出して制御部１０に与える。制御部１０は
入力された輝度データ又は色データの平均値のうち、現
フレームの平均値と数フレーム前の平均値とを比較し
て、その差がある設定値以上であるときには動きがある
と検出して、動き検出データを出力する。

【００２２】制御部１０は、動き検出データを出力する
場合は、その動き検出データを画像メモリ７から読み出
したＣＣＤカメラ１のディジタル画像信号に多重して、
バス１１及び第２のＩ／Ｆ９を介して表示装置４に供給
し、その画面上にＣＣＤカメラ１により撮像された画像
と共に動き検出の表示を行わせる。

【００２３】次に、処理装置３による動き検出データの
生成動作について、図３と共に詳細に説明する。図２に
示したように、ＣＣＤカメラ１から第１のＩ／Ｆ６を介
して入力されたディジタル画像信号は、一旦画像メモリ
７に１フレーム分記憶する。そして、演算部８はこの１
フレーム分のディジタル画像信号を、図３に示すよう
に、ｎ行ｍ列のマトリクス状に配列されるｋ（＝ｎ×
ｍ）個のブロックに分割した後、分割した各ブロックに
番号を付する。

【００２４】続いて、演算部８は、現フレームの各ブロ
ックの輝度データ（又は色データ）の平均値をＡ１１〜
Ａｎｍ（合計ｋ個）とし、数フレーム前の各ブロックの
輝度データ（又は色データ）の平均値Ｂ１１〜Ｂｎｍと
して、各ブロック毎に現フレームと数フレーム前の輝度
データ（又は色データ）の平均値の差分Ｄｐｑ（ただ
し、ｐ＝１〜ｎ、ｑ＝１〜ｍ）を求める。従って、この
差分Ｄｐｑは｜Ａｐｑ−Ｂｐｑ｜（ただし、ｐ＝１〜
ｎ、ｑ＝１〜ｍ）である。

【００２５】続いて、演算部８は、各ブロックの差分Ｄ
ｐｑの平均値Ｘを、（Ｄ１１＋Ｄ１２＋．．．＋Ｄｎ
ｍ）／ｋなる演算式に基づいて算出した後、平均値のフ
レーム間差分Ｄｐｑとその平均値Ｘとの差分Ｅｐｑを Ｅｐｑ＝｜Ｄｐｑ−Ｘ｜ （ｐ＝１〜ｎ、ｑ＝１〜
ｍ） なる式に基づいて算出する。

【００２６】そして、制御部１０は差分Ｅｐｑが予め設
定した値以上であるか否かを比較し、差分Ｅｐｑが設定
値以上であるときは、それに対応するｐ行ｑ列目のブロ
ックに動きがあると判断して、動き検出データを加工生
成して第２のＩ／Ｆ９を介して表示装置４へ出力する。

【００２７】このように、この実施の形態によれば、ニ
ューラルネットワークを使用せず、簡略的な構成とする
ことにより、例えばＣＣＤカメラ１のような撮像装置を
含めたシステムとして非常に安価で、省スペースな画像
監視装置を実現することができる。

【００２８】なお、本発明は上記の実施の形態に限定さ
れるものではなく、処理装置３は小型な構成であるの
で、例えばＣＣＤカメラ１に内蔵する構成とすることも
できる。

【００２９】

【発明の効果】以上説明したように、本発明によれば、
ニューラルネットワークを使用することなく、各ブロッ
ク毎のフレーム間差分値に基づいて動きの有無を検出す
るようにしたため、ニューラルネットワークを使用した
従来装置に比べて極めて簡単、かつ、安価な構成とする
ことができ、よって、撮像装置を含めたシステムとして
極めて安価で省スペースな画像監視装置を実現できる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の概略外観構成図であ
る。

【図２】本発明の一実施の形態のブロック図である。

【図３】図１及び図２中の処理装置による動き検出デー
タの生成動作説明図である。

【図４】従来装置の一例のブロック図である。

【符号の説明】

１ ＣＣＤカメラ ３ 処理装置 ４ 表示装置 ６ 第１のインタフェース（Ｉ／Ｆ） ７ 画像メモリ ８ 演算部 ９ 第２のインタフェース（Ｉ／Ｆ） １０ 制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像して画像信号を出力する撮
   像手段と、 前記撮像手段から出力された画像信号を受け、該画像信
   号の各フレームを多数のブロックに分割して、各ブロッ
   ク毎に輝度データ又は色データの平均値を算出し、現フ
   レームの該平均値とそれよりも数フレーム前の該平均値
   とを対応するブロック同士で差分値を求め、該差分値と
   該差分値の平均値とに基づいて算出した値を設定値と比
   較することで動きの有無を検出し、動きがあるときは動
   き検出データを出力する処理装置と、 前記撮像手段から出力された画像信号と前記処理装置か
   らの前記動き検出データとを受け、前記被写体の画像と
   共に該動き検出データを表示する表示装置とを有するこ
   とを特徴とする画像監視装置。
2. 【請求項２】 前記処理装置は、 前記撮像手段から出力された画像信号を受ける入力手段
   と、 該入力手段を介して入力された該画像信号を記憶する記
   憶手段と、 該記憶手段からフレーム単位で読み出した前記画像信号
   を多数のブロックに分割して、各ブロック毎に該画像信
   号の輝度データ又は色データの平均値を算出し、現フレ
   ームの該平均値とそれよりも数フレーム前の該平均値と
   を対応するブロック同士で差分値を求め、該差分値と該
   差分値の平均値との差の絶対値を前記各ブロック毎に算
   出する演算部と、 前記演算部からの前記差の絶対値を前記設定値と比較
   し、その比較結果により動きのあるブロックを求めて前
   記動き検出データを発生する制御部と、 前記制御部からの前記動き検出データを前記表示装置へ
   出力する出力手段とからなることを特徴とする請求項１
   記載の画像監視装置。
3. 【請求項３】 前記処理装置は、前記撮像手段に内蔵さ
   れていることを特徴とする請求項１又は２記載の画像監
   視装置。