JPH05181970A

JPH05181970A - 動画像処理装置

Info

Publication number: JPH05181970A
Application number: JP3345813A
Authority: JP
Inventors: Kyoichi Okamoto; 恭一岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1991-12-27
Filing date: 1991-12-27
Publication date: 1993-07-23
Also published as: US5548659A

Abstract

(57)【要約】【目的】環境の変化があった場合においても高精度な
動画像処理が行なえる動画像処理装置を提供することを
目的とする。【構成】撮影環境の変化などで起きるノイズのモデル
を作成し、ノイズモデルからはずれた変化をする領域を
変化領域として抽出する。【効果】高精度な動画像処理が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は時系列画像のノイズモデ
ルを持ち、ノイズモデルからの差によって変化領域を検
出する動画像処理装置に関する。

【０００２】

【従来の技術】一般に、時系列画像を処理する方式とし
て、差分画像を使ったものが多用されている。差分画像
とは、ある時間差ｄｔをおいて、複数の画像を撮影し、
これらの画像間で、同座標にある画素ごとの差分を取っ
たものである。いま、撮影した画像の中で目的とする物
体だけが動き、背景に変化がなく、また、撮影装置も固
定されていれば、差分画像中で目的とする物体の周辺で
だけ差分が大きくなることになる。このことを用いて、
差分画像を２値化、ラベリングなどの処理を行なえば、
画像中から動物体を検出することができる。

【０００３】

【発明が解決しようとする課題】このような、差分画像
による動物体検出は、撮影した画像の背景に変化がない
ことを前提にしている。ところが、実際には静止した背
景でも画像の内容は照明条件などによって変化してい
る。従って、屋内シーンの場合、一般によく使われてい
る蛍光灯照明下では背景画像は蛍光灯のフリッカの影響
を受ける。通常、蛍光灯は電源周波数（５０Hz or ６０
Hz）に合わせて点滅しているので、画像を撮影するタイ
ミングによって静止した背景画像にも明暗の変化が現れ
る。このため、差分画像をとったとしても、背景領域の
画素の値は十分小さくならず、差分画像を閾値を使って
２値化して背景と動物体領域とを分ける必要がある。

【０００４】このため、動物体は背景に対してある程度
コントラストを持つ物体でなければならず、例えば、蒸
気のように半透明でコントラストの少ない動物体を検出
することは困難であった。そこで、屋内シーンでのフリ
ッカの影響を減らす手段として、インバータ回路を用い
て、点滅周波数を上げた蛍光灯が実用化されている。し
かし、カメラで撮影するシーン中の蛍光灯を全部入れ換
えるには多大なコストが必要となる。また、照明の点滅
周波数をセンサで検出して、検出した周波数と同期して
画像入力したとしても、点滅周波数より早く画像を入力
することはできないという欠点がある。

【０００５】この発明はこのような従来の課題を解決す
るためになされたもので、その目的とするところは、蛍
光灯のフリッカ等の撮影環境変化がある場合においても
高精度に動物体の変化領域を検出し得る動画像処理装置
を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、時系列的に画像を入力する画像入力部
と、該画像入力部で入力された今回の画像と前回の画像
との間で差分処理を行ない、得られた差分画像を出力す
る差分処理部と、照明系のフリッカ等による周囲変動に
よって発生する明度変化を示す画像モデルが予め設定さ
れ、前記差分画像に基づいてモデルパラメータを計算
し、これを代入して最適な前記画像モデルを推定するモ
デル推定部と、前記差分画像における各画素の差分値
と、前記モデル推定部で推定された画像モデルによって
前記差分処理部から入力された差分画像と前記画像入力
部から入力された入力画像を用いて推定された差分値と
を比較する変化領域検出部とを有することが特徴であ
る。

【０００７】

【作用】本発明における、動画処理装置は、撮影環境の
変化などで起きるノイズのモデルを作成し、ノイズモデ
ルからはずれた変化をする領域を変化領域として抽出す
るので、照明条件による背景画像の明度変化の影響を軽
減することができる。

【０００８】

【実施例】図１は本発明が適用された動画像処理装置の
一実施例の構成を示すブロック図である。

【０００９】同図において、カメラ１は周囲画像を撮影
し、画像入力部２は、時系列画像をカメラ１より入力
し、適当な時間間隔をおいてモデル推定部４と差分処理
部３に転送するものである。ここで時系列画像を入力す
る時間間隔は一定でなくとも良い。また、カメラ１から
入力した画像がノンインタレースの場合は、全画面を同
一時刻で撮影しているので画像をそのまま出力するが、
インタレースのある画像では奇数フィールドと偶数フィ
ールドで撮影した時刻に時間差がある。このような場合
には、奇数、偶数フィールドをそれぞれ別画像として出
力する。

【００１０】差分処理部３は、最新の入力画像と、その
前の入力画像との間で、画素ごとに差分演算を行ない、
差分画像を生成し、差分画像と、画像全体での差分の平
均を出力する。

【００１１】モデル推定部４は、静止したシーンで照明
系のフリッカなどによる変動によって起きる明度変化を
示す画像モデルに、画像入力部２から入力された画像
と、差分処理部３から入力された差分画像、差分平均値
の値を代入し、最適なモデルパラメータを推定する。こ
のモデル推定部４では、ある画素の差分ｄｉと、画像全
体での差分の平均Ｅ（ｄｉ）の比を、その画素の明度ｉ
を使った１次回帰モデル、即ち、次の（１）式を用い
る。

【００１２】ｄｉ／Ｅ（ｄｉ）＝α×ｉ＋β＋ｄ（０，σ） …（１）ここで、ｄ（０，σ）は、平均０、分散σの画面全体で
一様な正規分布を取るホワイトノイズである。ここでは
１次回帰モデルを使っているが、２次以上の回帰モデル
を使っても構わない。画像の差分の変動がこのようなモ
デルに合うのであれば、静止したシーンに属する画素の
差分は差分の平均と各画素の明度の平均を使って予測す
ることができ、予測値と実際の差分との差は、ｄ（０，
σ）に従った正規分布を取ることになる。

【００１３】以下、（１）式に示すモデルに時系列画像
を当てはめる過程を、図２に示すフローチャートにした
がって説明する。

【００１４】まず、画像入力部２から入力された入力画
像と差分処理部３で差分処理された差分画像から画素デ
ータをサンプルする（ステップＳＴ１）。サンプル点
は、あらかじめ適当に間隔をおいて画像上に一様に分布
するような座標を複数用意しておく。ここで、サンプル
点の数をｍとして、一定枚数（ｎ枚とする）の画像から
画素データをサンプルするものとし、ｐ枚目の画像のｑ
番目のサンプル点の差分データをｄｉ_pq、明度データを
ｉ_pq、ｐ枚目の画像の平均差分をＥ（ｄｉ_p）とする。

【００１５】次に、上記ステップＳＴ１でサンプルされ
た複数のデータを（１）式のモデルに代入し、最適なパ
ラメータαとβを推定する（ステップＳＴ２）。ここ
で、最小自乗法を使った統計的推測をすれば、最もよく
あてはまるパラメータαとβは、次の（２）式に示す方
程式を解くことによって計算することができる。

【００１６】

【数１】次いで、ステップＳＴ２で推定されたパラメータを用い
て、（１）式の中の、モデルからの誤差の分布を示すｄ
（０，σ）の分散σ²を、次の（３）式に従って計算す
る（ステップＳＴ３）。

【００１７】

【数２】そして、モデル推定部４は、以上の各ステップで計算さ
れた、パラメータα，β，σ²を出力し、これらのパラ
メータはモデル記憶部５に記憶される。ここで、モデル
推定部４で使用するモデルは撮影するシーンが静止して
いると仮定しているが、モデルのパラメータ推定に利用
する画像は必ずしも静止シーンを撮影したものだけに限
らなくても良い。動きのある領域が画面の中で占める面
積が十分小さければ、最小自乗法による統計処理で静止
シーンのモデルを計算することができる。

【００１８】図４に、本発明による動画像処理装置で実
際に推定したモデルの例を示す。グラフの横軸は画素の
明度ｉ、縦軸はｄｉ／Ｅ（ｄｉ）で画素の差分ｄｉと画
像全体での差分の平均Ｅ（ｄｉ）の比を表している。グ
ラフは、上記ステップＳＴ１でサンプルされたデータ
（ｉ_pq，ｄｉ_pq／Ｅ（ｄｉ_p））の分布と、ステップＳ
Ｔ２で推定され、ステップＳＴ１でサンプルしたデータ
に最適なパラメータαとβを使ったモデル、ｄｉ／Ｅ（ｄｉ）＝α×ｉ＋β＋ｄ（０，σ） …（４）とを重ねて表示している。

【００１９】変化検出部６は、モデル推定部４で推定さ
れたパラメータαとβ、及びモデルからの誤差分散σ²
をモデル記憶部５から入力し、これらのパラメータを使
って表現された静止したシーンで照明の変化によって起
きるノイズのモデルと入力した画像とを照合して、モデ
ルから外れた明度変化をする領域を検出する。つまり静
止したシーンであるとは考えられないような明度変化を
する領域を検出する。この過程を図３に示すフローチャ
ートに従って説明する。

【００２０】まず、入力画像と差分画像の座標（ｘ，
ｙ）にある画素をそれぞれ、ｉ（ｘ，ｙ）、ｄｉ（ｘ，
ｙ）とする。そして、実際に計測された差分画像の画素
値から、入力画像ｉと差分画像ｄｉ、画像全体での差分
平均Ｅ（ｄｉ）から（１）式に表したモデルを使って予
測した差分を引くことによって、正規化された差分（こ
れをｎｄとする）を計算する。即ち、次の（５）式を行
なう（ステップＳＴ１２）。

【００２１】ｎｄ（ｘ，ｙ）＝｛ｄｉ（ｘ，ｙ）−Ｅ（ｄｉ）×（α×ｉ（ｘ，ｙ）＋β）｝／σ …（５）

【００２２】そして、計算されたｎｄ（ｘ，ｙ）は、静
止したシーンではモデルで推定した平均０、分散１の正
規分布をとるはずである。

【００２３】次いで、ノイズを消すために、ｎｄ（ｘ，
ｙ）を次の（６）式で平滑化し、平滑化された正規化差
分ｎｄ′を得る。（ステップＳＴ１３）。

【００２４】

【数３】そして、以上の処理を一定枚数の時系列画像に対して繰
り返した後（ステップＳＴ１４，１５）、（ここでは、
ｎｄ′₁からｎｄ′_nのｎ枚の画像を処理するものとす
る。）以後の処理で、平滑化された正規化差分ｎｄ′の
時系列変化が静止したシーンのモデルである平均０、分
散σ²の正規分布にしたがっているかどうかを調べ、動
きのある場所を検出する。

【００２５】即ち、ｎｄ′₁からｎｄ′_nの画素の座標
毎にχ²検定を行なって（ステップＳＴ１６）、差分の
自乗和を閾値と比較する。つまり、次の（７）式を行な
う。

【数４】これによって、動きがあると判定された座標の画素だけ
が１で、他は０となる２値画像ｍｖが得られる。

【００２６】なお、（７）式でＴｈは、この動画処理シ
ステムであらかじめ設定した信頼確率から計算した、自
由度ｎのχ²分布の信頼区間である。また、画像ｍｖで
値が０の画素は、ある信頼確率でモデル推定部４で推定
したモデルに従って静止シーンのと判定され、値が１の
画素は静止シーンでないと判定された画素である。

【００２７】この後、画像ｍｖに、隣接した値が１の画
素に同じラベルをつけるラベリング処理（ステップＳＴ
１７）、同じラベルを付けられた領域毎に面積を計測す
る面積計測処理（ステップＳＴ１８）、一定の面積以下
の領域を削除する微小領域削除処理（ステップＳＴ１
９）、を行なって変化領域を検出されるのである。

【００２８】このようにして、本実施例では、蛍光灯の
フリッカ等の撮影環境変化で発生するノイズのモデルを
作成し、該ノイズモデルから逸脱した変化をする領域を
変化領域として抽出しているので、撮影環境変化による
影響の軽減された高精度な動画像処理が行なえるように
なる。

【００２９】

【発明の効果】以上、説明したように、本発明によれ
ば、照明条件の変化による背景画像の明度変化を、モデ
ルに基づいて推定し削除することができるので、画像か
ら、より細かい動きを検出することができる。これによ
って、撮影環境の変化による影響を受けない高精度な動
画像処理が行なえるという効果が得られる。

【図面の簡単な説明】

【図１】本発明が適用された動画像処理装置の一実施例
の構成を示すブロック図である。

【図２】モデル推定部の制御アルゴリズムを示すフロー
チャートである。

【図３】変化検出部の制御アルゴリズムを示すフローチ
ャートである。

【図４】本発明による動画像処理装置のモデル推定部で
推定したモデルの１例を示す説明図である。

【符号の説明】

１カメラ２画像入力部３差分処理部４モデル推定部５モデル記憶部６変化検出部

Claims

【特許請求の範囲】

【請求項１】時系列的に画像を入力する画像入力部
と、該画像入力部で入力された今回の画像と前回の画像
との間で差分処理を行ない、得られた差分画像を出力す
る差分処理部と、照明系のフリッカ等による周囲変動によって発生する明
度変化を示す画像モデルが予め設定され、前記差分画像
に基づいてモデルパラメータを計算し、これを代入して
最適な前記画像モデルを推定するモデル推定部と、前記差分画像における各画素の差分値と、前記モデル推
定部で推定された画像モデルによって前記差分処理部か
ら入力された差分画像と前記画像入力部から入力された
入力画像を用いて推定された差分値とを比較する変化領
域検出部と、を有することを特徴とする動画像処理装置。