JP4420512B2 - Moving object motion classification method and apparatus, and image recognition apparatus - Google Patents

Description

【００３３】
表１中、（Ｖ／Ｄ）ｉｊｔは、車ＭｉとＭｊの組の時刻ｔにおける危険度ベクトルＶ／Ｄの値を示している。Ｖ／Ｄは、例えばＸ座標とＹ座標の値で表される。
【００３４】
Ｖ／Ｄが小さければ衝突が生じないので、認識開始判定部２８は、Ｖ／Ｄ計算部２６の出力からその絶対値｜Ｖ／Ｄ｜を計算し、これが設定値Ｃより大きいかどうかを判定し、その結果をＶ／Ｄ時系列切り出し部２９に供給する。
【００３５】
｜Ｖ／Ｄ｜＞Ｃと判定されると、その後所定時間以内に交通事故が生ずるかもしれないので、該所定時間経過後にＶ／Ｄ時系列切り出し部２９はそのＶ／Ｄ時系列をＶ／Ｄ時系列メモリ２７から切り出す。
【００３６】
このようにすれば、｜Ｖ／Ｄ｜≦Ｃのときには衝突事故の認識をしないので、無駄な処理が省かれ、処理速度が低速で安価な装置を用いて衝突事故認識に必要な処理時間を確保することが可能になる。
【００３７】
ここで、様々な衝突事故を容易に認識可能にするためには、類似の衝突事故を同種事故と分類する必要がある。例えば、ある衝突事故の時系列パターンと、静止座標系を回転させれば同一になる時系列パターンとが、同一観測系列になるようにした方が好ましい。すなわち、交差点の形状やカメラ１０の取付位置などに観測系列が依存しないようにすべきである。
【００３８】
そこでベクトル回転部３０は、Ｖ／Ｄ時系列切り出し部２９で切り出されたＶ／Ｄ時系列内の最初の時刻ｔ＝１のベクトル（Ｖ／Ｄ）ｉｊ１のＸ軸に対する角度θを計算する。次に、このＶ／Ｄ時系列の各ベクトルＶ／Ｄを−θ回転させる。例えば図３（Ｃ）に示す如く回転させる。これにより、例えば図５に示す衝突パターンのＶ／Ｄ時系列とこれを１８０度回転させた図６に示すような衝突パターンのそれは同一になる。
【００３９】
簡単化のためにＶ／Ｄの替わりに速度ベクトルのみで説明すると、図７に示す車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４及びＶ２１〜Ｖ２４は、−θ回転により図８（Ａ）に示す速度ベクトルＶ１１ａ〜Ｖ１４ａ及びＶ２１ａ〜Ｖ２４ａになり、相対速度ベクトルは図８（Ｂ）に示すＶ＝Ｖ１〜Ｖ４となる。
【００４０】
量子化部３１は、このように回転されたＶ／Ｄ時系列の各Ｖ／Ｄについて、図４に示す如く、量子化する。例えばＶ／Ｄ＝ｖの時系列が｛ｖ０,ｖ１,ｖ２｝の場合、時系列｛０,１,２｝と量子化する。量子化された観測量の時系列を観測系列と称す。例えば図５に示す時刻ｔ＝４〜９の観測系列は｛１,２,３,０,８,７｝となる。図６の衝突パターンについても同じである。この量子化により、ある衝突パターンと類似の衝突パターンは同一観測系列となるので、様々な衝突事故を容易に認識可能になる。また、量子化により観測系列が簡単な数値列になるので、その後の認識処理が簡単になる。
【００４１】
類似度計算部３２は、具体的な衝突事故の観測系列を参照系列とし、量子化部３１から供給される観測系列の参照系列に対する類似度を計算する。上記のことから、少ない参照系列で様々な衝突事故を容易に認識可能になる。
【００４２】
公知のパターン類似度計算には、隠れマルコフモデル（ＨＭＭ）法やパターンマッチング法などがあり、これらのいずれかを利用することができる。例えば、具体的な衝突事故の観測系列を学習系列としてパラメータを決定したＨＭＭにより、量子化部３１で得られた観測系列が生ずる確率Ｐ＝ＥＸＰ（μ）を計算する。この計算方法は、後述する。学習系列に対称パターンが含まれていなければ、量子化部３１で得られた観測系列と対称なパターンについても確率Ｐを計算し、確率Ｐの大きい方の値を類似度とする。例えば、観測系列｛０,１,４,５,２｝に対し、図４との関係でこれと対称なパターンは｛０,１,１０,１１,２｝である。
【００４３】
衝突事故判定部３３は、μが設定値μ０より大きければ、この観測系列が衝突事故であると判定し、その結果を出力する。この結果は、警察に自動通報され、これにより救助活動が迅速に行われるとともに、実地検分が迅速に行われて事故渋滞が緩和される。
【００４４】
図２の構成要素２８〜３３の処理は、コンピュータで実行することができる。
【００４５】
次に上記計算方法を説明する。
【００４６】
図９に示すような状態数Ｎのｌｅｆｔ−ｔｏ−ｒｉｊｈｔ ＨＭＭを考える。ＨＭＭにおける状態は観測量ではなく、具体的なイメージと対応していないのが通常である。観測量は図４に示す如く量子化されたものであり、時刻ｔでの観測量をＯ_tと表記する。１≦ｉ≦Ｎなる任意のｉについて、時刻（ｔ−１）で状態ｉであるとき、時刻ｔで状態ｊになる確率をａ_ijと表記し、このとき観測量Ｏ_tを出力する確率をｂ_ij（Ｏ_t）と表記すると、次の関係が成立する。
【００４７】
ｊ≠ｉかつｊ≠ｉ＋１に対し、ａ_ij＝０、ｂ_ij（Ｏ_t）＝０
１≦ｉ≦Ｎ−１なる任意のｉに対し、ａ_ii＋ａ_i(i+1)＝１
状態Ｎは最終状態であり、次の状態には遷移できず、ａ_NN＝１
ｊ＝ｉ又はｊ＝ｉ＋１に対し、
ｂ_ij（０）＋ｂ_ij（１）＋・・・＋ｂ_ij（１２）＝１
例えば初期ｔ＝０に状態１である確率が１であり、時刻ｔ＝１、２の観測系列｛２,５｝が生ずる確率Ｐは、時刻ｔ＝１、２の状態系列｛１,１｝、｛１,２｝、｛２,２｝、｛２,３｝の各々について観測系列｛２,５｝を出力する確率の総和であり、次式で表される。
【００４８】

初期ｔ＝０に状態ｉにいる確率をπ_iと表記する。ＨＭＭモデルは、初期状態の確率分布π＝｛π_1,π_2,π_3,,,,,π_N｝と、上記確率ａ_ij及びｂ_ij（ｋ）の集合とにより定まる。これらのパラメータをλと表記する。
【００４９】
以下、観測系列の長さをＴ、観測量の数をＬ（図４ではＬ＝１３）と表記する。また、時刻ｔまでに観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態ｉになる部分系列観測確率をα（ｉ，ｔ）と表記する。
【００５０】
モデルパラメータλの下で観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝が生ずる確率Ｐ（Ｏ₁Ｏ_2...Ｏ_T｜λ）は一般に、以下の３ステップからなる前向きアルコリズムで計算されることが知られている。
【００５１】
ステップ１：ｔ＝１
α（１，１）＝π₁・ｂ₁₁
２≦ｊ≦Ｎの各ｊに対し、
α（ｊ，１）＝π_(j-1)・ｂ_(j-1)j＋π_j・ｂ_jj
ステップ２：ｔ＝１，２，・・・，Ｔ−１の各々について順次
１≦ｊ≦Ｎの各ｊに対し、
【００５２】
【数１】

【００５３】
ステップ３：
【００５４】
【数２】

【００５５】
確率Ｐは、公知の後ろ向きアルコリズムでも、さらにＶｉｔｅｒｂｉアルゴリズムでも計算することができる（電子・情報工学講座１９「情報処理概論」、榑松明著、培風館）。
【００５６】
ここで、時刻ｔで状態ｉにいるとき、時刻（ｔ＋１）からの観測系列が｛Ｏ_t+1Ｏ_t+2・・・Ｏ_T｝となる確率をβ（ｉ，ｔ）と表記すると、次の関係式が成立する。
【００５７】
【数３】

【００５８】
また、学習系列｛Ｏ₁Ｏ₂・・・Ｏ_T｝に関し、時刻（ｔ−１）に状態ｉにいて時刻ｔで状態ｊに遷移する確率をγ（ｉ，ｊ，ｔ）と表記する。
【００５９】
モデルパラメータは、衝突事故の観測系列を学習系列として、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムにより求めることができる。すなわち、モデルパラメータに初期値を与え、１≦ｉ≦Ｎ、１≦ｊ≦Ｎの各ｉ及びｊに対し、以下のステップ１でγ（ｉ，ｊ，ｔ）を計算し、得られたγ（ｉ，ｊ，ｔ）を用いてステップ２でモデルパラメータを更新し、同様にステップ１と２の計算をモデルパラメータが収束するまで繰り返すことにより、モデルパラメータが決定される。
【００６０】
ステップ１：γ（ｉ，ｊ，ｔ）の計算
【００６１】
【数４】

【００６２】
ここに、Ｆは状態の全集合｛１，２，・・・，Ｎ｝であり、総和のｉはｉ∈Ｆと同じ意味である。
【００６３】
ステップ２：モデルパラメータ更新
【００６４】
【数５】

【００６５】
ここに、総和のｉ及びｊはいずれもｉ∈Ｆ及びｊ∈Ｆを意味している。また、ｔ：ｙ_t＝ｋは、時刻ｔにおいて観測量ｋであるもののみの総和をとることを意味している。
【００６６】
学習系列が複数ある場合には、例えば、１つの学習系列につき上記方法でモデルパラメータを決定し、このモデルパラメータを初期値として次の学習系列につき上記方法でモデルパラメータを決定し、以降同様の処理を繰り返す。
【００６７】
［第２実施形態］
図１０は、本発明の第２実施形態に係る画像認識装置２０Ａのハードウエア及びソフトウエアの構成を機能ブロックで示している。
【００６８】
移動物体認識部２２Ａは、メモリを有し、画像メモリ２１内の画像の解像度を低減し、移動物体のみの図１０に示すようなパターン情報を該メモリに書き込む。例えば、画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックの情報に低減して、６０×８０ブロックのパターン情報に変換する。ブロック情報は、移動物体毎に異なる識別符号であり、図１０では図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報が書き込まれている。
【００６９】
移動物体認識部２２Ａは、上記第１実施形態と同様に移動物体の位置を検出し、また、異なる識別符号の画素間距離の最小値を移動物体間距離ｄと決定する。
【００７０】
次に、本第２実施形態で用いる観測量について説明する。
【００７１】
図１２（Ａ）において、車Ｍ１及びＭ２の時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４がＸ方向になるようにそれぞれθ１〜θ４回転させたものを速度ベクトルＶ１１ｂ〜Ｖ１４ｂとする。速度ベクトルが０である場合にはその方向を、０になる直前の速度ベクトルの方向であるとみなす。θ１〜θ４回転に対応して、車Ｍ２の時刻ｔ＝１〜４での速度ベクトルＶ２１〜Ｖ２４をそれぞれθ１〜θ４回転させたものを速度ベクトルＶ２１ｂ〜Ｖ２４ｂとする。ｉ＝１〜４について、図１２（Ｂ）に示す相対速度ベクトルＶｉ＝Ｖ２ｉｂ−Ｖ１ｉｂを求める。換言すれば、車Ｍ１の速度ベクトルＶ１ｉのＸ軸に対する角度がθｉのとき、車Ｍ１とＭ２の相対速度ベクトル（Ｖ２ｉ−Ｖ１ｉ）を−θ回転させたベクトルＶｉを求める。次に、ベクトルｖ＝Ｖｉ／Ｄｉを図４に示すように量子化したものを、時刻ｔ＝ｉでの観測量として求める。ここにＤｉは、時刻ｔ＝ｉでの上述のＤ＝ｄ＋εである。
【００７２】
図１３は、図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示している。この場合、上記同様に回転して得られる速度ベクトルＶ１１ｂ〜Ｖ１４ｂ及びＶ２１ｂ〜Ｖ２４ｂは、図１２（Ａ）のそれと同一になり、観測系列も図１２（Ａ）の場合と同一になる。
【００７３】
すなわち、この観測系列は、図１３において、車Ｍ１に固定された座標系から見た車Ｍ２の相対的な観測量Ｖ／Ｄの時系列であり、地上静止座標系を回転させても同一になる。
【００７４】
このような観測系列を用いれば、図１０に示す如く、Ｖ／Ｄ計算部２６で求められたＶ／Ｄをベクトル回転部３０Ａに供給してベクトルＶ／Ｄをリアルタイムで上記−θ回転させ、次にこれを量子化部３１で図４に示す如く量子化し、観測系列メモリ２７Ａに格納することができる。
【００７５】
したがって、図２の場合のようにθ決定時点を選ぶ必要がない。また、量子化後の観測量がメモリ２７Ａに格納されるので、その必要な容量は、量子化前のベクトル量が格納される図２のメモリ２７のそれより少なくなる。
【００７６】
他の点は、上記第１実施形態と同一である。
【００７７】
次に、上記第２実施形態の効果を示す実験結果について説明する。
【００７８】
（１）衝突動作パターンに対するモデルパラメータλ１の決定
状態数Ｎ＝７とした。ａ_ijの初期値を、
ｉ＝１〜６の各々についてａ_ii＝０．５
ａ₇₇＝１．０
とし、ｂ_ijの初期値を、
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．１０、ｂ_ij（ｋ）＝０．１０
ｉ＝７、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．１０
ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝３〜１２の各々について、
ｂ_ii（ｋ）＝０．０７、ｂ_ij（ｋ）＝０．０７
ｉ＝７、ｋ＝０〜２の各々について、
ｂ_ii（ｋ）＝０．０７
とした。また、初期ｔ＝０での状態確率分布を、
π₁＝１、ｉ＝２〜７に対しπ_i＝ ０
とした、さらに、以下の表２のＮｏ１〜１０の衝突事故観測系列を学習系列とした。この学習系列はいずれも、図５又は図６に示すような同一車線上の同一方向の車間の衝突に関するものである。
【００７９】
【表２】

【００８０】
このような条件の下で、上記Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムによりパラメータａ_ijを次の表３のように決定し、パラメータｂ_ij（０）〜ｂ_ij（６）及びｂ_ij（７）〜ｂ_ij（１２）をそれぞれ以下の表４及び表５のように決定した。
【００８１】
【表３】

【００８２】
【表４】

【００８３】
【表５】

【００８４】
このモデルパラメータをλ１と表記する。
【００８５】
（２）他の動作パターンに対するモデルパラメータの決定
上記同様にして、次の２つの動作パターンに対するモデルパラメータλ２及びλ３を決定した。
【００８６】
▲１▼交差点で同一方向に直列に隣合った車どうしが衝突を起こさずにストップ／スタート動作（タンデム動作）するパターン
次の表６のＮｏ１〜１０の観測系列をこの動作の学習系列とした。タンデム動作は、後ろの車が前の車に接近した後、前の車が後ろの車から離れるので、衝突動作に類似している。
【００８７】
【表６】

【００８８】
上記同様にして得られたモデルパラメータをλ２と表記する。
【００８９】
▲２▼異なる車線で少なくとも一方が移動して他方を通過する動作（通過動作）パターン
次の表７のＮｏ１〜１０の観測系列をこの動作の学習系列とした。
【００９０】
【表７】

【００９１】
上記同様にして得られたモデルパラメータをλ３と表記する。
【００９２】
同一車線上の同一方向の車間のある衝突事故の観測系列Ｏ¹、タンデムスタート／ストップ動作の観測系列Ｏ²及び通過動作の観測系列Ｏ³の各々について、モデルパラメータλ１、λ２及びλ３の下で該観測系列が生ずる確率Ｐ（Ｏⁱ｜λｊ）＝ＥＸＰ（μ_ij）、ｉ＝１〜３、ｊ＝１〜３の指数部μ_ijを計算したところ、次の表８に示す結果が得られた。
【００９３】
【表８】

【００９４】
この表から、例えば、
Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ²｜λ１）＝ＥＸＰ（１１．２）
Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ³｜λ１）＝ＥＸＰ（２９．７）
と確率比が大きく、動作分離性能が高いことがわかる。
【００９５】
次に、衝突事故のＨＭＭモデルにおける状態の理解を深めるための解析結果を説明する。
【００９６】
図１４は、ＨＭＭモデルにおいて、衝突動作(Accident)とこれに類似したタンデム動作(Tandem)との区別の程度が状態数Ｎによりどのように変化するかの解析結果を示す。モデルパラメータは、４０の衝突事故の観測系列を学習系列として決定した。横軸は状態数Ｎであり、縦軸はこのモデルで計算された観測系列の確率Ｐ＝ＥＸＰ（μ）の指数部を、複数の観測系列について合計し、さらに−１を乗じた値である。図１４中のAccidentは、前記４０の観測系列に関するものであり、Tandemは他の４０のタンデム動作の観測系列に関するものである。
【００９７】
この図から、Ｎが６又は７以上でTandemとAccidentの区別がよくできることが分かる。
【００９８】
図１５は、Ｎ＝７のときの上記モデルパラメータの下で、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率（ｂ_ij（Ｏ）＋ｂ_jj（Ｏ））の具体例を視覚的に示す３次元棒グラフである。
【００９９】
ＨＭＭの状態には明示的な意味はないが、このグラフから、状態を次のように解釈することができる。
【０１００】
無干渉（状態１及び２）：観測量０
接近（状態３）：観測量１又は２
急接近（状態４）：観測量３
衝突の瞬間（状態５）：観測量０
反動（状態６）：観測量７又は８
停止（状態７）：観測量０
［第３実施形態］
図１６は、本発明の第３実施形態に係る画像認識装置２０Ｂのハードウエア及びソフトウエアの構成を機能ブロックで示している。
【０１０１】
図１０とは、構成要素３４〜４０のみ異なる。まず、構成要素３５〜３９での処理を概説する。
【０１０２】
画像メモリ２１の１フレームが４８０×６４０ピクセルの場合、８×８ピクセルを１ブロックとし、１フレームを６０×８０ブロックに分割する。ブロック単位で移動物体が存在するかどうかを判断し、存在すれば、移動物体毎に異なる識別符号を付す。図１１では、升目がブロックを示しており、図１中の車Ｍ１〜Ｍ６に対応してそれぞれ識別符号１〜６の情報がブロック単位で書き込まれている。典型的には、一つの移動物体に５〜３０程度のブロックが属する。移動物体としては、車、バイク、自転車、人などがある。
【０１０３】
移動物体識別番号（ＩＤ）の生成及び消滅処理を行うために、図１７に示す如く、フレーム上（画像メモリ２１内）において、交差点への４つの入口及び交差点からの４つの出口にそれぞれスリットＥＮ１〜ＥＮ４及びＥＸ１〜ＥＸ４を初期設定しておく。
【０１０４】
次に、構成要素３４〜４０での処理の詳細を説明する。
【０１０５】
背景画像は、移動物体が存在しない画像である。背景画像生成部３４は、画像メモリ２１をアクセスし、例えば過去１０分間の全画像について、対応するピクセルの画素値のヒストグラムを作成し、その最頻値（モード）をそのピクセルの画素値とする画像を背景画像として生成し、画像メモリ２１内の所定領域に格納する。背景画像は、背景画像生成部３４により定期的に更新される。
【０１０６】
ブロック情報メモリ３５は、６０×８０ブロック及び移動物体の情報を記憶するためのものであり、構成要素３５〜３９及びＶ／Ｄ計算部２６によりアクセスされる。画像メモリ２１内のブロックは、アドレスにより識別される。なお、画像メモリ２１とブロック情報メモリ３５とは同一メモリ内の異なる記憶領域であってもよい。
【０１０７】
ＩＤ生成／消滅部３６は、画像メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロックの各ピクセルと背景画像の対応するピクセルとの差の絶対値の総和が所定値以上であるかどうかにより判定する。
【０１０８】
入口スリット内の移動物体存在ブロックが、識別符号を持ったブロックと隣接していない場合には、該移動物体存在ブロックに新たなＩＤを付す。
【０１０９】
移動物体が存在すると判定された隣接ブロックに同一ＩＤを付すことにより、該移動物体に対応したクラスタができる。例えば図１７中の入口スリットＥＮ１内にはＩＤ＝１が生成されている。新たな移動物体のブロックが、すでに存在する移動物体のブロックと隣接しているときには、すでに存在する移動物体のＩＤと同じにする。例えば図１７中の入口スリットＥＮ４内の移動物体存在ブロックには、すでに存在する移動物体のＩＤと同じＩＤ＝５が付加される。
【０１１０】
ＩＤ生成／消滅部３６はさらに、画像メモリ２１から出口スリットＥＸ１〜ＥＸ４内の画像データを読み込み、これらスリット内に移動物体が存在するかどうかをブロック単位で判定し、出口スリットを移動物体が通過したときにそのＩＤを消滅させる。例えば図１７中の出口スリットＥＸ１内のブロックにＩＤが付されている状態から、ＩＤが付されない状態に変化したときに、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとして用いることができる。
【０１１１】
動きベクトル算出部３７は、画像メモリ２１から画像データを読み込み、時刻（ｔ−１）での前フレーム中の移動物体に属するブロック毎に独立に、これと時刻ｔでの現フレーム内の位置可変ブロックとの間で、MPEGの符号化で用いられているブロックマッチングを適用して、該ブロックの動きベクトルを求める。動きベクトル算出部３７はさらに、移動物体毎に、求めた複数の動きベクトルの代表値、例えばモード、メジアン又は平均値を、その移動物体の動きベクトルと推定し、これを、該移動物体の情報としてブロック情報メモリ３５に書き込む。代表値がメジアン又は平均値である場合には、中心分布から著しく離れる動きベクトルを除外した後に代表値を求めることにより、より正確な値を得るようにしてもよい。
【０１１２】
例えば４ブロックの移動物体の動きベクトルが図２０（Ａ）に示す細線ベクトルである場合、平均値である太線ベクトルをこの移動物体の動きベクトルと推定する。
【０１１３】
これにより、右折や左折する移動物体の速度を高精度で測定して、衝突事故の認識率を高めることが可能となる。
【０１１４】
動きベクトル算出部３７は、図１７に示すＩＤ＝２のような欠落のない移動物体のみならず、ＩＤ＝１、３及び５のような移動物体一部についても、その動きベクトルを推定する。
【０１１５】
なお、MPEGでの動きベクトルは、データ圧縮のためのものであって、クラスタ単位の動きベクトルという概念はない。また、動きベクトルが小さい場合には、ブロックマッチングの他にオプティカルフローの推定も有用な手法として用いることができる。
【０１１６】
ある移動物体に属するブロック内の各ピクセルの色がほぼ同一である場合、すなわちテクスチャの少ないブロックがクラスタに存在する場合、ブロックマッチングやオプティカルフローなどの手法により正確な動きベクトルを得ることができない。
【０１１７】
そこで動きベクトル算出部３７は、このようなブロック、例えばそのブロック内の全画素値の散布度、例えば分散σ²、標準偏差σ、平均偏差ＭＤ、四分偏差ＱＤ、範囲Ｒ又はエントロピーなどが所定値以下であるブロックについては、動きベクトルを求めず、移動物体の動きベクトル推定に使用しない。この場合であっても、タイヤの部分のように色が一様でないブロック群が存在するので、動きベクトル算出部３７は移動物体の動きベクトルを推定することができる。
【０１１８】
動きベクトルを求めるべきブロックであるかどうかを判断するのに、エッジ画像を利用することができる。すなわち、原画像に対しエッジ強調処理を行い、次いで２値画像に変換し、ブロック内に‘１’のエッジ画素の数が所定値以下であれば、動きベクトルを求めるのに適しないブロックと判定してもよい。エッジ強調画像は、原画像に１次微分オペレータ又はラプラシアンオペレータなどの２次微分オペレータをかけて簡単なフィルタ処理を行うことにより得られる。エッジ画像取得には、Sobel、Roberts又はPrewittなどの公知手法を用いてもよい。
【０１１９】
次に、移動物体更新部３８での処理の具体例を説明する。
【０１２０】
図１８は、車がカメラ側へ向かった後、車から見て右折する場合の、移動物体更新部の処理説明図である。
【０１２１】
画像Ｐ１中の車のクラスタ（ドット領域）を、上記のようにして求めた動きベクトルだけ平行移動させると、次フレームの予測画像Ｐ２が得られる。この予測画像のクラスタ周囲を、１ブロック外側まで拡大させて、太線で境界を示す領域を考える。次フレームの実際の画像は、Ｐ３であるとする。この場合、移動物体更新部３８は、予測画像Ｐ２の拡大領域（太線枠内）に対応する画像メモリ２１内の領域について、ブロック毎に、上記のように移動物体が存在するかどうかを判定し、存在すると判定されたブロックに対しては、画像Ｐ１中のクラスタに付されたＩＤと同じＩＤを付す。このようにして更新されたクラスタを予測画像Ｐ２中のクラスタと比較すると、結果として、予測クラスタから削除されたブロック（斜線部）と、予測クラスタに追加されたブロック（縦線部）とがある。
【０１２２】
すなわち、移動物体更新部３８は、ブロック情報メモリ３５から移動物体のオブジェクトマップ及び動きベクトルを読み込み、この動きベクトルだけ、該移動物体を該オブジェクトマップ内で平行移動させ、さらにその周囲を拡大した範囲について、画像メモリ２１内の現フレームに移動物体が存在するかどうかをブロック毎に判定することにより、該移動物体のクラスタを更新する。この動きベクトルは、時刻（ｔ−１）でのフレームと時刻ｔでのフレームとの間で動きベクトル算出部３７により求められたものであり、画像メモリ２１内の現フレームは時刻（ｔ＋１）でのものである。
【０１２３】
このようにすることにより、カメラに分離して写っていた車同士がその後、隣接し、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者を異なる車として認識することが可能になる。例えば図１９（Ａ）に示す１つのクラスタを２台の車として認識することができる。
【０１２４】
移動物体更新部３８は、前記拡大範囲が移動物体間で重なった場合、重なったブロックがどの移動物体に属するかどうかが不明であるので、重なったブロックはいずれの移動物体にも属さないとみなし、移動物体が存在するかどうかを判定しない、すなわち重なったブロックにはＩＤを付加しない。
【０１２５】
これにより、カメラに分離して写っていた車同士がその後、重なり、その際にカメラと移動物体との間の距離及びアングルに依存してクラスタのブロック数や形が変化しても、両者の動きベクトルが不正確になるのを防止することができる。
【０１２６】
したがって、このような重なりや変化により衝突事故の判定ができなくなるのを防止することができる。
【０１２７】
入口スリットなどで複数の移動物体が重なって写り、単一クラスタと認識されても、動きベクトル算出部３７でブロック毎に動きベクトルを求めたとき、図２０（Ｂ）に示すように動きベクトルが複数のグループに分かれる場合には、移動物体分割部３９はグループ毎に異なる移動物体と認識する。そして、これにともなって新たなＩＤを生成し、各移動物体の動きベクトルを上記のように推定し、各移動物体のこれらＩＤ及び動きベクトルをブロック情報メモリ３５に書き込む。
【０１２８】
移動物体分割部３９はまた、動きベクトルが複数のグループに分かれなくても、ブロック情報メモリ３５内のオブジェクトマップについて、例えば時刻ｔで図１９（Ａ）に示す単一クラスタが、次の時刻（ｔ＋１）で図１９（Ｂ）に示すように２つのクラスタに分かれたとき、互いに異なる移動物体と認識し、これにともなって新たなＩＤを生成しこれをブロック情報メモリ３５に書き込む。
【０１２９】
移動物体間距離算出部４０は、ブロック情報メモリ３５内のオブジェクトマップから、移動物体間の最短距離ｄを求め、これをその２つのＩＤと共にＶ／Ｄ計算部２６に供給する。Ｖ／Ｄ計算部２６は、この２つのＩＤの動きベクトルをブロック情報メモリ３５から読み出し、上述の衝突危険度Ｖ／（ｄ＋ε）を算出する。
【０１３０】
他の点は、上記第２実施形態と同一である。
【０１３１】
以下の表９は、本第３実施形態の装置による認識実験の結果を示す。衝突、タンデム及び通過の動作を認識するためのモデルパラメータの決定には、衝突、タンデム及び通過の動作の各々について４０個の学習系列を用いた。上記モデルパラメータλ１、λ２及びλ３に対応したこの場合のモデルパラメータをそれぞれλ１ａ、λ２ａ及びλ３ａと表記する。
【０１３２】
【表９】

【０１３３】
認識される観測系列のうち、Ｏ¹、Ｏ²及びＯ³は上記第２実施形態で述べたものと同一であって、それぞれ衝突、タンデム及び通過の動作を示している。Ｏ^1Aは、Ｏ¹と異なる交差点での衝突の観測系列である。
【０１３４】
［第４実施形態］
図２１は、本発明の第４実施形態に係る画像認識装置を示している。
【０１３５】
画像処理装置４１は、図１６の装置２０Ｂから類似度計算部３２及び衝突事故判定部３３を除いた部分と同一である。画像認識装置は、画像処理装置４１と、これら要素３２及び３３の替わりに用いられるデコーダ４２、シフトレジスタ４３、ニューラルネットワーク４４及びコンパレータ４５とを備えている。
【０１３６】
デコーダ４２は、観測系列切り出し部２９Ａからの４ビット観測量をデコードして、１ビットのみ‘１’である１３ビットにし、シフトレジスタ４３の初段に供給する。シフトレジスタ４３は、１３×２０＝２６０個のフリップフロップを備え、すなわち２０ビットのシフトレジスタを１３個備え、図２２に示す如く、１ワード＝１３ビットの観測量を時刻ｔ＝０〜１９について保持している。ｔ＝１９がシフトレジスタ４３の初段に相当している。
【０１３７】
すなわち、シフトレジスタ４３には、事故を判定可能な数の観測量からなる観測系列の２値パターンが一時記憶されている。
【０１３８】
図２２に示す、シフトレジスタ４３に同時に保持されている観測系列は、衝突事故を示しており、その観測量は、ｔ＝０〜３で０（無干渉）、ｔ＝３及び４で１（接近）、ｔ＝５〜７で３（急接近）、ｔ＝８〜１０で０（衝突）、ｔ＝１１で８（反動）、ｔ＝１２〜１４で７（反動）、ｔ＝１５〜１９で０（停止）である。
【０１３９】
ニューラルネットワーク４４は一般的な構成であり、入力層、中間層及び出力層を備えている。入力層のノード数は、シフトレジスタ４３のビット数２６０に等しく、各ノードの入力値は‘０’または‘１’である。入力層のノードにはそれぞれシフトレジスタ４３のビットが供給される。すなわち、シフトレジスタ４３の全ビットが入力パターンとして、ニューラルネットワーク４４の入力層に供給される。ニューラルネットワーク４４の中間層のノード数は思考錯誤で定められ、例えば５０である。本第４実施形態では、衝突事故のみを判定するので、出力層のノード数は１であり、そのノードの出力値の範囲は０〜１である。
【０１４０】
ニューラルネットワーク４４の出力は、参照系列に対する類似度を示しており、コンパレータ４５の一方の入力端に供給され、コンパレータ４５の他方の入力端には参照値として０．５が供給される。ニューラルネットワーク４４の出力が０．５より大きいとき、コンパレータ４５の出力が‘１’となって、衝突事故と認識される。
【０１４１】
ニューラルネットワーク４４のパラメータは、例えば通常のバックプロパゲーションアリゴリズムでトレーニングされて定められる。前記参照系列は、このパラメータを定めるための学習系列と考えることができる。
【０１４２】
以下の表１０は、図２３の装置による認識実験の結果を示す。但し、ニューラルネットワーク４４の中間層及び出力層のノード数をそれぞれ５０及び３として、衝突のみならず上述のタンデム及び通過の動作も認識できるようにした。
【０１４３】
【表１０】

【０１４４】
この実験に使用した学習系列は、上記第３実施形態で述べたものと同一である。また、認識される観測系列も上記第３実施形態で述べたものと同一である。
【０１４５】
Ｏ^1Aに対する上記第３実施形態での識結果は正しかったが、表１０はこれに対する認識結果が間違っていることを示している。
【０１４６】
これは、ＨＭＭとニューラルネットワーク４４との本質的な相違に基ずくものと考えられる。すなわち、ＨＭＭでは状態遷移において同じ状態に留まる場合を考慮するので、少ない学習データで時間軸方向に関し伸縮した様々な類似パターンを吸収することができ、これにより高い認識率が得られると考えられる。ニューラルネットワーク４４の欠点を解消するためには、学習データ数を増やせばよい。
【０１４７】
ニューラルネットワーク４４を用いたことの利点は、リアルタイムで観測系列全体を同時入力することができるので、高速処理が可能になるということである。
【０１４８】
［第５実施形態］
図２３は、本発明の第５実施形態に係る画像認識装置を示している。
【０１４９】
画像処理装置４１Ａは、図２１の画像処理装置４１に部分系列観測確率算出部４６を付加したものである。部分系列観測確率算出部４６は、観測系列切り出し部２９Ａから観測量が供給される毎に、上述の、ＨＭＭにおける部分系列観測確率α（ｉ，ｔ）、すなわち時刻ｔまでに観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態ｉになる確率を、全ての状態ｉ＝１〜Ｎについて算出して出力する。α（１，ｔ）〜α（Ｎ，ｔ）は同時に、シフトレジスタ４３Ａの入力段に供給される。α（ｉ，ｔ）が小数であるので、シフトレジスタ４３Ａのビット数は図２１のそれよりも多い。
【０１５０】
図２４は、上述の観測系列Ｏ¹に対応しており、部分系列観測確率α（１，ｔ）〜α（７，ｔ）がｔ＝０〜１９についてシフトレジスタ４３Ａに保持された場合のデータパターンを示している。
【０１５１】
任意の時点におけるシフトレジスタ４３Ａ内のデータ数は７×２０＝１４０であり、それぞれニューラルネットワーク４４Ａの入力層のノードに供給される。ニューラルネットワーク４４Ａの入力層の各ノードの入力値は、０〜１の範囲の小数である。ニューラルネットワーク４４Ａの出力は、コンパレータ４５の一方の入力端に供給され、図２１と同様にして衝突事故が認識される。
【０１５２】
図２５〜２７はそれぞれ、上述の観測系列Ｏ^1A、Ｏ²及びＯ³に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（７，ｔ）のデータパターンを示している。
【０１５３】
以下の表１１は、ニューラルネットワーク４４Ａの出力層のノード数を３にして衝突、タンデム及び通過を認識可能にした場合の、表１０に対応した認識実験結果を示す。部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）はＨＭＭモデルパラメータに依存するが、衝突のそれを用いた。タンデム及び通過のそれを用いても、学習系列が互いに類似しているので、同様の結果が得られると考えられる。
【０１５４】
【表１１】

【０１５５】
この表から、第５実施形態のほうが第４実施形態よりも認識率が高いことが分かる。
【０１５６】
［第６実施形態］
上記第３実施形態では、移動物体更新部３８において、時点（ｔ−１）で予測した時点ｔでの移動物体の拡大範囲が他の移動物体のそれと重なった場合、重なったブロックがいずれの移動物体にも属さないとみなし、移動物体ＩＤを付加しなかった。
【０１５７】
しかし、移動物体の重なり部分の割合が大きくなると、重なり部分について料移動物体の情報がなくなるので、両移動物体を正確にトレースすることができなくなる。
【０１５８】
画像上でこのような移動物体間の重なりが生じて、カメラから見て背面側の移動物体の一部が見えなくなっても、カメラから見て前面側の移動物体は見えるので、そのブロックがどの移動物体に属するかを、簡単な画像処理により推定することを考える。また、時刻ｔにおいて、移動物体間が重なっていないが接近しているため同一ブロック（混合ブロック）に２つの移動物体の一部が属する場合であっても、時刻（ｔ−１）では該一部がそれぞれ異なるブロックに属している場合がある。この場合、時刻（ｔ−１）での画像を参照することにより、混合ブロックにどちらの移動物体がより多く属しているかを容易に推定することを考える。
【０１５９】
図２８は、このような推定を用いて移動物体をより正確にトレースすることを可能にする本発明の第６実施形態に係る画像認識装置２０Ｃを示す。
【０１６０】
この装置は、画像メモリ２１、ブロック情報メモリ３５及び移動物体更新部３８に接続された不明ＩＤ決定部４７を備えている点で、図１６の画像認識装置２０Ｂと異なる。
【０１６１】
上述のように、移動物体更新部３８は、ブロック情報メモリ３５に格納されている時点（ｔ−１）でのオブジェクトマップ及び各クラスタの動きベクトルと、画像メモリ２１に格納されている時点ｔでのフレーム画像とに基づいて、時点ｔでのオブジェクトマップを作成する。作成中において、移動物体が存在すると判定されたが上記のように移動物体ＩＤが付されなかったブロック（ＩＤ不明ブロック）が存在した場合には、作成後に、これを不明ＩＤ決定部４７に通知する。
【０１６２】
不明ＩＤ決定部４７は、これに応答して、以下のようにしてＩＤ不明ブロックの移動物体ＩＤを決定する。
【０１６３】
図２９は、不明ＩＤ決定部４７の入出力関係を模式的に示す。
【０１６４】
図２９中、Ｆ１及びＦ２はそれぞれ時点（ｔ−１）及びｔでの、図２８の画像メモリ２１に格納されているフレーム画像の一部を概略的に示す。１つの枡目は１画素を表している。ＢＬ１（ｔ−１）及びＢＬ１（ｔ）はそれぞれ、時点（ｔ−１）及びｔでの移動物体Ｍ１の境界線であり。ＢＬ２（ｔ）は時点ｔでの移動物体Ｍ２の境界線である。
【０１６５】
Ｑ１及びＱ２はそれぞれフレーム画像Ｆ１及びＦ２に対応した、図２８のブロック情報メモリ３５に格納されているオブジェクトマップの概略を示す図である。１つの枡目は１つのブロックを表している。オブジェクトマップは、移動体ＩＤを持っているブロックと持っていないブロックとからなる。図２９では理解を容易にするために、オブジェクトマップ中にも移動物体の境界線を太線で表している。オブジェクトマップＱ１及びＱ２中のハッチングは、ＩＤが付されたブロックであることを示している。右上がり斜線が付されたブロックはＩＤ＝１を持ち、右下がり斜線が付されたブロックはＩＤ＝２を持っている。
【０１６６】
オブジェクトマップＱ２中のブロックＢ１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１とＭ２の一部が含まれているので、移動物体更新部３８は、これらのブロックがいずれの移動物体に属するかを判定することができない。
【０１６７】
不明ＩＤ決定部４７は、これらフレーム画像Ｆ１、Ｆ２、オブジェクトマップＱ１及びＱ２並びに移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定して、オブジェクトマップＱ３を得る。
【０１６８】
以下、オブジェクトマップＱ２中のブロックＢ２が移動物体Ｍ１とＭ２のいずれに属するかを決定する方法を、具体的に説明する。この決定は、ブロックＢ２が移動物体Ｍ１であると仮定したときの評価値と、ブロックＢ２が移動物体Ｍ２であると仮定したときの評価値との大小関係に基づいて行なわれる。評価値は、以下の要素（１）〜（３）を含んである。
【０１６９】
（１）時点ｔでのオブジェクトマップのみに関係した評価要素ＵＮ
ブロックＢ２と隣接する９ブロックについて、ＩＤ＝１を持ったブロックの数Ｎ１が多いほどブロックＢ２が移動物体Ｍ１のブロックである確度が高いと考えられる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＮ（１）を例えば次式で表す。
【０１７０】
ＵＮ（１）＝α（Ｎ１−９）²
ここに、αは正の定数である。ＵＮ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７１】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＮ（２）を次式で表す。
【０１７２】
ＵＮ（２）＝α（Ｎ２−９）²
ここにＮ２は、ブロックＢ２と隣接する９ブロックのうち、ＩＤ＝２を持ったブロックの数である。
【０１７３】
図２９の場合、ＵＮ（１）＝１６α、ＵＮ（２）＝６４αである。したがって、オブジェクトマップＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１である確度が、ＩＤ＝２である確度よりも高いと言える。
【０１７４】
（２）時点（ｔ−１）でのオブジェクトマップと移動物体の動きベクトルとに関係した評価要素ＵＳ
図３０（Ａ）は大略、図２９中のオブジェクトマップＱ１とＱ２とを重ね合わせ、かつ、ハッチングを削除したものである。図中、ＭＶ１は移動物体Ｍ１の動きベクトルであり、点線はＢＬ１（ｔ−１）をＭＶだけ平行移動させたものである。
【０１７５】
図３０（Ｂ）に示す如く、ブロックＢ２を−ＭＶ１だけ平行移動させることにより、移動物体Ｍ１に固定された座標系から見て、時点（ｔ−１）でのブロックＢ２に対応すると推定される判定枠Ｂ２１が得られる。時点ｔでブロックＢ２に移動物体Ｍ１の一部と移動物体Ｍ２の一部とが含まれていても、時点（ｔ−１）で判定枠Ｂ２１には移動物体Ｍ２の一部が含まれていない場合があり、この場合、判定枠Ｂ２１内を見ることにより、ブロックＢ２がＩＤ＝１であるかどうかをより正確に推定することが可能となる。
【０１７６】
判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝１の部分）の面積Ｓ１が広いほど、ブロックＢ２がＩＤ＝１を持つことの確度が高くなると考えられる。
【０１７７】
そこで、オブジェクトマップの各ブロックを、８×８の同一ＩＤアレイに拡大したマップを作成し、この拡大マップ上で、図３１（Ａ）に示す如く、ＩＤ＝１の画素の個数を数えることにより、斜線部面積Ｓ１を求める。図３１（Ａ）中の斜線部はＩＤ＝１の領域を示している。Ｓ１が６４であるとき、ＩＤ＝１である確度が最大となる。そこで、ブロックＢ２のＩＤが１であることを評価する要素ＵＳ（１）を例えば次式で表す。
【０１７８】
ＵＳ（１）＝β（Ｓ１−６４）²
ここに、βは正の定数である。ＵＳ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１７９】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＳ（２）を次式で表す。
【０１８０】
ＵＳ（２）＝β（Ｓ２−６４）²
ここにＳ２は、図３１（Ａ）に示す如く、ブロックＢ２を−ＭＶ２だけ平行移動させて得られる判定枠Ｂ２２内のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ２は、移動物体Ｍ２の動きベクトルである。
【０１８１】
（３）時点ｔ及び（ｔ−１）でのフレーム画像と移動物体の動きベクトルとに関係した評価要素ＵＤ
図３０（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応した図２９のフレーム画像Ｆ２及びＦ１中の局所画像の相関が強いほど、ブロックＢ２がＩＤ＝１である確度が高いと言える。図３１（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆはそれぞれ、図３０中のブロックＢ２及び判定枠Ｂ２１に対応したフレーム画像Ｆ２及びＦ１中の局所画像を示す。
【０１８２】
ブロックＢ２のＩＤが１であることを評価する要素ＵＤ（１）を例えば次式で表す。
【０１８３】
ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及びＢ２Ｆ（ｉ，ｊ）はそれぞれ局所画像Ｂ２Ｆ及びＢ２１Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総和（ブロック内全画素についての総和）を意味している。
【０１８４】
ＵＤ（１）の値が小さいほどブロックＢ２が移動物体Ｍ１に属する確度が高いと言える。
【０１８５】
同様に、ブロックＢ２のＩＤが２であることを評価する要素ＵＤ（２）を次式で表す。
【０１８６】
ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−Ｂ２Ｆ（ｉ，ｊ）｜
ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第ｉ行第ｊ列の画素値であり、局所画像Ｂ２２Ｆは図３１（Ａ）中の判定枠Ｂ２２に対応したフレーム画像Ｆ１中の局所画像である。
【０１８７】
不明ＩＤブロックのＩＤをより正確に推定するために、以上の（１）〜（３）を総合し、評価関数の値
Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１）
と、
Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２）
との大小関係に基づいて、ブロックＢ２のＩＤを決定する。すなわち、
Ｕ１２＝Ｕ（１）−Ｕ（２）
の値が負であればＩＤ＝１と決定し、正であればＩＤ２＝２と決定する。Ｕ（１）及びＵ（２）の最小値はいずれも０である。Ｕ１２の値が小さいほど、ブロックＢ２がＩＤ＝１である確度が高くなる。
【０１８８】
図２９のオブジェクトマップＱ２において、上記具体例ではブロックＢ１及びＢ３のＩＤを考慮しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３のＩＤを同時に仮定し、ブロックＢ１、Ｂ２及びＢ３の各々の評価関数の総和が最小となるように、ブロックＢ１、Ｂ２及びＢ３のＩＤを決定する。 この際、メトロポリス（Metropolis）アルゴリズム又はギッブスサンプラー（Gibbs Sampler）アルゴリズムなどの確率的緩和アルゴリズムを用いて最小値へ導く。また、評価値の極小値を最小値と間違えないようにするとともに、極小の谷から速く脱出するために、公知のシミュレーティッドアニーリング（Simulated Annealing）法を適用する。
【０１８９】
これにより、複数のＩＤ不明ブロックのＩＤを、より正確かつ容易に決定することができる。
【０１９０】
定数α、β及びγは、実際の画像を処理して、移動物体トラッキング成功率が高くなるように定められる。
【０１９１】
本発明者らは、上記のような評価関数を用いることが適切であることを数学的に確かめた。すなわち、マルコフ・ランダム・フィールド（Markov Random Field）モデルを時空間画像に拡張して適用し、表現された画像のエネルギー分布を確率緩和過程により最適化した結果、上記結果評価関数の最小化と同一になった。この点は、後述する第７実施形態についても同様である。
【０１９２】
なお、上記入口スリットで複数の移動物体が重なって写り、単一クラスタと認識された場合、これを不明ＩＤ決定部４７で分離認識できないので、移動物体分割部３９は本第６実施形態においても用いられる。 次の表１２は、本第６実施形態を適用した実験結果を示す。
【０１９３】
【表１２】

【０１９４】
フレーム画像は、カラーではなく８ビットの濃淡画像を用いた。
【０１９５】
この表は、移動物体のトラキックング成功率を、画像中の垂直方向と水平方向の交通の流れに分けて示している。表は、交差点での実際の画像を解析して得られたものであり、複雑な交通の流れも上記いずれかの場合に分けられている。
【０１９６】
トラッキングが失敗した例は、一方の移動物体中に他方の移動物体が完全に重なった場合であった。水平方向のトラッキング成功率が、左右方向のそれよりも高い理由は、左右方向の交通の方が、移動物体間の重なりが垂直方向のそれよりも大きいためである。
【０１９７】
［第７実施形態］
上記第６実施形態では、時点ｔでのＩＤ不明ブロックが、互いに接近し又は重なった移動物体Ｍ１又はＭ２に属すると仮定して評価関数の値の大小関係に基づき不明ＩＤを決定した。
【０１９８】
しかし、１つのブロックに３以上の移動物体の一部が含まれる場合がある。また、多くの移動物体について、互いに接近しようとしている移動物体がどれであるかを判断しなければならない。
【０１９９】
他方、評価要素ＵＳ及びＵＤはいずれも、時点ｔと時点（ｔ−１）での相関度が低いブロック間では値が大きく高いブロック間では値が小さい。これらの値を見るだけで上記のことを判断することができる。また、評価値の計算は容易である。
【０２００】
そこで、本発明の第７実施形態では、図２８の不明ＩＤ決定部４７において、ＩＤ不明ブロックは、時点（ｔ−１）のオブジェクトマップに含まれる全てのＩＤ＝１〜ｍのいずれかを持つと考えて、評価関数の値の大小関係に基づき不明ＩＤを決定する。
【０２０１】
時点ｔでのＩＤ不明ブロックを、ＢＫ１〜ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩＤがＩＤｊ（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明ブロックＢＫｉの上記評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。
【０２０２】
すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し、評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰り返し計算により求め、求めたものをＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
【０２０３】
他の点は上記第６実施形態と同一である。
【０２０４】
次に、図３２を参照して、メトロポリスアルゴリズムを用いて解を求める場合を説明する。
【０２０５】
（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐの識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ１〜ＩＩＤｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初期値１を代入する（ｉ←１、ｊ←１）。ＵＴの前回値ＵＴＢに、大きな初期値ＵＴＢmaxを与える。
【０２０６】
（Ｓ２）評価関数の値
ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋・・・＋Ｕ（ＢＫｐ，ＩＤｐ）
を計算する。
【０２０７】
（Ｓ３、Ｓ４）ＵＴ＜ＵＴＢであれば、ＩＩＤｉ←ＩＤｉ、ＵＴＢ←ＵＴ。
【０２０８】
（Ｓ５）ｊ←ｊ＋１
（Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉの値を更新してステップＳ２へ戻り、そうでなければ次のステップＳ６へ進む。
【０２０９】
（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１
（Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでなければ処理を終了する。
【０２１０】
このようにして、ＩＤ不明ブロックＢＫ１〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤｐと決定される。
【０２１１】
理論的には、時点ｔでの全ブロックをＩＤ不明ブロックとして上記計算により適正なＩＤを決定可能である。
【０２１２】
なお、本発明には外にも種々の変形例が含まれる。
【０２１３】
例えば、類似度計算部３２ではパターンマッチング度を求めてもよい。例えば、図４において観測量の相違度を、横切る境界線の数と定義する。例えば、観測量０と０は相違度０、観測量０と７は相違度１、観測量４と８は相違度２である。参照系列が｛１,２,０｝で観測系列が｛３,２,１｝の場合、対応する成分間の相違度を求め、その総和（２＋０＋１）の逆数１／３を一致度として求め、複数の参照系列について同様の計算を行い、そのうち最も大きい一致度を類似度としてもよい。
【０２１４】
また、参照系列に対し観測系列を時間軸方向にずらし、ずらしたものについても類似度を計算し、最大値を最終的な類似度として求めてもよいことは勿論である。
【０２１５】
さらに、上記実施形態では、図２又は図１０の認識開始判定部２８において｜Ｖ／Ｄ｜＞Ｃと判定された場合のみＶ／Ｄ時系列切り出し部２９で切り出しを行う場合を説明したが、認識開始判定部２８、及び、時系列切り出し部２９又は２９Ａを省略し、時系列メモリ２７又は２７Ａ内の各時点における全ての時系列に対しブロック３２で確率Ｐを計算する構成であってもよい。
【０２１６】
また、本発明の適用は各種移動物体間衝突事故に限定されず、衝突以外の動作に対しても本発明を適用可能である。
【０２１７】
さらにまた、要求される処理速度によっては、図２又は図１０の画像認識装置での全処理をコンピュータで実行することも可能である。
【０２１８】
また、評価関数は上記３要素のうち少なくとも１つを含むものであればよい。各要素の上記関数は一例であり、推定の確度が上がるほど一方向に変化（単調変化）する種々の形のものを用いることができる。
【図面の簡単な説明】
【図１】本発明の移動物体間動作分類装置を交差点に配置した場合を示す概略図である。
【図２】図１中の画像認識装置のハードウエア及びソフトウエアの構成を機能ブロックで示す概略図である。
【図３】図２中の処理を説明するためのベクトル図である。
【図４】危険度ベクトルＶ／Ｄの量子化説明図である。
【図５】衝突事故の時系列パターン説明図である。
【図６】他の衝突事故の時系列パターン説明図である。
【図７】さらに他の衝突事故の車両速度ベクトル時系列説明図である。
【図８】（Ａ）は図７の車両速度ベクトルを−θ回転させたものの時系列説明図り、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図９】ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ隠れマルコフモデルの状態遷移図である。
【図１０】本発明の第２実施形態に係る画像認識装置のハードウエア及びソフトウエアの構成を機能ブロックで示す概略図である。
【図１１】図１０中の移動物体認識部での処理説明図である。
【図１２】（Ａ）は衝突事故の車両速度ベクトル時系列の各ベクトル回転説明図、（Ｂ）はこの時系列と相対速度ベクトルの時系列とを示す図である。
【図１３】図１２（Ａ）を時計回りに９０゜回転させた速度ベクトル時系列パターンを示す図である。
【図１４】ＨＭＭモデルにおいて、衝突とこれに類似したタンデムの動作の区別度の状態数依存性を示す線図である。
【図１５】状態数が７のときの衝突動作において、状態ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観測量Ｏを出力する確率の具体例を視覚的に示す３次元棒グラフである。
【図１６】本発明の第３実施形態に係る画像認識装置のハードウエア及びソフトウエアの構成を機能ブロックで示す図である。
【図１７】交差点への４つの入口及び交差点からの４つの出口に設定されたスリット及びブロックに付された移動物体のＩＤを示す説明図である。
【図１８】図１６の移動物体更新部３８での処理説明図であって、それぞれ時刻（ｔ−１）での画像、時刻ｔでの予測画像及び時刻ｔでの実際の画像を示す図である。
【図１９】（Ａ）及び（Ｂ）は、図１６の移動物体分割部３９での処理説明図であって、それぞれ時刻ｔ及び時刻（ｔ＋１）での画像を示す図である。
【図２０】（Ａ）は４ブロックの各々の動きベクトルに基づいて得られる移動物体動きベクトルを示し、（Ｂ）は、重なって写っている２つの移動物体に属するブロックの各々の動きベクトルに基づいて得られる、２つの移動物体の動きベクトルを示す図である。
【図２１】本発明の第４実施形態に係る画像認識装置を示すブロック図である。
【図２２】図２１中の一部を示すブロック図である。
【図２３】本発明の第５実施形態に係る画像認識装置を示すブロック図である。
【図２４】図２３中のシフトレジスタに同時に保持されるデータであって、ある交差点での衝突動作の観測系列Ｏ¹に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２５】図２３中のシフトレジスタに同時に保持されるデータパターンであって、他の交差点での衝突動作の観測系列Ｏ^1Aに対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２６】図２３中のシフトレジスタに同時に保持されるデータパターンであって、タンデム動作の観測系列Ｏ²に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２７】図２３中のシフトレジスタに同時に保持されるデータパターンであって、通過動作の観測系列Ｏ³に対応した、ｔ＝０〜１９についての部分系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。
【図２８】本発明の第６実施形態に係る画像認識装置のハードウエア及びソフトウエアの構成を機能ブロックで示す図である。
【図２９】図２８中の不明ＩＤ決定部の入出力関係を模式的に示す図である。
【図３０】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３１】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理説明図である。
【図３２】本発明の第７実施形態に係る画像認識装置の不明ＩＤ決定部での処理を示すフローチャートである。
【符号の説明】
１０ 電子カメラ
２０、２０Ａ〜２０Ｃ 画像認識装置
２１ 画像メモリ
２２、２２Ａ 移動物体認識部
２３、２４ 位置レジスタアレイ
２５ 相対距離レジスタアレイ
２６、２６Ａ Ｖ／Ｄ計算部
２７ Ｖ／Ｄ時系列メモリ
２７Ａ Ｏ時系列メモリ
２８ 認識開始判定部
２９ Ｖ／Ｄ時系列切り出し部
２９Ａ 観測系列切り出し部
３０、３０Ａ ベクトル回転部
３１ 量子化部
３２ 類似度計算部
３３ 衝突事故判定部
Ｍ１〜Ｍ６ 車
３４ 背景画像生成部
３６ ＩＤ生成／消滅部
３７ 動きベクトル算出部
３８ 移動物体更新部
３９ 移動物体分割部
４０ 移動物体間距離算出部
４１、４１Ａ 画像処理装置
４２ デコーダ
４３、４３Ａ シフトレジスタ
４４、４４Ａ ニューラルネットワーク
４５ コンパレータ
４６ 部分系列観測確率算出部
４７ 不明ＩＤ決定部
Ｂ１、Ｂ２、Ｂ３ ブロック
Ｆ１、Ｆ２ フレーム画像
Ｑ１〜Ｑ３ オブジェクトマップ
ＭＶ１、ＭＶ２ 動きベクトル
Ｂ２１、Ｂ２２ 判定枠
Ｂ２１Ｆ、Ｂ２Ｆ 局所画像[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a motion classification method and apparatus between moving objects.AndImage recognition deviceIn placeRelated.
[0002]
[Prior art]
Early detection of traffic accidents not only increases the success rate of lifesaving through quick rescue activities, but also can reduce traffic jams by speeding up on-site inspections by the police. Automation is expected.
[0003]
Conventional traffic monitoring devices can only recognize limited events under specific conditions.
[0004]
For example, a car on an expressway is imaged with a camera, and the image is processed to recognize a movement different from a normal linear movement as an abnormality. However, it is assumed that the movement of the car is the original traveling direction, and only an accident that satisfies a limited condition can be recognized.
[0005]
Moreover, when the car of the intersection was imaged with the camera and the car was passing the stop line when the traffic light showed the stop, it was recognized that the signal was ignored. However, in this case as well, only limited events in a limited range of images can be recognized.
[0006]
That is, the conventional traffic monitoring device cannot detect various collision accidents of a car that moves in a complicated manner in the entire area of the intersection. To solve this problem, it is necessary to use a novel image recognition method.
[0009]
[Problems to be solved by the invention]
  In view of such problems, an object of the present invention is to classify various motions between moving objects and a method and apparatus for classifying motions between moving objects.AndImage recognition devicePlaceIt is to provide.
[0011]
[Means for solving the problems and their effects]
In the movement classification method between moving objects according to the present invention,
An observation sequence {O₁O_{2 ...}O_T}
Calculating the similarity of the observation sequence to the reference sequence;
The movements between the moving objects are classified based on the similarity.
[0012]
According to this moving object motion classification method,
(1) using a relative velocity vector V between moving objects;
(2) quantizing the quantity associated with this vector; and
(3) Observation series {O₁O_{2 ...}O_T} With respect to the reference sequence, it is possible to classify the motions between various moving objects with a small number of reference sequences.
[0013]
The above classification is, for example, a classification of whether or not the collision is between moving objects. In this case, it becomes possible to detect various collision accidents of a car that moves in a complicated manner at an intersection, thereby speeding up rescue operations. At the same time, on-site inspections are conducted promptly to reduce traffic jams.
[0014]
In the movement classification device between moving objects according to the present invention,
An electronic camera that images moving objects and outputs image signals;
An observation sequence {O that is a time series of the observation amount O obtained by processing the image signal and quantizing the amount related to the relative velocity vector V between the moving objects.₁O_{2 ...}O_T}, The similarity of the observation sequence to the reference sequence is calculated, and the image recognition device classifies the motion between the moving objects based on the similarity.
[0015]
In the image recognition apparatus according to the present invention, an observation sequence {O that is a time series of an observation amount O obtained by processing a captured image of a moving object and quantizing an amount related to the relative velocity vector V between the moving objects.₁O_{2 ...}O_T} Is calculated, the similarity of the observation sequence to the reference sequence is calculated, and the motion between moving objects is classified based on the similarity.
[0023]
Other objects, configurations and effects of the present invention will become apparent from the following description.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0025]
[First Embodiment]
FIG. 1 shows an outline when the moving object motion classification device of the present invention is arranged at an intersection.
[0026]
This apparatus includes an electronic camera 10 that captures an intersection and outputs an image signal, and an image recognition apparatus 20 that processes the image and recognizes a collision accident between moving objects.
[0027]
FIG. 2 is a functional block diagram showing the hardware and software configurations of the image recognition apparatus 20 according to the first embodiment of the present invention.
[0028]
The image signal from the electronic camera 10 is digitized and stored in the image memory 21. The moving object recognition unit 22 compares the current image in the image memory 21 with a past image, recognizes the moving object, and detects its position, for example, the center of gravity of the figure of the moving object. For example, in the case of FIG. 1, the positions P1 to P6 of the cars M1 to M6 are detected. These position coordinates are held in the position register array 23 after the contents of the position register array 23 are copied to the position register array 24. The moving object recognition unit 22 also measures the distance between moving objects, for example, the distance d shown in FIG. 3A in units of pixels, and associates the distance with the combination of two positions in the position register array, thereby calculating the relative distance register array 25. To store.
[0029]
The V / D calculator 26 obtains the difference between the contents of the corresponding registers of the position register arrays 23 and 24 as the velocity vector of the moving object, and then calculates the relative velocity vector V between all the moving objects. For example, the relative speed vector V of the speed vector V1 of the car M1 and the speed vector V2 of the car M2 shown in FIG. 3A is as shown in FIG. Further, the V / D calculation unit 26 reads the contents d of the relative distance position register array 24 corresponding to the two objects of the relative velocity vector V for each moving object, and calculates the vector V / D. Here, D = d + ε, and ε is a constant for guaranteeing D> 0, and ε ≧ 0. The value of ε varies depending on the definition of d. If D> 0, it is possible to set ε = 0.
[0030]
If the time-series patterns of the relative vectors V / D are the same, they are recognized as the same pattern, so that various collision accidents can be recognized. The collision risk level is considered to increase as the relative velocity vector V increases and the relative distance d decreases, so V / D indicates the collision risk level. In the case of FIG. 1, there are 15 combinations between moving objects, and V / D is calculated for each combination. The calculation result is stored in the V / D time series memory 27.
[0031]
The V / D time series memory 27 is, for example, a FIFO memory, and the oldest data is discharged from the V / D time series memory 27 and new data from the V / D calculation unit 26 is stored in the V / D time series memory. 27 are stored. Table 1 below shows a data storage state in the V / D time series memory 27.
[0032]
[Table 1]

[0033]
In Table 1, (V / D) ijt indicates the value of the risk vector V / D at time t of the set of the cars Mi and Mj. V / D is represented by values of an X coordinate and a Y coordinate, for example.
[0034]
Since the collision does not occur if V / D is small, the recognition start determination unit 28 calculates the absolute value | V / D | from the output of the V / D calculation unit 26 and determines whether this is greater than the set value C. Then, the result is supplied to the V / D time series cutout unit 29.
[0035]
If it is determined that | V / D |> C, a traffic accident may occur within a predetermined time thereafter. Therefore, after the predetermined time has elapsed, the V / D time series cutout unit 29 converts the V / D time series to V / D Cut out from the D time series memory 27.
[0036]
In this way, since the collision accident is not recognized when | V / D | ≦ C, useless processing is omitted, and the processing time required for the collision accident recognition is reduced using a low-speed and inexpensive apparatus. It becomes possible to secure.
[0037]
Here, in order to easily recognize various collision accidents, it is necessary to classify similar collision accidents as similar accidents. For example, it is preferable that the time series pattern of a certain collision accident and the time series pattern that is the same when the stationary coordinate system is rotated be the same observation series. In other words, the observation sequence should not depend on the shape of the intersection or the mounting position of the camera 10.
[0038]
Therefore, the vector rotation unit 30 calculates an angle θ with respect to the X axis of the vector (V / D) ij1 at the first time t = 1 in the V / D time series cut out by the V / D time series cut-out unit 29. Next, each vector V / D of this V / D time series is rotated by -θ. For example, it is rotated as shown in FIG. Accordingly, for example, the V / D time series of the collision pattern shown in FIG. 5 is the same as that of the collision pattern shown in FIG. 6 rotated 180 degrees.
[0039]
For simplicity, only speed vectors will be described instead of V / D. The speed vectors V11 to V14 and V21 to V24 at the times t = 1 to 4 of the cars M1 and M2 shown in FIG. The velocity vectors V11a to V14a and V21a to V24a shown in FIG. 8A are obtained, and the relative velocity vectors are V = V1 to V4 shown in FIG. 8B.
[0040]
The quantization unit 31 quantizes each V / D of the rotated V / D time series as shown in FIG. For example, when the time series of V / D = v is {v0, v1, v2}, the time series {0, 1, 2} is quantized. A time series of quantized observations is called an observation series. For example, the observation sequence at time t = 4 to 9 shown in FIG. 5 is {1, 2, 3, 0, 8, 7}. The same applies to the collision pattern of FIG. By this quantization, a collision pattern similar to a certain collision pattern becomes the same observation series, so that various collision accidents can be easily recognized. In addition, since the observation sequence becomes a simple numerical sequence by quantization, the subsequent recognition process is simplified.
[0041]
The similarity calculation unit 32 uses a specific collision accident observation sequence as a reference sequence, and calculates the similarity of the observation sequence supplied from the quantization unit 31 to the reference sequence. From the above, it is possible to easily recognize various collision accidents with a small number of reference sequences.
[0042]
Known pattern similarity calculation includes a hidden Markov model (HMM) method and a pattern matching method, and any one of them can be used. For example, the probability P = EXP (μ) that the observation sequence obtained by the quantization unit 31 is generated is calculated by the HMM in which the parameters are determined using a specific collision accident observation sequence as a learning sequence. This calculation method will be described later. If the learning sequence does not include a symmetric pattern, the probability P is also calculated for the pattern symmetric to the observation sequence obtained by the quantization unit 31, and the value with the larger probability P is set as the similarity. For example, for the observation sequence {0, 1, 4, 5, 2}, the symmetrical pattern with respect to FIG. 4 is {0, 1, 10, 11, 2}.
[0043]
The collision accident determination unit 33 determines that this observation series is a collision accident if μ is larger than the set value μ0, and outputs the result. This result is automatically reported to the police, thereby promptly carrying out rescue activities and conducting on-site inspections promptly to reduce accident congestion.
[0044]
The processing of the components 28 to 33 in FIG. 2 can be executed by a computer.
[0045]
Next, the calculation method will be described.
[0046]
Consider a left-to-rijht HMM with N states as shown in FIG. The state in the HMM is not an observed quantity, and usually does not correspond to a specific image. The observed quantity is quantized as shown in FIG. 4, and the observed quantity at time t is expressed as O._tIs written. For any i satisfying 1 ≦ i ≦ N, when the state is i at time (t−1), the probability of becoming state j at time t is a_ijAnd the observed quantity O_tThe probability of outputting_ij(O_t), The following relationship is established.
[0047]
For j ≠ i and j ≠ i + 1, a_ij= 0, b_ij(O_t) = 0
For any i 1 ≦ i ≦ N−1, a_ii+ A_{i (i + 1)}= 1
State N is the final state and cannot transition to the next state, a_NN= 1
For j = i or j = i + 1,
b_ij(0) + b_ij(1) + ... + b_ij(12) = 1
For example, the probability P of state 1 at the initial t = 0 is 1 and the probability P that the observation sequence {2, 5} at time t = 1, 2 occurs is the state sequence {1, 1} at time t = 1, 2. , {1,2}, {2,2}, {2,3}, the total probability of outputting the observation sequence {2,5}, and is expressed by the following equation.
[0048]

The probability of being in state i at initial t = 0 is π_iIs written. The HMM model has an initial probability distribution π = {π_1,π_2,π_{3 ,,,,,}π_N} And the probability a_ijAnd b_ijIt is determined by the set of (k). These parameters are denoted as λ.
[0049]
Hereinafter, the length of the observation sequence is denoted by T, and the number of observation quantities is denoted by L (L = 13 in FIG. 4). In addition, the observation sequence {O₁O_{2 ...}O_t}, And the partial sequence observation probability for the state i is expressed as α (i, t).
[0050]
Observation series {O₁O_{2 ...}O_T} P (O₁O_{2 ...}O_TIt is known that | λ) is generally calculated by a forward algorithm consisting of the following three steps.
[0051]
Step 1: t = 1
α (1,1) = π₁・ B₁₁
For each j where 2 ≦ j ≦ N,
α (j, 1) = π_(j-1)・ B_{(j-1) j}+ Π_j・ B_jj
Step 2: sequentially for each of t = 1, 2,..., T−1
For each j where 1 ≦ j ≦ N,
[0052]
[Expression 1]

[0053]
Step 3:
[0054]
[Expression 2]

[0055]
The probability P can be calculated by a known backward-facing alcoholism or by the Viterbi algorithm (Electronics and Information Engineering Course 19 “Information Processing Overview”, Akira Tsujimatsu, Baifukan).
[0056]
Here, when in state i at time t, the observation sequence from time (t + 1) is {O_{t + 1}O_{t + 2}... O_T} Is expressed as β (i, t), the following relational expression is established.
[0057]
[Equation 3]

[0058]
Also, the learning sequence {O₁O₂... O_T}, The probability of being in state i at time (t−1) and transitioning to state j at time t is denoted as γ (i, j, t).
[0059]
The model parameter can be obtained by the Baum-Welch algorithm using the collision accident observation series as a learning series. That is, given initial values to model parameters, γ (i, j, t) is calculated in step 1 below for each i and j where 1 ≦ i ≦ N and 1 ≦ j ≦ N. The model parameter is determined by updating the model parameter in step 2 using (i, j, t), and repeating the calculations in steps 1 and 2 until the model parameter converges.
[0060]
Step 1: Calculation of γ (i, j, t)
[0061]
[Expression 4]

[0062]
Here, F is the total set of states {1, 2,..., N}, and the sum i has the same meaning as i∈F.
[0063]
Step 2: Update model parameters
[0064]
[Equation 5]

[0065]
Here, the sums i and j both mean i∈F and j∈F. T: y_t= K means that the sum of only the observed quantity k at time t is taken.
[0066]
When there are a plurality of learning sequences, for example, the model parameter is determined by the above method for one learning sequence, the model parameter is determined by the above method for the next learning sequence using this model parameter as an initial value, and thereafter the same processing is performed. repeat.
[0067]
[Second Embodiment]
FIG. 10 is a functional block diagram showing the hardware and software configurations of the image recognition apparatus 20A according to the second embodiment of the present invention.
[0068]
The moving object recognition unit 22A has a memory, reduces the resolution of the image in the image memory 21, and writes pattern information as shown in FIG. 10 only for the moving object to the memory. For example, when one frame of the image memory 21 is 480 × 640 pixels, 8 × 8 pixels are reduced to information of one block and converted to pattern information of 60 × 80 blocks. The block information is an identification code that is different for each moving object. In FIG. 10, information of identification codes 1 to 6 is written corresponding to the cars M1 to M6 in FIG.
[0069]
The moving object recognizing unit 22A detects the position of the moving object as in the first embodiment, and determines the minimum value of the inter-pixel distances with different identification codes as the moving object distance d.
[0070]
Next, the observation amount used in the second embodiment will be described.
[0071]
In FIG. 12A, speed vectors V11b to V14b are obtained by rotating the vehicles M1 and M2 by θ1 to θ4 so that the speed vectors V11 to V14 at times t = 1 to 4 are in the X direction. When the velocity vector is 0, the direction is regarded as the direction of the velocity vector immediately before becoming 0. Corresponding to the rotations θ1 to θ4, speed vectors V21b to V24b obtained by rotating the speed vectors V21 to V24 at time t = 1 to 4 of the vehicle M2 by θ1 to θ4, respectively. For i = 1 to 4, the relative velocity vector Vi = V2ib−V1ib shown in FIG. In other words, when the angle of the speed vector V1i of the car M1 with respect to the X axis is θi, a vector Vi obtained by rotating the relative speed vector (V2i−V1i) of the cars M1 and M2 by −θ is obtained. Next, a vector v = Vi / Di quantized as shown in FIG. 4 is obtained as an observation amount at time t = i. Here, Di is the above-mentioned D = d + ε at time t = i.
[0072]
FIG. 13 shows a velocity vector time series pattern obtained by rotating FIG. 12A by 90 ° clockwise. In this case, the velocity vectors V11b to V14b and V21b to V24b obtained by rotating in the same manner as described above are the same as those in FIG. 12A, and the observation sequence is also the same as that in FIG.
[0073]
That is, in FIG. 13, this observation series is a time series of the relative observation amount V / D of the car M2 as seen from the coordinate system fixed to the car M1, and is the same even if the ground stationary coordinate system is rotated. Become.
[0074]
If such an observation sequence is used, as shown in FIG. 10, the V / D obtained by the V / D calculation unit 26 is supplied to the vector rotation unit 30A, and the vector V / D is rotated by −θ in real time. Next, it can be quantized by the quantization unit 31 as shown in FIG. 4 and stored in the observation sequence memory 27A.
[0075]
Therefore, it is not necessary to select the θ determination time as in the case of FIG. Further, since the observation amount after quantization is stored in the memory 27A, the required capacity is smaller than that of the memory 27 in FIG. 2 in which the vector amount before quantization is stored.
[0076]
Other points are the same as those in the first embodiment.
[0077]
Next, experimental results showing the effects of the second embodiment will be described.
[0078]
(1) Determination of model parameter λ1 for the collision motion pattern
The number of states N = 7. a_ijThe initial value of
For each of i = 1 to 6_ii= 0.5
a₇₇= 1.0
And b_ijThe initial value of
For each of i = 1-6, j = i + 1, k = 0-2,
b_ii(K) = 0.10, b_ij(K) = 0.10
For each of i = 7 and k = 0-2,
b_ii(K) = 0.10
For each of i = 1-6, j = i + 1, k = 3-12,
b_ii(K) = 0.07, b_ij(K) = 0.07
For each of i = 7 and k = 0-2,
b_ii(K) = 0.07
It was. In addition, the state probability distribution at the initial t = 0 is
π₁= 1, i = 2 to 7 for π_i= 0
Further, the collision accident observation series No. 1 to No. 10 in Table 2 below were used as learning series. Each of these learning sequences relates to a collision between vehicles in the same direction on the same lane as shown in FIG. 5 or FIG.
[0079]
[Table 2]

[0080]
Under such conditions, the parameter a is determined by the Baum-Welch algorithm._ijIs determined as shown in Table 3 below, and parameter b_ij(0) -b_ij(6) and b_ij(7) -b_ij(12) was determined as shown in Table 4 and Table 5 below.
[0081]
[Table 3]

[0082]
[Table 4]

[0083]
[Table 5]

[0084]
This model parameter is denoted as λ1.
[0085]
(2) Determination of model parameters for other motion patterns
In the same manner as described above, model parameters λ2 and λ3 for the following two operation patterns were determined.
[0086]
(1) A pattern in which cars adjacent in series at the intersection in the same direction stop / start (tandem operation) without causing a collision
The observation sequences No. 1 to No. 10 in Table 6 below were used as learning sequences for this operation. Tandem motion is similar to collision motion because the front car moves away from the back car after the back car approaches the front car.
[0087]
[Table 6]

[0088]
The model parameter obtained in the same manner as above is denoted as λ2.
[0089]
(2) An operation (passing operation) pattern in which at least one moves in different lanes and passes the other
The observation sequences No. 1 to No. 10 in the following Table 7 were used as learning sequences for this operation.
[0090]
[Table 7]

[0091]
The model parameter obtained in the same manner as above is denoted as λ3.
[0092]
Observation sequence O of a collision accident between vehicles in the same direction on the same lane¹, Tandem start / stop motion observation series O²And observation sequence O^Three, The probability P (O that the observed sequence occurs under model parameters λ1, λ2, and λ3ⁱ| Λj) = EXP (μ_ij), I = 1-3, j = 1-3_ijAs a result, the results shown in the following Table 8 were obtained.
[0093]
[Table 8]

[0094]
From this table, for example,
P (O¹| Λ1) / P (O²| Λ1) = EXP (11.2)
P (O¹| Λ1) / P (O^Three| Λ1) = EXP (29.7)
It can be seen that the probability ratio is large and the motion separation performance is high.
[0095]
Next, analysis results for deepening understanding of the state in the HMM model of the collision accident will be described.
[0096]
FIG. 14 shows an analysis result of how the degree of distinction between a collision operation (Accident) and a tandem operation (Tandem) similar to the collision operation (Tandem) varies depending on the number of states N in the HMM model. As model parameters, 40 collision accident observation sequences were determined as learning sequences. The horizontal axis is the number of states N, and the vertical axis is the value obtained by adding the exponents of the observed sequence probability P = EXP (μ) calculated by this model for a plurality of observed sequences and further multiplying by -1. . In FIG. 14, Accident relates to the 40 observation sequences, and Tandem relates to the other 40 tandem operation observation sequences.
[0097]
From this figure, it can be seen that Tandem and Accident can be distinguished well when N is 6 or 7 or more.
[0098]
FIG. 15 shows the probability (b of the observation amount O that the state i transitions from the state i to the state j = i + 1 or stays in the state j under the model parameter when N = 7._ij(O) + b_jjIt is a three-dimensional bar graph which shows the specific example of (O)) visually.
[0099]
The state of the HMM has no explicit meaning, but from this graph, the state can be interpreted as follows.
[0100]
No interference (States 1 and 2): Observed amount 0
Approach (state 3): Observed quantity 1 or 2
Rapid approach (state 4): Observed quantity 3
The moment of collision (state 5): Observed amount 0
Reaction (state 6): Observed quantity 7 or 8
Stop (state 7): Observed amount 0
[Third Embodiment]
FIG. 16 is a functional block diagram showing the hardware and software configurations of the image recognition apparatus 20B according to the third embodiment of the present invention.
[0101]
Only the components 34 to 40 are different from FIG. First, the processing in the components 35 to 39 will be outlined.
[0102]
When one frame of the image memory 21 is 480 × 640 pixels, 8 × 8 pixels are one block, and one frame is divided into 60 × 80 blocks. It is determined whether there is a moving object in units of blocks, and if it exists, a different identification code is assigned to each moving object. In FIG. 11, the cells indicate blocks, and information of identification codes 1 to 6 is written in units of blocks corresponding to the cars M1 to M6 in FIG. Typically, about 5 to 30 blocks belong to one moving object. Examples of moving objects include cars, motorcycles, bicycles, and people.
[0103]
In order to perform the generation and disappearance processing of the moving object identification number (ID), as shown in FIG. 17, on the frame (in the image memory 21), slits EN1 are respectively provided at four entrances to the intersection and four exits from the intersection. -EN4 and EX1-EX4 are initialized.
[0104]
Next, details of processing in the components 34 to 40 will be described.
[0105]
The background image is an image in which no moving object exists. The background image generation unit 34 accesses the image memory 21, creates a histogram of pixel values of the corresponding pixels, for example, for all images for the past 10 minutes, and sets the mode value (mode) as the pixel value of the pixel. An image is generated as a background image and stored in a predetermined area in the image memory 21. The background image is periodically updated by the background image generation unit 34.
[0106]
The block information memory 35 is for storing information of 60 × 80 blocks and moving objects, and is accessed by the components 35 to 39 and the V / D calculator 26. A block in the image memory 21 is identified by an address. The image memory 21 and the block information memory 35 may be different storage areas in the same memory.
[0107]
The ID generation / annihilation unit 36 reads the image data in the entrance slits EN1 to EN4 from the image memory 21, and determines whether a moving object exists in these slits in units of blocks. Whether there is a moving object in a certain block is determined by whether the sum of absolute values of differences between the pixels of this block and the corresponding pixels of the background image is equal to or greater than a predetermined value.
[0108]
If the moving object existence block in the entrance slit is not adjacent to the block having the identification code, a new ID is assigned to the moving object existence block.
[0109]
By assigning the same ID to adjacent blocks determined to have a moving object, a cluster corresponding to the moving object is created. For example, ID = 1 is generated in the entrance slit EN1 in FIG. When the new moving object block is adjacent to the existing moving object block, the ID of the already existing moving object is set. For example, the same ID = 5 as the ID of a moving object that already exists is added to the moving object existence block in the entrance slit EN4 in FIG.
[0110]
The ID generation / annihilation unit 36 further reads the image data in the exit slits EX1 to EX4 from the image memory 21, determines whether or not a moving object exists in these slits in units of blocks, and the moving object passes through the exit slit. When you do that, the ID disappears. For example, ID = 3 is extinguished when the block in the exit slit EX1 in FIG. 17 changes from a state in which an ID is assigned to a state in which no ID is assigned. The disappearance ID can be used as the next generation ID.
[0111]
The motion vector calculation unit 37 reads the image data from the image memory 21, and independently changes the position in the current frame at time t, independently of each block belonging to the moving object in the previous frame at time (t-1). By applying block matching used in MPEG encoding to a block, a motion vector of the block is obtained. The motion vector calculation unit 37 further estimates, for each moving object, a representative value, for example, mode, median, or average value of the obtained plurality of motion vectors, as the motion vector of the moving object, and this is used as information on the moving object. Is written in the block information memory 35. When the representative value is a median or an average value, a more accurate value may be obtained by obtaining the representative value after excluding a motion vector that is significantly away from the center distribution.
[0112]
For example, when the motion vector of the moving object of 4 blocks is the thin line vector shown in FIG.
[0113]
This makes it possible to measure the speed of a moving object that turns right or left with high accuracy, and to increase the recognition rate of collision accidents.
[0114]
The motion vector calculation unit 37 estimates the motion vector not only for a moving object having no omission such as ID = 2 shown in FIG. 17 but also for some moving objects such as ID = 1, 3, and 5.
[0115]
Note that the motion vector in MPEG is for data compression, and there is no concept of a motion vector in units of clusters. If the motion vector is small, optical flow estimation can be used as a useful technique in addition to block matching.
[0116]
When the color of each pixel in a block belonging to a certain moving object is almost the same, that is, when a block with less texture exists in the cluster, an accurate motion vector cannot be obtained by a technique such as block matching or optical flow.
[0117]
Therefore, the motion vector calculation unit 37 calculates the distribution of all pixel values in such a block, for example, the block, for example, the variance σ²For a block whose standard deviation σ, average deviation MD, quadrant deviation QD, range R or entropy is less than or equal to a predetermined value, a motion vector is not obtained and is not used for motion vector estimation of a moving object. Even in this case, since there is a group of blocks with non-uniform colors such as the tire portion, the motion vector calculation unit 37 can estimate the motion vector of the moving object.
[0118]
An edge image can be used to determine whether a motion vector is to be obtained. That is, edge enhancement processing is performed on the original image, and then converted into a binary image. If the number of edge pixels of “1” in the block is equal to or less than a predetermined value, the block is determined to be unsuitable for obtaining a motion vector. May be. An edge-enhanced image can be obtained by performing a simple filtering process by applying a secondary differential operator such as a primary differential operator or a Laplacian operator to the original image. For obtaining the edge image, a known method such as Sobel, Roberts, or Prewitt may be used.
[0119]
Next, a specific example of processing in the moving object update unit 38 will be described.
[0120]
FIG. 18 is a process explanatory diagram of the moving object update unit when the vehicle turns to the camera side and then turns right as viewed from the vehicle.
[0121]
When the car cluster (dot region) in the image P1 is translated by the motion vector obtained as described above, a predicted image P2 of the next frame is obtained. A region in which the periphery of the cluster of the predicted image is enlarged to the outside of one block and the boundary is indicated by a bold line is considered. Assume that the actual image of the next frame is P3. In this case, the moving object update unit 38 determines whether a moving object exists as described above for each block in the area in the image memory 21 corresponding to the enlarged area (in the thick line frame) of the predicted image P2. The same ID as the ID assigned to the cluster in the image P1 is assigned to the block determined to exist. When the cluster updated in this way is compared with the cluster in the predicted image P2, as a result, there are a block deleted from the predicted cluster (shaded portion) and a block added to the predicted cluster (vertical line portion). .
[0122]
That is, the moving object update unit 38 reads the object map and the motion vector of the moving object from the block information memory 35, translates the moving object in the object map by this motion vector, and further expands the surrounding area. For each block, it is determined whether or not there is a moving object in the current frame in the image memory 21, thereby updating the cluster of the moving object. This motion vector is obtained by the motion vector calculation unit 37 between the frame at time (t−1) and the frame at time t, and the current frame in the image memory 21 is at time (t + 1). belongs to.
[0123]
By doing this, the cars that were separated and captured by the camera are then adjacent to each other, and the number and shape of the cluster blocks change depending on the distance and angle between the camera and the moving object. However, both can be recognized as different cars. For example, one cluster shown in FIG. 19A can be recognized as two cars.
[0124]
When the enlarged range overlaps between the moving objects, the moving object update unit 38 considers that the overlapping block does not belong to any moving object because it is unclear to which moving object the overlapping block belongs. It is not determined whether there is a moving object, that is, no ID is added to the overlapping blocks.
[0125]
As a result, the cars that were shown separately on the camera overlap each other, and even if the number of blocks and the shape of the cluster change depending on the distance and angle between the camera and the moving object, It is possible to prevent the motion vector from becoming inaccurate.
[0126]
Therefore, it is possible to prevent the collision accident from being determined due to such overlap or change.
[0127]
Even if a plurality of moving objects are overlapped by an entrance slit or the like and are recognized as a single cluster, when the motion vector is calculated for each block by the motion vector calculation unit 37, the motion vector is shown in FIG. When divided into a plurality of groups, the moving object dividing unit 39 recognizes different moving objects for each group. Accordingly, a new ID is generated, the motion vector of each moving object is estimated as described above, and the ID and motion vector of each moving object are written in the block information memory 35.
[0128]
Even if the motion vector is not divided into a plurality of groups, the moving object splitting unit 39 also determines that the single cluster shown in FIG. When it is divided into two clusters as shown in FIG. 19B at t + 1), it is recognized as a different moving object, and a new ID is generated accordingly, and this is written in the block information memory 35.
[0129]
The moving object distance calculation unit 40 obtains the shortest distance d between moving objects from the object map in the block information memory 35, and supplies this to the V / D calculation unit 26 together with the two IDs. The V / D calculation unit 26 reads the motion vectors of the two IDs from the block information memory 35 and calculates the above-described collision risk V / (d + ε).
[0130]
Other points are the same as those of the second embodiment.
[0131]
Table 9 below shows the result of the recognition experiment by the apparatus of the third embodiment. For the determination of model parameters for recognizing collision, tandem and passing motions, 40 learning sequences were used for each of collision, tandem and passing motions. The model parameters in this case corresponding to the model parameters λ1, λ2, and λ3 are denoted as λ1a, λ2a, and λ3a, respectively.
[0132]
[Table 9]

[0133]
Of the recognized observation sequences, O¹, O²And O^ThreeIs the same as that described in the second embodiment, and shows the operations of collision, tandem and passing, respectively. O^1AIs O¹This is a series of observations of collisions at different intersections.
[0134]
[Fourth Embodiment]
FIG. 21 shows an image recognition apparatus according to the fourth embodiment of the present invention.
[0135]
The image processing device 41 is the same as the portion obtained by removing the similarity calculation unit 32 and the collision accident determination unit 33 from the device 20B of FIG. The image recognition apparatus includes an image processing apparatus 41, a decoder 42 used instead of these elements 32 and 33, a shift register 43, a neural network 44, and a comparator 45.
[0136]
The decoder 42 decodes the 4-bit observation amount from the observation sequence cutout unit 29 </ b> A into 13 bits that are “1” only for 1 bit, and supplies the 13 bits to the first stage of the shift register 43. The shift register 43 includes 13 × 20 = 260 flip-flops, that is, 13 20-bit shift registers. As shown in FIG. 22, an observation amount of 1 word = 13 bits is obtained at times t = 0-19. keeping. t = 19 corresponds to the first stage of the shift register 43.
[0137]
In other words, the shift register 43 temporarily stores a binary pattern of observation sequences made up of a number of observation quantities that can determine an accident.
[0138]
The observation series simultaneously held in the shift register 43 shown in FIG. 22 indicates a collision accident. The observation amount is 0 (no interference) at t = 0 to 3 and 1 (no interference) at t = 3 and 4. Approach), t = 5-7 to 3 (rapid approach), t = 8-10 to 0 (collision), t = 11 to 8 (reaction), t = 12 to 14 to 7 (reaction), t = 15 to 19 is 0 (stopped).
[0139]
The neural network 44 has a general configuration and includes an input layer, an intermediate layer, and an output layer. The number of nodes in the input layer is equal to the number of bits 260 of the shift register 43, and the input value of each node is '0' or '1'. The bit of the shift register 43 is supplied to each node of the input layer. That is, all the bits of the shift register 43 are supplied to the input layer of the neural network 44 as an input pattern. The number of nodes in the intermediate layer of the neural network 44 is determined by thought and error, and is 50, for example. In the fourth embodiment, since only the collision accident is determined, the number of nodes in the output layer is 1, and the range of output values of the nodes is 0-1.
[0140]
The output of the neural network 44 indicates the similarity to the reference sequence, and is supplied to one input terminal of the comparator 45, and 0.5 is supplied to the other input terminal of the comparator 45 as a reference value. When the output of the neural network 44 is larger than 0.5, the output of the comparator 45 becomes “1” and is recognized as a collision accident.
[0141]
The parameters of the neural network 44 are determined by training with, for example, a normal back propagation algorithm. The reference sequence can be considered as a learning sequence for determining this parameter.
[0142]
Table 10 below shows the results of recognition experiments with the apparatus of FIG. However, the number of nodes in the intermediate layer and the output layer of the neural network 44 is set to 50 and 3, respectively, so that not only the collision but also the above tandem and passing operations can be recognized.
[0143]
[Table 10]

[0144]
The learning sequence used in this experiment is the same as that described in the third embodiment. The recognized observation sequence is the same as that described in the third embodiment.
[0145]
O^1AAlthough the knowledge result in the third embodiment is correct, Table 10 shows that the recognition result is incorrect.
[0146]
This is considered to be based on the essential difference between the HMM and the neural network 44. That is, since the case where the HMM stays in the same state in the state transition is considered in the HMM, various similar patterns expanded and contracted with respect to the time axis direction can be absorbed with a small amount of learning data, and thus a high recognition rate can be obtained. In order to eliminate the shortcomings of the neural network 44, the number of learning data may be increased.
[0147]
The advantage of using the neural network 44 is that the entire observation sequence can be input simultaneously in real time, so that high-speed processing is possible.
[0148]
[Fifth Embodiment]
FIG. 23 shows an image recognition apparatus according to the fifth embodiment of the present invention.
[0149]
The image processing apparatus 41A is obtained by adding a partial sequence observation probability calculation unit 46 to the image processing apparatus 41 of FIG. Each time the observation amount is supplied from the observation sequence cutout unit 29A, the partial sequence observation probability calculation unit 46 performs the partial sequence observation probability α (i, t) in the HMM, that is, the observation sequence {O₁O_{2 ...}O_t}, And the probability of becoming the state i is calculated and output for all the states i = 1 to N. α (1, t) to α (N, t) are simultaneously supplied to the input stage of the shift register 43A. Since α (i, t) is a decimal number, the number of bits of the shift register 43A is larger than that of FIG.
[0150]
FIG. 24 shows the observation sequence O described above.¹The data pattern when the partial sequence observation probabilities α (1, t) to α (7, t) are held in the shift register 43A for t = 0 to 19 is shown.
[0151]
The number of data in the shift register 43A at an arbitrary time point is 7 × 20 = 140, which is supplied to each node of the input layer of the neural network 44A. The input value of each node in the input layer of the neural network 44A is a decimal number in the range of 0-1. The output of the neural network 44A is supplied to one input terminal of the comparator 45, and a collision accident is recognized in the same manner as in FIG.
[0152]
FIGS. 25-27 respectively show the above-mentioned observation sequence O.^1A, O²And O^ThreeThe data patterns of the partial sequence observation probabilities α (1, t) to α (7, t) for t = 0 to 19 are shown.
[0153]
Table 11 below shows the results of recognition experiments corresponding to Table 10 when the number of nodes in the output layer of the neural network 44A is set to 3 so that collision, tandem, and passage can be recognized. The partial sequence observation probabilities α (1, t) to α (N, t) depend on the HMM model parameters, but those of the collision are used. Even if tandem and passage are used, it is considered that the same result can be obtained because the learning sequences are similar to each other.
[0154]
[Table 11]

[0155]
From this table, it can be seen that the fifth embodiment has a higher recognition rate than the fourth embodiment.
[0156]
[Sixth Embodiment]
In the third embodiment, in the moving object update unit 38, when the enlarged range of the moving object at the time point t predicted at the time point (t-1) overlaps with that of another moving object, the overlapped block is moved to any one of them. The moving object ID was not added because it was regarded as not belonging to the object.
[0157]
However, if the ratio of the overlapping parts of the moving objects increases, the information on the charge moving objects is lost for the overlapping parts, so that it is impossible to accurately trace both moving objects.
[0158]
Even if such overlapping between moving objects occurs on the image and some of the moving objects on the back side are invisible when viewed from the camera, the moving objects on the front side when viewed from the camera can be seen. Consider estimating whether a moving object belongs by simple image processing. Further, at time t, even if a part of two moving objects belong to the same block (mixed block) because the moving objects do not overlap but are close to each other, at time (t−1), The parts may belong to different blocks. In this case, it is considered to easily estimate which moving object belongs to the mixed block more by referring to the image at time (t−1).
[0159]
FIG. 28 shows an image recognition apparatus 20C according to a sixth embodiment of the present invention that makes it possible to trace a moving object more accurately using such estimation.
[0160]
This apparatus is different from the image recognition apparatus 20B of FIG. 16 in that it includes an unknown ID determination unit 47 connected to the image memory 21, the block information memory 35, and the moving object update unit 38.
[0161]
As described above, the moving object update unit 38 has the object map and the motion vector of each cluster at the time (t−1) stored in the block information memory 35 and the time t stored in the image memory 21. The object map at the time point t is created based on the frame image. During creation, if there is a block (ID unknown block) that is determined to have a moving object but has not been given a moving object ID as described above, this is notified to the unknown ID determination unit 47 after creation. To do.
[0162]
In response to this, the unknown ID determination unit 47 determines the moving object ID of the ID unknown block as follows.
[0163]
FIG. 29 schematically shows the input / output relationship of the unknown ID determination unit 47.
[0164]
In FIG. 29, F1 and F2 schematically show part of the frame images stored in the image memory 21 of FIG. 28 at time points (t-1) and t, respectively. One grid represents one pixel. BL1 (t-1) and BL1 (t) are boundary lines of the moving object M1 at time points (t-1) and t, respectively. BL2 (t) is a boundary line of the moving object M2 at time t.
[0165]
Q1 and Q2 are diagrams showing an outline of an object map stored in the block information memory 35 of FIG. 28 corresponding to the frame images F1 and F2, respectively. One cell represents one block. The object map is composed of blocks having a mobile object ID and blocks not having a mobile object ID. In FIG. 29, in order to facilitate understanding, the boundary line of the moving object is also represented by a bold line in the object map. The hatching in the object maps Q1 and Q2 indicates that the block is assigned an ID. A block with a right-upward diagonal line has ID = 1, and a block with a right-down diagonal line has ID = 2.
[0166]
Since all of the blocks B1, B2, and B3 in the object map Q2 include a part of the moving objects M1 and M2, the moving object update unit 38 determines to which moving object these blocks belong. Can not do it.
[0167]
The unknown ID determination unit 47 determines the IDs of the blocks B1, B2, and B3 based on the frame images F1, F2, the object maps Q1 and Q2, and the motion vectors of the moving objects M1 and M2, and obtains an object map Q3.
[0168]
Hereinafter, a method for determining which of the moving objects M1 and M2 the block B2 in the object map Q2 belongs to will be specifically described. This determination is made based on the magnitude relationship between the evaluation value when the block B2 is assumed to be the moving object M1 and the evaluation value when the block B2 is assumed to be the moving object M2. The evaluation value includes the following elements (1) to (3).
[0169]
(1) Evaluation element UN related only to the object map at time t
Regarding the nine blocks adjacent to the block B2, it is considered that the greater the number N1 of blocks having ID = 1, the higher the probability that the block B2 is a block of the moving object M1. Therefore, an element UN (1) that evaluates that the ID of the block B2 is 1 is expressed by the following equation, for example.
[0170]
UN (1) = α (N1-9)²
Here, α is a positive constant. It can be said that the smaller the value of UN (1), the higher the probability that the block B2 belongs to the moving object M1.
[0171]
Similarly, an element UN (2) that evaluates that the ID of the block B2 is 2 is expressed by the following equation.
[0172]
UN (2) = α (N2-9)²
Here, N2 is the number of blocks having ID = 2 among the nine blocks adjacent to the block B2.
[0173]
In the case of FIG. 29, UN (1) = 16α and UN (2) = 64α. Therefore, judging from only the object map Q2, it can be said that the probability that the block B2 is ID = 1 is higher than the probability that the ID = 2.
[0174]
(2) Evaluation element US related to the object map at time (t-1) and the motion vector of the moving object
In FIG. 30A, the object maps Q1 and Q2 in FIG. 29 are generally superimposed and hatching is deleted. In the figure, MV1 is a motion vector of the moving object M1, and a dotted line is obtained by translating BL1 (t-1) by MV.
[0175]
As shown in FIG. 30B, by translating the block B2 by −MV1, it is estimated that it corresponds to the block B2 at the time point (t−1) when viewed from the coordinate system fixed to the moving object M1. A determination frame B21 is obtained. Even if a part of the moving object M1 and a part of the moving object M2 are included in the block B2 at the time point t, the determination frame B21 does not include a part of the moving object M2 at the time point (t-1). In this case, it is possible to more accurately estimate whether or not the block B2 has ID = 1 by looking inside the determination frame B21.
[0176]
It is considered that the probability that the block B2 has ID = 1 becomes higher as the area S1 of the upward-sloping hatched portion (ID = 1 portion) in the determination frame B21 is larger.
[0177]
Therefore, by creating a map in which each block of the object map is enlarged to the same 8 × 8 ID array, the number of pixels with ID = 1 is counted on this enlarged map as shown in FIG. The hatched area S1 is obtained. A hatched portion in FIG. 31A indicates an area with ID = 1. When S1 is 64, the probability that ID = 1 is maximized. Therefore, an element US (1) that evaluates that the ID of the block B2 is 1 is expressed by the following equation, for example.
[0178]
US (1) = β (S1-64)²
Here, β is a positive constant. It can be said that the smaller the value of US (1), the higher the probability that the block B2 belongs to the moving object M1.
[0179]
Similarly, an element US (2) that evaluates that the ID of the block B2 is 2 is represented by the following equation.
[0180]
US (2) = β (S2-64)²
Here, S2 is the number of ID = 2 in the determination frame B22 obtained by translating the block B2 by −MV2 as shown in FIG. MV2 is a motion vector of the moving object M2.
[0181]
(3) Evaluation element UD related to frame images at time t and (t−1) and the motion vector of the moving object
It can be said that the higher the correlation between the local images in the frame images F2 and F1 in FIG. 29 corresponding to the block B2 and the determination frame B21 in FIG. 30B, the higher the probability that the block B2 is ID = 1. B2F and B21F shown in FIG. 31B indicate local images in the frame images F2 and F1 corresponding to the block B2 and the determination frame B21 in FIG. 30, respectively.
[0182]
An element UD (1) for evaluating that the ID of the block B2 is 1 is expressed by the following equation, for example.
[0183]
UD (1) = γΣ | B21F (i, j) −B2F (i, j) |
Here, γ is a positive constant, B21F (i, j) and B2F (i, j) are the pixel values of the i-th row and j-th column in the local images B2F and B21F, respectively, and Σ is i = 1 -8 and j = 1 to 8 (sum of all pixels in the block).
[0184]
It can be said that the smaller the value of UD (1), the higher the probability that the block B2 belongs to the moving object M1.
[0185]
Similarly, an element UD (2) for evaluating that the ID of the block B2 is 2 is represented by the following expression.
[0186]
UD (1) = γΣ | B22F (i, j) −B2F (i, j) |
Here, B22F (i, j) is a pixel value of the i-th row and j-th column in the local image B22F, and the local image B22F is a local value in the frame image F1 corresponding to the determination frame B22 in FIG. It is an image.
[0187]
In order to estimate the ID of the unknown ID block more accurately, the above (1) to (3) are combined, and the value of the evaluation function
U (1) = UN (1) + US (1) + UD (1)
When,
U (2) = UN (2) + US (2) + UD (2)
The ID of the block B2 is determined based on the magnitude relationship. That is,
U12 = U (1) -U (2)
If the value of is negative, ID = 1 is determined, and if it is positive, ID2 = 2 is determined. The minimum values of U (1) and U (2) are both 0. The smaller the value of U12, the higher the probability that block B2 is ID = 1.
[0188]
In the object map Q2 of FIG. 29, the IDs of the blocks B1 and B3 are not considered in the above specific example, but actually, the IDs of the blocks B1, B2, and B3 are assumed at the same time, and the blocks B1, B2, and B3 are The IDs of the blocks B1, B2, and B3 are determined so that the total sum of the evaluation functions is minimized. At this time, a minimum value is obtained by using a stochastic relaxation algorithm such as a Metropolis algorithm or a Gibbs Sampler algorithm. In addition, a known simulated annealing method is applied in order to prevent the minimum value of the evaluation value from being mistaken for the minimum value and to quickly escape from the minimum valley.
[0189]
Thereby, ID of a some ID unknown block can be determined more correctly and easily.
[0190]
The constants α, β, and γ are determined so that a moving object tracking success rate is increased by processing an actual image.
[0191]
The inventors have mathematically confirmed that it is appropriate to use the evaluation function as described above. In other words, the Markov Random Field model is extended and applied to the spatio-temporal image, and the energy distribution of the expressed image is optimized by the stochastic relaxation process. As a result, the result evaluation function is minimized. Became. This also applies to a seventh embodiment described later.
[0192]
In addition, when a plurality of moving objects are overlapped in the entrance slit and are recognized as a single cluster, this cannot be separated and recognized by the unknown ID determination unit 47. Therefore, the moving object dividing unit 39 is also used in the sixth embodiment. Used. Table 12 below shows the experimental results of applying the sixth embodiment.
[0193]
[Table 12]

[0194]
As the frame image, an 8-bit grayscale image was used instead of color.
[0195]
This table shows the success rate of trucking for moving objects, divided into vertical and horizontal traffic flow in the image. The table is obtained by analyzing the actual image at the intersection, and the complicated traffic flow is also divided into any of the above cases.
[0196]
An example of the tracking failure was when one moving object completely overlapped with the other moving object. The reason why the tracking success rate in the horizontal direction is higher than that in the left-right direction is because the overlap between moving objects is larger in the left-right direction traffic than in the vertical direction.
[0197]
[Seventh Embodiment]
In the sixth embodiment, the unknown ID is determined based on the magnitude relationship of the evaluation function values on the assumption that the ID unknown block at time t belongs to the moving object M1 or M2 that approaches or overlaps each other.
[0198]
However, there are cases where a part of three or more moving objects is included in one block. Also, for many moving objects, it is necessary to determine which moving objects are approaching each other.
[0199]
On the other hand, both of the evaluation elements US and UD have a large value between the blocks having a low degree of correlation at the time point t and the time point (t−1), and a small value between the high blocks. It is possible to determine the above only by looking at these values. Also, the evaluation value can be easily calculated.
[0200]
Therefore, in the seventh embodiment of the present invention, in the unknown ID determination unit 47 in FIG. 28, the ID unknown block has any of ID = 1 to m included in the object map at time (t−1). Therefore, the unknown ID is determined based on the magnitude relationship between the evaluation function values.
[0201]
The unknown ID block at time t is represented by BK1 to BKp, and when the ID of the unknown ID block BKi is assumed to be IDj (1 ≦ IDj ≦ m), the evaluation function U = UN + US + UD of the unknown ID block BKi When the value is represented by U (BKi, IDj), the IDs of the ID unknown blocks BK1 to BKp are determined as follows.
[0202]
That is, assuming that IDs of unknown ID blocks BK1 to BKp are ID1 to IDp, respectively, the value of the evaluation function
UT = U (BK1, ID1) + U (BK2, ID2) +... + U (BKp, IDp)
Calculate ID1 to IDp at which this value is minimized are obtained by repeated calculation, and the obtained one is determined as the ID of the ID unknown block BK1 to BKp. In this iterative calculation, the stochastic relaxation algorithm and the simulated annealing method are applied.
[0203]
Other points are the same as in the sixth embodiment.
[0204]
Next, with reference to FIG. 32, a case where a solution is obtained using the metropolis algorithm will be described.
[0205]
(S1) Initial values ID10 to IDp0 are given to identification codes ID1 to IDp of ID unknown blocks BK1 to BKp and their solutions IID1 to IIDp. The initial value 1 is substituted for i and j (i ← 1, j ← 1). A large initial value UTBmax is given to the previous value UTB of the UT.
[0206]
(S2) Value of evaluation function
UT = U (BK1, ID1) + U (BK2, ID2) +... + U (BKp, IDp)
Calculate
[0207]
(S3, S4) If UT <UTB, then IDi ← IDi, UTB ← UT.
[0208]
(S5) j ← j + 1
(S6, S7) If j ≦ m, the value of IDi of the block BKi is updated and the process returns to step S2. Otherwise, the process proceeds to the next step S6.
[0209]
(S8) IDi ← IIDi, i ← i + 1
(S9) If i ≦ p, the process returns to step S2, otherwise the process ends.
[0210]
In this way, the IDs of the ID unknown blocks BK1 to BKp are determined as IID1 to IIDp, respectively.
[0211]
Theoretically, it is possible to determine an appropriate ID by the above calculation with all blocks at time t as unknown ID blocks.
[0212]
Note that the present invention includes various other modifications.
[0213]
For example, the similarity calculation unit 32 may obtain the pattern matching degree. For example, in FIG. 4, the difference in the amount of observation is defined as the number of crossing boundaries. For example, the observed quantities 0 and 0 have a difference degree 0, the observed quantities 0 and 7 have a difference degree 1, and the observed quantities 4 and 8 have a difference degree 2. When the reference sequence is {1, 2, 0} and the observation sequence is {3, 2, 1}, the degree of difference between corresponding components is obtained, and the reciprocal 1/3 of the sum (2 + 0 + 1) is obtained as the degree of coincidence. The same calculation may be performed for a plurality of reference sequences, and the largest matching degree among them may be used as the similarity degree.
[0214]
Of course, the observed sequence may be shifted in the time axis direction with respect to the reference sequence, and the similarity may be calculated for the shifted sequence to obtain the maximum value as the final similarity.
[0215]
Furthermore, in the above-described embodiment, the case where the V / D time series cutout unit 29 performs clipping only when the recognition start determination unit 28 of FIG. 2 or FIG. 10 determines | V / D |> C has been described. The configuration may be such that the recognition start determination unit 28 and the time series cutout unit 29 or 29A are omitted, and the probability P is calculated in the block 32 for all the time series at each time point in the time series memory 27 or 27A. .
[0216]
Further, the application of the present invention is not limited to collision accidents between various moving objects, and the present invention can be applied to operations other than collisions.
[0217]
Furthermore, depending on the required processing speed, the entire processing in the image recognition apparatus shown in FIG. 2 or 10 can be executed by a computer.
[0218]
Further, the evaluation function only needs to include at least one of the three elements. The above function of each element is an example, and various types that change in one direction (monotonic change) as the estimation accuracy increases can be used.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a case where an apparatus for classifying motion between moving objects of the present invention is arranged at an intersection.
FIG. 2 is a schematic diagram showing hardware and software configurations of the image recognition apparatus in FIG. 1 as functional blocks.
FIG. 3 is a vector diagram for explaining the processing in FIG. 2;
FIG. 4 is an explanatory diagram of quantization of a risk vector V / D.
FIG. 5 is an explanatory diagram of a time-series pattern of a collision accident.
FIG. 6 is an explanatory diagram of time series patterns of another collision accident.
FIG. 7 is a time-series explanatory diagram of a vehicle speed vector of still another collision accident.
8A is a time series explanatory diagram of the vehicle speed vector of FIG. 7 rotated by −θ, and FIG. 8B is a diagram showing this time series and a time series of relative speed vectors.
FIG. 9 is a state transition diagram of a left-to-right hidden Markov model.
FIG. 10 is a schematic diagram showing functional and hardware configurations of hardware and software of an image recognition apparatus according to a second embodiment of the present invention.
11 is an explanatory diagram of processing in a moving object recognition unit in FIG. 10;
12A is an explanatory diagram of vector rotation of a vehicle speed vector time series of a collision accident, and FIG. 12B is a diagram showing this time series and a time series of relative speed vectors.
FIG. 13 is a diagram showing a velocity vector time series pattern obtained by rotating FIG. 12A by 90 ° clockwise.
FIG. 14 is a diagram showing the state number dependency of the degree of distinction between a collision and a tandem motion similar to the collision in the HMM model.
FIG. 15 is a three-dimensional bar graph visually showing a specific example of the probability of transition from state i to state j = i + 1 or staying in state j and outputting the observation amount O in the collision operation when the number of states is 7. is there.
FIG. 16 is a functional block diagram showing the hardware and software configurations of an image recognition apparatus according to a third embodiment of the present invention.
FIG. 17 is an explanatory diagram showing IDs of moving objects attached to slits and blocks set at four entrances to an intersection and four exits from the intersection;
18 is a diagram for explaining processing in the moving object update unit 38 in FIG. 16, and shows an image at time (t−1), a predicted image at time t, and an actual image at time t, respectively. is there.
FIGS. 19A and 19B are diagrams for explaining processing in the moving object dividing unit 39 in FIG. 16, and show images at time t and time (t + 1), respectively.
FIG. 20A shows moving object motion vectors obtained based on the motion vectors of the four blocks, and FIG. 20B shows motion vectors of the blocks belonging to the two moving objects shown in an overlapping manner. It is a figure which shows the motion vector of two moving objects obtained based on it.
FIG. 21 is a block diagram showing an image recognition apparatus according to a fourth embodiment of the present invention.
22 is a block diagram showing a part of FIG. 21. FIG.
FIG. 23 is a block diagram showing an image recognition apparatus according to a fifth embodiment of the present invention.
FIG. 24 is data simultaneously held in the shift register in FIG. 23, and is an observation sequence O of a collision operation at a certain intersection.¹Is a table showing subsequence observation probabilities α (1, t) to α (N, t) for t = 0 to 19.
FIG. 25 is a data pattern simultaneously held in the shift register in FIG. 23, and is an observation sequence O of a collision operation at another intersection.^1AIs a table showing subsequence observation probabilities α (1, t) to α (N, t) for t = 0 to 19.
26 is a data pattern simultaneously held in the shift register in FIG. 23, and is an observation sequence O of tandem operation.²Is a table showing subsequence observation probabilities α (1, t) to α (N, t) for t = 0 to 19.
FIG. 27 is a data pattern simultaneously held in the shift register in FIG.^ThreeIs a table showing subsequence observation probabilities α (1, t) to α (N, t) for t = 0 to 19.
FIG. 28 is a functional block diagram showing the hardware and software configurations of an image recognition apparatus according to a sixth embodiment of the present invention.
FIG. 29 is a diagram schematically showing an input / output relationship of an unknown ID determination unit in FIG. 28;
FIGS. 30A and 30B are explanatory diagrams of processing of the unknown ID determination unit.
FIGS. 31A and 31B are explanatory diagrams of processing of the unknown ID determination unit.
FIG. 32 is a flowchart showing processing in an unknown ID determination unit of the image recognition device according to the seventh embodiment of the present invention.
[Explanation of symbols]
10 Electronic camera
20, 20A-20C Image recognition device
21 Image memory
22, 22A Moving object recognition unit
23, 24 position register array
25 Relative distance register array
26, 26A V / D calculator
27 V / D time series memory
27A O time series memory
28 Recognition start determination unit
29 V / D time series cutout
29A Observation sequence cutout section
30, 30A Vector rotating part
31 Quantizer
32 Similarity calculator
33 Collision determination unit
M1-M6 cars
34 Background image generator
36 ID generation / disappearance part
37 Motion vector calculation unit
38 Moving object update unit
39 Moving object division
40 Distance calculation unit between moving objects
41, 41A Image processing apparatus
42 Decoder
43, 43A Shift register
44, 44A Neural network
45 Comparator
46 Subsequence observation probability calculator
47 Unknown ID decision section
B1, B2, B3 blocks
F1, F2 frame image
Q1-Q3 Object map
MV1, MV2 motion vector
B21, B22 judgment frame
B21F, B2F Local image

Claims (7)

An observation sequence {O ₁ O _2... O _T }, which is a time series of the observation amount O obtained by quantizing a quantity related to the relative velocity vector V between moving objects, is obtained.
Calculating the similarity of the observation sequence to the reference sequence;
A movement classification method between moving objects, characterized in that movements between moving objects are classified based on the similarity. The observed quantity O is obtained by quantizing an amount related to the relative velocity vector with respect to the direction of the relative velocity vector of the first observed quantity O ₁ for each observation series. The moving object motion classification method according to claim 1.   The observation amount O relates to a vector obtained by rotating the relative velocity vector between the first moving object and the second moving object by −θ when the angle of the velocity vector of the first moving object with respect to the reference direction is θ. 2. The moving object motion classification method according to claim 1, wherein the quantity is quantized.   4. The movement according to claim 2, wherein the quantity related to the relative velocity vector is V · f (d), where f (d) is a monotonically decreasing function of the distance d between the moving objects. Inter-object motion classification method. Only when it is determined that the amount V · f (d) relating to the relative velocity vector is greater than a predetermined value, the similarity is obtained for the observation sequence {O ₁ O _2... O _T } obtained after a predetermined time from the determination. 5. The method for classifying motion between moving objects according to claim 4, wherein the motion classification is calculated. The captured image of the moving object is processed to obtain an observation sequence {O ₁ O _2... O _T }, which is a time series of the observation amount O obtained by quantizing the amount related to the relative velocity vector V between the moving objects. An image recognition apparatus characterized by calculating a similarity of a series to a reference sequence and classifying an action between moving objects based on the similarity. An electronic camera that images moving objects and outputs image signals;
  An observation sequence {O that is a time series of the observation amount O obtained by processing the image signal and quantizing the amount related to the relative velocity vector V between the moving objects. ₁ O _{2 ...} O _T }, Calculating the similarity of the observation sequence to the reference sequence, and classifying the motion between the moving objects based on the similarity,
  An apparatus for classifying motion between moving objects, comprising:

Images