JPS63305477A - 移動物体像抽出方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、連続的に得られる画像を処理することにより
外界を移動する物体の像を抽出する移動物体像抽出方式
に関し、特１こ簡単な装置で高速に外界の移動物体の像
と移動速度を抽出するに好適な移動物体像抽出方式に関
する。

（従来の技術〕 従来、連続的に得られる画像から移動物体を抽出する方
法については、例えば、Ｔｓｕｊｉ等によりアイ・イー
・イー・イー　トランザクションオンパターンアナリシ
スアンドマシンインテリジェンス、ビーニーエムアイ　
２．第６号（１９８０）　、第５１６〜５２２頁（Ｉ　
Ｅ　Ｅ　Ｅ　　Ｔｒａｎｓａｃｔｉｏｎ　ｏｎ　Ｐａｔ
ｔｅｒｎＡｎａｌｙｓｉｓ　　ａｎｄ　　Ｍａｃｈｉｎ
ｅ　　　Ｉｎｔｅｌｌｉｇｅｎｃｅ、　　ｖｏｌ、ＰＡ
Ｍ　Ｉ−２，Ｎａ６（１９８０）、ρρ、５１６−５２
２）において論しられている。

この方法は、連続的に得られる画像からエツジの線分を
抽出し、線分の接続関係から閉領域を求め、連続した画
像間で類似した領域の対を得ることにより各線分の動き
を抽出するものである。

〔発明が解決しようとする問題点〕

上記従来技術は、連続した画像から対応する領域を抽出
し、領域を構成する線分の動きを求めるものである。こ
のため、上記技術は、線分の抽出が確実に行え、しかも
、領域が容易に構成できる画像にしか適用できないとい
う問題、また、連続した画像では領域の形状が変化する
ことがあり、その場合には誤った動きを抽出してしまう
という問題があった。

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、従来の移動物体像抽出方式における上述
の如き問題を解消し、画像から抽出される線分が途切れ
て領域の抽出を行うことが困難な画像にも適用でき、し
かも、領域の形状が変化する場合にも、安定に動きの抽
出が行える、移動物体像抽出方式を提供することにある
。

〔問題点を解決するための手段〕

本発明の上記目的は、外界の物体の像を含む画像情報を
発生する手段と、この画像情報を利用して外界を移動す
る物体の像を抽出する手段とを有する画像処理装置にお
いて、前記画像情報の微分画像からエツジの線分を抽出
し、該エツジの線分を含む近傍画素の微分画像パターン
と、単位時刻前に得られた画像情報の微分画像パターン
とを比較して最も類似する位置を求めることにより、前
記エツジの線分の動きを抽出することを特徴とする移動
物体像抽出方式によって達成される。

〔作用〕

第１図は本発明の移動物体抽出方式の概要を示すフロー
チャートである。これからも理解される如く、本発明に
おいては、連続して得られる画像は非常に近似した画像
であり、物体の輪郭を表わすエツジの線分の特徴量（輝
度変化２長さ、形状等）はあまり変化しないことを利用
して、画像からエツジの線分を抽出し、前記特徴量が最
も類似する部分を、単位時刻前の画像内で探索すること
により、安定にエツジ線分の動きを抽出することができ
るものである。詳細は、以下に説明する。

〔実施例〕

以下、本発明の実施例を図面に基づいて詳細に説明する
。

第２図は本発明の一実施例を示す移動物体像抽出装置の
構成図である。図において、　１１はＴＶカメラ、１２
はＡ／Ｄ変換器、　１３．１４は画像メモリ、１５は微
分演算部、　１６．１７は微分画像メモリ、１８は初期
移動量演算部、１９は初期移動量メモリ、２０は動き抽
出部、２１は移動量メモリ、２２は移動物体像抽出部、
２３はＤ／Ａ変換器、２４はＴＶ−Ｔ−ニタ、２５〜２
７はデータ転送路（パス）を示している。

ＴＶカメラ１１により撮像された画像を表わす情報は、
Ａ／Ｄ変換器１２によりアナログ信号からディジタル信
号に変換された後、バス２５を介して画像メモリ１３に
格納される。同様にして、画像メモリ１４には、単位時
間経過後に撮偉された画像情報が格納される。微分演算
部１５は、上記画像メモリ１３および１４に格納されて
いる画像データを、バス２６を介して読出し、微分処理
を行った後、それぞれ、微分画像メモリ１６および１７
に格納する。

初期移動量演算部１８は、バス２６を介して画像メモリ
Ｉ３および１４に格納されている画像データを読出し、
これらの画像データ間の大まかな変化を求め、初期移動
量メモリ１９に結果を格納する。

動き抽出部２０は、バス２７を介して微分画像メモリ１
６および１７から微分画像を読出し、エツジの線分を抽
出した後、エツジの線分が最も一致する部分を探索し、
移動量を求める。この結果と、バス２７を介して移動量
メモリ２１から読出される前時刻までの移動量の積分値
とを加算し、移動量メモリ２１に格納する。移動物体像
抽出部２２は、移動量メモリ２１に格納されている移動
量の積分値をバス２７を介して読出し、類似した動きの
画素を一つの移動物体として統合する。この結果は、Ｄ
／Ａ変換器２３を通して、ディジタル信号からアナログ
信号に変換され、ＴＶモニタ２４に表示される。

第２図に示した移動物体像抽出装置により連続した画像
の処理を行う場合、１゛■カメラ１１から最初に得られ
た画像と、単位時刻後に得られた画像が画像メモ１月３
および１４に格納され、微分演算部１５により微分処理
された結果が微分画像メモリ１６および１７に格納され
る。この後、初期移動！演算部１８．動き抽出部２０に
よる処理が行われ、結果はそのまま、移動量メモリ２１
に格納される。また、単位時刻毎に１次々と画像データ
がＴＶカメラ１１から入力され、画像メモ１月３および
１４のうち、古い時刻のデータと置換えられる。

初期移動量演算部１８および動き抽出部２０における計
算は、新しい時刻の画像データに対する古い時刻の画像
データの位置として移動量が計算できるように１画像メ
モリ１３と１４．および、微分画像メモリ１６と１７と
を交互に切換える。この結果、移動量メモリ２１には、
最新の画像データ内の各エツジの線分を構成する画素に
対し、最初の画像内の位置からの移動量が格納されてい
ることになる。

以下、第２図に示した実施例の各部の処理を詳細に説明
する。

微分演算部１５は１次の如き微分処理を行う。

横方向微分： Ｈ’（ｘ＋ｙ）＝Ｉ’（ｘ＋Ｌｙ）−Ｉ’（Ｘ−Ｌｙ）
・・・・（１） 縦方向微分： Ｖｔ（ｘ　＋　ｙ）＝　Ｉ　ｔ（ｘ　＋　ｙ＋１）−Ｉ
　’（Ｘ、　ｙ−１）・・・・（２） ここで、Ｉ’（ｘｙｙ）は画像メモリ１３または１４に
格納されている時刻ｔの画像データのうち、横方向位置
Ｘ、縦方向位置ｙにある画素の輝度を表わす。同様に、
Ｈ’（ｘ、ｙＬＶ’（ｘ＋ｙ）は、横方向。

縦方向の微分画像データを表わす。

初期移動量演算部１８は、次の如き処理を行う。

まず１時刻りの画像データを、第３図に示す如く画像デ
ータ３１を適当な大きさのブロック３２に分割する。次
に、各ブロック毎に、第４図に示す処理により、移動量
を求める。すなわち、 （ｉ）移動量の初期値をゼロとする。つまり、横方向の
移動量Ｓ　ｘ　”　Ｏ、縦方向の移動量Ｓ　ｙ　＝　０
とする（ステップ４１）。

（ｉｉ）横方向の移動量Ｓｘ＋ｄｘ（ｄｘｍ−１，０，
１）、縦方向の移動量ｓｙ＋　ｄ　ｙ（ｄ　ｙ＝−１，
０，０）としたときの画像間の輝度差Ｄ（ｄｘ、ｄｙ）
を、次式により求める。

Ｄ　（ｄ　ｘ、ｄ　ｙ） ＝ΣＩＩ’（ｘ、ｙ）−Ｉ’−’（ｘ＋ｓｘ＋ｄ、、ｙ
＋ｓｙ＋ｄ、）ｌＣｘ、ｙ） ・・・・（３） 但し−（Ｘｙｙ）は各ブロック内の画素位置である。

（ｉｉｉ）次に、上述の輝度差Ｄ（ｄｘ、ｄｙ）の最小
値を与える（ｄｘ、ｄｙ）の値（ｄ　ｘ”、ｄ　ｙ”）
を求める（ステップ４２）。（ｄｘｍ、ｄｙ″）＝（０
，ｏ）の場合（ステップ４３）ブロックの移動量は（Ｓ
ｘ、Ｓｙ）であり、処理を終了する。また、ステップ４
３で（ｄ　ｘ”＝　ｄ　ｙ”）≠（０，０）の場合には
、Ｓ、←Ｓｘ＋ｄｘ”＋　５ｙ４−ｓｙ＋ｄｙ”と置換
えて（ｉｉ）の演算を繰り返す（ステップ４４）。

以上の処理を画像　Ｉｔのブロック３２（第３図）のす
べてに対して行うことにより、画像　Ｉｔの各部の画像
　■ｔ−１に対する移動量の初期値を求めることができ
る。

次に、動き抽出部２０の処理について、第１０図に示す
フローチャートを用いて説明する。動き抽出部２０は、
横方向の微分画像を用いた処理と、縦方向の微分画像を
用いた処理を行うが、以下の説明では、横方向の微分画
像を用いた処理のみを説明することにする。

（ｉ）縦方向のエツジの線分を抽出する。すなわち横方
向に微分した画像Ｈｔから、次式を満足する画素を抽出
する（ステップ６１）。

ＩＨ’（ｘ、ｙ）１ ＞ｍａｘ（ｔｈ、ＩＨ’（ｘ＋１．ｙ）１．ＩＨ’（ｘ
−Ｌｙ）ｌ）・・・・（４） ここで、ｔｈは適当な閾値である。

（４）式により、微分値の値が一定の閾値　１ｈよりも
大きく、しかも、横方向の近傍画素に対して局所的なピ
ークとなる画素（エツジ）が抽出できる。次に、上で抽
出した画素から、第５図に示す如く縦方向に連続してい
るものを抽出し、エツジの線分とする。つまり（ｘｔｙ
）の位置の画素がエツジであり、（ｘ−Ｌｙ”１）、（
ｘ　ｌ　ｙｅｔ）ｔ（ｘ＋ｔｔ　ｙｅｔ）の位置の画素
のいずれかがエツジである場合には、その画素と（ｘ、
ｙ）の位置の画素を同一の線分とする。

この処理を全画素について行うことにより、縦方向のエ
ツジの線分が抽出できる。この場合、（４）式を満足す
る画素には−Ｈ’（ｘ、ｙ）〉０のものと、Ｈｔ（ｘ　
ｒ　ｙ　）　＜　Ｏのものとがある。線分の抽出におい
てはこれらを区別し、符号の異なる画素は異なる線分と
し、結合はさせない。

（ｎ）エツジの線分の移動量演算を行う。まず、第６図
に示す如く、エツジの線分を構成する画素が含まれるブ
ロックを判定する。これらのブロックに対する初期移動
ｆｆ１（ｓｘ、ｓｙ）を、初期移動量メモリ１９から読
出し、横方向の移動量の最小値Ｍｉｎ（Ｓｘ）と最大値
Ｍａｘ（Ｓｘ）。

および縦方向の移動量の最小値Ｍｉｎ（Ｓｙ）、最大値
Ｍａｘ（Ｓｙ）を求める。

エツジの線分の移ａｍを探索する範囲は、各ブロックの
移動量を求める際の誤差を考慮して、 ・・・・（５） とする（ステップ６２）、ここで、ａは適当な数である
。

（５）式の探索範囲で、エツジの線分の移動量を求める
。移動量の求め方は、基本的には第７図に示す如きテン
プレートを用いる探索である。つまり、エツジの線分５
１の近傍を含む領域（テンプレート）５２を作成し、こ
のテンプレート内の微分量と最も合致する位置を、単位
時刻前の画像の微分画像内で致索する。すなわち、エツ
ジの線分の平均的な移動量（ＳＸ＝ｓｙ）は。

ｆ（Ｓｘ、５ｙ）＝（（Ｓｘ、Ｓｙ）；ｍ１ｎＤ（ｄｘ
、ｄｙ））・・・・（６） から求める（ステップ６３）。ここで、Σはテン（Ｘ＋
ｙ） プレート内の全画素に対する総和であることを示す。

（ｉｉｉ）一致度を計算し、エツジの線分を分割する。

エツジの線分単位で移ｔｊＪ量を計算する場合。

第８図に示す如く、エツジの線分が分離・結合したり、
拡大・縮小や回転がある場合は、エツジの線分全体の移
動量として、上記（６）式の結果を用いることができな
い。各画素の一致度合ｒ（ｘｔｙ）を ｒ（ｘｔｙ） ＝Ｈ’−１（ｘ＋ｄｘｙ３／＋ｄｙ）／Ｈ’（ｘ、ｙ）
・・・・（７） とし、エツジの線分に含まれる全画素に対して（７）式
により一致度合を求め、一致度合が一定の範囲内、すな
わち、 ｒｍｉ。≦ｒ（ｘｔｙ）≦ｒ’ｍａｘ　　　　　”’（
８）を満足する場合は、その画素は一致しているとする
。（８）式を満足しない画素がある場合は、その部分を
別のエツジ線分として分割し上記（ｎ）の手順を繰り返
す（ステップ６４）。満足する部分は下記の（ｉＶ）の
手順により処理する。なお、エツジ線分を分割し、（ｉ
ｉ）の手順を繰り返しても（８）式を満足しない場合は
。

対応する部分がない（ｏｃｃｌｕｓｉｏｎ）とする。

（ｉｖ）画素単位の移動量の計算を行う。第９図に示す
如く、エツジの線分として求めた移動量と各画素の移動
量とは一致しない、第９図（ａ）に示すエツジ線分を（
Ｓｘ＝Ｓｙ）だけ移動すると、第９図（ｂ）に示すエツ
ジ線分とａと　ｒ。

ｂとｂ′が一致する状態で重なったとする。

このとき、Ｃとｃ’、ｄとｄ′以外の画素は重なった部
分に対応画素があるため、移動量は（ｓｘ、ｓｙ）であ
る。画素Ｃ゛は、左方向に１だけずらせばＣと一致する
ため、画素Ｃの移動量は（Ｓｘ”１ｔＳｙ）とする、同
様に１画素ｄの移動量は（ｓｘ−１ｔｓｙ）とする（ス
テップ６５）。

近傍に対応する画素がない場合は、前述の如く、対応す
る部分がない（ｏｃｃｌｕｓｉｏｎ）とする。

画素毎に求まった移動量は、移動量メモリ２１から前時
刻までの移動量を読出して、対応する画素の移動量と加
算され、現時刻の画像データに対する移動量として移動
量メモリ２１に格納される。

以上述べた（ｉｉ）〜（ｉｖ）までの処理をすべての縦
エツジ線分について行うことにより５画像内の縦方向の
エツジ線分に対する移動量を求めることができる（ステ
ップ６６）。

横方向のエツジの線分に対しても、同様の処理を行うこ
とにより移動量を求めることができる。

但し、微分画像は（２）式に示した縦方向微分を行った
ものを用い、上記（ｉ）の処理では、ｌ　Ｖ　’　（ｘ
　ｐ　ｙ　）　Ｉ ＞ｗａｘ（ｔｈｐｌＶ’（ｘ＋Ｌｙ）ＬＩＶｔ（ｘ−１
−ｙ）Ｉ）・・・・（９） を満足する画素をエツジとして抽出する。また、エツジ
線分は（ｘｙｙ）の位置の画素がエツジであり、（ｘ−
ｔ＋ｙ＋ｘ）ｔ（ｘｔｙ＋１）および（ｘ”ｌｙｙ”ｌ
）の位置の画素のいずれかがエツジである場合には、そ
の画素と（ｘ、ｙ）の位置の画素を同一の線分とする。

この場合にも、ｖｔ（ｘｖｙ）＞Ｏのものと、Ｖ　’　
（ｘ　ｙ　ｙ　）　＜　Ｏのものとがあり、線分の抽出
においては、これらを区別する。更に、上記（〜）の処
理においては、対応する画素は縦方向の位置の画素を探
索して行うものとする。

移動物体像抽出部２２は以下の処理を行う。移動量メモ
リ２１からバス２７を介して１画像の移動量のデータを
読出す。エツジを構成する画素のうち、移動量（Ｓｘ、
Ｓｙ）が一定の移動量Ｖよりも大きいもの、すなわち、 Ｐ■耳Ｉ７≧ｖ　　　　　　　　　　＝（１０）を満足
するものを抽出する。この画素位置の情報を、バス２７
を介してＤ／Ａ変換器２３に送り、ＴＶモニタ２４に表
示することにより、移動物体の像を得ることができる。

（１０）式の処理は、ｌ５ＸＩ≧Ｖまたは＋ｓｙ＋≧ｖ
　　　　　＝（１１）という簡単な処理とすることもで
きる。

一つの物体が移動する場合には、（１０）式または（１
１）式により移動する物体の像が抽出できるが、複数の
移動物体を含む場合は、更に次の如き処理を行う。

移動物体のエツジのうち、画像上での位置が近傍にあり
、しかも、移動量が類似しているものを同一の物体のエ
ツジとする。すなわち、画像上の（Ｘｘ＋ｙｉ）にある
画像と（Ｘ　ｚ　ｔ　３’　ｚ　）にある画像とがそれ
ぞれ、移動量（ｓｘｘ−ｓｙ−）、（ｓｘｚ、５ｙｚ）
であるとするとき、（１２）式と（１３）式とを同時に
満足する画素は同一の物体の輪郭とする。

５ｘｔ−５ｙｘ　　”　５ｘｚ−８ｙｘ）≦Ｓ、　−・
−・（１２）Ｘｚ−ｙｚ　　”（Ｘｉ−ｙａ）２≦ｄｔ
　　　””（１３）ここで、Ｓ、およびｄｔは、適当な
閾値である。

この情報を、バス２７を介してＤ／Ａ変換器２３に送り
、ＴＶモニタ２４に表示することにより、複数の移動物
体の輪郭を区別して表示することができる。数枚の連続
画像を処理する毎に、移動物体像の抽出を移動物体像抽
出部２２で行い、移動量メモリ２１のデータを消去する
ことにより、安定な移動物体の像が抽出できる。

上記実施例によれば、連続的に得られる画像のエツジの
特徴量を用いるため、誤りの少ない移動量の算出が行え
る。また、画像のエツジ近傍に対する処理で移動量が求
まるため、演算量が少なくなり、高速な処理を行うこと
で可能である。

上記実施例においては、各演算部における処理を、ソフ
トウェアによる処理として説明したが、電子回路による
ハードウェアとして実現することも可能である。また、
データを転送するバスは、３本として説明したが、他の
本数で実現することも可能である。

（１）式および（２）式では１画像からエツジを抽出す
るための微分方法として、−次微分による方法を示した
が、 Ｇｔ（ｘｙｙ）＝Ｉｔ（ｘ、ｙ） （ＩＪｘ−Ｌ　ｙ　）”Ｉ’（ｘ　＋　ｙ−１）＋Ｉ’
（ｘ＋１．　ｙ　）＋Ｉｔ（ｘ、ｙ＋１））・・・・（
１４）等の二次微分、あるいは、他の微分方法を用いて
も同様な処理で移動物体の像が抽出できる。

〔発明の効果〕 以上詳細に述べた如く、本発明によれば、外界の物体の
像を含む画像端すＵを発生する手段と、この画像情報を
利用して外界を移動する物体の像を抽出する手段とを有
する画像処理装置において、前記画像情報の微分画像か
らエツジの線分を抽出し、該エツジの線分を含む近傍画
素の微分画像パターンと、単位時刻前に得られた画像情
報の微分画像パターンとを比較して最も類似する位置を
求めることにより、前記エツジの線分の動きを抽出する
ようにしたので１画像から抽出される線分が途切れて領
域の抽出を行うことが困難な画像にも適用でき、しかも
、領域の形状が変化する場合にも、安定に動きの抽出が
行える。移動物体像抽出方式を実現できるという顕著な
効果を奏するものである。

【図面の簡単な説明】

第１図は本発明の移動物体像抽出方式の概要を示すフロ
ーチャート、第２図は本発明の一実施例を示す移動物体
゛像抽出装置の構成図、第３図は初期移動量を求めるた
めのブロック分割を示す図、第４図は初期移動量演算部
の処理を説明するフローチャート、第５図はエツジ線分
の抽出方法を説明する図、第６図は初期移動量からのエ
ツジ線分の移動量の探索範囲を説明する図、第７図はエ
ツジ線分からテンプレートを構成する方法を説明する図
、第８図は画像間でのエツジ線分の変化を説明する図、
第９図は画素単位の移動量を算出する方法を説明する図
、第１０図は動き抽出部の処理を説明するフローチャー
トである。 １１：ＴＶカメラ、１２：Ａ／Ｄ変換器、１３，１４：
画像メモリ、１５：微分演算部、１６．１７：微分画像
メモリ、１８：初期移動量演算部、１９：初期移動量メ
モリ、２０：動き抽出部、２１：移動量メモリ、２２：
移動物体像抽出部、２３：Ｄ／Ａ変換器、２４：Ｔ■モ
ニタ、２５〜２７：バス。 第　　　１　　　図 第　　　３　　　図 第　　　４　　　図 第５図 第６図 第　　　７　　　図 第　　　８　　　図 （ａ）　　　（１））　　（ｃ） 第　　　９　　　図 （ａ）　　　　　　（ｂ） ｂ　　　　　　　　　　　ｂ’ 第　　　１０　　　図

Claims (1)

1. 【特許請求の範囲】 １、外界の物体の像を含む画像情報を発生する手段と、
   この画像情報を利用して外界を移動する物体の像を抽出
   する手段とを有する画像処置装置において、前記画像情
   報の微分画像からエッジの線分を抽出し、該エッジの線
   分を含む近傍画素の微分画像パターンと、単位時刻前に
   得られた画像情報の微分画像パターンとを比較して最も
   類似する位置を求めることにより、前記エッジの線分の
   動きを抽出することを特徴とする移動物体像抽出方式。 ２、外界の物体の像を含む画像情報を発生する手段と、
   この画像情報を利用して外界を移動する物体の像を抽出
   する手段とを有する画像処理装置において、前記画像情
   報の微分画像からエッジの線分を抽出し、該エッジの線
   分を含む近傍画素の微分画像パターンと、単位時刻前に
   得られた画像情報の微分画像パターンとを比較して分値
   が大きく異なる部分で線分を分割し、分割された線分の
   各々に対して、単位時刻前の画像情報の微分画像パター
   ンと最も類似する部分を求めることにより、前記エッジ
   の線分の動きを抽出することを特徴とする移動物体像抽
   出方式。 ３、外界の物体の像を含む画像情報を発生する手段と、
   この画像情報を利用して外界を移動する物体の像を抽出
   する手段とを有する画像処理装置において、連続して得
   られる画像毎にエッジの線分の動きを抽出して、エッジ
   の線分を構成する画素毎に動きの量を積分し、近接した
   画像上の位置にあり、しかも、類似した動きの量の画素
   を同一の物体とすることにより、複数の移動物体の像を
   抽出することを特徴とする移動物体像抽出方式。 ４、前記エッジの線分を抽出するに際し、画像データを
   横方向に微分した画像から縦方向のエッジの線分を、画
   像データを縦方向に微分した画像から横方向のエッジの
   線分をそれぞれ抽出し、類似する位置を求めるに際して
   は、それぞれのエッジの線分を抽出した微分画像を用い
   ることを特徴とする、特許請求の範囲第１項ないし第３
   項記載の移動物体像抽出方式。