JPH0293320A - 動的物体の追跡法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、動的物体を追跡しその軌跡を記録・解析する
方法に関し、特に動的物体の移動パターンを描いたり、
移動速度や方向変換の頻度などの測定に用いる動的物体
の追跡法に関する。

［従来の技術］ 従来より、この種の動的物体を追跡する自動装置として
は、いわゆる画像処理装置が使えるが、非常に高価であ
るという欠点があった。

一方、動的物体を比較的安価な設備を用いて追跡する方
法としては、例えばゾウリムシのような原生動物の行動
を顕＠鏡下で調べる方法が提案されている（Ｐｈｙｓｉ
ｏｌｏｇｙ　＆　Ｂｅｈａｖｉｏｒ、　Ｖｏｌ、４２（
＋９８８）、　Ｉ）Ｌ３９７−４００）。

この方法は、テレビカメラ、パーソナルコンピュータと
共に画像処理用メモリー（フォトロン社製ＦＤＭ−１）
を使用し、テレビカメラで撮影した画像を２５６＊２５
６のマトリックス（約６５にバイト）に分割し、マトリ
ックスの各座標点における輝度データから動的物体を認
識するものである。具体的には、まずこの画像処理用メ
モリー（所定周期で各座標点の輝度データを取り込むこ
とができる）に蓄積した各座標点の輝度データをパーソ
ナルコンピュータのメモリーに転送する。しかる後、コ
ンピュータのメモリーにすでに記録されている前周期で
取り込んだ輝度データと新たに採録した輝度データとを
各座標点ごとに引算し、最も輝度の変化の大きな座標点
を動的物体と認識する。すなわち、ｉ−１番目の周期と
ｉ番目の周期の画像の各座標点ごとの輝度データを比較
し最も輝度の変化の大きい座標点を求め、その１点を動
的物体と判定し移動軌跡を描いている。

さらに、形状を変える物体の変形周期を１ｌＦＪ定する
方法として、特開昭８２−２８１０８９号公報に開示さ
れた方法がある。これは固定されたδｌ定点の輝度の経
時変化を追跡しているため、一定の場所を中心にして形
状を弯える物体の変形周期等を追跡する場合には適して
いる。

［発明が解決しようとする課題］ 上述したテレビカメラ、パーソナルコンピュータおよび
画像処理用メモリーなどを用いる方法（Ｐｈｙｓｉｏｌ
ｏｇｙ　＆　Ｂｅｈａｖｉｏｒ、　Ｖｏｌ、４２　　（
１９８ｇ）、　ｐＩ）。

３９７−４００　）は、比較的安価な設備を用いて、移
動する物体を追跡できる優れた方法といえる。しかしな
がら、この方法では、画像のコントラストが弱い場合や
暗い物体の場合に物体の撮像信号が弱くなり、追跡する
ことが困難であるという問題点がある。

また、画像内の座標点のうち輝度の変化が一番大きい１
点を動的物体と判定して追跡しているので、画像信号中
に生じたノイズを物体と誤認することがあるために動的
物体の軌跡の連続記録が不可能となる状態が発生する。

したがって、ノイズが大きな場合は、１ＰＩ定が困難で
ある。

さらに、ｉ−１番目の周期における画像およびｉ番目の
周期における画像をそれぞれ撮像したとき、動的物体が
一時的に停止していると、ｉ−１番目とｉ番目の画像の
座標点の輝度が変化しないため、動的物体不存在という
形で処理されてしまつ〇 一方、特開昭６Ｌ−２６１０８９号公報に開示された方
法は、固定された測定点の輝度の経時変化を追跡してい
るため、広い範囲を移動する動的物体の位置を追跡する
ことはできない。

本発明の目的は、上述の従来形における問題点に鑑み、
画像のコントラストが弱い場合や暗い物体の場合であっ
ても動的物体の位置を経時的に追跡することができ、ま
たノイズが大きな場合や動的物体が一時的に停止した場
合にも利用可能であって、しかも比較的安価な設備を用
いて動的物体を追跡することのできる方法を提供するこ
とにある。

［課題を解決するための手段および作用］上記の目的を
達成するため、本発明は、移動する物体を撮像し、予め
所定数の座標点に分割されている撮像画面のそれぞれの
座標点の輝度を所定階調に分割π１測し、該輝度計測を
所定の周期で繰返し、得られた各周期ごとの輝度データ
から各座標点における輝度の変化を検出することにより
上記移動物体の位置を追跡する動的物体の追跡法におい
て、隣接する３点以上の座標点における輝度変化に基づ
いて上記移動物体を面として識別することにより物体の
位置をとらえ、かつ輝度の変化を検出する画面上の範囲
を物体の移動速度に応じて予め設定した画面範囲まで縮
小することを特徴とする。

本発明に係る動的物体の追跡法では、まず動的物体本来
の信号をノイズと区別するため、従来のように１点の座
標点の輝度変化により動的物体を判定するのでなく、隣
接する３点以上の座標点の輝度変化により動的物体を面
として捕らえている。

次に、画像信号中に任意の上限および下限レベルを設定
し、その設定範囲内を所定の階調に分割し、その階調を
尺度として各座標点における輝度の計測を行なっている
。したがって、コントラストが上がり暗い物体をも容易
に判定できる。　さらに、前記隣接する３点以上の座標
の輝度変化を、撮像時間が前後する１組の画像を２以上
繰り返し比較することで捕えている。これにより、−時
停止している動的物体も容易に固定物体と区別可能とな
る。

また、これら判定操作に必要な演算時間を短縮するため
に、動的物体を捕えるための演算を行なう画面範囲（ウ
ィンドウ）を物体の移動速度に応じて予め設定した画面
範囲まで段階的に小さくし、パーソナルコンピュータレ
ベルの安価な小型計算機を用いる場合であっても、動的
物体本来の信号とノイズを区別し、動的物体をその明暗
に関わらず、またその動きの緩急に関わらず正確に追跡
可能とした。

［実施例］ 以下、図面を用いて本発明の詳細な説明する。

第１図は、本発明の一実施例に係る動的物体の追跡法を
適用した動的物体の追跡・記録装置の構成図である。

同図において、１は光源、２は観察する動的物体である
。光源１からの光は、フィルタ１２を介してファイバー
リング１０内に導かれ、矢印１１のように出射する。な
お、本実施例では試験光として可視光を使用したが、こ
れに限らず追跡する動的物体により赤外光等を使用して
もよい。矢印１１のように出射した可視光は、セル１３
内の動的物体２に照射される。かかる照明系は暗視野照
明となっており、観察すべき動的物体は輝度の高い部分
として認識される。

３は動的物体２の動きをとらえるビデオカメラ、４は画
像信号を制御するためのビデオシグナルコントローラー
　５は画像処理用メモリーカード（フォトロン社製ＦＤ
Ｍ−４）　、６は後述するような処理を実行するプログ
ラムを起動するパーソナルコンピューター（ＮＥＣ製、
ＰＣ−９８０１シリーズ）、７は実際の画像にウィンド
ウを重ねて表示することができるビデオモニター　８は
測定条件や記録および解析の結果を示すカラーデイスプ
レィ、９はハードコピーをとることができるプリンター
　１４は光源１をオン／オフするためのＩ１０カードで
ある。

次に、第２図のフローチャートを参照して本実施例に係
る第１図の装置の動作を説明する。

まず、ステップＳ１で画像処理用メモリ５のゲイン設定
を行なう。ゲイン設定とは、輝度の測定範囲の上限およ
び下限を設定することにより、映像信号の輝度の全範囲
のうち任意の範囲を抽出しそれを６４階調に分割して画
像処理することを可能とするものである。具体的には、
実際に動的物体を撮像した出力信号の強度をデイスプレ
ィ８で確認しながら、測定範囲の上限、下限をパーソナ
ルコンピュータ６のキーボードから入力することによっ
て行なう。

第５図は、この様なゲイン設定を行なう前のデイスプレ
ィ８の表示画面を示す。これは単細胞原生動物を遊泳さ
せ、画像として捕えられたものをカラーデイスプレィ８
上に表示しプリンター９により印字したものである。同
図において、撮像範囲を表示する画面３１には動的物体
３５が映し出されているが、その他に小さなゴミおよび
容器による反射等も同時に映し出されている。３２はラ
イン３６に沿った映像信号の強度を示す波形、３３は現
在設定されている６４階調の範囲の最大階調に当たる強
度のレベルを示すライン、３４は現在設定されている６
４階調の範囲の最小階調に当たる強度のレベルを示すラ
インである。実際の信号の強度の範囲に比べて６４階調
に分割する範囲（ライン３３．３４間）が広すぎるため
ゴミ等も映し出されている。

第４図は、第５図のライン３３および３４を物体および
周辺の輝度にあわせて移動しゲイン設定を適正に行なっ
た後のデイスプレィ８の表示画面を示す。撮像範囲を表
示する画面３１には動的物体３５が映し出されており、
小さなゴミおよび容器による反射等は映し出されていな
い。ライン３６に沿った映像信号の強度を示す波形３２
は波形のピークに当たる部分のみが表れ、結果的に対象
物である動的物体のみが鮮明に映し出される。

このようにステップＳ１のゲイン設定を適正に行なうこ
とにより、従来の方法ではＷＪ定不可能だったような暗
い物体、暗い条件でしか測定できないような物体、ある
いは画面にゴミが多数存在する状態についても測定が可
能になる。

再び、第２図のフローチャートを参照して、ステップＳ
１でゲイン設定が終了したら、ステップＳ２で測定に必
要なパラメータ、例えば後述するスレッショルドレベル
、測定開始時刻、最初のウィンドウの大きさおよび最後
のウィンドウの大きさ等を入力する。

ステップＳ３で、パーソナルコンピュータ６は測定開始
時刻になったかどうか判別し、その時刻になったらステ
ップＳ４に進み測定を開始する。

ステップＳ４で、パーソナルコンピュータ６はＩ１０カ
ード１４を介して光源１を点灯する。これにより、動的
物体２に可視光１１が斜め横方向から照射される。前述
したように、この照明系は暗視野照明となっており、可
視光１１のうちセル１３を透過した光はビデオカメラ３
に入射しないようになっている。そして、動的物体２に
より散乱された光はビデオカメラ３で捕らえられ、その
画像信号がビデオシグナルコントローラー４を経て画像
処理用メモリー５に送信される。画像処理用メモリー５
は２５６Ｈ５Ｂのマトリックスの各画素毎に前述した６
４階調を尺度とした輝度データを蓄積し、これをパーソ
ナルコンピューター６に送信する。

次に、ステップＳ５で全画像（２５８＊２５６の座標点
）の中から動的物体の座標を次の手順に従って検出する
。すなわち、画像処理用メモリ５に蓄積されたｉ番目の
周期における画像の輝度データと、パーソナルコンピュ
ーター６に送信されているｉ−１番目の周期における画
像の輝度データを各画素毎に引算し、その値が予め設定
したスレショルドレベルを越え、かつ最大である画素の
座標を動的物体の座標点とする。

この座標点が検出できた場合はステップＳ６からステッ
プＳ８に分岐し、検出できなかった場合はステップＳ７
を介してステップＳ５に戻りそれでも検出できない場合
は５０回（あるいは１００回）検出処理を繰返す。所定
の回数だけ検出処理を行なっても検出できなかった場合
は、ステップＳ２３で光源１を消灯し、ステップＳ２２
で次の６１定時刻を計算した後、ステップＳ３に戻って
再度の計測を行なう。

このステップＳ５→Ｓ６→Ｓ７→Ｓ５のループは、マト
リックス上に動的物体が捕らえられない場合、すなわち
各々の座標点の輝度が変化しない場合の処理である。こ
れは動的物体が画面に存在しないかあるいは一時的に動
かないでいる場合に相当する。同一座標点においてｉ−
１番目に測定した輝度データとｉ番目に測定した輝度デ
ータとを単純に比較することで動的物体の動きを検出す
る従来法では、物体が所定の時間以上動かないでいる場
合、動的物体不存在という形で処理される恐れがある。

このような場合、合前後する画像を複数回比較すること
で、すなわち各々の座標点についてｉ−１番目とｉ番目
の輝度、ｉ番目とｉ＋１番目の輝度、・・・と適当な回
数繰返して比較することで、動的物体が一時停止してお
りある程度の時間経過後に再度動作を開始した場合にも
、その動きを捕らえ動的物体として認識することが可能
である。

ステップＳ５．Ｓ６で動的物体の座標が検出されたとき
は、ステップＳ８で最初のウィンドウを設定する。ウィ
ンドウとは動的物体を検出するために演算処理回数を減
らすために設けた画素マトリックス上の範囲である。す
なわち、このウィンドウで設定された範囲にある画素デ
ータのみが演算処理される。なお、最初のウィンドウの
大きさはステップＳ２で任意に設定することができる。

次にステップＳ９（本サブルーチンのフローチャートを
第３図に示す）で、ウィンドウ内の動的物体を輝度差の
大きい点の集合（面）と見なすことによって捕え、その
座標を検出する。すなわち、画像処理用メモリ５に蓄積
されたｉ番目の周期における画像のステップＳ８で設定
したウィンドウ内にある各画素と、パーソナルコンピュ
ーター６に送信されているｉ−１番目の周期における同
一ウィントウ内にある画素データとの引算を行ない、予
め設定したスレショルドレベル（ｔｈｒｅｓｈｏｌｄｌ
ｅｖｅｌ　）と比較し、このスレショルドレベルを越え
る輝度差を有する３点以上の相隣り合う座標点を動的物
体に対応する面として認識するのである〇具体的には、
ｉ番目とｉ−１番目の画像の比較においてウィンドウ内
の各座標点における輝度差をウィンドウの左上の座標点
から右に向かって順次計算する。ウィンドウの右端に至
ったときはそのすぐ下のラインの各座標点についてやは
り左から右に向かって輝度差の計算を行なっていく。そ
して、ある座標点の輝度差がスレショルドレベルを越え
ている場合は、その右隣と真下の座標点がスレショルド
レベルを越えているかどうかを調べ、越えていれば同様
にさらに右隣と真下の座標点についても検討を繰り返す
。このようにして、動的物体をスレショルドレベルを越
えた輝度差を有する座標点の集合（画素集団）、すなわ
ち面としてとらえる。同時に前記集合の座標点の個数と
それらの座標点の各輝度差の積算値を求める。従来の方
法では、輝度差の大きな一座標点が単独で存在するもの
（ノイズ）をも動的物体と判断して追跡してしまうが、
本実施例では輝度差がスレショルドレベルを越える点が
縦横隣接して３個以上存在する場合にのみ検出すべき動
的物体と見なす。そのため、この処理を行なうことによ
りノイズに由来する大きな値と動的物体に由来する大き
な値とを正確に区別することが可能となった。このよう
にして得た画素集団がウィンドウ内に２個以上検出され
た場合は、輝度差の積算値が最も大きい画素集団を検出
すべき動的物体とみなす。いずれの場合も、検出した画
素集団の左上端を動的物体の座標とする。逆に、画素集
団が検出されない場合は、最後に検出された座標を新座
標とする。

次にステップＳＩＯで、次のウィンドウの位置およびサ
イズを算出しセットする。次のウィンドウとは、前のス
テップＳ９で検出した動的物体の座標を中心として新た
に設定したウィンドウであってサイズを小さくしたもの
である。次にステップＳ１１を経由して再びステップＳ
９に戻り、新しいウィンドウ内の動的物体を検出し、再
度ステップＳ１０に進んで更に次のウィンドウをセット
する。この動的物体の座標の検出、ウィンドウの移動お
よびサイズの減少は、ステップＳ１１で予め設定された
最後のウィンドウサイズになるまで繰り返される。

ウィンドウサイズが予め設定された最後のサイズに達し
たら、ステップＳ１２で再びウィンドウ内の動的物体の
検出を行なう。これはステップＳ９と同様の第３図に示
すサブルーチンをコールする処理である。そしてステッ
プＳ１３で、その座標点が前の座標点と同じであるがど
うかを判別し、もし同じでない場合は対象とする物体が
動いているということであるからステップＳ１５に分岐
する。ステップ３１Ｂで座標が同じである場合は、ステ
ップＳ１４を介してステップＳ１２に戻り、それでも座
標が変わらない場合は５０回（あるいは１００回）これ
を繰返す。所定の回数だけ検出処理を行なっても物体が
動かず座標が変わらなかった場合は、ステップＳ５に戻
って再度の計測を行なう。

このステップＳ１２→５１３−Ｓ１４→Ｓ１２のループ
は、マトリックス上に動的物体が捕らえられない場合、
すなわち各々の座標点の輝度が変化しない場合の処理で
あり、ステップＳ５→Ｓ６→Ｓ７→Ｓ５のループと同様
の意味を有している。

物体が、動いていると判断されればステップＳ１５より
実際のデータ測定が開始される。

まず、ステップＳ１５ではウィンドウ内での動的物体の
座標を検出する。これは上述したステップＳ９．Ｓ１２
と同様の第３図に示すサブルーチンをコールする処理で
ある。なお、このサブルーチン内で次のウィンドウ（大
きさは変更されない）の位置が計算しセットされる。次
にステップＳ１６で、検出した座標データをコンピュー
タ６のメモリに格納する。ステップ８１８で、得られた
座標データが予定データ数に達するまで以上のステップ
Ｓ１５からの処理を繰返し、予定データ数に達したらス
テップＳ１９に進む。

なお、以上のステップＳ１５から３１８までのループ処
理を行なっている間は、ウィンドウが動約物体を追跡し
て動くが、この様子は、ビデオモニタ７に順次映し出さ
れる。

ステップＳ１９では、光源１を消灯し、ステップＳ２０
でコンピュータ６のメモリに格納しである座標データを
フロッピーディスクに格納する。

そして、ステップＳ２１でＣＲＴ画面上のトラッキング
（軌跡）をプリンター９に印刷する０ステツプＳ２２で
次の測定時刻を計算し、ステップＳ３に戻って、再度の
計ｎ１に待機する。

第６図は、本実施例の装置を用いて原生動物の遊泳軌跡
を測定し、得られた画像をプリンター９により印字した
ものを示す。

また、第７図は、同じ測定を従来技術によって行ない、
得られた画像をプリンター９により印字したものである
。

第６図ではノイズと動的物体を正しく区別し、動的物体
のみを追跡しているが、第７図ではノイズと動的物体を
正しく区別できておらず、ノイズによる不自然な軌跡が
みられ、総移動距離も誤った値を出してしまっている。

［発明の効果］ 以上説明したように、本発明によれば、ノイズを動的物
体と誤認することなく、動的物体が一時停止した場合に
も動的物体の判定が確実に行なわれ、かつ対象とする動
的物体が暗い場合でも解析可能である。また、追跡がリ
アルタイムで行なうことができ、測定装置も極めて廉価
である。

さらに、ゾウリムシやバクテリアのような微小のものか
らロケットのような大型のものまで、およそビデオカメ
ラで撮影可能な動的物体なら何でも追跡し、その軌跡を
正確に記録・解析することができる。

【図面の簡単な説明】

第１図は、本発明の一実施例に係る動的物体追跡装置の
概略構成図、 第２図は、上記実施例の装置の動作説明のためのフロー
チャート、 第３図は、動的物体座標検出ルーチンのフローチャート
、 第４図は、ゲイン設定を行なった後のデイスプレィの表
示画面の印字結果、 第５図は、ゲイン設定を行なう前のデイスプレィの表示
画面の印字結果、 第６図は、生体の遊泳軌跡測定結果、 第７図は、従来例による生体の遊泳軌跡測定結果である
。 ：光源、 ：動的物体、 ：ビデオカメラ、 ：ビデオシグナルコントローラー 二面像処理用メモリー ：パーソナルコンピューター ：ビデオモニター ：カラーデイスプレィ ：プリンター

Claims (1)

1. 【特許請求の範囲】 １、移動する物体を撮像し、予め所定数の座標点に分割
   されている撮像画面のそれぞれの座標点の輝度を所定階
   調に分割計測し、該輝度計測を所定の周期で繰返し、得
   られた各周期ごとの輝度データから各座標点における輝
   度の変化を検出することにより上記移動物体の位置を追
   跡する動的物体の追跡法において、 隣接する３点以上の座標点における輝度変化に基づいて
   上記移動物体を面として識別することにより物体の位置
   をとらえ、かつ輝度の変化を検出する画面上の範囲を物
   体の移動速度に応じて予め設定した画面範囲まで縮小す
   ることを特徴とする動的物体の追跡法。 ２、前記各座標点の輝度の計測が、前記移動物体を撮像
   した結果の画像信号の信号強度の任意の範囲を所定の階
   調に分割した尺度に基づいて行なわれる請求項１に記載
   の動的物体の追跡法。 ３、前記各座標点における輝度変化の検出が、前記所定
   周期ごとに得られる各座標点の輝度データの組を２以上
   繰返し比較することにより行なわれる請求項１または２
   に記載の動的物体の追跡法。