JP3706018B2

JP3706018B2 - 移動物体検知方法，そのプログラムを記録した記録媒体および移動物体検知装置

Info

Publication number: JP3706018B2
Application number: JP2000351339A
Authority: JP
Inventors: 聡佐久間; 裕子高橋; 昭夫塩; 作一大塚
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Current assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Priority date: 2000-11-17
Filing date: 2000-11-17
Publication date: 2005-10-12
Anticipated expiration: 2020-11-17
Also published as: JP2002157597A

Description

【０００１】
【発明の属する技術分野】
本発明は，高速に移動する移動物体を検知する画像処理技術に関し，特に検知対象となる移動物体の大きさに依存せず，ラインセンサカメラにより取得される時系列画像から安定して移動物体を検知することを可能にした移動物体検知方法に関するものである。
【０００２】
【従来の技術】
従来，ラインセンサカメラを用いた高速移動物体検知装置に関して，屋外での車両速度検出装置（文献１：特開平６−６６８２０号公報「速度測定装置」）が提案されている。また，屋内において検知対象が決まっている場合に，ラインセンサカメラの明るさを補正し移動物体を検知する手法に関して，移動物体の速度に基づいた明度補正方法（文献２：特開平６−６６６３３号公報「明度補正装置」）や，圧延材の表面上の割れを検出するための明るさ補正方法（文献３：特開平８−６１９２９号公報「圧延材形状認識装置」）が提案されている。
【０００３】
また，エリアセンサを用いて移動物体の表面の変化を検出する手法として，車のボディのキズや凹凸などを検査するための表面欠陥検査装置（文献４：特開平９−３１８３３７号公報「表面欠陥検査装置」）が提案されている。
【０００４】
【発明が解決しようとする課題】
ラインセンサカメラを用いて任意の高速移動物体を検知することを考えた場合，従来の高速移動物体検知装置では，照明変動に対する補正処理がなされていないため，撮影前に予め絞りや入力信号に対する利得調整をしなければならず，取得中の明るさ調整はできない。
【０００５】
また，屋内において検知対象が限定されている場合の移動物体検知方法は，移動物体が高速に移動する場合にも適用可能である。しかしながら，上記文献１の方法では，移動物体の速度に応じてＣＣＤ(Charge Coupled Device）のチャージ時間を制御し明度補正するため，予め移動物体の速度を測定しておかなければならない。上記文献２では，絞り調整および利得調整方法について述べられているが，延材板上の微小なキズの検出を目的としているため，大きな画像変化を及ぼす移動物体では間違って明るさを補正してしまい，高速移動物体を検知できない。
【０００６】
また，文献４のエリアセンサを用いた表面欠陥検査装置では，照明劣化による輝度変化を絞り調整により補正する方法を用いている。しかしながら，この方法は，検査前に対象物体に対して自動的に絞り調整するものであり，検査中に随時，照明変動を補正できる絞り調整ではない。また，エリアセンサの場合，撮影周期が長い（ＮＴＳＣの場合，１／３０秒間隔で撮影）ため，移動物体の速度が撮影周期を上回る場合に，安定して移動物体を検知できる保証がない。
【０００７】
本発明は，検知対象となる高速移動物体の大きさに依存せず，ラインセンサを用いて高速移動物体を安定に検知する手法を提案するものであり，本発明の目的は，対象物体や照明変動に制約されることなく高速移動物体の検知が可能となる技術を提供することである。
【０００８】
【課題を解決するための手段】
本発明は，固定された観測点に設置されたラインセンサカメラにより，決められた経路を移動する移動物体を撮影し検知する際に，第１に直前の複数周期分のライン画像を含めた平均輝度値を計算し，その平均輝度値が規定範囲外であれば，絞り調整または利得調整を行うこと，第２に取得したライン画像と，１周期前のライン画像との画像変化量を計算し，画像変化量が閾値より大となる画像変化点を検出すること，第３に絞り調整または利得調整に伴う画像変化量が閾値を超えない範囲内で１周期内の絞り変化量または利得変化量を制御することを主要な特徴とする。
【０００９】
具体的には，本発明の移動物体検知装置は，一定周期間隔で撮影しライン画像を取得する手段と，直前の複数周期分のライン画像を含めたライン画像群の平均輝度値を計算し，平均輝度値が規定範囲外であれば，次周期以降のライン画像の輝度値を調整する手段と，各ライン画像と各１周期前のライン画像との画像変化量を求める手段と，前記画像変化量が閾値以上となる画像変化点を検出し移動物体を検知する手段とを有し，前記ライン画像の輝度値を調整する手段は，ラインセンサカメラに入る光量に対して絞り調整を行い，絞り調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の絞り変化量を制御する手段であること，またはラインセンサカメラの出力信号に対して利得を調整し，利得調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の利得変化量を制御する手段であることを特徴とする。
【００１０】
本発明の作用は，以下のとおりである。本発明では，絞り調整，利得調整による画像変化量が閾値を超えないため，検知対象となる移動物体が背景全体を変化させてしまう場合でも間違って輝度値を調整することなく，移動物体を安定に検知することが可能となる。また，本発明の輝度値調整による輝度値変化は，物体検知時の閾値処理に影響を与えないため，予め詳細な輝度値調整を行う必要がない。また，照明変動の制約がなく安定した時系列画像が取得できるため，検知した移動物体を含む時系列画像に対してパターン認識処理を容易に行うことができるようになる。
【００１１】
以上の各処理手段をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【００１２】
【発明の実施の形態】
以下，本発明の実施の形態について図面を参照して説明する。本実施の形態では，高速移動物体を移動車両とする。ラインセンサカメラは，道路上部に設置され，道路を撮影するものとする。
【００１３】
図１は，本発明の実施の形態に係る高速移動物体検知装置の構成例を示す図である。情報処理装置１０１には，バスライン１０２を介して，記憶装置１０３，表示装置１０４，画像入力装置１０５が接続される。記憶装置１０３内には，閾値蓄積部１０６と画像蓄積部１０７が設けられる。また，画像入力装置１０５内には，ラインセンサカメラ１０８，絞り調整装置１０９および利得調整装置１１０が設けられる。
【００１４】
図２は，本発明の実施の形態に係る高速移動物体検知装置の測定系の一例を示す。図２において，検知対象である高速移動物体を移動車両２０１とし，ラインセンサカメラ１０８は移動車両２０１を上方から撮影するように設置される。
【００１５】
図３は，高速移動物体検知装置のフローチャートである。図３において，３０１はラインセンサカメラ１０８からライン画像を取得する処理ステップ，３０２は取得したライン画像と１周期前のライン画像との画像変化量を計算する処理ステップ，３０３は画像変化量が閾値より大きいかどうかを判定する処理ステップ，３０４は規定されたライン数のライン画像を取得する処理ステップ，３０５は移動画像の画像を保存する処理ステップ，３０７は直前の複数周期分のライン面像を含めた平均輝度値を計算する処理ステップ，３０８は平均輝度値が規定範囲外かどうかを判定する処理ステップ，３０９は絞り調整および利得調整を行う処理ステップを示している。
【００１６】
図３のフローチャートに従い，高速移動物体装置の一例を説明する。始めに，取得するライン画像の平均輝度値が，予め規定した範囲内にある場合について説明する。まず，ラインセンサカメラ１０８からライン画像を取得する（図３のステップ３０１）。
【００１７】
図４は，ラインセンサカメラ１０８から取得されたライン画像とその時間的画像変化量のグラフを示している。ラインセンサカメラ１０８は固定され同一箇所を一定周期で撮影しているため，移動車両２０１が撮影ライン上を通過すると，ラインセンサカメラのライン画像４０１のように移動車両２０１の画像が撮影できる。
【００１８】
次に，取得したライン画像と１周期前のライン画像との画像変化量を計算する（ステップ３０２）。ここで，画像変化量Ｄは，ライン画像の各画素ごとの輝度絶対差分値の平均値
Ｄ＝Σ_i=1 ^N｜Ｌ_i−Ｌ′_i｜／Ｎ・・・(1)
とした。ここで，Ｌ_iは取得したライン画像のｉ番目の画素値，Ｌ′_iは１周期前のライン画像のｉ番目の画素値，Ｎはライン画像の画素数を表す。このとき，図４のラインセンサカメラのライン画像４０１に対する画像変化量の時間的変化は，ライン画像と１周期前のライン画像との画像変化量の時間的変化４０２のようになる。ここでは，画像変化量を輝度絶対差分値の平均値としたが，平均２乗誤差
Ｄ２＝Σ_i=1 ^N（Ｌ_i−Ｌ′_i）²／Ｎ・・・(2)
としてもよいし，また，ライン画像と１周期前のライン画像との相関値
Ｃ＝Σ_i=1 ^N（Ｌ_i−Ｌ_mean）×（Ｌ′_i−Ｌ′_mean）／（σ_L×σ_L'）・・・(3)
としてもよい。ここで，Ｌ_mean，Ｌ′_meanおよびσ_L，σ_L'は，平均値および標準偏差を示す。また，Ｃは−１から１までの値をもち，１に近いほど画像変化量は小さい。また，他の方法により画像間の差分を数値で示すことが可能であれば，その値を画像変化量として扱ってもかまわない。
【００１９】
次に，画像変化量が閾値より大きいかどうかの判定を行う（ステップ３０３）。移動車両２０１が撮影ラインを通過するとライン画像の画像変化量が大きくなるので，画像変化量に対する閾値４０４を用いた画像変化量に対する閾値処理によって，画像変化点４０３を検出できる。
【００２０】
次に，規定されたライン数のライン画像の取得を行う（ステップ３０４）。ステップ３０３で画像変化点，すなわち移動車両２０１の先端を検出できるので，この検知時間を開始時間として，予め規定した時間分のライン画像を取得する。このように，ライン画像を取得することにより，高速移動物体の画像を保存することができる。
【００２１】
次に，ライン画像の平均輝度値が規定範囲外にある場合，ライン画像の輝度値を規定範囲内になるように調整する方法について述べる。まず，ラインセンサカメラ１０８からライン画像を取得し（ステップ３０１），直前の複数周期分のライン画像を含めた平均輝度値を計算する（ステップ３０７）。
【００２２】
複数ライン数は、複数ラインで構成される２次元画像中で移動車両が占める割合が１／２以下になることが望ましい。これは、移動車両によって不必要な調整を抑えるためである。具体的なライン数は、撮影時間間隔と予想される移動車両の速度から決定される。
【００２３】
図５は，複数周期分のライン画像の平均輝度値に対する時間的変化を表したグラフを示している。ここで，縦軸は平均輝度値５０１，横軸は時間５０２である。規定範囲５０３は，画像変化量に対する閾値処理により高速移動物体が正しく検知できる範囲を示している。また，時間Ａ５０４は平均輝度値が規定範囲より大きい場合，時間Ｂ５０５は平均輝度値が規定範囲より小さい場合である。
【００２４】
直前の複数周期分のライン画像を含めた平均輝度値を計算した後，その平均輝度値が規定範囲外かどうかの判定を行う（ステップ３０８）。図６は，平均輝度値が規定範囲より大きい場合であって，時間Ａ５０４において移動車両２０１が通過したときの画像変化量の時間的変化を示した図である。同様に，図７は，平均輝度値が規定範囲より小さい場合であって，時間Ｂ５０５において移動車両２０１が通過したときの画像変化量の時間的変化を示した図である。このように，平均輝度値が規定範囲外になる場合，輝度値の飽和や不足により，移動車両２０１による画像変化が起こったとしても，画像変化量が閾値に満たなくなり，移動車両２０１を検出できない。
【００２５】
そこで，平均輝度値が規定範囲外の場合，絞り調整および利得調整を行う（ステップ３０９）。具体的には，絞り調整はラインセンサカメラ１０８に取り付けられたレンズの絞りを調整すること，また，利得調整はＣＣＤカメラの出力信号の利得（ゲイン）を調整することなどによって行う。
【００２６】
図８は，絞り調整および利得調整による画像変化量の時間的変化を示す。このとき，調整による画像変化量が，画像変化量に対する閾値８０３より小さければ，移動車両２０１として検知することなく，平均輝度値５０１を規定範囲５０３に入るように調整できる。このように，太陽光などの照明変動があったとしても，常に平均輝度値５０１を規定範囲５０３に調整することにより，ステップ３０１から３０５の処理によって，移動車両２０１を検知できる。
【００２７】
なお，移動物体が低速な場合には，撮影周期を長くすることや，輝度調整時の平均輝度値を求めるときのライン数を増やすことにより検知可能である。
【００２８】
【発明の効果】
以上説明したように，本発明によれば，照明変動が生じるような環境下で，高速移動物体によって画像が大きく変化する場合でも，固定された観測点に設置されたラインセンサカメラによって高速移動物体を撮影し検知することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る高速移動物体検知装置の構成例を示す図である。
【図２】高速移動物体検知装置の測定系の一例を示す図である。
【図３】高速移動物体検知装置のフローチャートである。
【図４】ラインセンサカメラから取得されたライン画像とその時間的画像変化量の一例を示す図である。
【図５】複数周期分のライン画像の平均輝度値に対する時間的変化の一例を示す図である。
【図６】平均輝度値が規定範囲より大きい場合に移動車両が通過したときの画像変化量の時間的変化の一例を示す図である。
【図７】平均輝度値が規定範囲より小さい場合に移動車両が通過したときの画像変化量の時間的変化の一例を示す図である。
【図８】絞り調整および利得調整による画像変化量の時間的変化の一例を示す図である。
【符号の説明】
１０１情報処理装置
１０２バスライン
１０３記憶装置
１０４表示装置
１０５画像入力装置
１０６閾値蓄積部
１０７画像蓄積部
１０８ラインセンサカメラ
１０９絞り調整装置
１１０利得調整装置

Claims

固定された観測点に設置されたラインセンサカメラにより，決められた経路を移動する移動物体を撮影し検知する方法であって，
一定周期間隔で撮影しライン画像を取得する手順と，
直前の複数周期分のライン画像を含めたライン画像群の平均輝度値を計算し，平均輝度値が規定範囲外であれば，次周期以降のライン画像の輝度値を調整する手順と，
各ライン画像と各１周期前のライン画像との画像変化量を求める手順と，
前記画像変化量が所定の閾値以上となる画像変化点を検出し移動物体を検知する手順とを有し，
かつ，前記ライン画像の輝度値を調整する手順では，ラインセンサカメラに入る光量に対して絞り調整を行い，絞り調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の絞り変化量を制御する
ことを特徴とする移動物体検知方法。
固定された観測点に設置されたラインセンサカメラにより，決められた経路を移動する移動物体を撮影し検知する方法であって，
一定周期間隔で撮影しライン画像を取得する手順と，
直前の複数周期分のライン画像を含めたライン画像群の平均輝度値を計算し，平均輝度値が規定範囲外であれば，次周期以降のライン画像の輝度値を調整する手順と，
各ライン画像と各１周期前のライン画像との画像変化量を求める手順と，
前記画像変化量が所定の閾値以上となる画像変化点を検出し移動物体を検知する手順とを有し，
かつ，前記ライン画像の輝度値を調整する手順では，ラインセンサカメラの出力信号に対して利得を調整し，利得調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の利得変化量を制御する
ことを特徴とする移動物体検知方法。
請求項１または請求項２に記載の移動物体検知方法において，
移動物体を検知した後，予め決められた周期分のライン画像を取得し，移動物体の２次元時系列画像を蓄積する手順を有する
ことを特徴とする移動物体検知方法。
請求項１から請求項３までのいずれかに記載の移動物体検知方法を，コンピュータに実行させるためのプログラムを記録した
ことを特徴とする移動物体検知用プログラムを記録した記録媒体。
固定された観測点に設置されたラインセンサカメラにより，決められた経路を移動する移動物体を撮影し検知する装置であって，
一定周期間隔で撮影しライン画像を取得する手段と，
直前の複数周期分のライン画像を含めたライン画像群の平均輝度値を計算し，平均輝度値が規定範囲外であれば，次周期以降のライン画像の輝度値を調整する手段と，
各ライン画像と各１周期前のライン画像との画像変化量を求める手段と，
前記画像変化量が所定の閾値以上となる画像変化点を検出し移動物体を検知する手段とを備え，
かつ，前記ライン画像の輝度値を調整する手段は，ラインセンサカメラに入る光量に対して絞り調整を行い，絞り調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の絞り変化量を制御する手段である
ことを特徴とする移動物体検知装置。
固定された観測点に設置されたラインセンサカメラにより，決められた経路を移動する移動物体を撮影し検知する装置であって，
一定周期間隔で撮影しライン画像を取得する手段と，
直前の複数周期分のライン画像を含めたライン画像群の平均輝度値を計算し，平均輝度値が規定範囲外であれば，次周期以降のライン画像の輝度値を調整する手段と，
各ライン画像と各１周期前のライン画像との画像変化量を求める手段と，
前記画像変化量が所定の閾値以上となる画像変化点を検出し移動物体を検知する手段とを備え，
かつ，前記ライン画像の輝度値を調整する手段は，ラインセンサカメラの出力信号に対して利得を調整し，利得調整に伴う画像変化量が前記閾値を超えない範囲内で１周期内の利得変化量を制御する手段である
ことを特徴とする移動物体検知装置。