JP4162910B2 - 接近検出装置、接近検出方法、及び接近検出プログラム - Google Patents
接近検出装置、接近検出方法、及び接近検出プログラム Download PDFInfo
- Publication number
- JP4162910B2 JP4162910B2 JP2002100567A JP2002100567A JP4162910B2 JP 4162910 B2 JP4162910 B2 JP 4162910B2 JP 2002100567 A JP2002100567 A JP 2002100567A JP 2002100567 A JP2002100567 A JP 2002100567A JP 4162910 B2 JP4162910 B2 JP 4162910B2
- Authority
- JP
- Japan
- Prior art keywords
- addition value
- approach
- optical flow
- approach detection
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理によって得られるオプティカルフローの情報に基づいて物体の接近を検出することができる接近検出装置、接近検出方法、及び接近検出プログラムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
移動体において、画像処理によって得られたオプティカルフローの情報に基づいて、衝突を回避する方法として、Ｌｅｅが定式化した到達時間検出のアルゴリズムを用いたものが知られている（David N Lee(1976):A theory of visual control of braking based on information about time-to-collision. Perception,5,437-459）。これは、オプティカルフローの情報に基づいて現時点から物体との衝突までの時間を求めるアルゴリズムである。移動体にカメラを備え、得られた画像に基づきこのアルゴリズムを用いて画像処理を行えば、移動中の移動体における物体までの到達時間を求めることが可能となるため、移動体に対する物体の接近検出等に応用可能である。
【０００３】
しかしながら、この方法では、移動体が接近していく過程における移動体自身の移動に伴う揺れが考慮されていないため正確な接近度合いを求めることが困難な場合がある。移動体には自己の移動に伴う揺れや振動がともなうため移動体に備えられたカメラにより得られた実環境の画像から算出したオプティカルフローには、接近方向の成分にヨー方向（水平方向）の振動成分やピッチ方向（垂直方向）の振動成分等が含まれている。オプティカルフローの情報に基づいて障害物との接近を検出する際においては、これらの成分はノイズ成分となり誤検出の原因になるという問題がある。本願出願人は、先に特開平１１−１３４５０４号公報にて障害物との接近を検出する方法を提案しているが、より精度の高い衝突の検出、認識手法が要求されている。
【０００４】
本発明は、このような事情に鑑みてなされたもので、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を高精度に検出することができる接近検出装置、接近検出方法、及び接近検出プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出装置であって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算手段と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたことを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算手段と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【０００６】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【０００７】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【０００８】
本発明は、前記状況判断手段は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去手段と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け手段と、前記重み付け手段によって重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算手段と前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定手段とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う手段と、２つの加算値に対して重み付けを行う手段を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【０００９】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出方法であって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算過程と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有することを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算過程と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有したため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【００１０】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【００１１】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【００１２】
本発明は、前記状況判断過程は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去過程と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け過程と、前記重み付け過程において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定過程とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う過程と、２つの加算値に対して重み付けを行う過程を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【００１３】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出プログラムであって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算処理と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせることを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算処理と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせるようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【００１４】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【００１５】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【００１６】
本発明は、前記状況判断処理は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去処理と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け処理と、前記重み付け処理において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定処理とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う処理と、２つの加算値に対して重み付けを行う処理をコンピュータに行わせるようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態による接近検出装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、接近検出装置である。符号１１は、得られた画像を記憶する画像メモリであり、少なくとも２枚の画像を記憶可能である。符号１２は、画像メモリ１１に記憶された２枚の画像からオプティカルフローを算出するオプティカルフロー算出部である。符号１３は、オプティカルフロー算出部１２において算出されたオプティカルフローに基づいて、自己と物体との接近状況を判定する状況判断部である。符号３１は、無線通信によって情報通信を行う通信部である。符号Ｖは、移動体であり、ここでは自動車を例にして説明することとして、以下の説明では自動車Ｖと称する。符号Ｗは、接近検出対象の壁であり、以下の説明では物体Ｗと称する。符号１０は、周囲の環境を撮像して時系列の画像を得るビデオカメラ（以下、単にカメラと称する）である。このカメラ１０は、自動車Ｖの前方を見渡せる位置に備えられ、水平な地面に自動車Ｖを置いたときにカメラ１０の光軸が水平になるように配置される。符号２は、状況判断部１３の出力に基づいて自動車Ｖの移動制御を行う移動体制御部である。符号３２は、通信部３１との間で情報通信を行う通信部である。
なお、接近検出装置１は、通信部３１、３２が通信可能な位置に配置される必要があるので、原則的に通信可能距離と移動体の行動範囲内に基づいて、接近検出装置１の配置位置を決定すればよい。また、通信部３１、３２の間を携帯電話網等の公衆回線を介して、移動体の行動範囲を拡張するようにしてもよい。また、接近検出装置１は、自動車Ｖ（移動体）内に備えられていてもよい。
【００１８】
次に、図１、２を参照して、図１に示す接近検出装置の動作を説明する。図２は、図１に示す接近検出装置の動作を示すフローチャートである。
まず、接近検出装置１を起動すると、通信部３１は情報通信を行うことが可能になるとともに、画像メモリ１１、オプティカルフロー算出部１２、状況判断部１３が起動する。一方、自動車ＶのイグニッションスイッチをＯＮにすると、通信部３２は情報通信を行うことが可能となるともに、カメラ１０は撮像を開始し、移動体制御部２も起動する。そして、カメラ１０によって得られた画像信号は、通信部３２及び通信部３１を介して、画像メモリ１１に格納される。このとき、カメラ１０によって得られた画像に対して、標本化と量子化の処理が施され、ｍ×ｎ（ｍ、ｎは自然数）画素のディジタル画像となり画像メモリ１１に格納される（ステップＳ１）。
【００１９】
次に、オプティカルフローを算出するには少なくとも２枚の画像が必要であるため、起動時においてのみ続けて得られた画像を、画像メモリ１１へ格納する（ステップＳ２）。この時点で、画像メモリ１１には、時間的に連続する画像が２枚分格納されたこととなる。以下の説明において、最新の画像を時刻ｔにおいて撮像された画像（または、時刻ｔの画像）と称し、時刻ｔの画像の直前の画像を時刻ｔ−１において撮像された画像（または、時刻ｔ−１の画像）と称する。
【００２０】
次に、カメラ１０は、１枚の画像を画像メモリ１１へ格納が終了する毎に、通信部３２，３１を介して、オプティカルフロー算出部１２に対して、画像の格納が終了したことを通知する。この通知を受けて、オプティカルフロー算出部１２は、画像メモリ１１に格納されている最新の２枚の画像からオプティカルフローＶx,yを算出する（ステップＳ３）。ここでいうオプティカルフローとは、画素毎に定義される速度場のことであり、画像上のある位置にあったパターンが時間的に連続する次の画面でどこに移動したかを画素毎に表現したものである。すなわち、時系列の画像間で、画像中の各点が、時間と共にどのように変化したかを、ベクトルで表したものであり、このオプティカルフローから、画像中の対象がどのような動きをしていたかを推定することができるものである。ここでオプティカルフローを算出する方法として、２枚の画像間で対応点を探索する方法や画像中の各点の明度勾配と明度の時間勾配により推定する方法などの周知の方法を用いることができる。この処理によって、少なくとも２枚の画像間の画素のうち対応が取れた対応点についてオプティカルフローが求められたことになる。続いて、オプティカルフロー算出部１２は、算出したオプティカルフローＶx,yを状況判断部１３へ渡す。
【００２１】
状況判断部１３は、得られたオプティカルフローＶx,yのうち予め決められた画像上の領域（以下、選択領域と称する）内のオプティカルフローを空間的に加算した値εn tを、（１）式によって求める（ステップＳ４）。
εn t＝ΣΣｈnx,yＶx,y・・・・・・・（１）
ここで、ｈnx,yはオプティカルフローを空間的に加算する際の選択領域特性（例えば、選択領域の広さ及び選択領域の中心位置）を示す関数であり、例えば、ガウス関数やガボール関数等のように空間的に局在したフィルター関数を用いることが可能である。（１）式によって、関数ｈnx,yで定義される画像上の選択領域内のオプティカルフロー（ベクトル）が加算されることとなる。この選択領域特性ｈnx,yは、図１に示すカメラ１０が搭載される自動車Ｖの速度や、カメラ１０の視野角・解像度、サンプリング周波数等によって決定されるものである。また、物体Ｗに衝突する何秒前にトリガを出力する必要があるかによって選択領域特性ｈnx,yを決定するようにしてもよい。ただし、以下に述べる条件は必ず満たす必要がある。この条件とは、接近成分を検出する１対の選択領域が、自動車Ｖの前方移動時における画像のフロー湧き出しの中心点を境に左右対称になるように配置することである。本実施例では、自動車Ｖが直進する場合であって、一対の対応する選択領域が、それぞれ画像フレームに対して、左右上下対称に設定された例を説明する。ヨー方向の成分を検出する選択領域は画像上の水平線上に左右１対配置する。また、ピッチ方向の成分を検出するための選択領域は、画像上の鉛直線上に上下１対になるように配置する。また、添え字ｎは、各選択領域に順に付与された順番号である。図３及び図４に示すように本実施例では「ｎ」＝８の例を示した。「ｎ」の数は自動車Ｖのゆれの状況や要求する接近検出精度等に応じて適宜決定される。
【００２２】
ここで、図３、４を参照して、選択領域の配置関係について説明する。図３は、オプティカルフローＶx,yのヨー方向成分を用いて、ヨー方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図３において、符号ｈ1、ｈ2は、オプティカルフローＶx,yの接近成分を検出する１対の選択領域である。符号ｈ3、ｈ4は、オプティカルフローＶx,yのヨー方向成分を検出する１対の選択領域であり、選択領域ｈ1，ｈ2の内側に配置される。このように、本実施例では、左右を２分する中心線を境に１対の選択領域が、接近成分検出用とヨー方向成分検出用に分けてそれぞれ配置される。
なお、選択領域ｈ1〜ｈ4は、選択領域ｈ1〜ｈ4のそれぞれをピッチ方向（画像における垂直方向）のみ拡大した選択領域ｈ1’〜ｈ4’としてもよい。
【００２３】
一方、図４は、オプティカルフローＶx,yのピッチ方向成分を用いて、ピッチ方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図４において、符号ｈ5、ｈ6は、オプティカルフローＶx,yの接近成分を検出する１対の選択領域である。符号ｈ7、ｈ8は、オプティカルフローＶx,yのピッチ方向の成分を検出する１対の選択領域であり、選択領域ｈ5，ｈ6の内側に配置される。このように、本実施例では、上下を２分する中心線を境に１対の選択領域が、接近成分検出用とピッチ方向成分検出用に分けてそれぞれ配置される。
なお、選択領域ｈ5〜ｈ8は、選択領域ｈ5〜ｈ8のそれぞれをヨー方向（画像における水平方向）のみ拡大した選択領域ｈ5’〜ｈ8’としてもよい。
【００２４】
一般的に図１に示すような場面において、自動車Ｖが前進して物体Ｗへ接近したとき、得られた画像からオプティカルフローを算出すると、無限遠の点Ｍ（フローの湧き出し点）から放射状のベクトルが得られる。このとき、図３に示す各選択領域におけるフローベクトルの大きさは、ｈ1＞ｈ3，ｈ2＞ｈ4の関係となるのが一般的である。一方、自動車Ｖの移動に伴うヨー方向の振動がカメラ１０に対して加えられた場合、この振動によるヨー成分のベクトルの大きさは、各選択領域において差はあまり無い。したがって、接近をした場合に振動に伴って生じるベクトルに比して、相対的に接近ベクトルが大きいベクトルを得ることができる選択領域ｈ1、ｈ2によって接近成分検出を行い、接近の影響が相対的に小さくなる選択領域ｈ3、ｈ4によって振動によるヨー成分検出を行うようにすれば、ノイズ成分の除去を効率良く行うことが可能となる。これは、図４に示すピッチ方向を検出する選択領域ｈ5〜ｈ8についても同様である。
【００２５】
次に、状況判断部１３は、ステップＳ４において求めたオプティカルフローの空間的加算値εn tに対して、時間的なフィルタを用いて高周波成分のノイズを除去した値ρn tを、（２）式よって求める（ステップＳ５）。
ρn t＝ρn t ー 1−τ（ρn t ー 1−εn t）・・・・・・・（２）
ここで、τはτ＜１を満たす時定数である。この時定数τは自動車Ｖの速度等によって決定されるものである。
【００２６】
次に、状況判断部１３は、ノイズ除去フィルタの出力であるρn tに対して重み付け係数ｗnを乗算して加算した値θtを、接近成分検出用及びヨー成分検出用のそれぞれについて（３）、（４）式によって求める（ステップＳ６）。
すなわち、接近成分検出用θtは
θt＝ｗ1ρ1 t＋（−１・ｗ2）ρ2 t・・・・・・（３）
によって求め、
ヨー成分検出用θtは
θt＝ｗ3ρ3 t＋（−１・ｗ4）ρ4 t・・・・・・（４）
によって求める。
【００２７】
ここで、重み付け係数ｗnに−１を乗算して極性を逆にしている理由は、画像上の無限遠の点Ｍを中心として対称の位置に配置される選択領域ｈ1、ｈ2（またはｈ3、ｈ4）内において得られるρn tの極性が原則的に逆になるため、加算するときに一方のρn tの極性を逆にする必要があるからである。
【００２８】
次に、状況判断部１３は、接近成分検出用θtとヨー方向成分検出用θtとの差Ｓtを求め（ステップＳ７）、この値Ｓtと予め決められたしきい値とを比較する（ステップＳ８）。この結果、値Ｓtがしきい値より大きい場合、状況判断部１３は、物体Ｗに接近したと判断し（ステップＳ９）、しきい値より小さい場合は、接近はなしと判断する（ステップＳ１０）。この判定結果は、移動体制御部２へ通知され、自動車Ｖの減速や停止の制御を行う場合のトリガに用いられる。このしきい値は、自動車Ｖの速度や、カメラ１０の視野角・解像度等、さらには各選択領域特性ｈnx,yに基づいて最適値を選択して設定する。また、自動車Ｖが物体Ｗに衝突する何秒前にトリガを出力する必要があるかによってしきい値の大小を決定するようにしてもよい。なお、上記のＷnも、しきい値を設定した後、自動車Ｖに最適なタイミングでトリガがかかるように自動車Ｖの速度、カメラ１０の視野角等を考慮して設定される。
【００２９】
そして、ステップＳ８の判定結果が得られた時点で、再びステップＳ２に戻り前述した動作を繰り返す。このとき、取得する画像は、１枚のみ（ステップＳ１は２回目以降の処理においては実行されない）であり、前回の実行時にステップＳ２で得られた画像が、時刻ｔ−１の画像となり、今回新たに得られた画像が時刻ｔの画像として処理を繰り返す。
【００３０】
このように、接近成分検出用とヨーまたはピッチ方向成分検出用の画像領域を、左右または上下を２分する中心線を境に１対の選択領域として配置し、この選択領域におけるオプティカルフローの情報に基づいて、簡単な演算処理を施し、これによって得られた値がしきい値より大きいか否かで、物体の接近を検出するようにしたため、振動成分が混在する画像においても精度良くかつ高速に接近検出が可能となる。すなわち、接近をした場合にオプティカルフローＶx,yの総和が増大する選択領域ｈ1、ｈ2によって接近成分検出を行い、接近の影響が比較的小さい選択領域ｈ3、ｈ4によって振動によるヨー成分検出を行うようにしたため、ノイズ成分の除去を効率良く行うことが可能となる。これはピッチ方向についても同様である。
なお、状況判断部１３は、図３及び図４に示す選択領域ｈ1〜ｈ4、ｈ5〜ｈ8について同時に処理を行い、どちらか一方の値Ｓtがしきい値を超えた場合に停止トリガを出力するようにしてもよいし、２つの値Ｓtがそれぞれしきい値を超えた場合に停止トリガを出力するようにしてもよい。
【００３１】
次に図５を参照して、実画像を用いた実施例を説明する。図５は、自動車Ｖにカメラ１０を搭載し、ある障害物に接近するまでの動画像をビデオレートでサンプリングして前述した動作の処理を施した結果を示すグラフである。図５において、Ｘ軸は、自動車Ｖが発進してからの経過時間を示し、Ｙ軸は、前述した（３）、（４）式で求めた２つの値θt（左軸）と、この２つの値θtの差に基づいて算出される値であるトリガ出力（右軸）を示している。なお、（３）、（４）式で求めた２つの値θtの差は非常に小さい値であるため、関数ｔａｎｈ（θ）によって非線形に増幅して明示している。ここでは増幅する関数としてｔａｎｈ（）を用いたが、２つの値の差がある程度大きくなったことを検出できるものであれば何でもよい。この実施例では、自動車Ｖが発進してから約６.２秒後に物体Ｗに接触した。
図５から分かるように、接近成分の値θt及びヨー成分の値θtは、接触前においてはほぼ同じ変動を示すが、物体へ接近するにつれて差Ｓtが大きくなり、５.８秒後に差が非常に大きくなって、トリガが出力されることとなる。前述した接近検出装置においては、この差Ｓtが所定のしきい値より大きくなったときにトリガを出力するようにして、移動体と物体の接近を検出する。これに応じて、自動車Ｖの減速、停止を行うことで物体Ｗへの衝突を防止できる。
【００３２】
なお、図３、４に示す例では、選択領域を左右または上下に２つずつ設定するようにしたが、高精度な検出精度を必要としない接近検出は、片側の２つのみでも可能である。すなわち、図３の例では、選択領域ｈ1、ｈ3（またはｈ2、ｈ4）のみで処理しても検出可能である。このとき、（３）、（４）式は、以下のようになる。
θt＝ｗ1ρ1 t・・・・・・（３）’
θt＝ｗ3ρ3 t・・・・・・（４）’
また、図４の例では、選択ｈ5、ｈ7（または、ｈ6、ｈ8）のみで検出処理を行っても可能である。
また、逆に選択領域は、左右または上下に、接近成分検出用とヨーまたはピッチ成分検出用をそれぞれ３つ以上設定してもよい。
【００３３】
また、前述した説明では、ヨー成分を用いて接近する動作を説明したが、ピッチ線分を用いた場合であっても同様の処理で接近を検出することが可能である。また、移動体は、自動車のみならず、二足歩行の人間型ロボットを含む自律移動ロボットや無人搬送車であってもよい。
また、カメラ１０の光軸に直交する光軸を有するカメラを新たに備えるようにして、このカメラから得られた画像のオプティカルフローに基づいて、自動車Ｖのロール成分を求め、この求めたロール成分を状況判断部１３へ通知するようにして、ロール成分の影響を除去するようにしてもよい。また、ロール成分検出にジャイロを用い、ジャイロの出力を状況判断部１３へ通知するようにして、ロール成分の影響を除去するようにしてもよい。
【００３４】
また、図２に示す処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより接近検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３６】
【発明の効果】
以上説明したように、請求項１、５、９に記載の発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出し、画像上の第１の選択領域において所定のフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出するとともに、画像上の第２の選択領域においてフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出し、この接近検出用加算値と振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断を行うようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができるという効果が得られる。
また、請求項２、６、１０に記載の発明によれば、第２の選択領域は、該領域内にオプティカルフローの湧き出し点が含まれない位置に設けられ、第１の選択領域は、第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができるという効果が得られる。
また、請求項３、７、１１に記載の発明によれば、第１及び第２の選択領域は、それぞれオプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から接近検出用加算値及び振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができるという効果が得られる。
また、請求項４、８、１２に記載の発明によれば、２つの加算値から高周波成分のノイズ除去を行い、２つの加算値に対して重み付けを行うようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能になるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す接近検出装置１の動作を示すフローチャートである。
【図３】 ヨー方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図４】 ピッチ方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図５】 図２に示す動作の処理を施した結果を示すグラフである。
【符号の説明】
１・・・接近検出装置
１０・・・カメラ
１１・・・画像メモリ
１２・・・オプティカルフロー算出部
１３・・・状況判断部
２・・・移動体制御部
【発明の属する技術分野】
本発明は、画像処理によって得られるオプティカルフローの情報に基づいて物体の接近を検出することができる接近検出装置、接近検出方法、及び接近検出プログラムに関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
移動体において、画像処理によって得られたオプティカルフローの情報に基づいて、衝突を回避する方法として、Ｌｅｅが定式化した到達時間検出のアルゴリズムを用いたものが知られている（David N Lee(1976):A theory of visual control of braking based on information about time-to-collision. Perception,5,437-459）。これは、オプティカルフローの情報に基づいて現時点から物体との衝突までの時間を求めるアルゴリズムである。移動体にカメラを備え、得られた画像に基づきこのアルゴリズムを用いて画像処理を行えば、移動中の移動体における物体までの到達時間を求めることが可能となるため、移動体に対する物体の接近検出等に応用可能である。
【０００３】
しかしながら、この方法では、移動体が接近していく過程における移動体自身の移動に伴う揺れが考慮されていないため正確な接近度合いを求めることが困難な場合がある。移動体には自己の移動に伴う揺れや振動がともなうため移動体に備えられたカメラにより得られた実環境の画像から算出したオプティカルフローには、接近方向の成分にヨー方向（水平方向）の振動成分やピッチ方向（垂直方向）の振動成分等が含まれている。オプティカルフローの情報に基づいて障害物との接近を検出する際においては、これらの成分はノイズ成分となり誤検出の原因になるという問題がある。本願出願人は、先に特開平１１−１３４５０４号公報にて障害物との接近を検出する方法を提案しているが、より精度の高い衝突の検出、認識手法が要求されている。
【０００４】
本発明は、このような事情に鑑みてなされたもので、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を高精度に検出することができる接近検出装置、接近検出方法、及び接近検出プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出装置であって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算手段と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたことを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算手段と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【０００６】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【０００７】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【０００８】
本発明は、前記状況判断手段は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去手段と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け手段と、前記重み付け手段によって重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算手段と前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定手段とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う手段と、２つの加算値に対して重み付けを行う手段を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【０００９】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出方法であって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算過程と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有することを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算過程と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有したため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【００１０】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【００１１】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【００１２】
本発明は、前記状況判断過程は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去過程と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け過程と、前記重み付け過程において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定過程とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う過程と、２つの加算値に対して重み付けを行う過程を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【００１３】
本発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出プログラムであって、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算処理と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせることを特徴とする。
この発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算処理と、前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせるようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【００１４】
また、この発明によれば、前記第２の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第１の選択領域は、前記第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【００１５】
本発明は、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【００１６】
本発明は、前記状況判断処理は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去処理と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け処理と、前記重み付け処理において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定処理とからなることを特徴とする。
この発明によれば、２つの加算値から高周波成分のノイズ除去を行う処理と、２つの加算値に対して重み付けを行う処理をコンピュータに行わせるようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態による接近検出装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、接近検出装置である。符号１１は、得られた画像を記憶する画像メモリであり、少なくとも２枚の画像を記憶可能である。符号１２は、画像メモリ１１に記憶された２枚の画像からオプティカルフローを算出するオプティカルフロー算出部である。符号１３は、オプティカルフロー算出部１２において算出されたオプティカルフローに基づいて、自己と物体との接近状況を判定する状況判断部である。符号３１は、無線通信によって情報通信を行う通信部である。符号Ｖは、移動体であり、ここでは自動車を例にして説明することとして、以下の説明では自動車Ｖと称する。符号Ｗは、接近検出対象の壁であり、以下の説明では物体Ｗと称する。符号１０は、周囲の環境を撮像して時系列の画像を得るビデオカメラ（以下、単にカメラと称する）である。このカメラ１０は、自動車Ｖの前方を見渡せる位置に備えられ、水平な地面に自動車Ｖを置いたときにカメラ１０の光軸が水平になるように配置される。符号２は、状況判断部１３の出力に基づいて自動車Ｖの移動制御を行う移動体制御部である。符号３２は、通信部３１との間で情報通信を行う通信部である。
なお、接近検出装置１は、通信部３１、３２が通信可能な位置に配置される必要があるので、原則的に通信可能距離と移動体の行動範囲内に基づいて、接近検出装置１の配置位置を決定すればよい。また、通信部３１、３２の間を携帯電話網等の公衆回線を介して、移動体の行動範囲を拡張するようにしてもよい。また、接近検出装置１は、自動車Ｖ（移動体）内に備えられていてもよい。
【００１８】
次に、図１、２を参照して、図１に示す接近検出装置の動作を説明する。図２は、図１に示す接近検出装置の動作を示すフローチャートである。
まず、接近検出装置１を起動すると、通信部３１は情報通信を行うことが可能になるとともに、画像メモリ１１、オプティカルフロー算出部１２、状況判断部１３が起動する。一方、自動車ＶのイグニッションスイッチをＯＮにすると、通信部３２は情報通信を行うことが可能となるともに、カメラ１０は撮像を開始し、移動体制御部２も起動する。そして、カメラ１０によって得られた画像信号は、通信部３２及び通信部３１を介して、画像メモリ１１に格納される。このとき、カメラ１０によって得られた画像に対して、標本化と量子化の処理が施され、ｍ×ｎ（ｍ、ｎは自然数）画素のディジタル画像となり画像メモリ１１に格納される（ステップＳ１）。
【００１９】
次に、オプティカルフローを算出するには少なくとも２枚の画像が必要であるため、起動時においてのみ続けて得られた画像を、画像メモリ１１へ格納する（ステップＳ２）。この時点で、画像メモリ１１には、時間的に連続する画像が２枚分格納されたこととなる。以下の説明において、最新の画像を時刻ｔにおいて撮像された画像（または、時刻ｔの画像）と称し、時刻ｔの画像の直前の画像を時刻ｔ−１において撮像された画像（または、時刻ｔ−１の画像）と称する。
【００２０】
次に、カメラ１０は、１枚の画像を画像メモリ１１へ格納が終了する毎に、通信部３２，３１を介して、オプティカルフロー算出部１２に対して、画像の格納が終了したことを通知する。この通知を受けて、オプティカルフロー算出部１２は、画像メモリ１１に格納されている最新の２枚の画像からオプティカルフローＶx,yを算出する（ステップＳ３）。ここでいうオプティカルフローとは、画素毎に定義される速度場のことであり、画像上のある位置にあったパターンが時間的に連続する次の画面でどこに移動したかを画素毎に表現したものである。すなわち、時系列の画像間で、画像中の各点が、時間と共にどのように変化したかを、ベクトルで表したものであり、このオプティカルフローから、画像中の対象がどのような動きをしていたかを推定することができるものである。ここでオプティカルフローを算出する方法として、２枚の画像間で対応点を探索する方法や画像中の各点の明度勾配と明度の時間勾配により推定する方法などの周知の方法を用いることができる。この処理によって、少なくとも２枚の画像間の画素のうち対応が取れた対応点についてオプティカルフローが求められたことになる。続いて、オプティカルフロー算出部１２は、算出したオプティカルフローＶx,yを状況判断部１３へ渡す。
【００２１】
状況判断部１３は、得られたオプティカルフローＶx,yのうち予め決められた画像上の領域（以下、選択領域と称する）内のオプティカルフローを空間的に加算した値εn tを、（１）式によって求める（ステップＳ４）。
εn t＝ΣΣｈnx,yＶx,y・・・・・・・（１）
ここで、ｈnx,yはオプティカルフローを空間的に加算する際の選択領域特性（例えば、選択領域の広さ及び選択領域の中心位置）を示す関数であり、例えば、ガウス関数やガボール関数等のように空間的に局在したフィルター関数を用いることが可能である。（１）式によって、関数ｈnx,yで定義される画像上の選択領域内のオプティカルフロー（ベクトル）が加算されることとなる。この選択領域特性ｈnx,yは、図１に示すカメラ１０が搭載される自動車Ｖの速度や、カメラ１０の視野角・解像度、サンプリング周波数等によって決定されるものである。また、物体Ｗに衝突する何秒前にトリガを出力する必要があるかによって選択領域特性ｈnx,yを決定するようにしてもよい。ただし、以下に述べる条件は必ず満たす必要がある。この条件とは、接近成分を検出する１対の選択領域が、自動車Ｖの前方移動時における画像のフロー湧き出しの中心点を境に左右対称になるように配置することである。本実施例では、自動車Ｖが直進する場合であって、一対の対応する選択領域が、それぞれ画像フレームに対して、左右上下対称に設定された例を説明する。ヨー方向の成分を検出する選択領域は画像上の水平線上に左右１対配置する。また、ピッチ方向の成分を検出するための選択領域は、画像上の鉛直線上に上下１対になるように配置する。また、添え字ｎは、各選択領域に順に付与された順番号である。図３及び図４に示すように本実施例では「ｎ」＝８の例を示した。「ｎ」の数は自動車Ｖのゆれの状況や要求する接近検出精度等に応じて適宜決定される。
【００２２】
ここで、図３、４を参照して、選択領域の配置関係について説明する。図３は、オプティカルフローＶx,yのヨー方向成分を用いて、ヨー方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図３において、符号ｈ1、ｈ2は、オプティカルフローＶx,yの接近成分を検出する１対の選択領域である。符号ｈ3、ｈ4は、オプティカルフローＶx,yのヨー方向成分を検出する１対の選択領域であり、選択領域ｈ1，ｈ2の内側に配置される。このように、本実施例では、左右を２分する中心線を境に１対の選択領域が、接近成分検出用とヨー方向成分検出用に分けてそれぞれ配置される。
なお、選択領域ｈ1〜ｈ4は、選択領域ｈ1〜ｈ4のそれぞれをピッチ方向（画像における垂直方向）のみ拡大した選択領域ｈ1’〜ｈ4’としてもよい。
【００２３】
一方、図４は、オプティカルフローＶx,yのピッチ方向成分を用いて、ピッチ方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図４において、符号ｈ5、ｈ6は、オプティカルフローＶx,yの接近成分を検出する１対の選択領域である。符号ｈ7、ｈ8は、オプティカルフローＶx,yのピッチ方向の成分を検出する１対の選択領域であり、選択領域ｈ5，ｈ6の内側に配置される。このように、本実施例では、上下を２分する中心線を境に１対の選択領域が、接近成分検出用とピッチ方向成分検出用に分けてそれぞれ配置される。
なお、選択領域ｈ5〜ｈ8は、選択領域ｈ5〜ｈ8のそれぞれをヨー方向（画像における水平方向）のみ拡大した選択領域ｈ5’〜ｈ8’としてもよい。
【００２４】
一般的に図１に示すような場面において、自動車Ｖが前進して物体Ｗへ接近したとき、得られた画像からオプティカルフローを算出すると、無限遠の点Ｍ（フローの湧き出し点）から放射状のベクトルが得られる。このとき、図３に示す各選択領域におけるフローベクトルの大きさは、ｈ1＞ｈ3，ｈ2＞ｈ4の関係となるのが一般的である。一方、自動車Ｖの移動に伴うヨー方向の振動がカメラ１０に対して加えられた場合、この振動によるヨー成分のベクトルの大きさは、各選択領域において差はあまり無い。したがって、接近をした場合に振動に伴って生じるベクトルに比して、相対的に接近ベクトルが大きいベクトルを得ることができる選択領域ｈ1、ｈ2によって接近成分検出を行い、接近の影響が相対的に小さくなる選択領域ｈ3、ｈ4によって振動によるヨー成分検出を行うようにすれば、ノイズ成分の除去を効率良く行うことが可能となる。これは、図４に示すピッチ方向を検出する選択領域ｈ5〜ｈ8についても同様である。
【００２５】
次に、状況判断部１３は、ステップＳ４において求めたオプティカルフローの空間的加算値εn tに対して、時間的なフィルタを用いて高周波成分のノイズを除去した値ρn tを、（２）式よって求める（ステップＳ５）。
ρn t＝ρn t ー 1−τ（ρn t ー 1−εn t）・・・・・・・（２）
ここで、τはτ＜１を満たす時定数である。この時定数τは自動車Ｖの速度等によって決定されるものである。
【００２６】
次に、状況判断部１３は、ノイズ除去フィルタの出力であるρn tに対して重み付け係数ｗnを乗算して加算した値θtを、接近成分検出用及びヨー成分検出用のそれぞれについて（３）、（４）式によって求める（ステップＳ６）。
すなわち、接近成分検出用θtは
θt＝ｗ1ρ1 t＋（−１・ｗ2）ρ2 t・・・・・・（３）
によって求め、
ヨー成分検出用θtは
θt＝ｗ3ρ3 t＋（−１・ｗ4）ρ4 t・・・・・・（４）
によって求める。
【００２７】
ここで、重み付け係数ｗnに−１を乗算して極性を逆にしている理由は、画像上の無限遠の点Ｍを中心として対称の位置に配置される選択領域ｈ1、ｈ2（またはｈ3、ｈ4）内において得られるρn tの極性が原則的に逆になるため、加算するときに一方のρn tの極性を逆にする必要があるからである。
【００２８】
次に、状況判断部１３は、接近成分検出用θtとヨー方向成分検出用θtとの差Ｓtを求め（ステップＳ７）、この値Ｓtと予め決められたしきい値とを比較する（ステップＳ８）。この結果、値Ｓtがしきい値より大きい場合、状況判断部１３は、物体Ｗに接近したと判断し（ステップＳ９）、しきい値より小さい場合は、接近はなしと判断する（ステップＳ１０）。この判定結果は、移動体制御部２へ通知され、自動車Ｖの減速や停止の制御を行う場合のトリガに用いられる。このしきい値は、自動車Ｖの速度や、カメラ１０の視野角・解像度等、さらには各選択領域特性ｈnx,yに基づいて最適値を選択して設定する。また、自動車Ｖが物体Ｗに衝突する何秒前にトリガを出力する必要があるかによってしきい値の大小を決定するようにしてもよい。なお、上記のＷnも、しきい値を設定した後、自動車Ｖに最適なタイミングでトリガがかかるように自動車Ｖの速度、カメラ１０の視野角等を考慮して設定される。
【００２９】
そして、ステップＳ８の判定結果が得られた時点で、再びステップＳ２に戻り前述した動作を繰り返す。このとき、取得する画像は、１枚のみ（ステップＳ１は２回目以降の処理においては実行されない）であり、前回の実行時にステップＳ２で得られた画像が、時刻ｔ−１の画像となり、今回新たに得られた画像が時刻ｔの画像として処理を繰り返す。
【００３０】
このように、接近成分検出用とヨーまたはピッチ方向成分検出用の画像領域を、左右または上下を２分する中心線を境に１対の選択領域として配置し、この選択領域におけるオプティカルフローの情報に基づいて、簡単な演算処理を施し、これによって得られた値がしきい値より大きいか否かで、物体の接近を検出するようにしたため、振動成分が混在する画像においても精度良くかつ高速に接近検出が可能となる。すなわち、接近をした場合にオプティカルフローＶx,yの総和が増大する選択領域ｈ1、ｈ2によって接近成分検出を行い、接近の影響が比較的小さい選択領域ｈ3、ｈ4によって振動によるヨー成分検出を行うようにしたため、ノイズ成分の除去を効率良く行うことが可能となる。これはピッチ方向についても同様である。
なお、状況判断部１３は、図３及び図４に示す選択領域ｈ1〜ｈ4、ｈ5〜ｈ8について同時に処理を行い、どちらか一方の値Ｓtがしきい値を超えた場合に停止トリガを出力するようにしてもよいし、２つの値Ｓtがそれぞれしきい値を超えた場合に停止トリガを出力するようにしてもよい。
【００３１】
次に図５を参照して、実画像を用いた実施例を説明する。図５は、自動車Ｖにカメラ１０を搭載し、ある障害物に接近するまでの動画像をビデオレートでサンプリングして前述した動作の処理を施した結果を示すグラフである。図５において、Ｘ軸は、自動車Ｖが発進してからの経過時間を示し、Ｙ軸は、前述した（３）、（４）式で求めた２つの値θt（左軸）と、この２つの値θtの差に基づいて算出される値であるトリガ出力（右軸）を示している。なお、（３）、（４）式で求めた２つの値θtの差は非常に小さい値であるため、関数ｔａｎｈ（θ）によって非線形に増幅して明示している。ここでは増幅する関数としてｔａｎｈ（）を用いたが、２つの値の差がある程度大きくなったことを検出できるものであれば何でもよい。この実施例では、自動車Ｖが発進してから約６.２秒後に物体Ｗに接触した。
図５から分かるように、接近成分の値θt及びヨー成分の値θtは、接触前においてはほぼ同じ変動を示すが、物体へ接近するにつれて差Ｓtが大きくなり、５.８秒後に差が非常に大きくなって、トリガが出力されることとなる。前述した接近検出装置においては、この差Ｓtが所定のしきい値より大きくなったときにトリガを出力するようにして、移動体と物体の接近を検出する。これに応じて、自動車Ｖの減速、停止を行うことで物体Ｗへの衝突を防止できる。
【００３２】
なお、図３、４に示す例では、選択領域を左右または上下に２つずつ設定するようにしたが、高精度な検出精度を必要としない接近検出は、片側の２つのみでも可能である。すなわち、図３の例では、選択領域ｈ1、ｈ3（またはｈ2、ｈ4）のみで処理しても検出可能である。このとき、（３）、（４）式は、以下のようになる。
θt＝ｗ1ρ1 t・・・・・・（３）’
θt＝ｗ3ρ3 t・・・・・・（４）’
また、図４の例では、選択ｈ5、ｈ7（または、ｈ6、ｈ8）のみで検出処理を行っても可能である。
また、逆に選択領域は、左右または上下に、接近成分検出用とヨーまたはピッチ成分検出用をそれぞれ３つ以上設定してもよい。
【００３３】
また、前述した説明では、ヨー成分を用いて接近する動作を説明したが、ピッチ線分を用いた場合であっても同様の処理で接近を検出することが可能である。また、移動体は、自動車のみならず、二足歩行の人間型ロボットを含む自律移動ロボットや無人搬送車であってもよい。
また、カメラ１０の光軸に直交する光軸を有するカメラを新たに備えるようにして、このカメラから得られた画像のオプティカルフローに基づいて、自動車Ｖのロール成分を求め、この求めたロール成分を状況判断部１３へ通知するようにして、ロール成分の影響を除去するようにしてもよい。また、ロール成分検出にジャイロを用い、ジャイロの出力を状況判断部１３へ通知するようにして、ロール成分の影響を除去するようにしてもよい。
【００３４】
また、図２に示す処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより接近検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３６】
【発明の効果】
以上説明したように、請求項１、５、９に記載の発明によれば、時間的に連続する少なくとも２枚の画像からオプティカルフローを算出し、画像上の第１の選択領域において所定のフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出するとともに、画像上の第２の選択領域においてフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出し、この接近検出用加算値と振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断を行うようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができるという効果が得られる。
また、請求項２、６、１０に記載の発明によれば、第２の選択領域は、該領域内にオプティカルフローの湧き出し点が含まれない位置に設けられ、第１の選択領域は、第２の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができるという効果が得られる。
また、請求項３、７、１１に記載の発明によれば、第１及び第２の選択領域は、それぞれオプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から接近検出用加算値及び振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができるという効果が得られる。
また、請求項４、８、１２に記載の発明によれば、２つの加算値から高周波成分のノイズ除去を行い、２つの加算値に対して重み付けを行うようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能になるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１に示す接近検出装置１の動作を示すフローチャートである。
【図３】 ヨー方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図４】 ピッチ方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図５】 図２に示す動作の処理を施した結果を示すグラフである。
【符号の説明】
１・・・接近検出装置
１０・・・カメラ
１１・・・画像メモリ
１２・・・オプティカルフロー算出部
１３・・・状況判断部
２・・・移動体制御部
Claims (9)
- 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出装置であって、
時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、
前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算手段と、
前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算手段と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段と
を備えたことを特徴とする接近検出装置。 - 請求項１に記載の接近検出装置であって、
前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出装置。 - 請求項１または請求項２に記載の接近検出装置であって、
前記状況判断手段は、
所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去手段と、
前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け手段と、
前記重み付け手段によって重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算手段と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定手段と
からなることを特徴とする接近検出装置。 - 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出方法であって、
時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、
前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算過程と、
前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算過程と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程と
を有することを特徴とする接近検出方法。 - 請求項４に記載の接近検出方法であって、
前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出方法。 - 請求項４または請求項５に記載の接近検出方法であって、
前記状況判断過程は、
所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去過程と、
前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け過程と、
前記重み付け過程において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算過程と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定過程と
からなることを特徴とする接近検出方法。 - 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出プログラムであって、
時間的に連続する少なくとも２枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、
前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第２の選択領域よりも外側に設けられた第１の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第１の加算処理と、
前記画像上の第２の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第２の加算処理と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理と
をコンピュータに行わせることを特徴とする接近検出プログラム。 - 請求項７に記載の接近検出プログラムであって、
前記第１及び第２の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出プログラム。 - 請求項７または請求項８に記載の接近検出プログラムであって、
前記状況判断処理は、
所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去処理と、
前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け処理と、
前記重み付け処理において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算処理と、
前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定処理と
からなることを特徴とする接近検出プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002100567A JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
| EP02010335A EP1256487B1 (en) | 2001-05-11 | 2002-05-07 | System, method, and program for detecting approach to object |
| DE60214073T DE60214073T2 (de) | 2001-05-11 | 2002-05-07 | System, Methode und Programm zur Erkennung einer Objektannäherung |
| US10/140,951 US6581007B2 (en) | 2001-05-11 | 2002-05-09 | System, method, and program for detecting approach to object |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-141976 | 2001-05-11 | ||
| JP2001141976 | 2001-05-11 | ||
| JP2002100567A JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003051016A JP2003051016A (ja) | 2003-02-21 |
| JP4162910B2 true JP4162910B2 (ja) | 2008-10-08 |
Family
ID=26614995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002100567A Expired - Fee Related JP4162910B2 (ja) | 2001-05-11 | 2002-04-02 | 接近検出装置、接近検出方法、及び接近検出プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6581007B2 (ja) |
| EP (1) | EP1256487B1 (ja) |
| JP (1) | JP4162910B2 (ja) |
| DE (1) | DE60214073T2 (ja) |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| AU2002251807A1 (en) | 2001-01-23 | 2002-08-19 | Donnelly Corporation | Improved vehicular lighting system for a mirror assembly |
| WO2006124682A2 (en) | 2005-05-16 | 2006-11-23 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| AU2003237424A1 (en) | 2002-06-06 | 2003-12-22 | Donnelly Corporation | Interior rearview mirror system with compass |
| AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| US7289037B2 (en) | 2003-05-19 | 2007-10-30 | Donnelly Corporation | Mirror assembly for vehicle |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| DE102004046101B4 (de) * | 2004-09-23 | 2007-01-18 | Daimlerchrysler Ag | Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen |
| JP4069919B2 (ja) * | 2004-09-28 | 2008-04-02 | 日産自動車株式会社 | 衝突判定装置、および方法 |
| DE102004048400A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
| TWI243276B (en) * | 2004-11-12 | 2005-11-11 | Young Optics Inc | Imaging displacement module and optical projection device |
| US7130745B2 (en) * | 2005-02-10 | 2006-10-31 | Toyota Technical Center Usa, Inc. | Vehicle collision warning system |
| JP2006338272A (ja) * | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | 車両挙動検出装置、および車両挙動検出方法 |
| CN101535087B (zh) | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
| US8339526B2 (en) | 2006-03-09 | 2012-12-25 | Gentex Corporation | Vehicle rearview mirror assembly including a high intensity display |
| JP4579191B2 (ja) | 2006-06-05 | 2010-11-10 | 本田技研工業株式会社 | 移動体の衝突回避システム、プログラムおよび方法 |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| FR2938228B1 (fr) * | 2008-11-10 | 2010-11-05 | Peugeot Citroen Automobiles Sa | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile |
| JP5155110B2 (ja) * | 2008-11-17 | 2013-02-27 | 株式会社日立国際電気 | 監視装置 |
| JP5251460B2 (ja) * | 2008-11-28 | 2013-07-31 | 富士通株式会社 | 接近物体検出装置、接近物体検出プログラム、接近物体検出方法 |
| US20110102583A1 (en) * | 2009-10-30 | 2011-05-05 | Kim Kinzalow | Rear view camera system and calibration method |
| KR101657524B1 (ko) * | 2012-01-11 | 2016-09-19 | 한화테크윈 주식회사 | 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치 |
| US8879139B2 (en) | 2012-04-24 | 2014-11-04 | Gentex Corporation | Display mirror assembly |
| JP6403750B2 (ja) | 2013-03-15 | 2018-10-10 | ジェンテックス コーポレイション | 表示ミラーアセンブリ |
| JP5905846B2 (ja) * | 2013-03-29 | 2016-04-20 | 株式会社日本自動車部品総合研究所 | 横断判定装置およびプログラム |
| CN105555612B (zh) | 2013-09-24 | 2018-06-01 | 金泰克斯公司 | 显示镜组件 |
| US9511715B2 (en) | 2014-01-31 | 2016-12-06 | Gentex Corporation | Backlighting assembly for display for reducing cross-hatching |
| CN106061794B (zh) | 2014-03-21 | 2019-06-07 | 金泰克斯公司 | 三态显示镜组件 |
| KR101894262B1 (ko) | 2014-04-01 | 2018-09-04 | 젠텍스 코포레이션 | 자동 디스플레이 미러 어셈블리 |
| WO2016044746A1 (en) | 2014-09-19 | 2016-03-24 | Gentex Corporation | Rearview assembly |
| JP6505839B2 (ja) | 2014-11-07 | 2019-04-24 | ジェンテックス コーポレイション | 全画面表示ミラーアクチュエータ |
| US10071689B2 (en) | 2014-11-13 | 2018-09-11 | Gentex Corporation | Rearview mirror system with a display |
| US10131279B2 (en) | 2014-12-03 | 2018-11-20 | Gentex Corporation | Display mirror assembly with an RF shield bezel |
| USD746744S1 (en) | 2014-12-05 | 2016-01-05 | Gentex Corporation | Rearview device |
| US9744907B2 (en) | 2014-12-29 | 2017-08-29 | Gentex Corporation | Vehicle vision system having adjustable displayed field of view |
| US9720278B2 (en) | 2015-01-22 | 2017-08-01 | Gentex Corporation | Low cost optical film stack |
| KR102050326B1 (ko) | 2015-04-20 | 2019-11-29 | 젠텍스 코포레이션 | 어플리케를 갖춘 후면뷰 조립체 |
| EP3297870B1 (en) | 2015-05-18 | 2020-02-05 | Gentex Corporation | Full display rearview device |
| WO2016209877A1 (en) | 2015-06-22 | 2016-12-29 | Gentex Corporation | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights |
| USD798207S1 (en) | 2015-10-30 | 2017-09-26 | Gentex Corporation | Rearview mirror assembly |
| CN108349436B (zh) | 2015-10-30 | 2019-12-20 | 金泰克斯公司 | 后视装置 |
| USD797627S1 (en) | 2015-10-30 | 2017-09-19 | Gentex Corporation | Rearview mirror device |
| EP3368374B1 (en) | 2015-10-30 | 2023-12-27 | Gentex Corporation | Toggle paddle |
| USD800618S1 (en) | 2015-11-02 | 2017-10-24 | Gentex Corporation | Toggle paddle for a rear view device |
| USD845851S1 (en) | 2016-03-31 | 2019-04-16 | Gentex Corporation | Rearview device |
| USD817238S1 (en) | 2016-04-29 | 2018-05-08 | Gentex Corporation | Rearview device |
| US10025138B2 (en) | 2016-06-06 | 2018-07-17 | Gentex Corporation | Illuminating display with light gathering structure |
| USD809984S1 (en) | 2016-12-07 | 2018-02-13 | Gentex Corporation | Rearview assembly |
| USD854473S1 (en) | 2016-12-16 | 2019-07-23 | Gentex Corporation | Rearview assembly |
| JP2020505802A (ja) | 2016-12-30 | 2020-02-20 | ジェンテックス コーポレイション | オンデマンドスポッタービューを備えた全画面表示ミラー |
| CN110312641A (zh) | 2017-03-17 | 2019-10-08 | 金泰克斯公司 | 双显示倒车摄像系统 |
| JP7143703B2 (ja) * | 2018-09-25 | 2022-09-29 | トヨタ自動車株式会社 | 画像処理装置 |
| CN111539301B (zh) * | 2020-04-20 | 2023-04-18 | 贵州安防工程技术研究中心有限公司 | 一种基于视频分析技术的场景混乱程度判别方法 |
| EP4388243A4 (en) | 2021-08-20 | 2024-12-04 | Gentex Corporation | LIGHTING ASSEMBLY AND LIGHTING SYSTEM HAVING A LIGHTING ASSEMBLY |
| CN115018785A (zh) * | 2022-06-01 | 2022-09-06 | 中国矿业大学 | 基于视觉振频识别的提升钢丝绳张力检测方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5198896A (en) * | 1989-10-26 | 1993-03-30 | Canon Kabushiki Kaisha | Movement detection apparatus for detecting movement vectors from an image signal |
| US5128874A (en) * | 1990-01-02 | 1992-07-07 | Honeywell Inc. | Inertial navigation sensor integrated obstacle detection system |
| US5731849A (en) * | 1992-03-13 | 1998-03-24 | Canon Kabushiki Kaisha | Movement vector detecting apparatus |
| DE4332612C2 (de) * | 1992-09-25 | 1996-02-22 | Yazaki Corp | Außenansichts-Überwachungsverfahren für Kraftfahrzeuge |
| JP3011566B2 (ja) | 1993-02-26 | 2000-02-21 | 三菱電機株式会社 | 接近車監視装置 |
| JP3321386B2 (ja) | 1997-06-27 | 2002-09-03 | 株式会社ハゴロモ | Ｃｄケース等の収納容器 |
| JP3886618B2 (ja) | 1997-10-28 | 2007-02-28 | 本田技研工業株式会社 | 動画像処理方法 |
| US6175652B1 (en) * | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
| JPH11353565A (ja) | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
-
2002
- 2002-04-02 JP JP2002100567A patent/JP4162910B2/ja not_active Expired - Fee Related
- 2002-05-07 DE DE60214073T patent/DE60214073T2/de not_active Expired - Fee Related
- 2002-05-07 EP EP02010335A patent/EP1256487B1/en not_active Expired - Lifetime
- 2002-05-09 US US10/140,951 patent/US6581007B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1256487B1 (en) | 2006-08-23 |
| US6581007B2 (en) | 2003-06-17 |
| US20020169555A1 (en) | 2002-11-14 |
| EP1256487A2 (en) | 2002-11-13 |
| JP2003051016A (ja) | 2003-02-21 |
| EP1256487A3 (en) | 2005-01-19 |
| DE60214073D1 (de) | 2006-10-05 |
| DE60214073T2 (de) | 2007-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4162910B2 (ja) | 接近検出装置、接近検出方法、及び接近検出プログラム | |
| US10036809B2 (en) | Real-time warning for distracted pedestrians with smartphones | |
| JP5187292B2 (ja) | 車両周辺監視装置 | |
| JP5418661B2 (ja) | 車両周辺監視装置 | |
| JP2010257377A (ja) | 車両周辺監視装置 | |
| JP2006059252A (ja) | 動き検出方法及び装置，プログラム，車両用監視システム | |
| JP4962304B2 (ja) | 歩行者検出装置 | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| JP5107154B2 (ja) | 運動推定装置 | |
| EP2501124B1 (en) | Image processing device and method | |
| JPH06247246A (ja) | 接近車監視装置 | |
| JPH06180749A (ja) | 路上物体監視装置 | |
| JP6826010B2 (ja) | カメラ運動推定装置、カメラ運動推定方法及びプログラム | |
| JP4483413B2 (ja) | 移動物体検出装置及び移動物体検出方法 | |
| JP5251814B2 (ja) | 運転支援装置 | |
| JP4493885B2 (ja) | 運転支援システム | |
| JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
| Hu | Robust seatbelt detection and usage recognition for driver monitoring systems | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| JP6201809B2 (ja) | 周辺監視装置及び方法 | |
| JP2010286985A (ja) | 物体検出装置および物体検出方法 | |
| JP2008257399A (ja) | 画像処理装置 | |
| JP4069916B2 (ja) | 物体検出装置、および方法 | |
| JP4075879B2 (ja) | 車両用衝突警報装置及び車両用衝突警報方法 | |
| JP3250126B2 (ja) | 移動物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080723 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4162910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140801 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |