JP2004349926A - 障害物検出装置及び方法並びに障害物検出用プログラム - Google Patents

Abstract

【課題】障害物を検出しつつ、不要な検出を抑制する。
【解決手段】車両５の進行可能な方向の所定範囲の画像を撮影する画像取得手段１と、撮影範囲に存在する障害物との距離を計測する距離計測手段２と、取得した画像データ及び前記計測した距離データを演算処理する演算手段３と、を車両５に備え、演算手段３が、取り込んだ画像を用いてオプティカルフローを算出するオプティカルフロー算出機能と、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定機能と、距離計測手段にて計測した撮影範囲に存在する障害物との距離のうち，特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する障害物判断機能と、を備えた。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、障害物検出装置にかかり、特に、車両に取り付け、接近する障害物を画像処理により検出する障害物検出装置に関する。また、障害物検出方法及び障害物検出用プログラムに関する。
【０００２】
【従来の技術】
従来より、車両が走行中に、他の車両や道路脇の柱、壁などの障害物に接触することを抑制すべく、接近する障害物を検出して事前に警報を発するという障害物検出装置が開発されている。
【０００３】
例えば、以下に示す特許文献１では、車両前方に取り付けたカメラにより前方範囲の画像を取り込み、当該画像からオプティカルフローを用いて他の車両を検出し、検出した他の車両に対する警報を車両内において発する、という構成を採っている。このとき、風景のオプティカルフローと異なる方向となるオプティカルフローを検出する処理を行うことで、他の車両を検出している。
【０００４】
また、特許文献２に開示する装置では、車両前方に取り付けたカメラが魚眼レンズを装着しており、広角の視野画像を取り込んで、かかる範囲内の他車などの障害物を検出する、という構成を採っている。これにより、特に、見通しの悪い交差点における他車との接触を抑制することができる。
【０００５】
【特許文献１】
特開平６−１０７０９６号公報
【特許文献２】
特開２００１−１０１５９２号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来例では以下のような不都合があった。まず、特許文献１に開示されている発明では、障害物以外から生じているオプティカルフローを除去した上で、他の車両などの障害物を検出しているが、上記オプティカルフローの除去処理にはカメラの設置高さが基準とされている。従って、カメラの取付精度や道路の状況に認識精度が依存してしまうという問題が生じる。また、その後の危険度の算出は、オプティカルフローの長さの総和によって算出しているが、オプティカルフローの無限遠点付近に障害物が位置する場合には、オプティカルフローが検出されにくく、かかる障害物を警報対象として検出することが困難となり、警報が遅れるという問題も生じる。
【０００７】
また、特許文献２に開示されている発明では、魚眼レンズにて取り込んだ画像を処理対象としているため、処理負担が膨大であり、警報の遅延という問題が生じる。また、自車両の舵角や速度などの検出も必要となり、これらを検出するセンサや配線を備える必要性から、装置が複雑になるという問題も生じる。
【０００８】
【発明の目的】
本発明は、上記従来例の有する不都合を改善し、特に、車両乗員に対して注意が必要となる障害物を検出しつつ、不要な検出を抑制することができる障害物検出装置を提供することをその目的とする。
【０００９】
【課題を解決するための手段】
そこで、本発明では、車両の進行可能な方向の所定範囲の画像を撮影する画像取得手段と、撮影範囲に存在する障害物との距離を計測する距離計測手段と、取得した画像データ及び前記計測した距離データを演算処理する演算手段と、を車両に備えている。そして、演算手段が、取り込んだ画像を用いてオプティカルフローを算出するオプティカルフロー算出機能と、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定機能と、距離計測手段にて計測した撮影範囲に存在する障害物との距離のうち，特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する障害物判断機能と、を備えた、という構成を採っている。
【００１０】
また、上記構成に加えて、車両内の乗員に障害物に対して注意を促す警報を発する警報発生手段を、車両に備えると共に、演算手段が、障害物判断機能にて注意すべき障害物であると判断された場合に警報発生手段に警報発生指令を出力する警報発生指令機能を備えていると望ましい。さらには、車両に備えられた駆動装置や制動装置などの各装置の動作を制御する動作制御部を備える共に、演算手段が、障害物判断機能にて注意すべき障害物であると判断された場合に動作制御部に車両の各装置の動作を制御する指令を発する動作制御指令機能を備えてもよい。
【００１１】
このような構成にすることにより、まず、取り込んだ画像のオプティカルフローが算出され、これを用いて当該車両の画像上における進行方向が特定される。そして、進行方向付近の画像上における所定の範囲内に存在する障害物との距離が調べられ、かかる距離に応じてその障害物が注意すべき障害物であるか否かが判断される。注意を要する障害物であると判断された場合には、警報が発せられたり、アクセルの踏み込み量が制限されたりブレーキを作動させるなど車両の動作が自動的に制御される。
【００１２】
従って、進行方向付近に存在する障害物のみを検出対象としているため、まさに注意を要する障害物のみを検出することができ、効果的に運転者に注意を促すことができる。すなわち、注意する必要が少ない障害物が誤って検出されることが抑制されるため、車両の乗員に対して不必要に注意を促すことが抑制され、警報が頻繁に発せられるなどの煩わしさから解放される。また、検出する範囲を進行方向付近に制限しているため、演算手段の処理負担が軽減され、検出処理の高速化を図ることができる。
【００１３】
また、車両の走行速度を検出する車速検出手段を、当該車両に備えると共に、演算手段の障害物判断機能が、計測した障害物との距離及び車速検出手段にて検出した車速に基づいて注意すべき障害物であるか否かを判断する、という構成とすると望ましい。これにより、車速に応じて注意を要する障害物であるか否かが検出されるため、注意度の高い障害物を的確に検出することができる。
【００１４】
また、障害物判断機能における判断基準となる距離基準データを記憶する記憶手段を、車両に備えると共に、障害物判断機能が、計測した障害物に対する距離と距離基準データと比較して判断する、という構成とすると望ましい。さらに、上述した車両の走行速度を検出する車速検出手段を当該車両に備えた構成において、距離基準データは、車両の走行速度に応じて変化するデータであり、障害物判断機能が、計測した障害物に対する距離と距離基準データのうち当該車両の走行速度に応じたデータと比較して判断する、という構成としてもよい。このとき、距離基準データは、車両の走行速度が速くなるにつれて注意を要する障害物であると判断する距離が長くなるという性質のデータであると望ましい。
【００１５】
これにより、走行方向付近の障害物との距離があらかじめ定められた距離以下である場合のみ、注意を要する障害物であると判断されるため、効率よく車両乗員に注意を促すことができる。特に、車速に応じて判断基準となる障害物との距離を設定することで、現在の走行状態に応じた注意を要する障害物を、適切に検出することができる。
【００１６】
また、演算手段が、車速検出手段から検出した走行速度に基づいて各機能による処理を開始する、という構成としてもよい。これにより、ある走行速度に達した段階で障害物の検出処理が開始されるため、停車中などに不要な障害物の検出処理が実行されることを抑制でき、車両乗員への不要な警報などを抑制することができる。
【００１７】
また、画像取得手段にて撮影する範囲に撮影を補助する光を照射する補助光照射手段を、車両に備えると望ましい。これにより、車両の走行方向を特定する処理の対象となる画像が、補助光で照らされた状態で撮影されるため、安定して走行方向を精度よく検出することができ、正確な障害物の検出を行うことができる。
【００１８】
さらに本発明では、車両に備えられた画像取得手段にて車両の進行可能な方向の所定範囲の画像を撮影する画像取得工程と、当該画像取得工程の前後に車両に備えられた距離計測手段にて撮影範囲に存在する障害物との距離を計測する距離計測工程と、を備え、少なくとも画像取得工程の後に、車両に備えられた演算手段が，取り込んだ画像を用いてオプティカルフローを算出するオプティカルフロー算出工程と、演算手段が，算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定工程とを備えると共に、当該進行方向特定工程及び距離計測工程の後に、演算手段が，距離計測工程にて計測した撮影範囲に存在する障害物との距離のうち，特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する障害物判断工程を備えた、という障害物検出方法をも提供している。
【００１９】
また、車両に備えられた画像取得手段にて撮影された当該車両の進行可能な方向の所定範囲の画像データと、車両に備えられた距離計測手段にて計測された画像取得手段による撮影範囲に存在する障害物との距離データと、を演算処理する、車両に備えられたコンピュータに、取り込んだ画像データを用いてオプティカルフローを算出するオプティカルフロー算出機能と、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定機能と、距離計測手段にて計測した撮影範囲に存在する障害物との距離のうち，特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両に対して注意すべき障害物であるか否かを判断する障害物判断機能と、を実現するための障害物検出用プログラム、をも提供している。
【００２０】
このようにしても、上述同様の作用効果を得ることができ、上記目的を達成することができる。
【００２１】
【発明の実施の形態】
〈第１の実施形態〉
以下、本発明の第１の実施形態を、図１乃至図５を参照して説明する。図１は、障害物検出装置の構成を示す機能ブロック図である。図２は、障害物検出装置の作動状態を示す説明図である。図３乃至図４は、画像処理の様子を示す説明図である。図５は、障害物検出装置の動作を示すフローチャートである。
【００２２】
（構成）
本発明である障害物検出装置は、図１に示すように、車両の進行可能な方向の所定範囲の画像を撮影する画像取得手段であるカメラ１と、撮影範囲に存在する障害物との距離を計測する距離計測手段である距離センサ２と、取得した画像データ及び計測した距離データを演算処理する演算手段であるコンピュータ３と、を車両１０に備えている。
【００２３】
そして、カメラ１と距離センサ２とが、図２に示すように車両５の右前方箇所に、また、コンピュータ３は車両５の内部に備えられていて、カメラ１にて取得した画像データと、距離センサ２にて取得した障害物までの距離データとを用いて、コンピュータ３にて演算処理することにより、進行方向（矢印Ａ１方向）に存在する障害物Ｏを検出する、という装置である。特に、本実施形態では、車両内の乗員に障害物に対して注意を促す警報を発する警報発生手段である警報器４を車両５の内部に備えていて（図２では図示せず）、障害物を検出後に警報を発する、という構成になっている。以下、これを詳述する。
【００２４】
（車両）
本発明である障害物検出装置が備えられる車両５は、本実施形態では図２（ａ）に示すように４輪自動車である。但し、車両５はこれに限定されない。例えば、大型トラックや２輪車であってもよい。
【００２５】
また、障害物検出装置のカメラ１及び距離センサ２が備えられる車両上の位置は、本実施形態では、上述したように車両１の右前部分であり、例えば、フロントライト（図示せず）に近接した位置に、車両５内部に内蔵されている。但し、カメラ１及び距離センサ２の装着位置は、これに限定されるものではない。車両５の左前あるいは前中央であってもよく、さらには、後述するように、後方の左右や中央に備えられていてもよい。また、図２（ａ）では、１箇所に１組のカメラ１と距離センサ２しか備えられていないが、複数の箇所にそれぞれ備えてもよい。
【００２６】
また、コンピュータ３が車両５の内部に備えられており、カメラ１及び距離センサ２からの信号線１０，２０がそれぞれコンピュータ３に接続されている。これにより、カメラ１にて取得した画像データや、距離センサ２にて取得した距離分布データが、コンピュータ３に伝送される。
【００２７】
また、車両５の内部には警報器４が備えられているが、コンピュータ３からの指令にて警報を発するものである。そして、本実施形態では、警報器４は車内に警報音を発するものである。但し、これに限定されるものではなく、例えば、インスツルメントパネルに警告灯を点灯させるものでもよい。なお、警報器４にて発生される警報音は、数種類のパターンが設定されていて、後述するように、障害物の検出距離によって出力が異なる。
【００２８】
（カメラ）
カメラ１は、広角レンズを装着したＣＣＤカメラであり、所定の範囲の画像を撮影するものである。そして、所定のサンプリングタイム毎にて撮影して、取得した画像データをコンピュータ３に伝送する。ここで、図２（ａ）、（ｂ）に、カメラ１及び距離センサ２の作動状態を説明する説明図を示すが、符号Ａ２，Ａ３に示す線にて囲まれた扇形状の範囲が画像撮影範囲となる。
【００２９】
そして、画像データは、例えば、１画素あたり２５６階調のモノクロ画像として取得され、ある時間における一枚の画像（フレーム）として撮影される。複数のフレームが撮影されると、これらのうち連続するフレームがわかるよう区別され、コンピュータにて保持される。なお、カメラ１はＣＣＤカメラに限定されず、画像を取得できるものであればよい。
【００３０】
（距離センサ）
距離センサ２は、上記カメラ１の広角レンズによる撮影範囲内に存在する物体までの距離を計測するものであり、例えば、レーザレンジファインダである。レーザレンジファインダは、レーザ光源２１とカメラ２２とにより構成されている。そして、レーザ光源２１から画像取得手段としてのカメラ１の撮影範囲全域にレーザ光（符号Ｌ）を照射し、かかる範囲をレーザレンジファインダの一部であるカメラ２２にて撮影し、当該カメラ２２に映る範囲に存在する障害物Ｏまでの距離分布を計測するというものである。すなわち、距離センサ２の一部であるカメラ２２では、レーザ光の照射により光る物体を撮影し、かかる光を区別することにより、撮影範囲の距離分布を取得するというものである。そして、距離分布データは例えば距離に比例した２５６階調の濃淡画像にて表されるが、これに限定されるものではない。
【００３１】
本実施形態では、特に、レーザレンジファインダの一部であるカメラ２２と、上述した画像取得手段としてのカメラ１が同一のものであり、すなわち、画像取得手段としてのカメラ１が距離センサ２の一部として構成されている。この場合、車両５の進行方向を特定するために画像を取り込むと同時に、距離の計測が行われる。このように、距離センサ２と画像取得用のカメラ１が同一であるため、光軸調整などの手間が不要となり、また、センサ自体をコンパクトに構成できる。但し、このように上記各カメラ（１，２２）が同一のものでなくてもよい。かかる場合には、画像取得手段としてのカメラ１と、距離センサ２の光軸が一致するよう設定して、取得した画像と距離センサ２により計測した距離分布が一致するようにする。あるいは、画像取得手段としてのカメラ１と、距離センサ２の光軸が一致しなくても、画像と距離分布が一致するよう調整する構成であればよい。なお、距離センサ２はレーザレンジファインダにて構成されていることに限定されない。レーザレーダやスキャン式光電センサ、スキャン式超音波センサなど、障害物までの距離を計測できるものであればよい。
【００３２】
（コンピュータ）
コンピュータ３は、所定の演算処理能力を有する演算装置と、所定の記憶容量を有する記憶装置と、を備えた一般的なコンピュータである。但し、本実施形態では車両５に搭載されているものであるため、その形態は一般ユーザが使用するコンピュータとは異なり、基板上に構成されたコンピュータである。
【００３３】
そして、コンピュータ３の演算装置であるＣＰＵには、以下に説明する各処理部が構築されている。これら各処理部は、ＣＰＵが当該各処理部として作動するような指令が記述されたプログラムを組み込むことで構築される。具体的には、カメラ１から画像データを取得して当該画像を処理する画像処理部３１と、距離センサ２にて計測された距離分布を取得する距離分布取得部３２と、得られた画像データと距離分布とから車両５に対する障害物を検出する障害物判断部３３と、警報器４に警報を発するよう指令を出す警報発生指令部４と、が構築されている。なお、プログラムは、例えば、取り込んだ画像データを用いてオプティカルフローを算出するオプティカルフロー算出指令と、算出したオプティカルフローに基づいて画像上の車両５の進行方向を特定する進行方向特定指令と、距離センサ２にて計測した撮影範囲に存在する障害物との距離のうち，特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両５に対して注意すべき障害物であるか否かを判断する障害物判断指令と、を備えた障害物検出用プログラムである。
【００３４】
以下、上述した各処理部の機能を説明する。まず、画像処理部３１は、カメラ１にて撮影した連続するフレーム画像を取得して、かかる画像データを処理すべくフレームメモリに保持する。そして、取り込んだ画像すなわち連続するフレームを用いてオプティカルフローを算出する。このように、画像処理部３１はオプティカルフロー算出機能を備えている。また、算出したオプティカルフローに基づいて画像上の車両５の進行方向を特定する進行方向特定機能をも備えている。上記機能を、図３を参照してされに詳述する。図３（ａ）は、オプティカルフローを説明する図であり、図３（ｂ）は、画像処理部３１による処理の様子を説明する図である。
【００３５】
ここで、オプティカルフローとは、撮影画像上のある特徴点の動きベクトルであり、これを算出することにより、車両５に対して相対的に動いている物体の移動方向、及び、速度を認識することができる。具体的には、連続するフレーム上で同一の特徴点を抽出することにより、オプティカルフローを算出することができる。
【００３６】
そして、本実施形態では、図３（ａ）に示すように、複数のオプティカルフロー（符号Ｖ１，Ｖ２，Ｖ３など）を算出した後に、これらベクトルの吹き出し口となるいわゆる無限遠点Ｐを算出する。例えば、各ベクトルを当該ベクトルの向きとは反対方向に延長し、これらの交点を無限遠点Ｐとする。そして、この無限遠点Ｐを車両５の進行方向と認識し、さらに、画像上で無限遠点Ｐを中心としてあらかじめ定めた一定の大きさの範囲を、後に注意すべき障害物を検出する範囲として設定する。以下、かかる範囲を進行方向エリアＲと呼ぶ。
【００３７】
上記処理を、道路上を走行する車両５から取得した画像を示す図３（ｂ）を用いて説明する。まず、図３（ｂ）▲１▼、▲２▼に示すように、時間的に連続するフレームを取得した後に、これらフレーム間のオプティカルフローを算出する。すると、前方に位置する矩形の物体ＯにおけるオプティカルフローＶ１１，Ｖ１２が図３（ｂ）▲３▼に示すように抽出できる。かかるオプティカルフローから上述したように無限遠点を算出して、その付近の所定の範囲を進行方向エリアＲとして図３（ｂ）▲４▼に示すように設定する。
【００３８】
また、上記距離分布取得部３２は、画像取得前や画像取得と同時に、あるいは、画像取得後に、距離センサ２にて計測した距離分布データを取得する。このとき、特に、進行方向を特定するために画像を取得する間隔よりも、短い時間間隔にて継続して距離を測定し、これら総ての距離分布データを取得してもよい。そして、得られた距離分布データは、上述したように距離に比例した濃淡画像にて表されている。この一例を、図４▲２▼に示す。なお、車両５との距離が近ければ近いほど、黒く表されるよう距離に対応した濃淡値が設定されており、この図では、近くに柱が立っていることを示す図である。
【００３９】
そして、障害物判定部３３は、上記画像処理部３１にて設定した図４▲１▼に示す進行方向エリアＲ内に存在する障害物に対する車両５からの距離を調べる。すなわち、図４▲２▼に示す距離分布画像を、図４▲１▼に示す進行方向エリアＲにてマスクして、図４▲３▼に示すような画像を構成する。そして、かかるエリアＲ内に存在する障害物までの距離を抽出する。その後、抽出した距離と、あらかじめ注意すべき障害物であると判断する距離として設定した距離基準値と比較して、実際の障害物の距離が基準値以下である場合には、その障害物を注意すべき障害物として判断する。
【００４０】
すなわち、障害物判定部３３は、距離センサ２にて計測した撮影範囲に存在する障害物との距離のうち、特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が車両５に対して注意すべき障害物であるか否かを、計測した障害物に対する距離と距離基準データ（基準値）と比較して判断する障害物判断機能を備えている。
【００４１】
ここで、上記距離基準値は、あらかじめ注意を要するとされる障害物までの距離が設定されており、その距離データがコンピュータ３の記憶装置であるＥＥＰＲＯＭなどのメモリに記憶されている。具体的には、記憶装置内に構築された距離基準値記憶部３５に格納されている。なお、距離基準値記憶部３５には、複数の距離基準値が記憶されていてもよい。例えば、３段階の異なる距離基準値が記憶されていて、それぞれいずれの基準値以下であるかが判断され、かかる結果に関する情報も後述するように警報発生指令部３４に通知される。
【００４２】
但し、障害物判定部３３は、障害物が注意を要するものであるか否かを判断する際に、距離基準値と比較しなくてもよい。すなわち、進行方向エリアＲ内の距離分布画像に障害物であるとして写し出されている物体が存在している場合に、注意を要する障害物が存在すると判断してもよい。かかる場合には、距離センサ２にて認識できる障害物までの距離を、所定の距離以内にあらかじめ設定しておくとよい。
【００４３】
そして、障害物判断部３３は、注意を要する障害物が存在すると判断した場合には、その旨の信号を警報発生指令部３４に通知する。このとき、上述したように、複数の距離基準値が設定されている場合には、いずれの基準値以下であったかという信号も、警報発生指令部３４に通知する。
【００４４】
これを受けた警報発生指令部３４は、警報器４に警報発生指令を出力する。すなわち、警報発生指令機能を有する。これにより、車両５内にて警報器４から警報音が出力され、車両５の乗員は、当該車両５の進行方向に障害物があることを認識することができる。このような進行方向付近に障害物がある場合には、運転者の見た目では障害物が動かず、その大きさが変化するだけであるので、運転者の注意が遅れることが生じ得るため、かかる警告は有効である。
【００４５】
なお、警報発生指令部３４が、例えば距離が短く設定されている別の基準値以下であった旨の通知を受けている場合には、警報発生器４に対して別の警報音を出力するよう指令を出す。かかる警報音は、特に車両乗員に注意を促す音であると認識されている音である。従って、この警報音を受けた乗員は、注意力を高め、迅速に障害物に対応することができる。このように、警報発生指令部３４は、複数の基準値に応じて異なる警報音を出力するよう指令を出す、という機能をも有する。
【００４６】
（動作）
次に、本実施形態における動作を、図５のフローチャートを参照して説明する。まず、カメラ１にて画像を取り込み、記憶する（ステップＳ１、画像取得工程）。このとき、所定のサンプリングタイム毎に画像を取り込み、時間的に連続するフレームが存在する場合には（ステップＳ２にて肯定判断）、かかる画像を処理する。
【００４７】
そして、連続するフレームからオプティカルフローを算出し（ステップＳ３、オプティカルフロー算出工程）、オプティカルフローの吹き出し口である進行方向を特定する（ステップＳ４、進行方向特定工程）。進行方向を特定できた後には（ステップＳ４にて肯定判断）、その進行方向付近の所定の範囲を、進行方向エリアＲとして設定する（ステップＳ５）。なお、このとき、車両５が停車していたり、後方に走行している場合には、吹き出し口が特定できないが（ステップＳ４にて否定判断）、かかる場合には再びカメラ１にて画像を取り込み、再度進行方向を特定する処理を行う（ステップＳ１に戻る）。
【００４８】
続いて、距離センサ２にて、画像入力時に（ステップＳ１の際）、あるいは、現在に計測した距離分布データ（距離計測工程）を距離分布画像として取得し（ステップＳ６）、上述した進行方向エリアＲ内の距離分布のみを調べるよう、マスク処理を行う（ステップＳ７）。すなわち、かかるエリアＲ内の距離分布のみが障害物を検出する処理の対象となるようにする。
【００４９】
そして、かかるエリアＲ内に存在する障害物までの距離データを計測すると共に、あらかじめ距離基準値記憶部３５に記憶されているしきい値を読み出して、これらの大小を比較する（ステップＳ８）。障害物までの距離がしきい値より大きい場合には（ステップＳ８にて否定判断）、この車両５が注意すべき障害物ではないと判断して、再び別の画像を取り込み、進行方向の特定処理に戻る（ステップＳ１に戻る）。一方、障害物までの距離がしきい値以下である場合には（ステップＳ８にて肯定判断）、その障害物に注意が必要であると判断して（障害物判断工程）、警報器４に対して警報を発するよう指令を出す（ステップＳ９）。
【００５０】
このようにすることにより、進行方向付近に存在する障害物のみを検出対象としているため、適切に運転者に注意を促すことができる。すなわち、逆に、注意する必要が少ない障害物が誤って検出されることが抑制されるため、車両の乗員に対して不必要に注意を促すことが抑制され、警報が頻繁に発せられるなどの煩わしさから解放される。特に、車両の停車中など障害物を検出する必要がないときにおいて、誤警報を抑制することができる。また、検出する範囲を進行方向付近に制限しているため、演算手段の処理負担が軽減され、検出処理の高速化を図ることができる。
【００５１】
さらに、広角レンズを用いて広範な範囲を画像取込範囲としているため、車両が直進しているときに限らず、右左折時にも進行方向の注意すべき障害物を検出することができる。このとき、広角レンズを用いて撮影した画像であっても、オプティカルフローを用いて進行方向を判定しているため、より正確に進行方向を特定でき、障害物を検出することができる。そして、このように画像のみから進行方向を特定できるため、ハンドルの切れ角を検出する必要もなく、装置の簡略化を図ることができる。
【００５２】
ここで、上記実施形態では、カメラ１を車両５の前方に設けた場合を例示したが、後方の左右あるいは中央に設けてもよい。これにより、車庫入れ時など、後方に走行する場合においても注意すべき障害物が検出され、警報が発せられるなどすることにより、車両乗員の注意を促すことができる。そして、かかる場合には、障害物までの距離と比較されるしきい値は、上述した前方方向の障害物を検出する際に用いる値と異なる値に設定することが望ましい。例えば、距離基準値記憶部３５には後方走行用の距離基準値が記憶されていて、後方に設置したカメラや距離センサから取得したデータに対しては、障害物判断部３３における処理において後方走行用の距離基準値を用いるよう設定されている。そして、後方走行用の距離基準値は、その距離が前方における場合と比較して短く設定されている。これにより、特に車庫入れ時などに注意を要する障害物をより的確に検出することができる。
【００５３】
また、上述した構成に加えて、通常備えられているフロントライトやバックライトに加えて、カメラ１による画像取込範囲に光を照射する補助光照射手段としての補助ライト（図示せず）を備えてもよい。
【００５４】
例えば、上述したようにカメラ１等を車両前方に備えた場合には、画像の取り込み範囲となる箇所を照射する補助ライトを、車両前方に備えることで、車幅ライトは点灯するものの、フロントライトは点灯させないような明るさの時に補助ライトによりカメラ１の撮影範囲を照らすことができ、鮮明な画像を取り込むことができる。さらには、フロントライトを点灯している場合であっても、当該ライトの照射範囲外をもカメラ１にて撮影する場合には、かかる範囲を補助ライトが照らすよう設定しておくことで、やはり鮮明な画像を取り込むことができる。
【００５５】
従って、鮮明な画像を用いてオプティカルフロー算出処理を行うことができるため、車両５の進行方向をより正確に測定することができ、注意すべき障害物の検出精度の向上を図ることができる。
【００５６】
〈第２の実施形態〉
次に、本発明の第２の実施形態について、図６を参照して説明する。図６は、本実施形態における構成を示す機能ブロック図である。
【００５７】
本実施形態における障害物検出装置は、上述した第１の実施形態とほぼ同一の構成を採っている。具体的には、障害物を検出するための構成（カメラ１、距離センサ２、コンピュータ３内の画像処理部３１，距離分布取得部３２，障害物検出部３３，距離基準値記憶値３５）は同一である。但し、以下の点で異なる。
【００５８】
本実施形態においては、まず、主にエンジンからなる駆動装置６や、ブレーキ機構からなる制動装置７などの車両５に備えられた各装置の動作を制御する動作制御装置が備えられている。この動作制御装置は、例えば、エンジンの回転数を制御するアクセルコントロール装置や、ブレーキ機構の作動状態を制御するブレーキコントロール装置がある。なお、図６においては、各装置の動作制御装置を、駆動装置６や制動装置７と同一箇所に備えられているものとして取り扱い、図示する各ブロック６，７に含まれるものとする。
【００５９】
また、コンピュータ３内には、上述したように障害物判断部３３の障害物判断機能にて注意すべき障害物であると判断された場合に、上記動作制御装置に車両の各装置の動作を制御する指令を発する動作制御指令部３６が備えられている。この動作制御指令部３６の機能を詳述すると、例えば、障害物が検出された際に、アクセルコントロール装置６にアクセル量を制限する指令を発する。すなわち、アクセルの踏み込み量が増加しても、一定の回転速度以上にエンジンが回転しないよう、駆動装置の動作を制御するよう作動する。あるいは、制動装置を制御するブレーキコントロール装置７に対してブレーキ機構を作動するよう指令を発し、運転者がブレーキペダルを踏み込まなくても車両を減速させる。
【００６０】
このようにして、障害物を検出した際に当該障害物に接近することを抑制するよう駆動装置や制動装置などを制御することで、車両の走行時の安全性の向上を図ることができる。
【００６１】
〈第３の実施形態〉
次に、本発明の第３の実施形態について、図７乃至図９を参照して説明する。図７は、本実施形態における構成を示す機能ブロック図である。図８は、コンピュータに記憶されている距離基準データの内容を示す説明図である。図９は、動作を示すフローチャートである。
【００６２】
（構成）
本実施形態における障害物検出装置は、上述した第１の実施形態におけるものとほぼ同一の構成を採っているが、以下の点で異なる。
【００６３】
まず、図１に示すように、車両５に当該車両５の走行速度を検出する車速検出手段としての車速センサ８を備えている。また、コンピュータ３内の障害物判断部３７が、計測した障害物との距離及び車速センサ８にて検出した車速に基づいて注意すべき障害物であるか否かを判断する機能を備えている。そして、これに伴い、障害物判断部３７における判断基準となる距離基準データが、コンピュータ３の記憶装置内に構成された距離基準データ記憶部３８に記憶されている。以下、これを詳述する。
【００６４】
車速センサ８は、車両５内のインスツルメントパネルに備えられた車速メータに当該車両の走行速度を表示すべく車速を測定するセンサと同一のものである。そして、測定された車速は、コンピュータ３に伝送され、特に、障害物判断部３７にて用いられる。なお、車速センサ８は、車速メータ用のセンサと別の機器であってもよい。
【００６５】
また、距離基準データ記憶部３８に記憶されている距離基準データのデータ構成は、図８に示すようになっている。すなわち、車両５の走行速度に応じて距離しきい値が変化するよう設定されている。具体的には、車両５の走行速度が速くなるにつれて注意を要する障害物であると判断する距離が長くなるという性質のデータである。ここで、本実施形態における距離基準データは、図８に示すよう、車速が比較的低速である場合には距離しきい値の変化が小さく設定されている構成となっているが、このような構成のデータに限定されるものではない。なお、かかるデータは、車両５の速度と障害物までの距離との関係において、あらかじめ実験などにより注意を要するとして設定されたデータである。
【００６６】
そして、本実施形態における障害物判断部３７は、障害物までの距離を検出すると共に、検出した車両の速度から距離基準データを用いて距離しきい値を決定する。例えば、図８に示すように、現在の車速がＶ１である場合には、距離しきい値はＤ１となり、車速がＶ２である場合には、距離しきい値はＤ２となる。その後、上述した第１の実施形態と同様に、障害物までの距離と決定した距離しきい値とを比較して、障害物までの距離が距離しきい値以下であれば、当該障害物に対して注意が必要であると判断して、警報発生指令部３４にその旨を通知する。
【００６７】
（動作）
上記構成における障害物検出装置の動作を、図９のフローチャートを参照して説明する。まず、上述した第１の実施形態における動作（図５に示すステップＳ１〜Ｓ７）と同様に、画像取得後、オプティカルフローを算出して、車両５の進行方向を特定し（ステップＳ１１）、そして、距離分布を取得して、設定した進行方向エリアＲでマスク処理し、かかるエリア内の障害物までの距離を調べる（ステップＳ１２）。
【００６８】
続いて、車速センサ８にて車両の走行速度を測定して（ステップＳ１３）、測定した車速と距離基準データとから、距離しきい値を決定する（ステップＳ１４）。その後、決定した距離しきい値と進行方向エリアＲ内に存在する障害物までの距離とを比較する。そして、障害物までの距離が小さい場合には（ステップＳ１５にて否定判断）、注意すべき障害物がないと判断して再び障害物の検出処理に戻り（ステップＳ１１に戻る）、障害物までの距離がしきい値以上である場合には（ステップＳ１５にて肯定判断）、注意すべき障害物があると判断して警報発生指令を発する（ステップＳ１６）。
【００６９】
このようにすることにより、走行方向付近の障害物との距離があらかじめ定められた距離以下である場合のみ、注意を要する障害物であると判断されるため、効率よく車両乗員に注意を促すことができる。特に、車速に応じて判断基準となる障害物との距離を設定することで、現在の走行状態に応じた注意を要する障害物を、適切に検出することができる。
【００７０】
〈第４の実施形態〉
次に、本発明の第４の実施形態について説明する。本実施形態においては、上述した第３の実施形態と同様に、車両の走行速度に基づいて、注意すべき障害物を検出する構成であると共に、かかる障害物を検出した時に、第２の実施形態と同様に、車両の駆動装置や制動装置の動作を制御する、という構成になっている。
【００７１】
このとき、障害物判断部は、特に、障害物までの距離や現在の車速に応じて、アクセルの踏み込み量を制限するか、あるいは、ブレーキの作動を制御するか、を決定する。従って、図６に示すような動作制御指令部３６で、いかなる動作制御指令を発するか、ということの判断基準がコンピュータ３内にあらかじめ記憶されている。
【００７２】
この判断基準は、例えば、車速が低速である場合には障害物までの距離が短いときに当該障害物を注意すべきものとして判断されるので、障害物が存在すると判断されると近くに障害物が存在することとなるため、ブレーキを作動させるよう決定すべく設定されている。また、車速が高速である場合には障害物までの距離が遠いときに当該障害物を注意すべきものとして判断されるので、障害物が存在すると判断されると遠く障害物が存在することとなるため、アクセル踏み込み量を制限するよう制御することを決定すべく設定されている。但し、上記判断基準は一例であって、必ずしもこのように設定されていることに限定されない。
【００７３】
このようにすることにより、車速に応じて車両の駆動装置や制動装置の動作を制御することができるため、より現在の状況に適応した措置を取ることができる。すなわち、障害物を検出した際に当該障害物に接近することをより効果的に抑制することができ、車両の走行時の安全性の向上を図ることができる。
【００７４】
〈第５の実施形態〉
次に、本発明の第５の実施形態を説明する。本実施形態における障害物検出装置は、上述した第３、第４の実施形態におけるものとほぼ同様の構成であり、図７に示すように車速センサ８を備えているが、障害物の検出処理が車速に応じて行われる、という点で異なる。
【００７５】
具体的には、図７に示す画像処理部３１や距離分布取得部３２、障害物判断部３７などが備える機能による障害物検出処理が、車速センサ８から検出した走行速度があらかじめ定められた値以上である場合に、作動するよう設定されている。このあらかじめ定められた値とは例えば２０ｋｍ／ｈであり、この速度以上に走行すると画像を取得すると共に、距離分布を計測して、障害物の検出処理を開始する。
【００７６】
このとき、車両５のシフトレバーの位置を検出して、かかる位置と上記車速とに基づいて、障害物検出処理を開始してもよい。例えば、オートマチックトランスミッション車である場合には、Ｄレンジ（ドライブ）にシフトレバーが位置していることを検出した場合であり、かつ、車速が２０ｋｍ／ｈ以上となったときに、画像の取得など障害物検出処理を開始する。
【００７７】
このようにすることで、車両停止中や、前方にのみカメラ等が備えられている場合におけるバック走行時の不要な障害物検出処理を抑制でき、誤検出を抑制することができる。また、オプティカルフローの発生状況により車両が停止中か移動中かについての判定が可能であるが、オプティカルフローが発生していない時に車速センサ８より車速を検出することで、停止中のためにオプティカルフローが発生していないのか、あるいは、カメラの故障やレンズの汚れのため機能していないのか、ということを判定でき、センサエラーを検出することができる。
【００７８】
【発明の効果】
本発明は、以上のように構成され機能するので、これによると、取り込んだ画像のオプティカルフローから車両の進行方向を特定し、かかる方向付近に存在する障害物のみを対象に注意を要する物であるか否か判断するため、さらに周囲に存在する車両と接触の可能性が極めて低い障害物を誤って検出することが抑制される。このため、車両の乗員に対して不必要に注意を促すことが抑制され、例えば、障害物に対して警報が発せられるような構成である場合には、警報が頻繁に発せられるなどの煩わしさから解放される。また、検出する範囲を進行方向付近に制限しているため、演算手段の処理負担が軽減され、検出処理の高速化を図ることができる。
【００７９】
また、広角レンズを用いて広範な範囲を画像取込範囲としているため、車両が直進しているときに限らず、右左折時にも進行方向の注意すべき障害物を検出することができる。このとき、広角レンズを用いて撮影した画像であっても、オプティカルフローを用いて進行方向を判定しているため、より正確に進行方向を特定でき、障害物を検出することができる。そして、このように画像のみから進行方向を特定できるため、ハンドルの切れ角を検出する必要もなく、装置の簡略化を図ることができる。
【００８０】
さらに、車速に応じて障害物の検出距離を設定している場合には、注意すべき障害物を車両の状態に応じてより的確に検出することができ、さらに不必要な警報の抑制を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態における障害物検出装置の構成を示す機能ブロック図である。
【図２】図２は、障害物検出装置の作動状態を示す説明図である。図２（ａ）は、車両に対する画像撮影範囲を示し、図２（ｂ）は、距離計測手段の作動状態を示す。
【図３】図３は、画像処理の様子を示す説明図である。図３（ａ）は、オプティカルフロー及びその無限遠点についての説明図であり、図３（ｂ）は、具体的に画像処理の様子を説明する図である。図３（ｂ）▲１▼、▲２▼は連続するフレーム画像を示し、図３（ｂ）▲３▼は算出したオプティカルフローを示し、図３（ｂ）▲４▼は進行方向エリアを設定したときの様子を示す。
【図４】図４は、画像処理の様子を示す説明図である。図４▲１▼は進行方向エリアを示し、図４▲２▼は距離分布画像を示す。図４▲３▼は距離分布画像を進行方向エリアでマスクした様子を示す。
【図５】第１の実施形態における障害物検出装置の動作を示すフローチャートである。
【図６】第２の実施形態における障害物検出装置の構成を示す機能ブロック図である。
【図７】第３の実施形態における障害物検出装置の構成を示す機能ブロック図である。
【図８】距離基準データの内容を示す説明図である。
【図９】第３の実施形態における障害物検出装置の動作を示すフローチャートである。
【符号の説明】
１ カメラ（画像取得手段）
２ 距離センサ（距離計測手段）
３ コンピュータ（演算手段）
４ 警報器（警報発生手段）
５ 車両
６ 駆動装置（アクセルコントロール装置を含む）
７ 制動装置（ブレーキコントロール装置を含む）
８ 車速センサ（車速検出手段）
３１ 画像処理部
３２ 距離分布取得部
３３ 障害物判断部
３４ 警報発生指令部
３５ 距離基準値記憶部
３６ 動作制御指令部
３８ 距離基準データ記憶部

Claims (11)

1. 車両の進行可能な方向の所定範囲の画像を撮影する画像取得手段と、撮影範囲に存在する障害物との距離を計測する距離計測手段と、前記取得した画像データ及び前記計測した距離データを演算処理する演算手段と、を前記車両に備え、
   前記演算手段が、取り込んだ画像を用いてオプティカルフローを算出するオプティカルフロー算出機能と、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定機能と、前記距離計測手段にて計測した撮影範囲に存在する障害物との距離のうち，前記特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が前記車両に対して注意すべき障害物であるか否かを判断する障害物判断機能と、を備えたことを特徴とする障害物検出装置。
2. 前記車両内の乗員に障害物に対して注意を促す警報を発する警報発生手段を、前記車両に備えると共に、
   前記演算手段が、前記障害物判断機能にて注意すべき障害物であると判断された場合に前記警報発生手段に警報発生指令を出力する警報発生指令機能を備えたことを特徴とする請求項１記載の障害物検出装置。
3. 前記車両に備えられた駆動装置や制動装置などの各装置の動作状態を制御する動作制御部を備える共に、
   前記演算手段が、前記障害物判断機能にて注意すべき障害物であると判断された場合に前記動作制御部に前記車両の各装置の動作を制御する指令を発する動作制御指令機能を備えたことを特徴とする請求項１又は２記載の障害物検出装置。
4. 前記車両の走行速度を検出する車速検出手段を、当該車両に備えると共に、
   前記演算手段の障害物判断機能が、前記計測した障害物との距離及び前記車速検出手段にて検出した車速に基づいて注意すべき障害物であるか否かを判断することを特徴とする請求項１，２又は３記載の障害物検出装置。
5. 前記障害物判断機能における判断基準となる距離基準データを記憶する記憶手段を、前記車両に備えると共に、
   前記障害物判断機能が、前記計測した障害物に対する距離と前記距離基準データと比較して判断することを特徴とする請求項１，２，３又は４記載の障害物検出装置。
6. 前記障害物判断機能における判断基準となる距離基準データを記憶する記憶手段を、前記車両に備えると共に、前記距離基準データは、前記車両の走行速度に応じて変化するデータであり、
   前記障害物判断機能が、前記計測した障害物に対する距離と前記距離基準データのうち当該車両の走行速度に応じたデータと比較して判断する、ことを特徴とする請求項４記載の障害物検出装置。
7. 前記距離基準データは、車両の走行速度が速くなるにつれて注意を要する障害物であると判断する距離が長くなるという性質のデータであることを特徴とする請求項６記載の障害物検出装置。
8. 前記演算手段が、前記車速検出手段から検出した走行速度に基づいて前記各機能による処理を開始することを特徴とする請求項４，６又は７記載の障害物検出装置。
9. 前記画像取得手段にて撮影する範囲に撮影を補助する光を照射する補助光照射手段を、前記車両に備えたことを特徴とする請求項１，２，３，４，５，６，７又は８記載の障害物検出装置。
10. 車両に備えられた画像取得手段にて当該車両の進行可能な方向の所定範囲の画像を撮影する画像取得工程と、当該画像取得工程の前後に前記車両に備えられた距離計測手段にて撮影範囲に存在する障害物との距離を計測する距離計測工程と、を備え、
    少なくとも前記画像取得工程の後に、前記車両に備えられた演算手段が，取り込んだ画像を用いてオプティカルフローを算出するオプティカルフロー算出工程と、前記演算手段が，算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定工程とを備えると共に、
    当該進行方向特定工程及び前記距離計測工程の後に、前記演算手段が，前記距離計測工程にて計測した撮影範囲に存在する障害物との距離のうち，前記特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が前記車両に対して注意すべき障害物であるか否かを判断する障害物判断工程を備えた、ことを特徴とする障害物検出方法。
11. 車両に備えられた画像取得手段にて撮影された当該車両の進行可能な方向の所定範囲の画像データと、前記車両に備えられた距離計測手段にて計測された前記画像取得手段による撮影範囲に存在する障害物との距離データと、を演算処理する、前記車両に備えられたコンピュータに、
    前記取り込んだ画像データを用いてオプティカルフローを算出するオプティカルフロー算出機能と、算出したオプティカルフローに基づいて画像上の車両の進行方向を特定する進行方向特定機能と、前記距離計測手段にて計測した撮影範囲に存在する障害物との距離のうち，前記特定した進行方向付近の画像上における所定の範囲内に存在する障害物との距離に基づいて当該障害物が前記車両に対して注意すべき障害物であるか否かを判断する障害物判断機能と、を実現するための障害物検出用プログラム。

Images