JP3733875B2 - 道路白線認識装置 - Google Patents
道路白線認識装置 Download PDFInfo
- Publication number
- JP3733875B2 JP3733875B2 JP2001179204A JP2001179204A JP3733875B2 JP 3733875 B2 JP3733875 B2 JP 3733875B2 JP 2001179204 A JP2001179204 A JP 2001179204A JP 2001179204 A JP2001179204 A JP 2001179204A JP 3733875 B2 JP3733875 B2 JP 3733875B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- white line
- window
- line
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 229910052739 hydrogen Inorganic materials 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の自動操縦や予防安全運転などのために、車両の進行方向前方の道路を画像として取得して道路白線を認識し、この道路白線から道路形状を推定するようにした道路白線認識装置に関する。
【０００２】
【従来の技術】
この種の画像により道路白線を認識する従来の手法としては、特開平６−２０１８９号公報に開示される道路形状計測装置や特開平８−２６１７５６号公報に開示される走行レーン認識装置などがある。これらの技術はカメラで撮像した画像を適宜処理することにより道路形状を推定するようになっており、前者の特開平６−２０１８９号公報では、検出した道路形状と３次元曲線パラメータに基づいて座標変換した３次元道路モデルとを比較して、両者間の位置ずれから３次元曲線パラメータの変化量および撮像手段の姿勢パラメータの変化量を推定して道路形状を計測するようになっている。また、後者の特開平８−２６１７５６号公報では、画像における濃淡の勾配の大きさや方向に基づいて曲線を含むエッジ線分を抽出して、走行レーンが認識されるようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の道路形状を推定する手法ではいずれも画像を用いたことにより、轍の水溜まり、ガイドレールや二重白線などを白線と誤認する恐れがある。即ち、これら白線と誤認する恐れのある要素、つまり擬似白線は、実際の道路白線に対してほぼ平行に配置される場合が多く、画像に取り込まれた際に２値化して白線と混同し、本来の道路形状の推定を失敗してしまう可能性がある。
【０００４】
例えば、図１６に道路１に形成された轍２が水溜まり状態となった場合を示したが、この場合は太陽光や外灯などの入射角によっては水溜まり（または水膜）の表面に反射した光が画像に取り込まれた際、これが画像上で輝度の高い線状部分として現れる。このため、この轍２の水溜まりによる高輝度線が道路白線３と誤認識されてしまうという問題点があった。
【０００５】
また、図１７に路肩に設置されるガイドレール５の影６が道路白線３に影響する場合を示し、この影６が道路白線３に差し掛かると、その部分の道路白線３の輝度が低下する一方、白色のガイドレール５を白線として誤認識する恐れがある。このようにガイドレール５を誤認識すると、影６が無い部分の道路白線３の検出点ｍ1とガイドレール５の擬似検出点ｍ2とを結ぶ誤った線Ｌが道路モデルとして推定されてしまうという問題点があった。
【０００６】
本発明は上記従来の問題点に鑑みて成されたもので、轍等の水たまりが光を反射して高輝度線を形成したり、ガイドレールの影が道路白線に差し掛かっても、水たまりやガイドレールを白線と誤認識することなく、本来の道路形状を精度良く推定することができる道路白線認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００８】
請求項２記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００９】
請求項３記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【００１０】
請求項４記載の本発明は、上記目的を達成するため、請求項１ないし請求項３のいずれか１項記載の道路白線認識装置において、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたことを要旨とする。
【００１１】
請求項５記載の本発明は、上記目的を達成するため、請求項１ないし請求項４のいずれか１項記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させたことを要旨とする。
【００１２】
請求項６記載の本発明は、上記目的を達成するため、請求項５記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたことを要旨とする。
【００１３】
請求項７記載の本発明は、上記目的を達成するため、請求項１ないし請求項６のいずれか１項記載の道路白線認識装置において、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似したことを要旨とする。
【００１４】
請求項８記載の本発明は、上記目的を達成するため、請求項１ないし請求項７のいずれか１項記載の道路白線認識装置において、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むことを要旨とする。
【００１５】
【発明の効果】
請求項１記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置推定精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、白線位置推定精度が低いと判断したウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、道路パラメータの推定精度を向上させることができるという効果がある。
【００１６】
請求項２記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えので、ウインドウの範囲内の画像に道路白線と紛らわしい、例えば轍に溜まった水の反射による高輝度領域や、ガイドレールの影によって低輝度となった白線に代わって高輝度領域となる白色ガイドレール等の本来の白線に略平行な擬似白線が含まれることがあっても、道路パラメータの推定精度を低下させることがないという効果がある。
【００１７】
請求項３記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、ウインドウ内の道路白線の画像座標の精度が相対的に低い遠方のウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、自車両の車線に対する横変位のパラメータの推定精度を高めることができるという効果がある。
【００１８】
請求項４記載の本発明によれば、請求項１ないし請求項３記載の発明の効果に加えて、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたので、白線候補線の算出を高速化することができるという効果がある。
【００１９】
請求項５記載の本発明によれば、請求項１ないし請求項４記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させたので、この白線候補線の位置計算が簡素化できるため、道路モデルの推定処理を高速化することができ、車両が高速走行する場合にも道路パラメータの高い推定精度を維持することができるという効果がある。
【００２０】
請求項６記載の本発明によれば、請求項５記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたので、このハフ変換により複数の白線候補線を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、さらに処理の高速化を図ることができる。
【００２１】
請求項７記載の本発明によれば、請求項１ないし請求項６記載の発明の効果に加えて、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似するようにしたので、操舵入力時の早い車両挙動への追従性を確保しつつ、路面ノイズ等による白線誤認識を少なくすることができるという効果がある。
【００２２】
請求項８記載の本発明によれば、請求項１ないし請求項７記載の発明の効果に加えて、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むようにしたので、少ない数のパラメータで比較的精度よく道路形状及びこの道路に対する車両姿勢をモデル化することができるという効果がある。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
図２は、本発明に係る道路白線認識装置１０を搭載した車両１２の一実施形態を示す概略図である。図２において、車両前方の道路画像を取得する画像取得手段１４とこの画像取得手段１４で取得した画像信号（以下、単に画像という）を処理するプロセッサ１６とが車両１２に設置される。画像取得手段１４は高感度撮像が可能なＣＣＤカメラなどが好ましく、この画像取得手段（以下、カメラという）１４は室内天井１２ａの前方中央部に前方下方を指向して取り付けられ、フロントガラス１２ｂを通して車両１２前方の道路Ｒ画像を取得するようになっている。上記プロセッサ１６は車両１２の熱や風雨の影響のない適宜箇所に設置され、上記カメラ１４で取得した道路Ｒ画像から道路白線１８を認識して道路形状及びこの道路に対する車両姿勢を推定する制御が実行される。
【００２４】
図１は、本発明に係る道路白線認識装置１０の第１実施形態の基本的な構成を示す図である。同図において、道路白線認識装置１０は、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００２５】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い第１の白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎に第１の白線候補線に類似した第２の白線候補線が存在するか否か、すなわち擬似白線が存在するか否かを判定する擬似白線存在判断手段（白線位置推定精度判断手段）１０４と、各ウインドウに対して算出された第１の白線候補線の画像座標及び傾きと道路モデル式とを用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５とを備え、これらの手段１０１〜１０５をプロセッサ１６のプログラム制御により実現している。
【００２６】
道路パラメータ推定手段１０５は、擬似白線が存在すると判断されたウインドウに対しては、第１の白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、第１の白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定するものである。
【００２７】
道路パラメータ推定手段１０５は、道路モデル式として、次に示す式１を用いて道路形状及びこの道路に対する車両姿勢を推定する。
【００２８】
【数１】
このような道路をモデル化した式１の導出過程は、社団法人自動車技術会の２０００年秋季大会（２０００年１０月１９日）において本願発明者らにより発表された「拡張カルマンフィルタを用いた車線追従制御の検討（20005494）」に詳述されている。
【００２９】
式１において、道路パラメータＡ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、自車両の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両の車線に対するヨー角（Ｃ）、自車両のピッチ角（Ｄ）、及び路面からの前記画像取得手段の高さ（Ｈ）である。
【００３０】
また、Ｅ0は車線幅（左右白線の内側間の距離）を示す定数，ｆはカメラ透視変換定数、ｊを左右の白線を区別するパラメータとし、左白線のときｊ＝０，右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左または右白線内端上の任意の点の画像上の座標であり、画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。
【００３１】
尚、式１は道路モデルを表す一手法を示したものであり、例えば、Ｅ0を変数にしたもの、Ｈを固定したもの、車線幅を左白線中央と右白線中央との間の距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標としても定義することができる。
【００３２】
図３及び図４は、プロセッサ１６によって道路パラメータを推定するプログラムのフローチャートであり、例えば、車両走行中は３０［ｍｓｅｃ］毎に処理が繰り返されるものとする。
【００３３】
次に、図３の各ステップ毎の概略処理を説明する。まず、カメラ１４から画像メモリ１５へ車両前方画像を取り込む（ステップＳ１）。次いで、取り込んだ画像上に複数（ｍ個）のウインドウを設定する（ステップＳ２）。次いで、ウインドウ処理番号ｉを初期値の１に設定する（ステップＳ３）。ｉ番目のウインドウ（以下、ウインドウｉと呼ぶ）２０の画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１を抽出する（ステップＳ４）。次いでウインドウ内の白線候補点２１の座標位置に基づいて、これらの白線候補点から最も白線の可能性が高い第１の白線候補線２２を算出する（ステップＳ５）。
【００３４】
次いで、ウインドウ内に第１の白線候補線に類似した傾きを持つ第２の白線候補線が存在するか否かの擬似白線存在判定を行う（ステップＳ６）。ステップＳ６の判定結果により、第２の白線候補線が存在すれば、ウインドウ毎のフラグＷＥｉを１に設定し（ステップＳ７）、第２の白線候補線が存在しなければ、ウインドウ毎のフラグＷＥｉを０に設定する（ステップＳ８）。次いで、ウインドウ番号ｉを１だけ増加させ（ステップＳ９）、ｉがウインドウ数（ｍ）を超えたか否かを判定し（ステップＳ１０）、超えていなければ、次のウインドウを処理すべく、ステップＳ４へ戻る。ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていれば全ウインドウの前処理が終わったので、道路パラメータ推定処理を行って（ステップＳ２０）、最初の前方画像取り込み（ステップＳ１）へ戻る。
【００３５】
以下、上記プログラムの処理を各ステップ毎に詳述する。
（１）前方画像の取込
プロセッサ１６がプログラムを処理する所定時間毎に、カメラ１４によって撮像された車両前方の画像信号を画像メモリ１５へ取り込む。画像は各画素毎の輝度データとして表される。
【００３６】
（２）複数ウインドウの設定
ウインドウ２０は、図５に示すように道路白線１８の延長方向に沿って複数（図５の例では、左白線に対して５個、右白線に対して５個）が設けられ、各ウインドウ２０は前回の画像処理結果によって得られた道路モデルのパラメータにより、それぞれのウインドウ２０に道路白線１８が取り込まれるようにそれぞれの位置が設定され、道路白線１８はこれらウインドウ２０内で検知される。図中の縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、図中の横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。
【００３７】
ここで、ｎ番目のウインドウ（ｉ＝ｎ）の上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の横方向中心座標ｘestは、式２で示される。
【００３８】
【数２】
ウインドウ２０のｘ方向の幅は固定値としてもよく、また、特開平８−２６１７５６号公報に示されるようにパラメータの分散から合理的に設定することもできる。
【００３９】
（３）ウインドウ番号ｉの初期化
ステップＳ４からステップＳ９までの処理を全てのウインドウ２０に対して行うためのループ制御パラメータｉを１に初期化する。
【００４０】
（４）白線候補点の抽出
カメラ１４から取り込まれた画像に設定された各ウインドウの範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ処理などのエッジ検知（輝度変化検知）処理を利用して、白線候補点を選択する。このエッジ検知では、図６に示すように左（画像座標のｘ値が小さい）の画素の輝度が右（画像座標のｘ値が大きい）の画素の輝度より大きい場合、フィルタの出力が正であるとする。そして、ある程度の幅を有する道路白線１８の内側端部を白線の位置としているので、左白線の場合は、フィルタの出力が正の判別値を超えた点を白線候補点とし、右白線の場合は、フィルタの出力が負の判別値を下回った点を白線候補点とする。ウインドウ２０内の全ての画像データを走査してフィルタの出力により、上記の判別値を利用して白線候補点を抽出する。尚、上記判別値は、画像全体またはウインドウ毎の平均輝度、コントラスト等により、適宜設定されてもよい。
【００４１】
（５）白線候補線の算出
ウインドウ２０内から抽出された白線候補点２１の集合から白線候補線２２を探索する。この探索にはハフ変換や最小自乗法などを用いることができる。本実施形態ではハフ変換を用いるものとし、ハフ変換直線近似では図７に示すようにウインドウ２０内を通過する直線のうち、最も多く白線候補点２１を貫いたものを最も白線の可能性が高い第１の白線候補線とする。
【００４２】
このとき、座標（ｘ，ｙ）を通過する直線はパラメータａ，ｂを用いて次の式３として表すことができる。ここでａは、白線候補線の傾き（∂ｘ／∂ｙ）であり、ｂはそのｘ切片である。
【００４３】
【数３】
即ち、白線候補点の座標を（ｘ，ｙ）とすると、ａを決めるとｂが式３より計算でき、これにより図８に示すハフ変換による配列が得られる。この配列の横方向は、一定刻みのａの値であり、縦方向は一定刻みのｂの値である。ここで、配列の空欄は零を意味する。また、「１」が立っている（ａ，ｂ）の組み合わせの中に真値が含まれる。この配列を白線候補点全てに対してそれぞれ作成し、作成した配列を重ね合わせて、各配列要素毎の数を合計することにより図９（ａ）に示す配列が得られる。図９（ａ）において配列要素（ａr，ｂr）の数ｚr は、式４が貫く白線候補点の数を表している。
【００４４】
【数４】
従って、白線候補点を最も多く貫く白線候補線が最も白線の可能性が高い第１の白線候補線であり、そのａ，ｂを求めることが第１の白線候補線を算出することになる。即ち、配列要素の値として最大のｚを持つ配列要素（ａ，ｂ）が第１の白線候補線を示すことになる。
【００４５】
こうして、白線候補線が算出されると、次いで図１２に示すように、ウインドウ番号ｎにおける第１の白線候補線２２とウインドウ２０の上辺２０ａとの交点の画像上の座標である道路座標（ｘn ，ｙn ）を算出する。ウインドウ２０の上辺２０ａのｙ座標ｙn は、ウインドウ番号ｎに対する固定値である。道路座標のｘ成分ｘn は式５で算出される。
【００４６】
【数５】
（６）擬似白線存在の判断
第１の白線候補線に類似した傾きを持つ（傾きの差が所定値以下となる）第２の白線候補線がウインドウ内の画像に存在するか否か、すなわち擬似白線が存在するか否かの判断である擬似白線存在の判断は、図９（ａ）の配列を元に判断される。例えば、ウインドウ内の画像に白色のガイドレールや、轍の中に溜まった水の反射による高輝度領域等の擬似白線が含まれていると、これら擬似白線の水平方向の端部も上述のエッジ検出により、白線候補点として抽出されている。このため、白線の右又は左の端部を示す本来の白線候補点と、擬似白線による偽りの白線候補点が白線候補点として含まれている。
【００４７】
このような擬似白線が含まれるウインドウの画像データからは、最も白線の可能性がある白線候補線である第１の白線候補線以外に、第１の白線候補線に類似した傾きを持つ第２の白線候補線が算出されることになる。
【００４８】
そして道路状況によっては、第１の白線候補線が必ずしも本来の白線ではなく、擬似白線による白線候補点から算出された白線候補線が最も白線の可能性が高い第１の白線候補線として算出されることがある。このような場合、擬似白線を第１の白線候補線として誤認しても道路パラメータの推定に誤差を招来しないために、ここで、擬似白線の存在の有無の判断を行うものである。そして後述する道路パラメータの推定において、擬似白線が存在すると判断したウインドウからは、自車両の車線に対する横変位以外の道路パラメータを含む式を用いるようにしている。
【００４９】
図９（ａ）の配列において、白線候補線の傾きを示すパラメータａであるが、各列の合計を採って最大のものを選ぶ。この処理で画像上での傾きの差が所定値以下となる白線候補線が複数存在する場合、その中から選択されることになる。この所定値は、真の道路白線とそれに平行な擬似白線とが画像上では平行にならないために設定され、この処理を適用したい真の道路白線と擬似白線との路面上の間隔の最大値とカメラ高さＨにより決まる。
【００５０】
そして、選んだパラメータａの値をａＮとし、そのａＮ の列のｂ（ｘ切片）の分散を計算する。ここで上記所定値がパラメータａの間隔（例えば、｜ａｒ−ａｒ−１｜）より大きい時は、各列の合計を採る際に、図９（ｂ）に示すように、ａのレンジが所定値を超えるまで隣接した列まで含めて（例えばａＮ−１〜ａＮ＋１）合計して最大のものを選び、さらにそのａＮの複数列をとってｂの分散を計算する。
【００５１】
このｂの分散が所定値以下の場合、第１の白線候補線に類似した傾きを持つ第２の白線候補線、即ち擬似白線が存在しないと判断し、それ以外の場合は擬似白線が存在すると判断する。擬似白線が存在する場合には、図１０に示すようにピークが複数現れて分散が大きくなる。擬似白線が存在すると判断したウインドウｎの集合をＧaとし、そうでないウインドウｎの集合をＧbとする。
【００５２】
そして、図１１に示すようにａＮの列中で最も大きいものに対応するｂ（図中でのｂn）を選ぶ。こうして、最も白線の可能性が高い第１の白線候補線を規定するａ，ｂの対を選択する。このとき、道路白線１８が一部掠れていたり、波打っていたり、白色のガイドレールがあったり、轍の水たまりが連続的に光を反射していたりすると、本来の白線の代わりに擬似白線のａ，ｂの対を第１の白線候補線として誤って選択することになる。
【００５３】
（７）擬似白線存在判断フラグの設定
ステップＳ７の擬似白線存在判断の結果により、存在すると判断したウインドウのフラグＷＥｉを「１」に、存在しないと判断したウインドウのフラグＷＥｉを「０」に、それぞれ設定する。これらのフラグは、後の道路パラメータ推定において参照される。
【００５４】
（８）道路パラメータ推定
前記式１をｙで微分して式６を得る。
【００５５】
【数６】
そして、式１と式６からＡを消去すると式７を得る。
【００５６】
【数７】
このとき、Ａは自車両の車線に対する横位置のパラメータであり、このＡを消去すると同時に車線幅を表すＥ0も消去されることになる。つまり、道路幅がいかなるものであれ式７が成立することになる。換言すれば、真の道路白線１８を用いなくても、道路白線１８に平行な線分であれば式７が成立することを意味する。即ち、実際にはガイドレールや轍の水溜まりによる光の反射、２重白線等の擬似白線は、真の道路白線１８に平行である場合が多く、この擬似白線が検出された場合には、擬似白線の傾き（∂ｘ／∂ｙ）および道路座標（ｘ，ｙ）と、式７の方程式を利用すれば、最小自乗法やカルマンフィルタなどの手法を用いて、Ａを除く道路パラメータ（Ｂ，Ｃ，Ｄ，Ｈ）を誤差無く正確に推定することができる。なお、パラメータＡは、他のパラメータと共に擬似白線が存在しないウインドウのデータから推定すれば良い。
【００５７】
次に、カルマンフィルタを用いて道路パラメータを推定する場合、式８に示す方程式が与えられることによりパラメータｚを推定することができるというものである。ただし、同式中のパラメータｙｙの値およびｆの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。
【００５８】
【数８】
ここで、この式８に相当する観測方程式（仮称）を導出する場合を、擬似白線の存在、不存在の場合に分けて説明する。
【００５９】
▲１▼擬似白線が存在する場合
これには前記式７を用い、これは左辺が画像上の傾きであるため、式９が成立する。
【００６０】
【数９】
この式９は、
∂ｘ／∂ｙ＝ｆw（Ｂ，Ｃ，Ｄ，Ｈ）…（式９’）と表すこともできる。
【００６１】
▲２▼擬似白線が存在しない場合
これは前記式１が式１０として成立する。
【００６２】
【数１０】
この式１０は、
ｘ＝ｆz（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式１０’）と表すこともできる。
【００６３】
式９’および式１０’は一般に複数列より構成され、これらを線形近似した上で並べることにより次の行列式１１が得られる。
【００６４】
【数１１】
この行列式１１中、ｍは、１画面中に設定されたウインドウの数である。ウインドウ番号ｎがＧaに属する（擬似白線が存在する）場合は、ｚn は、ｚn ＝（∂ｘ／∂ｙ）n＝ａn となり、Ｍn1は零となる。ウインドウ番号ｎがＧbに属する（擬似白線が存在しない）場合は、ｚn は、ｚn ＝ｘn となる。
【００６５】
次に、図４を参照して、道路パラメータ推定処理のサブルーチンＰ3を説明する。
【００６６】
まず、ステップＳ２１でウインドウ番号パラメータｉを１に初期化する。次いで、ステップＳ２２でウインドウ番号ｉに対応するフラグＷＥｉの値を判定することにより、擬似白線が存在するウインドウに対する処理と、擬似白線が存在しないウインドウに対する処理とを分岐する。
【００６７】
擬似白線が存在しないウインドウの場合、ステップＳ２３において、式１１のｚiはｘiとし、式１０’の右辺を線型近似することにより、Ｍi1，Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｙの値がｙiにおけるｄｆz／ｄＡ，ｄｆz／ｄＢ，ｄｆz／ｄＣ，ｄｆz／ｄＤ，ｄｆz／ｄＨとする。
【００６８】
擬似白線が存在するウインドウの場合、ステップＳ２４において、式１１のｚiは（ｄｘ／ｄｙ）iとし、式９’の右辺を線型近似することにより、Ｍi1は０とし、Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｘ，ｙの値が（ｘi，ｙi）におけるｄｆw／ｄＢ，ｄｆw／ｄＣ，ｄｆw／ｄＤ，ｄｆw／ｄＨとする。
【００６９】
次いで、ステップＳ２５でウインドウ番号ｉを１だけ増加し、ステップＳ２６でウインドウ番号ｉがウインドウ数ｍを超えているか否かを判定し、ウインドウ数ｍを超えていなければ、次のウインドウを処理すべくステップＳ２２へ戻る。ウインドウ数ｍを超えていれば、ステップＳ２７において、カルマンフィルタ処理により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、メインルーチンへリターンする。
【００７０】
図１３は本発明に係る道路白線認識装置の第２実施形態の構成を示すシステム構成図である。同図において、道路白線認識装置１０ａは、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００７１】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎にウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段（白線位置推定精度判断手段）１１０と、各ウインドウに対して算出された白線候補線の画像座標及び傾きと道路モデル式を用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５と、を備え、これらの手段１０１、１０２，１０３，１１０，１０５をプロセッサ１６のプログラム制御により実現している。
【００７２】
道路パラメータ推定手段１０５は、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む道路パラメータを推定するものである。
【００７３】
本実施形態における道路モデル式、及び道路パラメータは、第１実施形態で用いたものと同様である。
【００７４】
また、図１４に示す本実施形態のプログラムＰ2は、上記第１実施形態に示した図３のフローチャートで処理されるプログラムＰ1とほぼ同様の処理が実行されるが、特に本実施形態では第１実施形態のプログラムＰ1のステップＳ６に代えて、ステップＳ１２の観測方程式選択処理を実行するようにしたもので、このステップＳ１２による処理を以下述べる。なお、図１４のフローチャートは図３のフローチャートと同一処理部分に同一ステップ番号を付して、その説明を省略するものとする。
【００７５】
観測方程式選択
これは上記第１実施形態と同様にウインドウ番号ｎのウインドウがいずれのグループＧa，Ｇbに属するかを選択する。即ち、Ｇaは観測方程式が式９（式９’）で表される場合、Ｇbは観測方程式が式１０（式１０’）で表される場合である。即ち、第１実施形態では擬似白線が存在すると判断した場合にＧaを選択したが、本第２実施形態では擬似白線が存在すると判断した場合に加えて、自車両に対して遠方を透視するウインドウ２０ａで白線候補線２２を判断する場合にもＧaを選択するものとする。この遠方を透視するウインドウ２０ａとは、図１５中に太枠で示した最上方のウインドウ２０ａがこれに相当する。もっとも、そのウインドウ２０ａは最上方のものに限定することなく、最上方を含めて連続する上方部分の複数個を選ぶこともできる。
【００７６】
即ち、この実施形態では上記式１からｘnの変動に対するＡのゲインＧを求めると式１２となる。
【００７７】
【数１２】
この式１２中、ｙnは画像縦軸座標を表し、車両遠方程小さい値となり、このｙnはＧに対しては分母として現れるため、このＧは車両遠方程大きくなることになる。このことは画像上では同じ誤差であっても、Ａの推定に与える影響は車両遠方のウインドウ２０程大きいことを意味する。実際上、画像の分解能は遠方でも近傍でも同じであるため、Ａの推定精度は遠方を透視するウインドウ２０程悪化される。従って、Ａの推定精度が悪化すると思われる遠方のウインドウ２０ａでは、このＡを推定しないことにより道路モデルの推定精度を向上することができる。
【００７８】
ところで、上記各実施形態ではウインドウ２０内の白線候補線２２を直線と近似するようになっており、このように直線に近似することにより処理を高速化できる。即ち、上記白線候補線２２を高次の曲線で近似したと仮定した場合、近似する処理自体の演算時間も膨大となり、また、画像上の傾きを計算する処理も必要となってくる。従って、曲線では座標を指定して傾きを再計算しなければならないが、直線では近似の課程で傾きが決定される。このため、道路白線１８は曲線であっても、各ウインドウ２０内で直線と近似できるように、ウインドウ２０の大きさを設定してやれば良い。
【００７９】
また、上記白線候補線２２を直線に近似するにあたってハフ変換を用いたので、複数の白線候補線２２を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、処理の高速化を図ることができる。従って、高速で走行する車両のように高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の第１実施形態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の第１実施形態による画像処理プログラムを実行するためのフローチャートである。
【図４】実施形態の画像処理プログラムにおける道路パラメータ推定サブルーチンを示すフローチャートである。
【図５】本発明にかかる道路白線認識装置の第１実施形態で画面に設定される複数のウインドウの配列状態を示す説明図である。
【図６】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補点のプロット状態を示す説明図である。
【図７】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補線の選択状態を示す説明図である。
【図８】本発明にかかる道路白線認識装置の第１実施形態で実行される白線候補線を探索する際のハフ変換による配列表を示す説明図である。
【図９】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換を配列要素で示す説明図である。
【図１０】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在する場合のピーク度数を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在しない場合のピーク度数を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウの上辺と白線候補線との交点の道路座標を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の第２実施形態の基本構造を示す概略構成図である。
【図１４】本発明にかかる道路白線認識装置の第２実施形態による画像処理プログラムを実行するためのフローチャートである。
【図１５】本発明にかかる道路白線認識装置の第２実施形態で選択される遠方を透視するウインドウを示す説明図である。
【図１６】擬似白線の要因の１つである道路に形成される轍を示す斜視図である。
【図１７】擬似白線の要因の１であるガイドレールと影との関係を示す斜視図である。
【符号の説明】
１０ 道路白線認識装置
１２ 車両
１４ カメラ（画像取得手段）
１６ プロセッサ
１８ 道路白線
２０ ウインドウ
２１ 白線候補点
２２ 白線候補線
１０１ ウインドウ設定手段
１０２ 白線候補点抽出手段
１０３ 白線候補線算出手段
１０４ 擬似白線存在判断手段（白線位置精度判断手段）
１０５ 道路パラメータ推定手段
１１０ ウインドウ位置判断手段（白線位置精度判断手段）
【発明の属する技術分野】
本発明は、例えば車両の自動操縦や予防安全運転などのために、車両の進行方向前方の道路を画像として取得して道路白線を認識し、この道路白線から道路形状を推定するようにした道路白線認識装置に関する。
【０００２】
【従来の技術】
この種の画像により道路白線を認識する従来の手法としては、特開平６−２０１８９号公報に開示される道路形状計測装置や特開平８−２６１７５６号公報に開示される走行レーン認識装置などがある。これらの技術はカメラで撮像した画像を適宜処理することにより道路形状を推定するようになっており、前者の特開平６−２０１８９号公報では、検出した道路形状と３次元曲線パラメータに基づいて座標変換した３次元道路モデルとを比較して、両者間の位置ずれから３次元曲線パラメータの変化量および撮像手段の姿勢パラメータの変化量を推定して道路形状を計測するようになっている。また、後者の特開平８−２６１７５６号公報では、画像における濃淡の勾配の大きさや方向に基づいて曲線を含むエッジ線分を抽出して、走行レーンが認識されるようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の道路形状を推定する手法ではいずれも画像を用いたことにより、轍の水溜まり、ガイドレールや二重白線などを白線と誤認する恐れがある。即ち、これら白線と誤認する恐れのある要素、つまり擬似白線は、実際の道路白線に対してほぼ平行に配置される場合が多く、画像に取り込まれた際に２値化して白線と混同し、本来の道路形状の推定を失敗してしまう可能性がある。
【０００４】
例えば、図１６に道路１に形成された轍２が水溜まり状態となった場合を示したが、この場合は太陽光や外灯などの入射角によっては水溜まり（または水膜）の表面に反射した光が画像に取り込まれた際、これが画像上で輝度の高い線状部分として現れる。このため、この轍２の水溜まりによる高輝度線が道路白線３と誤認識されてしまうという問題点があった。
【０００５】
また、図１７に路肩に設置されるガイドレール５の影６が道路白線３に影響する場合を示し、この影６が道路白線３に差し掛かると、その部分の道路白線３の輝度が低下する一方、白色のガイドレール５を白線として誤認識する恐れがある。このようにガイドレール５を誤認識すると、影６が無い部分の道路白線３の検出点ｍ1とガイドレール５の擬似検出点ｍ2とを結ぶ誤った線Ｌが道路モデルとして推定されてしまうという問題点があった。
【０００６】
本発明は上記従来の問題点に鑑みて成されたもので、轍等の水たまりが光を反射して高輝度線を形成したり、ガイドレールの影が道路白線に差し掛かっても、水たまりやガイドレールを白線と誤認識することなく、本来の道路形状を精度良く推定することができる道路白線認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００８】
請求項２記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【０００９】
請求項３記載の本発明は、上記目的を達成するため、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたことを要旨とする。
【００１０】
請求項４記載の本発明は、上記目的を達成するため、請求項１ないし請求項３のいずれか１項記載の道路白線認識装置において、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたことを要旨とする。
【００１１】
請求項５記載の本発明は、上記目的を達成するため、請求項１ないし請求項４のいずれか１項記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させたことを要旨とする。
【００１２】
請求項６記載の本発明は、上記目的を達成するため、請求項５記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたことを要旨とする。
【００１３】
請求項７記載の本発明は、上記目的を達成するため、請求項１ないし請求項６のいずれか１項記載の道路白線認識装置において、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似したことを要旨とする。
【００１４】
請求項８記載の本発明は、上記目的を達成するため、請求項１ないし請求項７のいずれか１項記載の道路白線認識装置において、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むことを要旨とする。
【００１５】
【発明の効果】
請求項１記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置推定精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、白線位置推定精度が低いと判断したウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、道路パラメータの推定精度を向上させることができるという効果がある。
【００１６】
請求項２記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えので、ウインドウの範囲内の画像に道路白線と紛らわしい、例えば轍に溜まった水の反射による高輝度領域や、ガイドレールの影によって低輝度となった白線に代わって高輝度領域となる白色ガイドレール等の本来の白線に略平行な擬似白線が含まれることがあっても、道路パラメータの推定精度を低下させることがないという効果がある。
【００１７】
請求項３記載の本発明によれば、車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、を備えたので、ウインドウ内の道路白線の画像座標の精度が相対的に低い遠方のウインドウの白線候補線の画像座標を使用せずに道路パラメータを推定できるようになり、自車両の車線に対する横変位のパラメータの推定精度を高めることができるという効果がある。
【００１８】
請求項４記載の本発明によれば、請求項１ないし請求項３記載の発明の効果に加えて、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたので、白線候補線の算出を高速化することができるという効果がある。
【００１９】
請求項５記載の本発明によれば、請求項１ないし請求項４記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させたので、この白線候補線の位置計算が簡素化できるため、道路モデルの推定処理を高速化することができ、車両が高速走行する場合にも道路パラメータの高い推定精度を維持することができるという効果がある。
【００２０】
請求項６記載の本発明によれば、請求項５記載の発明の効果に加えて、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたので、このハフ変換により複数の白線候補線を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、さらに処理の高速化を図ることができる。
【００２１】
請求項７記載の本発明によれば、請求項１ないし請求項６記載の発明の効果に加えて、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似するようにしたので、操舵入力時の早い車両挙動への追従性を確保しつつ、路面ノイズ等による白線誤認識を少なくすることができるという効果がある。
【００２２】
請求項８記載の本発明によれば、請求項１ないし請求項７記載の発明の効果に加えて、前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むようにしたので、少ない数のパラメータで比較的精度よく道路形状及びこの道路に対する車両姿勢をモデル化することができるという効果がある。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
図２は、本発明に係る道路白線認識装置１０を搭載した車両１２の一実施形態を示す概略図である。図２において、車両前方の道路画像を取得する画像取得手段１４とこの画像取得手段１４で取得した画像信号（以下、単に画像という）を処理するプロセッサ１６とが車両１２に設置される。画像取得手段１４は高感度撮像が可能なＣＣＤカメラなどが好ましく、この画像取得手段（以下、カメラという）１４は室内天井１２ａの前方中央部に前方下方を指向して取り付けられ、フロントガラス１２ｂを通して車両１２前方の道路Ｒ画像を取得するようになっている。上記プロセッサ１６は車両１２の熱や風雨の影響のない適宜箇所に設置され、上記カメラ１４で取得した道路Ｒ画像から道路白線１８を認識して道路形状及びこの道路に対する車両姿勢を推定する制御が実行される。
【００２４】
図１は、本発明に係る道路白線認識装置１０の第１実施形態の基本的な構成を示す図である。同図において、道路白線認識装置１０は、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００２５】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い第１の白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎に第１の白線候補線に類似した第２の白線候補線が存在するか否か、すなわち擬似白線が存在するか否かを判定する擬似白線存在判断手段（白線位置推定精度判断手段）１０４と、各ウインドウに対して算出された第１の白線候補線の画像座標及び傾きと道路モデル式とを用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５とを備え、これらの手段１０１〜１０５をプロセッサ１６のプログラム制御により実現している。
【００２６】
道路パラメータ推定手段１０５は、擬似白線が存在すると判断されたウインドウに対しては、第１の白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、第１の白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定するものである。
【００２７】
道路パラメータ推定手段１０５は、道路モデル式として、次に示す式１を用いて道路形状及びこの道路に対する車両姿勢を推定する。
【００２８】
【数１】
【００２９】
式１において、道路パラメータＡ，Ｂ，Ｃ，Ｄ，Ｈは、それぞれ、自車両の車線に対する横変位（Ａ）、道路曲率（Ｂ）、自車両の車線に対するヨー角（Ｃ）、自車両のピッチ角（Ｄ）、及び路面からの前記画像取得手段の高さ（Ｈ）である。
【００３０】
また、Ｅ0は車線幅（左右白線の内側間の距離）を示す定数，ｆはカメラ透視変換定数、ｊを左右の白線を区別するパラメータとし、左白線のときｊ＝０，右白線のときｊ＝１とする。また、（ｘ，ｙ）は、左または右白線内端上の任意の点の画像上の座標であり、画像左上を原点に取り、右方向がｘ軸正方向、下方向がｙ軸正方向とする。
【００３１】
尚、式１は道路モデルを表す一手法を示したものであり、例えば、Ｅ0を変数にしたもの、Ｈを固定したもの、車線幅を左白線中央と右白線中央との間の距離とし、（ｘ，ｙ）を白線幅の中央位置の画像座標としても定義することができる。
【００３２】
図３及び図４は、プロセッサ１６によって道路パラメータを推定するプログラムのフローチャートであり、例えば、車両走行中は３０［ｍｓｅｃ］毎に処理が繰り返されるものとする。
【００３３】
次に、図３の各ステップ毎の概略処理を説明する。まず、カメラ１４から画像メモリ１５へ車両前方画像を取り込む（ステップＳ１）。次いで、取り込んだ画像上に複数（ｍ個）のウインドウを設定する（ステップＳ２）。次いで、ウインドウ処理番号ｉを初期値の１に設定する（ステップＳ３）。ｉ番目のウインドウ（以下、ウインドウｉと呼ぶ）２０の画像データから、水平方向の輝度変化を検出して白線１８の端部の位置を認識するための白線候補点２１を抽出する（ステップＳ４）。次いでウインドウ内の白線候補点２１の座標位置に基づいて、これらの白線候補点から最も白線の可能性が高い第１の白線候補線２２を算出する（ステップＳ５）。
【００３４】
次いで、ウインドウ内に第１の白線候補線に類似した傾きを持つ第２の白線候補線が存在するか否かの擬似白線存在判定を行う（ステップＳ６）。ステップＳ６の判定結果により、第２の白線候補線が存在すれば、ウインドウ毎のフラグＷＥｉを１に設定し（ステップＳ７）、第２の白線候補線が存在しなければ、ウインドウ毎のフラグＷＥｉを０に設定する（ステップＳ８）。次いで、ウインドウ番号ｉを１だけ増加させ（ステップＳ９）、ｉがウインドウ数（ｍ）を超えたか否かを判定し（ステップＳ１０）、超えていなければ、次のウインドウを処理すべく、ステップＳ４へ戻る。ステップＳ１０の判定で、ｉがウインドウ数（ｍ）を超えていれば全ウインドウの前処理が終わったので、道路パラメータ推定処理を行って（ステップＳ２０）、最初の前方画像取り込み（ステップＳ１）へ戻る。
【００３５】
以下、上記プログラムの処理を各ステップ毎に詳述する。
（１）前方画像の取込
プロセッサ１６がプログラムを処理する所定時間毎に、カメラ１４によって撮像された車両前方の画像信号を画像メモリ１５へ取り込む。画像は各画素毎の輝度データとして表される。
【００３６】
（２）複数ウインドウの設定
ウインドウ２０は、図５に示すように道路白線１８の延長方向に沿って複数（図５の例では、左白線に対して５個、右白線に対して５個）が設けられ、各ウインドウ２０は前回の画像処理結果によって得られた道路モデルのパラメータにより、それぞれのウインドウ２０に道路白線１８が取り込まれるようにそれぞれの位置が設定され、道路白線１８はこれらウインドウ２０内で検知される。図中の縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、図中の横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。
【００３７】
ここで、ｎ番目のウインドウ（ｉ＝ｎ）の上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の横方向中心座標ｘestは、式２で示される。
【００３８】
【数２】
【００３９】
（３）ウインドウ番号ｉの初期化
ステップＳ４からステップＳ９までの処理を全てのウインドウ２０に対して行うためのループ制御パラメータｉを１に初期化する。
【００４０】
（４）白線候補点の抽出
カメラ１４から取り込まれた画像に設定された各ウインドウの範囲の画像からソーベル（ｓｏｂｅｌ）フィルタ処理などのエッジ検知（輝度変化検知）処理を利用して、白線候補点を選択する。このエッジ検知では、図６に示すように左（画像座標のｘ値が小さい）の画素の輝度が右（画像座標のｘ値が大きい）の画素の輝度より大きい場合、フィルタの出力が正であるとする。そして、ある程度の幅を有する道路白線１８の内側端部を白線の位置としているので、左白線の場合は、フィルタの出力が正の判別値を超えた点を白線候補点とし、右白線の場合は、フィルタの出力が負の判別値を下回った点を白線候補点とする。ウインドウ２０内の全ての画像データを走査してフィルタの出力により、上記の判別値を利用して白線候補点を抽出する。尚、上記判別値は、画像全体またはウインドウ毎の平均輝度、コントラスト等により、適宜設定されてもよい。
【００４１】
（５）白線候補線の算出
ウインドウ２０内から抽出された白線候補点２１の集合から白線候補線２２を探索する。この探索にはハフ変換や最小自乗法などを用いることができる。本実施形態ではハフ変換を用いるものとし、ハフ変換直線近似では図７に示すようにウインドウ２０内を通過する直線のうち、最も多く白線候補点２１を貫いたものを最も白線の可能性が高い第１の白線候補線とする。
【００４２】
このとき、座標（ｘ，ｙ）を通過する直線はパラメータａ，ｂを用いて次の式３として表すことができる。ここでａは、白線候補線の傾き（∂ｘ／∂ｙ）であり、ｂはそのｘ切片である。
【００４３】
【数３】
【００４４】
【数４】
【００４５】
こうして、白線候補線が算出されると、次いで図１２に示すように、ウインドウ番号ｎにおける第１の白線候補線２２とウインドウ２０の上辺２０ａとの交点の画像上の座標である道路座標（ｘn ，ｙn ）を算出する。ウインドウ２０の上辺２０ａのｙ座標ｙn は、ウインドウ番号ｎに対する固定値である。道路座標のｘ成分ｘn は式５で算出される。
【００４６】
【数５】
第１の白線候補線に類似した傾きを持つ（傾きの差が所定値以下となる）第２の白線候補線がウインドウ内の画像に存在するか否か、すなわち擬似白線が存在するか否かの判断である擬似白線存在の判断は、図９（ａ）の配列を元に判断される。例えば、ウインドウ内の画像に白色のガイドレールや、轍の中に溜まった水の反射による高輝度領域等の擬似白線が含まれていると、これら擬似白線の水平方向の端部も上述のエッジ検出により、白線候補点として抽出されている。このため、白線の右又は左の端部を示す本来の白線候補点と、擬似白線による偽りの白線候補点が白線候補点として含まれている。
【００４７】
このような擬似白線が含まれるウインドウの画像データからは、最も白線の可能性がある白線候補線である第１の白線候補線以外に、第１の白線候補線に類似した傾きを持つ第２の白線候補線が算出されることになる。
【００４８】
そして道路状況によっては、第１の白線候補線が必ずしも本来の白線ではなく、擬似白線による白線候補点から算出された白線候補線が最も白線の可能性が高い第１の白線候補線として算出されることがある。このような場合、擬似白線を第１の白線候補線として誤認しても道路パラメータの推定に誤差を招来しないために、ここで、擬似白線の存在の有無の判断を行うものである。そして後述する道路パラメータの推定において、擬似白線が存在すると判断したウインドウからは、自車両の車線に対する横変位以外の道路パラメータを含む式を用いるようにしている。
【００４９】
図９（ａ）の配列において、白線候補線の傾きを示すパラメータａであるが、各列の合計を採って最大のものを選ぶ。この処理で画像上での傾きの差が所定値以下となる白線候補線が複数存在する場合、その中から選択されることになる。この所定値は、真の道路白線とそれに平行な擬似白線とが画像上では平行にならないために設定され、この処理を適用したい真の道路白線と擬似白線との路面上の間隔の最大値とカメラ高さＨにより決まる。
【００５０】
そして、選んだパラメータａの値をａＮとし、そのａＮ の列のｂ（ｘ切片）の分散を計算する。ここで上記所定値がパラメータａの間隔（例えば、｜ａｒ−ａｒ−１｜）より大きい時は、各列の合計を採る際に、図９（ｂ）に示すように、ａのレンジが所定値を超えるまで隣接した列まで含めて（例えばａＮ−１〜ａＮ＋１）合計して最大のものを選び、さらにそのａＮの複数列をとってｂの分散を計算する。
【００５１】
このｂの分散が所定値以下の場合、第１の白線候補線に類似した傾きを持つ第２の白線候補線、即ち擬似白線が存在しないと判断し、それ以外の場合は擬似白線が存在すると判断する。擬似白線が存在する場合には、図１０に示すようにピークが複数現れて分散が大きくなる。擬似白線が存在すると判断したウインドウｎの集合をＧaとし、そうでないウインドウｎの集合をＧbとする。
【００５２】
そして、図１１に示すようにａＮの列中で最も大きいものに対応するｂ（図中でのｂn）を選ぶ。こうして、最も白線の可能性が高い第１の白線候補線を規定するａ，ｂの対を選択する。このとき、道路白線１８が一部掠れていたり、波打っていたり、白色のガイドレールがあったり、轍の水たまりが連続的に光を反射していたりすると、本来の白線の代わりに擬似白線のａ，ｂの対を第１の白線候補線として誤って選択することになる。
【００５３】
（７）擬似白線存在判断フラグの設定
ステップＳ７の擬似白線存在判断の結果により、存在すると判断したウインドウのフラグＷＥｉを「１」に、存在しないと判断したウインドウのフラグＷＥｉを「０」に、それぞれ設定する。これらのフラグは、後の道路パラメータ推定において参照される。
【００５４】
（８）道路パラメータ推定
前記式１をｙで微分して式６を得る。
【００５５】
【数６】
【００５６】
【数７】
【００５７】
次に、カルマンフィルタを用いて道路パラメータを推定する場合、式８に示す方程式が与えられることによりパラメータｚを推定することができるというものである。ただし、同式中のパラメータｙｙの値およびｆの構造はそれぞれ既知とし、一般にｙｙはベクトルとなる。
【００５８】
【数８】
【００５９】
▲１▼擬似白線が存在する場合
これには前記式７を用い、これは左辺が画像上の傾きであるため、式９が成立する。
【００６０】
【数９】
∂ｘ／∂ｙ＝ｆw（Ｂ，Ｃ，Ｄ，Ｈ）…（式９’）と表すこともできる。
【００６１】
▲２▼擬似白線が存在しない場合
これは前記式１が式１０として成立する。
【００６２】
【数１０】
ｘ＝ｆz（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）…（式１０’）と表すこともできる。
【００６３】
式９’および式１０’は一般に複数列より構成され、これらを線形近似した上で並べることにより次の行列式１１が得られる。
【００６４】
【数１１】
【００６５】
次に、図４を参照して、道路パラメータ推定処理のサブルーチンＰ3を説明する。
【００６６】
まず、ステップＳ２１でウインドウ番号パラメータｉを１に初期化する。次いで、ステップＳ２２でウインドウ番号ｉに対応するフラグＷＥｉの値を判定することにより、擬似白線が存在するウインドウに対する処理と、擬似白線が存在しないウインドウに対する処理とを分岐する。
【００６７】
擬似白線が存在しないウインドウの場合、ステップＳ２３において、式１１のｚiはｘiとし、式１０’の右辺を線型近似することにより、Ｍi1，Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｙの値がｙiにおけるｄｆz／ｄＡ，ｄｆz／ｄＢ，ｄｆz／ｄＣ，ｄｆz／ｄＤ，ｄｆz／ｄＨとする。
【００６８】
擬似白線が存在するウインドウの場合、ステップＳ２４において、式１１のｚiは（ｄｘ／ｄｙ）iとし、式９’の右辺を線型近似することにより、Ｍi1は０とし、Ｍi2，Ｍi3，Ｍi4，Ｍi5は、それぞれｘ，ｙの値が（ｘi，ｙi）におけるｄｆw／ｄＢ，ｄｆw／ｄＣ，ｄｆw／ｄＤ，ｄｆw／ｄＨとする。
【００６９】
次いで、ステップＳ２５でウインドウ番号ｉを１だけ増加し、ステップＳ２６でウインドウ番号ｉがウインドウ数ｍを超えているか否かを判定し、ウインドウ数ｍを超えていなければ、次のウインドウを処理すべくステップＳ２２へ戻る。ウインドウ数ｍを超えていれば、ステップＳ２７において、カルマンフィルタ処理により、パラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定し、メインルーチンへリターンする。
【００７０】
図１３は本発明に係る道路白線認識装置の第２実施形態の構成を示すシステム構成図である。同図において、道路白線認識装置１０ａは、車両に搭載した画像取得手段１４により取得した車両前方の道路画像を格納する画像メモリ１５と、画像メモリ１５に格納された道路画像に基づいて、道路パラメータを推定する例えばマイクロプロセッサを使用したプロセッサ１６とを備えている。
【００７１】
プロセッサ１６は、画像メモリ１５に格納された道路画像上にそれぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段１０１と、前記ウインドウ毎の画像を処理して白線候補点を抽出する白線候補点抽出手段１０２と、前記ウインドウ毎に抽出された白線候補点に基づいて白線の可能性が最も高い白線候補線の画像座標及び傾きを算出する白線候補線算出手段１０３と、前記ウインドウ毎にウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段（白線位置推定精度判断手段）１１０と、各ウインドウに対して算出された白線候補線の画像座標及び傾きと道路モデル式を用いて、少なくとも自車両の車線に対する横変位を含む道路パラメータを推定する道路パラメータ推定手段１０５と、を備え、これらの手段１０１、１０２，１０３，１１０，１０５をプロセッサ１６のプログラム制御により実現している。
【００７２】
道路パラメータ推定手段１０５は、前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、白線候補線の画像座標と傾きとを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む道路パラメータを推定するものである。
【００７３】
本実施形態における道路モデル式、及び道路パラメータは、第１実施形態で用いたものと同様である。
【００７４】
また、図１４に示す本実施形態のプログラムＰ2は、上記第１実施形態に示した図３のフローチャートで処理されるプログラムＰ1とほぼ同様の処理が実行されるが、特に本実施形態では第１実施形態のプログラムＰ1のステップＳ６に代えて、ステップＳ１２の観測方程式選択処理を実行するようにしたもので、このステップＳ１２による処理を以下述べる。なお、図１４のフローチャートは図３のフローチャートと同一処理部分に同一ステップ番号を付して、その説明を省略するものとする。
【００７５】
観測方程式選択
これは上記第１実施形態と同様にウインドウ番号ｎのウインドウがいずれのグループＧa，Ｇbに属するかを選択する。即ち、Ｇaは観測方程式が式９（式９’）で表される場合、Ｇbは観測方程式が式１０（式１０’）で表される場合である。即ち、第１実施形態では擬似白線が存在すると判断した場合にＧaを選択したが、本第２実施形態では擬似白線が存在すると判断した場合に加えて、自車両に対して遠方を透視するウインドウ２０ａで白線候補線２２を判断する場合にもＧaを選択するものとする。この遠方を透視するウインドウ２０ａとは、図１５中に太枠で示した最上方のウインドウ２０ａがこれに相当する。もっとも、そのウインドウ２０ａは最上方のものに限定することなく、最上方を含めて連続する上方部分の複数個を選ぶこともできる。
【００７６】
即ち、この実施形態では上記式１からｘnの変動に対するＡのゲインＧを求めると式１２となる。
【００７７】
【数１２】
【００７８】
ところで、上記各実施形態ではウインドウ２０内の白線候補線２２を直線と近似するようになっており、このように直線に近似することにより処理を高速化できる。即ち、上記白線候補線２２を高次の曲線で近似したと仮定した場合、近似する処理自体の演算時間も膨大となり、また、画像上の傾きを計算する処理も必要となってくる。従って、曲線では座標を指定して傾きを再計算しなければならないが、直線では近似の課程で傾きが決定される。このため、道路白線１８は曲線であっても、各ウインドウ２０内で直線と近似できるように、ウインドウ２０の大きさを設定してやれば良い。
【００７９】
また、上記白線候補線２２を直線に近似するにあたってハフ変換を用いたので、複数の白線候補線２２を取得した場合に、それら複数の白線候補線の画像上の傾きを再計算する必要がなくなるため、処理の高速化を図ることができる。従って、高速で走行する車両のように高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の第１実施形態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の第１実施形態による画像処理プログラムを実行するためのフローチャートである。
【図４】実施形態の画像処理プログラムにおける道路パラメータ推定サブルーチンを示すフローチャートである。
【図５】本発明にかかる道路白線認識装置の第１実施形態で画面に設定される複数のウインドウの配列状態を示す説明図である。
【図６】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補点のプロット状態を示す説明図である。
【図７】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウ内の白線候補線の選択状態を示す説明図である。
【図８】本発明にかかる道路白線認識装置の第１実施形態で実行される白線候補線を探索する際のハフ変換による配列表を示す説明図である。
【図９】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換を配列要素で示す説明図である。
【図１０】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在する場合のピーク度数を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の第１実施形態で実行されるハフ変換により得られる擬似白線が存在しない場合のピーク度数を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の第１実施形態で設定されるウインドウの上辺と白線候補線との交点の道路座標を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の第２実施形態の基本構造を示す概略構成図である。
【図１４】本発明にかかる道路白線認識装置の第２実施形態による画像処理プログラムを実行するためのフローチャートである。
【図１５】本発明にかかる道路白線認識装置の第２実施形態で選択される遠方を透視するウインドウを示す説明図である。
【図１６】擬似白線の要因の１つである道路に形成される轍を示す斜視図である。
【図１７】擬似白線の要因の１であるガイドレールと影との関係を示す斜視図である。
【符号の説明】
１０ 道路白線認識装置
１２ 車両
１４ カメラ（画像取得手段）
１６ プロセッサ
１８ 道路白線
２０ ウインドウ
２１ 白線候補点
２２ 白線候補線
１０１ ウインドウ設定手段
１０２ 白線候補点抽出手段
１０３ 白線候補線算出手段
１０４ 擬似白線存在判断手段（白線位置精度判断手段）
１０５ 道路パラメータ推定手段
１１０ ウインドウ位置判断手段（白線位置精度判断手段）
Claims (8)
- 車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ毎に前記白線候補線の前記道路白線に対する位置推定精度を判定する白線位置推定精度判断手段と、
前記位置推定精度が低いと判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記位置推定精度が低くないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。 - 車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ毎に傾きの類似した複数の白線候補線が存在するか否かを判定する擬似白線存在判断手段と、
擬似白線が存在すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、擬似白線が存在しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。 - 車両に搭載した画像取得手段により車両前方の道路画像を取得し、道路形状及び車両姿勢に関するパラメータを用いて道路をモデル化した道路モデル式の各道路パラメータを推定する道路白線認識装置において、
前記道路画像上に、それぞれのウインドウに道路白線が含まれるように道路白線の延長方向に沿って複数のウインドウを設けるウインドウ設定手段と、
前記ウインドウ毎に白線の可能性がある白線候補線を算出する白線候補線算出手段と、
前記ウインドウ内の路面と自車両との遠近位置を判断するウインドウ位置判断手段と、
前記ウインドウ内の路面が自車両に対して遠方に位置すると判断されたウインドウに対しては、少なくとも白線候補線の傾きを用いて、自車両の車線に対する横変位を除く前記道路パラメータを推定し、前記ウインドウ内の路面が自車両に対して遠方に位置しないと判断されたウインドウに対しては、白線候補線の画像座標を用いて、前記自車両の車線に対する横変位を含む前記道路パラメータを推定する道路パラメータ推定手段と、
を備えたことを特徴とする道路白線認識装置。 - 請求項１ないし請求項３のいずれか１項記載の道路白線認識装置において、前記ウインドウ毎に画像を処理して白線候補点を抽出する白線候補点抽出手段を備え、前記白線候補線算出手段は前記白線候補点抽出手段によって抽出された白線候補点に基づいて白線候補線を算出するようにしたことを特徴とする道路白線認識装置。
- 請求項１ないし請求項４のいずれか１項記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させたことを特徴とする道路白線認識装置。
- 請求項５記載の道路白線認識装置において、各ウインドウで算出される白線候補線を直線に近似させ、白線候補点から白線候補線となる直線への近似にハフ変換を用いたことを特徴とする道路白線認識装置。
- 請求項１ないし請求項６のいずれか１項記載の道路白線認識装置において、カルマンフィルタ処理により前記道路パラメータを推定できるように、擬似白線が存在すると判断されたウインドウに対しては、前記道路モデル式から自車両の横変位を消去した式を前記道路パラメータに関して線型近似し、擬似白線が存在しないと判断されたウインドウに対しては、前記道路モデル式を前記道路パラメータに関して線型近似したことを特徴とする道路白線認識装置。
- 請求項１ないし請求項７のいずれか１項記載の道路白線認識装置において、
前記道路パラメータは、道路曲率、自車両の車線に対するヨー角、自車両のピッチ角、及び路面からの前記画像取得手段の高さを含むことを特徴とする道路白線認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001179204A JP3733875B2 (ja) | 2000-09-29 | 2001-06-13 | 道路白線認識装置 |
| US09/963,490 US6845172B2 (en) | 2000-09-29 | 2001-09-27 | Road lane marker recognition |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000301453 | 2000-09-29 | ||
| JP2000-301453 | 2000-09-29 | ||
| JP2001179204A JP3733875B2 (ja) | 2000-09-29 | 2001-06-13 | 道路白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002175535A JP2002175535A (ja) | 2002-06-21 |
| JP3733875B2 true JP3733875B2 (ja) | 2006-01-11 |
Family
ID=26601305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001179204A Expired - Fee Related JP3733875B2 (ja) | 2000-09-29 | 2001-06-13 | 道路白線認識装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6845172B2 (ja) |
| JP (1) | JP3733875B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011053002A1 (de) | 2010-09-08 | 2012-03-08 | Fuji Jukogyo Kabushiki Kaisha | Fahrspurliniebeurteilungsvorrichtung |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4696370B2 (ja) * | 2001-02-13 | 2011-06-08 | 日産自動車株式会社 | 道路の仕切線認識装置 |
| JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
| JP3780922B2 (ja) * | 2001-11-30 | 2006-05-31 | 日産自動車株式会社 | 道路白線認識装置 |
| JP4259357B2 (ja) * | 2004-03-12 | 2009-04-30 | 三菱ふそうトラック・バス株式会社 | 車両走行状態判定装置 |
| JP4277081B2 (ja) * | 2004-03-17 | 2009-06-10 | 株式会社デンソー | 運転支援装置 |
| JP4296973B2 (ja) * | 2004-03-19 | 2009-07-15 | 三菱ふそうトラック・バス株式会社 | 車両走行状態判定装置 |
| JP4258413B2 (ja) * | 2004-03-26 | 2009-04-30 | 三菱ふそうトラック・バス株式会社 | 車両走行状態判定装置 |
| JP4225229B2 (ja) * | 2004-03-30 | 2009-02-18 | 三菱ふそうトラック・バス株式会社 | 覚醒度判定装置 |
| JP4437714B2 (ja) * | 2004-07-15 | 2010-03-24 | 三菱電機株式会社 | 車線認識画像処理装置 |
| KR100619758B1 (ko) * | 2004-11-10 | 2006-09-07 | 엘지전자 주식회사 | 로봇청소기의 움직임 추적장치 및 방법 |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| JP4616046B2 (ja) * | 2005-03-22 | 2011-01-19 | 本田技研工業株式会社 | 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両 |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4822766B2 (ja) * | 2005-08-18 | 2011-11-24 | 富士通株式会社 | 路面標示認識装置及びシステム |
| JP4939137B2 (ja) * | 2006-07-19 | 2012-05-23 | 富士重工業株式会社 | 車線認識装置 |
| EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
| JP5083658B2 (ja) * | 2008-03-26 | 2012-11-28 | 本田技研工業株式会社 | 車両用車線認識装置、車両、及び車両用車線認識プログラム |
| US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| JP5350297B2 (ja) | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
| DE102010020984A1 (de) * | 2010-04-20 | 2011-10-20 | Conti Temic Microelectronic Gmbh | Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug |
| CN103262139B (zh) * | 2010-12-15 | 2015-06-24 | 本田技研工业株式会社 | 行车道识别装置 |
| JP2012212282A (ja) * | 2011-03-31 | 2012-11-01 | Honda Elesys Co Ltd | 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム |
| WO2013027803A1 (ja) * | 2011-08-25 | 2013-02-28 | 日産自動車株式会社 | 車両用自律走行制御システム |
| CN102306300B (zh) * | 2011-08-25 | 2013-04-10 | 武汉光庭信息技术有限公司 | 基于弯道模型的有损形状道路识别方法 |
| JP5926080B2 (ja) | 2012-03-19 | 2016-05-25 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置およびプログラム |
| CN102663403B (zh) * | 2012-04-26 | 2014-04-16 | 北京工业大学 | 基于视觉的快速路智能车导航中车道信息提取系统及方法 |
| JP5887219B2 (ja) * | 2012-07-03 | 2016-03-16 | クラリオン株式会社 | 車線逸脱警報装置 |
| KR102058001B1 (ko) * | 2012-09-03 | 2020-01-22 | 엘지이노텍 주식회사 | 차선 보정 시스템, 차선 보정 장치 및 이의 차선 보정 방법 |
| JP6102213B2 (ja) * | 2012-11-22 | 2017-03-29 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5958368B2 (ja) * | 2013-01-31 | 2016-07-27 | トヨタ自動車株式会社 | 白線検出装置 |
| CN103268611B (zh) * | 2013-05-27 | 2016-08-31 | 广西科技大学 | 一种复杂场景中精确的实时曲线检测方法 |
| JP6232883B2 (ja) * | 2013-09-27 | 2017-11-22 | 日産自動車株式会社 | 自車位置認識装置 |
| US9404761B2 (en) | 2014-05-30 | 2016-08-02 | Nissan North America, Inc. | Autonomous vehicle lane routing and navigation |
| US20150345967A1 (en) * | 2014-06-03 | 2015-12-03 | Nissan North America, Inc. | Probabilistic autonomous vehicle routing and navigation |
| JP6372314B2 (ja) * | 2014-11-10 | 2018-08-15 | 株式会社豊田中央研究所 | 目標軌跡算出装置及びプログラム |
| US10593007B1 (en) * | 2015-06-11 | 2020-03-17 | Digimarc Corporation | Methods and arrangements for configuring industrial inspection systems |
| US20180165525A1 (en) * | 2015-06-15 | 2018-06-14 | Mitsubishi Electric Corporation | Traveling lane determining device and traveling lane determining method |
| EP3333829B1 (en) * | 2015-08-04 | 2019-10-09 | Nissan Motor Co., Ltd. | Step detection device and step detection method |
| JP6511406B2 (ja) * | 2016-02-10 | 2019-05-15 | クラリオン株式会社 | キャリブレーションシステム、キャリブレーション装置 |
| JP6889005B2 (ja) * | 2017-04-05 | 2021-06-18 | 株式会社Ｓｏｋｅｎ | 道路パラメータ推定装置 |
| JP7065383B2 (ja) * | 2017-06-30 | 2022-05-12 | パナソニックＩｐマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
| JP6993205B2 (ja) * | 2017-12-18 | 2022-01-13 | 株式会社Soken | 区画線特定装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2917681B2 (ja) | 1992-06-29 | 1999-07-12 | 日産自動車株式会社 | 道路形状計測装置 |
| US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| JP3288566B2 (ja) | 1994-11-10 | 2002-06-04 | 株式会社豊田中央研究所 | 走行レーン認識装置 |
| DE19680415C2 (de) * | 1995-04-26 | 2003-02-06 | Hitachi Ltd | Bildbearbeitungsvorrichtung für Fahrzeuge |
| US6091833A (en) * | 1996-08-28 | 2000-07-18 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and a method therefor |
| JP3516856B2 (ja) * | 1998-01-30 | 2004-04-05 | 富士重工業株式会社 | 車外監視装置 |
| JP3580475B2 (ja) * | 1998-09-14 | 2004-10-20 | 矢崎総業株式会社 | 周辺監視装置 |
-
2001
- 2001-06-13 JP JP2001179204A patent/JP3733875B2/ja not_active Expired - Fee Related
- 2001-09-27 US US09/963,490 patent/US6845172B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011053002A1 (de) | 2010-09-08 | 2012-03-08 | Fuji Jukogyo Kabushiki Kaisha | Fahrspurliniebeurteilungsvorrichtung |
| US8611609B2 (en) | 2010-09-08 | 2013-12-17 | Fuji Jikogyo Kabushiki Kaisha | Lane line estimating apparatus |
| DE102011053002B4 (de) | 2010-09-08 | 2023-10-12 | Subaru Corporation | Fahrspurliniebeurteilungsvorrichtung |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002175535A (ja) | 2002-06-21 |
| US20020042676A1 (en) | 2002-04-11 |
| US6845172B2 (en) | 2005-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3733875B2 (ja) | 道路白線認識装置 | |
| CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| US9245188B2 (en) | Lane detection system and method | |
| KR100257592B1 (ko) | 차선검출센서 및 이를 이용한 항법장치 | |
| CN106156723B (zh) | 一种基于视觉的路口精定位方法 | |
| CN106338989B (zh) | 一种田间机器人双目视觉导航方法及系统 | |
| CN110287779A (zh) | 车道线的检测方法、装置及设备 | |
| US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
| CN111178295A (zh) | 车位检测和模型训练方法、装置、车辆、设备及存储介质 | |
| JP2002197469A (ja) | 車線検出装置 | |
| KR101100827B1 (ko) | 도로주행 로봇의 자기 위치 인식방법 | |
| WO2017038134A1 (ja) | ランドマーク認識装置及び認識方法 | |
| CN114118252A (zh) | 一种基于传感器多元信息融合的车辆检测方法及检测装置 | |
| JP5048609B2 (ja) | 対象物追跡装置及びプログラム | |
| JP4296287B2 (ja) | 車両認識装置 | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| CN113624225A (zh) | 一种用于发动机定位销安装的位姿解算方法 | |
| JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
| JP2002334330A (ja) | 車両認識装置 | |
| JPH08156723A (ja) | 車両用障害物検出装置 | |
| KR102283053B1 (ko) | 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법 | |
| JP2012150595A (ja) | 一時停止線検出装置及びプログラム | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| CN111998780B (zh) | 目标测距方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051010 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131028 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |