JP2002109549A

JP2002109549A - 道路白線認識装置

Info

Publication number: JP2002109549A
Application number: JP2000301150A
Authority: JP
Inventors: Hiroyuki Kosho; 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2002-04-12
Anticipated expiration: 2020-09-29
Also published as: JP3731464B2

Abstract

(57)【要約】【課題】道路白線を探索するために道路画像上に設け
た複数のウインドウ内で、道路白線を認識するためのし
きい値を路面面積と道路白線面積とを考慮して設定する
ことにより、道路白線を精度良く認識できるようにした
道路白線認識装置を提供する。【解決手段】画像取得手段１４で取得した道路画像内
に道路白線１８を探索する複数のウインドウ２０を設
け、各ウインドウ２０それぞれに設定されたしきい値ｖ
nによって道路白線１８の候補点２１を認識し、白線候
補点２１の集合から道路モデルを推定する。繰り返し行
われる道路白線認識で前回の道路モデル推定値から次回
のウインドウ２０内に占めると想定される道路白線１８
の面積を推定する。それぞれのウインドウ２０に対して
しきい値ｖn以上の輝度を持つ画素の面積が道路面積推
定手段１０３で推定された道路白線１８の面積以上とな
るようにしきい値ｖnを設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば車両の自動
操縦や予防安全運転などのために、車両の進行方向前方
の道路を画像として取得して道路白線を認識し、この道
路白線から道路形状を推定するようにした道路白線認識
装置に関する。

【０００２】

【従来の技術】この種の画像により道路白線を認識する
従来の手法としては、特開平７−２４４７１７号に開示
される車両用走行環境認識装置や特開平９−３５０６５
号に開示される車載用画像処理装置などがある。前者の
特開平７−２４４７１７号ではエッジ検知の問題点を空
間積分で克服しようとするものであり、また、後者の特
開平９−３５０６５号では時間積分で問題点を克服する
ものである。更に、これら以外にも取得した画像上に設
けられるウインドウの輝度値の平均値をもってそのウイ
ンドウのしきい値とし、このしきい値以上の輝度をもっ
て道路白線と見なす手法が知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、かかる
従来の白線認識の方法では、特開平７−２４４７１７号
の空間積分する場合は結果的に積分の変化を計算するも
のであり、満足のいくノイズの除去性能に劣り、また、
特開平９−３５０６５号の時間積分する場合は道路が時
間とともに画像上を移動するため、時間積分の出力画像
はぼかし状態となって道路白線の検知性能が劣化するこ
とになる。

【０００４】更に、ウインドウにしきい値を設けて道路
白線を検知する手法では、実際の道路白線の輝度と路面
の輝度との間にしきい値となる平均値が来ないことが多
い。図１４はそのときの累積輝度分布の一例を示し、こ
れは右軸に輝度、縦軸に輝度の分布度数をそれぞれ表
し、輝度は右に行くほど高くなって０〜２５５まで変化
するとともに、度数は上に行くほど大きくなって１００
パーセントまで到達している。同図中輝度Ｖ0に対して
度数Ｔ0が対応しているが、これは輝度Ｖ0以上の度数が
Ｔ0パーセントであることを意味する。また、輝度０
（黒）以上は全ての輝度を意味するため、縦軸の切片は
必ず１００パーセントとなる。

【０００５】ここで、上記輝度分布の平均輝度をＶav
e、道路白線輝度をＶref（Ｖave＜Ｖref）とした場合、
画面全体は黒っぽく、道路白線の占める部分が少ないこ
とから、輝度の平均が黒寄りに設定されることになる。
従って、この場合はＶaveとＶrefとの間に存在する輝度
は誤検知の対象となる。

【０００６】また、これとは逆にＶave＞Ｖrefとなる同
様の累積輝度分布を図１５に示すが、これは一部のノイ
ズの輝度が高くて平均輝度を押し上げている場合で、Ｖ
aveとＶrefとの間に存在する輝度は道路白線として認識
することができなくなる。

【０００７】本発明はかかる従来の課題に鑑みて成され
たもので、道路白線を探索するために道路画像上に設け
た複数のウインドウ内で、道路白線を認識するためのし
きい値を路面面積と道路白線面積とを考慮して設定する
ことにより、道路白線を精度良く認識できるようにした
道路白線認識装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】請求項１に記載の本発明
は、車両前方の道路画像を取得する画像取得手段と、取
得した道路画像内に道路白線を探索する複数のウインド
ウを設けるウインドウ設定手段と、各ウインドウそれぞ
れに設定されたしきい値によって道路白線の候補点を認
識する白線候補点選択手段とを備え、この白線候補点の
集合から道路モデルを推定するようにした道路白線認識
装置であって、繰り返し行われる道路白線認識で前回の
道路モデル推定値から次回のウインドウ内に占めると想
定される道路白線の面積を推定する道路面積推定手段
と、それぞれのウインドウに対してしきい値以上の輝度
を持つ画素の面積が上記道路面積推定手段で推定された
道路白線の面積以上となるように上記しきい値を個々に
設定するしきい値設定手段と、を設けたことを要旨とす
る。

【０００９】請求項２に記載の本発明は、車両前方の道
路画像を取得する画像取得手段と、取得した道路画像内
に道路白線を探索する複数のウインドウを設けるウイン
ドウ設定手段と、各ウインドウに設定されたしきい値に
よって道路白線の候補点を認識する白線候補点選択手段
とを備え、この白線候補点の集合から道路モデルを推定
するようにした道路白線認識装置であって、繰り返し行
われる道路白線認識で前回の道路モデル推定値から次回
のウインドウ内に占めると想定される道路白線の面積を
推定する道路面積推定手段と、所定のウインドウにおい
てしきい値以上の輝度を持つ画素の面積が上記道路面積
推定手段で推定された道路白線の面積以上となるように
上記しきい値を設定するしきい値設定手段とを設け、こ
のしきい値を全ウインドウに適用することを要旨とす
る。

【００１０】請求項３に記載の本発明は、請求項２の道
路白線認識装置にあって、所定のウインドウを、画像取
得手段に近い道路白線を透視するウインドウに選定した
ことを要旨とする。

【００１１】請求項４に記載の本発明は、請求項１〜３
のいずれか１つの道路白線認識装置にあって、道路認識
を繰り返し行い、前回の道路モデル推定値から次回のウ
インドウ位置を想定することを要旨とする。

【００１２】請求項５に記載の本発明は、請求項１〜４
のいずれか１つの道路白線認識装置にあって、ウインド
ウの上下両端が道路白線と重なると想定されるそれぞれ
の幅を上底および下底として道路白線を台形と見立て、
その面積を近似的に求めることを要旨とする。

【００１３】請求項６に記載の本発明は、請求項１〜４
のいずれか１つの道路白線認識装置にあって、ウインド
ウの上下一方の端が道路白線と重なると想定される幅を
１辺として道路白線を平行四辺形と見立て、その面積を
近似的に求めることを要旨とする。

【００１４】

【発明の効果】請求項１に記載の本発明によれば、道路
白線は、車両前方の道路画像上に設けた複数のウインド
ウ内で探索されるようになっており、各ウインドウに個
々に設定されるしきい値以上の輝度（以下、高輝度とい
う）をもって道路白線を判別できる。このとき、各ウイ
ンドウの道幅方向の幅は、道路が存在すると想定される
画像上の領域を含むように複数個設定しておけばよく、
また、上記高輝度の画素は道路白線以外にも道路条件、
例えば水の反射やランプおよび太陽光の直射・反射光な
どによって現れる場合があり、これが疑似白線となって
本来の道路白線と混同する要因となる。従って、この疑
似白線を含めて上記高輝度の画素を道路白線候補点と見
なして取り込んだ上で、この道路白線候補点の連続性な
どから道路白線を検知することができる。

【００１５】このとき、それぞれのウインドウでは高輝
度を持つ画素の面積、つまり疑似白線を含む道路白線候
補点の画素の面積が、ウインドウ内に占めると想定され
る道路白線の面積以上となるようにそのしきい値が設定
されるため、高輝度を持つ画素の集合に道路白線が確実
に含まれることになる。そして、このようにしきい値が
高輝度を持つ画素の面積と道路白線の面積との対比で決
定されるため、ウインドウ内の路面面積が占める割合が
大きくなった場合にも、しきい値が黒寄り、つまり低輝
度側に設定されるのが防止される。また、ウインドウ内
の一部に高輝度のノイズが現れた場合にも、その面積が
小さければしきい値にほとんど影響されることは無い。
つまり、しきい値はウインドウ内全体の路面面積に対し
て、そのウインドウ内に占める道路白線面積を考慮して
決定されるものであり、これによってウインドウ内の道
路白線候補点を確実に認識でき、ひいては、この道路白
線候補点から道路白線を精度良く認識することができ
る。

【００１６】請求項２に記載の本発明によれば、上記請
求項１の道路白線認識装置と同様の手法をもってしきい
値が設定されるが、この請求項２の道路白線認識装置の
場合は、所定のウインドウで設定したしきい値を共通の
しきい値として、複数のウインドウ全てに設定するよう
になっているため、このしきい値の設定計算が全てのウ
インドウに対して１回、つまり１画面に付き１回で済む
ことになる。従って、しきい値を高速で設定できるため
道路白線の認識をよりリアルタイムで実行できる。従っ
て、高速処理を要求されるシステムに有利となり、例え
ば高速走行する車両の走行案内を確実かつ安全に行うこ
とができるようになる。

【００１７】請求項３に記載の本発明によれば、上記請
求項２の道路白線認識装置にあって、所定のウインドウ
を、画像取得手段に近い道路白線を透視するウインドウ
に選定したので、この画像取得手段に近いウインドウで
は、より遠くにあるウインドウに比較して道路白線が拡
大されているため、道路白線面積の変化が抑制されるこ
とになる。従って、ノイズがしきい値に影響しづらくな
るため、繰り返し行われるしきい値設定をより高速に対
応させることができるようになり、高速処理を要求され
るシステムで有利となる。

【００１８】請求項４に記載の本発明よれば、上記請求
項１〜３のいずれか１つの道路白線認識装置にあって、
道路認識を繰り返し行い、前回の道路モデル推定値から
次回のウインドウ位置を想定するようにしたので、ウイ
ンドウ位置を道路モデルに応じてその都度適切に設定で
きるようになる。従って、ウインドウを固定的に設けた
場合は道路の存在しうる領域を全てカバーする必要があ
るが、その都度設定するウインドウでは道路白線を取得
するに十分な面積を確保すればよく、ウインドウの面積
を小さくことができる。つまり、このようにウインドウ
を小さくすることにより、道路白線以外の疑似白線が取
り込まれる確率が少なくなるため、しきい値の設定精度
が向上される。

【００１９】請求項５に記載の本発明によれば、上記請
求項１〜４のいずれか１つの道路白線認識装置にあっ
て、ウインドウの上下両端が道路白線と重なると想定さ
れるそれぞれの幅を上底および下底として道路白線を台
形と見立て、その面積を近似的に求めるようにしたの
で、ウインドウの上下高さが既知であるため、道路白線
の面積は上記上底と下底の２箇所の長さを求めるのみで
高速に演算できるようになる。

【００２０】請求項６に記載の本発明によれば、請求項
１〜４のいずれか１つの道路白線認識装置にあって、ウ
インドウの上下一方の端が道路白線と重なると想定され
る幅を１辺として道路白線を平行四辺形と見立て、その
面積を近似的に求めるようにしたので、この場合は道路
白線が重なるウインドウの上下一方の端の１箇所の長さ
を求めるのみで道路白線の面積を決定でき、演算の更な
る高速化を達成できるようになる。

【００２１】

【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して詳細に説明する。

【００２２】図１は本発明にかかる道路白線認識装置１
０の一実施形態を示す基本的な構成で、車両前方の道路
画像を取得する画像取得手段１４と、取得した道路画像
内に道路白線１８を探索する複数のウインドウ２０を設
けるウインドウ設定手段１０１と、各ウインドウ２０そ
れぞれに設定されたしきい値ｖnによって道路白線１８
の候補点２１を認識する白線候補点選択手段１０２とを
備え、この白線候補点２１の集合から道路モデルを推定
するようになっており、繰り返し行われる道路白線認識
で前回の道路モデル推定値から次回のウインドウ２０内
に占めると想定される道路白線１８の面積ｓnを推定す
る道路面積推定手段１０３と、それぞれのウインドウ２
０に対してしきい値ｖn以上の輝度を持つ画素の面積が
上記道路面積推定手段１０３で推定された道路白線１８
の面積ｓn以上となるように上記しきい値ｖnを個々に設
定するしきい値設定手段１０４とを設けて構成される。

【００２３】図２は上記道路白線認識装置１０を搭載し
た車両１２の一実施形態を示す概略図で、画像取得手段
１４とこの画像取得手段１４で取得した画像信号（以
下、単に画像という）を処理するプロセッサ１６とが車
両１２に設置される。画像取得手段１４は高感度撮像が
可能なＣＣＤカメラなどが好ましく、この画像取得手段
（以下、カメラという）１４は室内天井１２ａの前方中
央部に前方下方を指向して取り付けられ、フロントガラ
ス１２ｂを通して車両１２前方の道路Ｒ画像を取得する
ようになっている。上記プロセッサ１６は車両１２の熱
や風雨の影響のない適宜箇所に設置され、上記カメラ１
４で取得した道路Ｒ画像から道路白線１８を認識して道
路モデル（道路形状）を推定する制御が実行される。

【００２４】図３はプロセッサ１６によって道路モデル
を想定するプログラムＰ1を実行するためのフローチャ
ートを示す。即ち、このフローチャートでは前方画像取
込処理により車両前方画像を取り込んだ後（ステップＳ
１）、ウインドウ設定処理により画像内に複数のウイン
ドウを設ける（ステップＳ２）。次にステップＳ４〜Ｓ
７の処理を完了したかどうかを判断（ステップＳ３）し
た後、道路パラメータ推定処理により道路モデルを想定
する（ステップＳ８）ようになっている。

【００２５】ステップＳ４は画像内に設けられた上記複
数のウインドウ全てにステップＳ５〜７の処理が実行さ
れるように順に次のウインドウを選択する。そして、ス
テップＳ５の白線候補点選択処理によってしきい値より
高輝度の画素を取り込んだ後、ステップＳ６の白線候補
線算出処理によりステップＳ５で取り込んだ白線候補点
の連続性から白線と見なすことができる線を算出し、ス
テップＳ７の道路座標算出処理では白線候補線とウイン
ドウの上辺との交点座標を求める。また、ステップＳ８
の処理後はステップＳ１に戻り、一連のプログラムＰ1
が所定時間毎に実行されることになる。

【００２６】以下、上記プログラムＰ1の処理を各ステ
ップＳ１〜Ｓ８毎に詳述する。

【００２７】（１）前方画像取込（Ｓ１）上記カメラ１４によって撮像された画像信号を、プログ
ラムＰ1を処理する所定時間毎に取り込む。

【００２８】（２）ウインドウ設定（Ｓ２）ウインドウ２０は、図４に示すように道路白線１８の延
長方向に沿って複数が設けられ、前回の画像処理結果に
よって得られた道路モデルにより、それぞれのウインド
ウ２０に道路白線１８が取り込まれるように、それぞれ
の位置が設定される。図中の縦方向は画像座標ｙ軸方向
を示し、図中下方がｙプラスである。また、図中の横方
向は画像座標ｘ軸方向を示し、図中右方がｘプラスであ
る。図５に示すようにウインドウ２０のｘ方向の幅Ｗは
道路が存在すると想定される画像上の領域をカバーする
ように、各ウインドウ２０（同図では１つのウインドウ
２０を例にとって示してある。）が設定される。各ウイ
ンドウ２０の上辺２０ａの座標ｙ0と下辺２０ｂの座標
ｙ1とは固定とする。また、道路モデルは式１によって
得られる（特開平６−２０１８９号参照）。

【００２９】

【数１】パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈはそれぞれ自車両の車線
に対する横位置、道路曲率、自車両の車線に対するヨー
角、ピッチ角、カメラ高さに相当する。Ｅ0は車線幅
（左右白線の内側間の距離）、ｆV、ｆhはカメラ透視変
換定数で縦方向、横方向をそれぞれ表す。（ｘ，ｙ）は
自車両に対して白線内側の画像上の座標（以下、道路座
標という）であり、以下においてｘ，ｙは画像上の座標
を意味するものとする。また、ｉは左白線では「０」、
右白線では「１」を表す。

【００３０】また、式１は道路モデルを表す一手法を示
したものであり、例えば、Ｅ0を変数にしたもの、Ｈを
固定したもの、車線幅を左白線中央と見自白線中央の距
離とし、（ｘ，ｙ）を白線中央の画像座標として定義す
ることもできる。

【００３１】ここで、Ｎ番目のウインドウの上辺２０ａ
のｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ
（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ
（−１）｝とすると、式１より今回のウインドウ２０の
中心座標ｘestは式２で示される。

【００３２】

【数２】ウインドウ２０のｘ方向の幅は固定値もあれば、特開平
８−２６１７５６号に示されるように、パラメータの分
散から合理的に設定する方法も提示されている。

【００３３】（３）すべてのウインドウ完了？（Ｓ３）ステップＳ３〜Ｓ７のループ内処理を各ウインドウ２０
全てに対して実行したかどうかを判断する。

【００３４】（４）次のウインドウへ（Ｓ４）ステップＳ３〜Ｓ７のループ内処理が各ウインドウ２０
全てに対して実行されない場合に、処理していないウイ
ンドウ２０を順次選択する。

【００３５】（５）白線候補点選択（Ｓ５）この白線候補点選択を処理するプログラムＰ2は、図６
に示すフローチャートによって実行される。即ち、この
プログラムＰ2は、道路面積を推定（ステップＳ１０）
した後に度数分布を算出（ステップＳ１１）し、これら
からしきい値を設定する（ステップＳ１２）とともに、
しきい値による選択が行われる（ステップＳ１３）。

【００３６】ここで、上記プログラムＰ2の処理を各ス
テップＳ１０〜Ｓ１３毎に詳述する。（５−１）道路面
積推定（Ｓ１０）前回処理の結果から該当するウインドウ２０での道路面
積を推定する。N番目となるウインドウ２０の上辺２０
ａのｙ座標をｙnとする。道路モデルを表す式１より、
このウインドウ２０での予想ｘ座標ｘnは式３で示され
る。

【００３７】

【数３】Ａは自車両の車線に対する横変位を表す。車両が白線幅
だけずれた場合の画像上のずれは、白線幅の画像上での
幅を表している。従って、widthを実際の白線の幅（例
えば１５cm）とすると、式３より画像上の白線の幅ｗn
は式４で示される。この場合、添え字nはN番目を表す。

【００３８】

【数４】道路面積はウインドウ２０の面積で正規化される。即
ち、ウインドウ２０面積と一致した場合には、面積＝１
００パーセントとする。ウインドウ２０の面積はプログ
ラムＰ1のステップＳ２で既知であり、それをｕnとす
る。この場合、道路白線１８を上底と下底がウインドウ
枠に接した平行四辺形と見なす。つまり、ウインドウ２
０の上辺２０ａと下辺２０ｂの一方が道路白線１８と重
なると想定される幅を１辺としてこの道路白線１８を平
行四辺形と見立て、その面積を近似的に求めるようにな
っている。この場合の正規化された道路白線面積ｓnは
式５で表される。ただし、ｄnはウインドウ２０のｙ方
向の幅を表す。

【００３９】

【数５】（５−２）度数分布算出（Ｓ１１）ウインドウ２０の画素をすべて走査して輝度分布を調べ
る。ところで、この輝度分布を調べるにあたって、図１
５の累積輝度分布によって輝度が０〜２５５まで変化す
る従来技術を説明したが、このように輝度カウンタを０
〜２５５まで別々に用意すると、プロセッサ１６のメモ
リが膨大となる。このため、本実施形態では図７に示す
ようにカウンタを１０毎にまとめ、輝度０〜９をカウン
タ０として置き換えるとともに、輝度１０から１９をカ
ウンタ１０として順次置き換えてある。この場合、同図
ではカウンタを一部省略してある。

【００４０】（５−３）しきい値設定（Ｓ１２）図７に示した各カウンタの合計、つまりウインドウ２０
の画素数の合計をｂnとすると、道路白線１８上の画素
数ｋnは式６によって与えられる。

【００４１】

【数６】また、各輝度のカウンタ数をｃ0〜ｃ25とする。ただ
し、ｃ1は輝度０〜９の画素のカウンタのように定義す
る。また、ｃ25だけは２５０〜２５５の画素のカウンタ
とする。次に、輝度の高い方のカウンタからカウンタ値
を累積する変数ｊnを用意し、式７をｍが２５から初め
て１づつ下げて繰り返し実行する。そして、その繰り返
し最中に（ｊn≧ｋn）の条件が満たされた場合に計算を
停止する。

【００４２】

【数７】その繰り返し最中に以下の式８に示す条件が満たされた
場合に計算を停止する。

【００４３】

【数８】このときに、始めて道路白線面積がしきい値以上の領域
に包含されたことを意味する。そして、計算が中止され
た時のｍの値をもってしきい値ｖnを式９によって計算
する。

【００４４】

【数９】（５−４）しきい値による選択（Ｓ１３）ウインドウ２０内の画素を再走査し、上記ｖn以上の輝
度を白線候補点２１とする。これによって図８に示すよ
うに白線候補点２１がウインドウ２０に多数プロットさ
れた集合群として表される。

【００４５】次に、上記プログラムＰ1に戻って説明を
進める。

【００４６】（６）白線候補線算出（Ｓ６）ウインドウ２０内にプロットされた白線候補点２１の連
続性から白線候補線２２を探索する。この探索にはハフ
変換や最小自乗法などを用いることができる。例えば、
ハフ変換直線近似では図９に示すようにウインドウ２０
内を通過する直線のうち、最も白線候補点２１を多く貫
いたものが選択される。

【００４７】（７）道路座標算出（Ｓ７）図１０に示すように白線候補線２１とウインドウ２０の
上辺２０ａとの交点座標（ｘn，ｙn）を求める。これが
そのウインドウ２０での道路座標となり、白線候補線２
１の数に応じて道路座標の集合（ｘ0，ｙ0）〜（ｘn0，
ｙn0）が得られる。

【００４８】（８）道路パラメータ推定（Ｓ８）道路座標の集合（ｘ0，ｙ0）〜（ｘn0，ｙn0）と上記式
１の構造に基づいて、道路モデル（Ａ，Ｂ，Ｃ，Ｄ，
Ｈ）の推定が行われる。この推定を行う方式の代表的な
ものとして、最小自乗法やカルマンフィルタを用いるこ
とができる。

【００４９】以下、本実施形態の道路白線認識装置１０
の作用を述べる。即ち、この道路白線認識装置１０は、
各ウインドウ２０に設定されるしきい値が、カメラ１４
によって取得した道路画面内の路面面積と道路白線面積
とを考慮に入れて適切に決定され、これにより道路白線
１８を精度良く認識できるものであり、これを用いるこ
とによって道路モデル（形状）を正確に推定することが
できる。

【００５０】即ち、上記道路白線認識装置１０はプログ
ラムＰ1のステップＳ５によって白線候補点２１が選択
されるが、この白線候補点２１はプログラムＰ2の道路
面積推定（ステップＳ１０）と度数分布算出（ステップ
Ｓ１１）とを経て設定されるしきい値ｖnを基準として
検出される。このとき、画面に取り込まれる高輝度なも
のは道路白線１８とは限ることなく、例えば、前方車両
の窓の照り返し、ランプ、その他太陽光の直射・反射光
などは輝度が高いものである。しかし、ウインドウ２０
内に限定した場合、それらが入る確率は大幅に現象す
る。即ち、ウインドウ２０内で道路白線１８が高輝度を
示す可能性が高くなり、よって、所定値以上の輝度を有
する画素の集合に道路白線１８が確実に含まれることに
なる。ここで、上記しきい値ｖnの設定が問題となるこ
とは従来に述べた通りであり、これを本発明が解決する
ことにより精度良く道路白線１８を認識できるのであ
る。

【００５１】即ち、本実施形態では図１１に示すように
道路白線１８の最低輝度をＶrefとすると、Ｖref以上の
輝度を有する画素の度数はＴrefパーセントとなる。こ
のことは、例えば道路白線１８以上の輝度を持つものが
無い場合、ウインドウ２０に占める白線面積がＴrefパ
ーセントであることを意味する。従って、ウインドウ２
０内に限定したことにより、白線以上の輝度を持つ画素
は存在する可能性が低くなり、また、ウインドウ２０の
面積は既知であるため、道路白線１８の面積が判ってい
れば、図１１を逆に利用して分布がＴrefパーセント以
下になる輝度をしきい値ｖnとして設定すればよいこと
なる。

【００５２】つまり、従来例として図１５に示した従来
の平均手法は黒寄りのしきい値を採るため誤認識を起こ
すことを既に述べたが、本実施形態の手法では路面（ア
スファルト）面積と道路白線面積を考慮に入れてしきい
値ｖnを設定しているため、いくら路面が占める面積が
大きくても、しきい値ｖnが黒寄りに設定されることは
無い。

【００５３】また、従来例として図１６の場合では白寄
りのしきい値を採るためロストを起こすが、この場合に
あっても本実施形態では、上述したように路面面積と道
路白線面積を考慮に入れてしきい値ｖnを設定している
ため、一部に高輝度のノイズが現れてもその面積が小さ
ければ影響は出にくくなる。例えば、図１２に示すよう
に１画素の輝度が極端に高いと、平均輝度はそれに応じ
て変化するが、度数分布は極端に高い輝度の値のみが変
わるのであって、白線近傍のしきい値ｖnは変化しな
い。

【００５４】更に、本実施形態の道路白線認識装置１０
にあっては、プログラムＰ1の処理によって道路認識を
繰り返し行い、前回の道路モデル推定値から次回のウイ
ンドウ２０位置を想定することができるようになり、ウ
インドウ２０位置を道路モデルに応じてその都度適切に
設定できるようになる。このため、ウインドウ２０を固
定的に設けた場合は道路の存在しうる領域を全てカバー
する必要があるが、その都度設定するウインドウ２０で
は道路白線１８を取得するに十分な面積を確保すればよ
く、ウインドウの面積２０を小さくことができる。つま
り、このようにウインドウ２０を小さくすることによ
り、道路白線１８以外の疑似白線が取り込まれる確率が
少なくなるため、しきい値ｖnの設定精度を向上するこ
とができる。

【００５５】また、本実施形態では道路白線１８の面積
を推定するために式４および式５を用いて、道路白線１
８の面積を平行四辺形として近似したので、道路白線１
８が重なるウインドウ２０の上下一方の端の１箇所の長
さを求めるのみで道路白線１８の面積を決定できるた
め、演算の高速化を達成できる。

【００５６】ところで、上記実施形態では各ウインドウ
２０それぞれに対して道路白線１８を認識するためのし
きい値ｖnを設定した場合を開示したが、これに限るこ
となく全ウインドウ２０に対して共通のしきい値ｖnを
設定することができる。即ち、この共通のしきい値ｖn
を設定する場合の道路白線認識装置１０は、上記実施形
態に示した図１と同様の構成となるが、ただ、しきい値
設定手段１０４で設定されるしきい値ｖnが、複数のウ
インドウ２０のうちの１つのウインドウ２０で実行され
ることになる。そして、この１つのウインドウ２０で設
定されたしきい値ｖnが、その他の全ウインドウ２０に
適用されるようになっている。

【００５７】従って、このように共通のしきい値ｖnを
全ウインドウ２０に適用することにより、このしきい値
の設定計算が１画面に付き１回で済むことになる。従っ
て、しきい値を高速で設定できるため道路白線１８の認
識をよりリアルタイムで実行できるようになり、高速処
理を要求されるシステムに有利となり、例えば高速走行
する車両の走行案内を確実かつ安全に行うことができる
ようになる。

【００５８】また、上記実施形態では道路白線１８の面
積を平行四辺形として近似して推定した場合を開示した
が、この道路面積の推定は平行四辺形に限ることは無
く、例えば、画面に取り込まれる道路白線１８を台形状
として捉えることができる。図１３は道路白線１８を台
形状として捉える場合の手法を示し、N番目のウインド
ウ２０の上辺２０ａのｙ座標をｙｕn、下辺２０ｂの同
座標をｙｄnとすると、ウインドウ上辺２０ａでの白線
の幅ｗｕnは式１０で示される。

【００５９】

【数１０】同様に画像上、ウインドウ下辺２０ｂでの白線の幅ｗｄ
nは式１１で示される。

【００６０】

【数１１】そして、道路面積をウインドウ２０の面積で正規化す
る。即ち、ウインドウ２０の面積と一致した場合には面
積＝１００パーセントとする。ウインドウ２０の面積は
プログラムＰ1で既に設定されており、その面積をｕnと
する。そして、道路白線１８の上底および下底がウイン
ドウ枠に接した台形となるように近似すると、正規化さ
れた道路白線面積Ｓnは式１２で表される。このとき、
ｄnはウインドウ２０のｙ方向の幅を表す。

【００６１】

【数１２】従って、この場合は道路白線１８を画面に現れるより実
際に近い形として捉え、より正確な白線面積を求めるこ
とができ、ひいては、しきい値の最適化を図ることがで
きる。

【００６２】図１４は更に他の実施形態を示し、カメラ
１４に最も近い道路白線１８を透視するウインドウ２０
でしきい値設定し、これを全てのウインドウ２０に適用
するようにしたプログラムＰ3である。即ち、このプロ
グラムＰ3は、図２に示したプログラムＰ1のステップＳ
５で処理される白線候補点選択に代えて実行され、まず
ステップＳ２０で探索１番目のウインドウ２０かどうか
を判断する。つまり、この１番目のウインドウ２０はカ
メラ１４に最も近くに設定されたものである。

【００６３】そして、ウインドウ２０が１番目の場合は
ステップＳ２１の道路面積推定と、ステップＳ２２の度
数分布算出と、ステップＳ２３のしきい値設定とが順に
実行される。そして、この設定されたしきい値がステッ
プＳ２４によって選択されて高輝度の画素が画面にプロ
ットされる。一方、ステップＳ２０で２番目以降である
と判断した場合は、ステップＳ２１〜２３をジャンプし
てステップＳ２４に進み、１番目のウインドウ２０で設
定したしきい値によって白線候補点が選択される。

【００６４】従って、このようにカメラ１４に最も近い
一番目のウインドウ２０で設定したしきい値を全ウイン
ドウ２０で用いることにより、より遠くにあるウインド
ウ２０に比較して道路白線１８が拡大されているため、
道路白線面積の変化が抑制されることになる。従って、
ノイズがしきい値に影響しづらくなるため、繰り返し行
われるしきい値設定をより高速に対応させることができ
るようになり、高速処理を要求されるシステムで有利と
なる。

【図面の簡単な説明】

【図１】本発明にかかる道路白線認識装置の一実施形態
の基本構造を示す概略構成図である。

【図２】本発明にかかる道路白線認識装置を搭載した車
両の一実施形態を示す概略構成図である。

【図３】本発明にかかる道路白線認識装置の一実施形態
による画像処理プログラムを実行するためのフローチャ
ートである。

【図４】本発明にかかる道路白線認識装置の一実施形態
で画面に設定される複数のウインドウの配列状態を示す
説明図である。

【図５】本発明にかかる道路白線認識装置の一実施形態
で設定されるウインドウの配置状態を示す説明図であ
る。

【図６】本発明にかかる道路白線認識装置の一実施形態
による白線候補点選択を実行するためのフローチャート
である。

【図７】本発明にかかる道路白線認識装置の一実施形態
で設定されるウインドウの輝度分布を示す説明図であ
る。

【図８】本発明にかかる道路白線認識装置の一実施形態
で設定されるウインドウ内の白線候補点のプロット状態
を示す説明図である。

【図９】本発明にかかる道路白線認識装置の一実施形態
で設定されるウインドウ内の白線候補線の選択状態を示
す説明図である。

【図１０】本発明にかかる道路白線認識装置の一実施形
態で設定されるウインドウに白線候補線が接する道路座
標を示す説明図である。

【図１１】本発明にかかる道路白線認識装置の一実施形
態で設定されるウインドウの輝度分布に対するしきい値
の選定状態を示す説明図である。

【図１２】本発明にかかる道路白線認識装置の一実施形
態で設定されるウインドウの輝度分布に作用する高輝度
ノイズの影響を示す説明図である。

【図１３】本発明にかかる道路白線認識装置の他の実施
形態で設定されるウインドウに道路白線を台形に近似さ
せた状態を示す説明図である。

【図１４】本発明にかかる道路白線認識装置の他の実施
形態による白線候補点選択を実行するためのフローチャ
ートである。

【図１５】従来の道路白線認識により得られる輝度分布
に対する平均輝度の位置関係を示す説明図である。

【図１６】従来の道路白線認識により得られる輝度分布
に対する平均輝度の他の位置関係を示す説明図である。

【符号の説明】１０道路白線認識装置１２車両１４カメラ（画像取得手段）１６プロセッサ１８道路白線２０ウインドウ２１白線候補点２２白線候補線１０１ウインドウ設定手段１０２白線候補点選択手段１０３道路面積推定手段１０４しきい値設定手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA06 AA16 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 DA08 DB02 DB06 DB09 DC04 DC23 5H180 AA01 CC04 CC24 LL01 LL08 LL09 5L096 AA02 AA06 BA04 BA18 CA02 CA14 FA05 FA37 FA46 FA59 GA17 GA41 GA51

Claims

【特許請求の範囲】

【請求項１】車両前方の道路画像を取得する画像取得
手段と、取得した道路画像内に道路白線を探索する複数
のウインドウを設けるウインドウ設定手段と、各ウイン
ドウそれぞれに設定されたしきい値によって道路白線の
候補点を認識する白線候補点選択手段とを備え、この白
線候補点の集合から道路モデルを推定するようにした道
路白線認識装置であって、繰り返し行われる道路白線認
識で前回の道路モデル推定値から次回のウインドウ内に
占めると想定される道路白線の面積を推定する道路面積
推定手段と、それぞれのウインドウに対してしきい値以
上の輝度を持つ画素の面積が上記道路面積推定手段で推
定された道路白線の面積以上となるように上記しきい値
を個々に設定するしきい値設定手段と、を設けたことを
特徴とする道路白線認識装置。
【請求項２】車両前方の道路画像を取得する画像取得
手段と、取得した道路画像内に道路白線を探索する複数
のウインドウを設けるウインドウ設定手段と、各ウイン
ドウに設定されたしきい値によって道路白線の候補点を
認識する白線候補点選択手段とを備え、この白線候補点
の集合から道路モデルを推定するようにした道路白線認
識装置であって、繰り返し行われる道路白線認識で前回
の道路モデル推定値から次回のウインドウ内に占めると
想定される道路白線の面積を推定する道路面積推定手段
と、所定のウインドウにおいてしきい値以上の輝度を持
つ画素の面積が上記道路面積推定手段で推定された道路
白線の面積以上となるように上記しきい値を設定するし
きい値設定手段とを設け、このしきい値を全ウインドウ
に適用することを特徴とする道路白線認識装置。
【請求項３】請求項２において、所定のウインドウ
を、画像取得手段に近い道路白線を透視するウインドウ
に選定したことを特徴とする道路白線認識装置。
【請求項４】請求項１〜３のいずれか１つにおいて、
道路認識を繰り返し行い、前回の道路モデル推定値から
次回のウインドウ位置を想定することを特徴とする道路
白線認識装置。
【請求項５】請求項１〜４のいずれか１つにおいて、
ウインドウの上下両端が道路白線と重なると想定される
それぞれの幅を上底および下底として道路白線を台形と
見立て、その面積を近似的に求めることを特徴とする道
路白線認識装置。
【請求項６】請求項１〜４のいずれか１つにおいて、
ウインドウの上下一方の端が道路白線と重なると想定さ
れる幅を１辺として道路白線を平行四辺形と見立て、そ
の面積を近似的に求めることを特徴とする道路白線認識
装置。